CN103365729A - 一种基于任务类型的动态MapReduce 调度方法及系统 - Google Patents

一种基于任务类型的动态MapReduce 调度方法及系统 Download PDF

Info

Publication number
CN103365729A
CN103365729A CN201310306360XA CN201310306360A CN103365729A CN 103365729 A CN103365729 A CN 103365729A CN 201310306360X A CN201310306360X A CN 201310306360XA CN 201310306360 A CN201310306360 A CN 201310306360A CN 103365729 A CN103365729 A CN 103365729A
Authority
CN
China
Prior art keywords
task
cpu
intensive
mapreduce
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310306360XA
Other languages
English (en)
Inventor
何震宇
薛鸿杰
盛义涛
葛百根
史梦龙
胡文毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN201310306360XA priority Critical patent/CN103365729A/zh
Publication of CN103365729A publication Critical patent/CN103365729A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种基于任务类型的动态MapReduce调度方法及系统，该基于任务类型的动态MapReduce调度方法包括如下步骤：A.进入等待队列，B.工作任务分类，C.工作任务迁移,D.工作任务调度，CPU密集型队列和I/O密集型队列分别独立调度，将工作任务调度到工作结点集群，执行任务。本发明的有益效果是本发明基于任务类型的动态MapReduce调度方法，通过对工作任务类型预测，然后为不同类型任务分别设置队列，各队列独立调度。本发明基于任务类型的动态MapReduce调度方法，提高不同类型任务环境下集群的吞吐量。

Description

一种基于任务类型的动态MapReduce 调度方法及系统
技术领域
本发明涉及一种MapReduce调度方法，尤其涉及一种基于任务类型的动态MapReduce调度方法及系统。 
背景技术
随着Internet数据规模的持续增长，Internet提供的服务就需要能够存储和处理海量数据。MapReduce是一种并行编程模型，用于大规模数据的并行运算，可用于构建数据中心，是现行的领先的并行计算解决方案。在当前互联网环境下，Internet服务层出不穷，同一个数据中心很可能同时提供多种服务，这就导致数据中心可能同时运行着不同类型的工作任务。例如，数据中心正在运行视频转码这种CPU密集型的任务，与此同时，它也在运行音视频流传输这种I/O密集型的任务。 
现有的MapReduce调度算法中并没有考虑以下情况：在有不同任务类型的环境下对CPU密集型任务和I/O密集型任务的分别调度。试想最坏的情况：将所有CPU密集型任务调度到同一工作结点或将所有的I/O密集型任务调度到同一结点，这样运行CPU密集型任务的工作结点的I/O资源就没得到充分利用。 
发明内容
为了解决现有技术中的问题，本发明提供了一种基于任务类型的动态MapReduce调度方法。 
本发明提供了一种基于任务类型的动态MapReduce调度方法，包括如下步骤： 
A.进入等待队列，所有提交到工作结点集群上的工作任务都先进入等待队列，由等待队列将工作任务部分调度到工作结点集群； 
B.工作任务分类，根据预测机制将工作任务分为CPU密集型和I/O密集型； 
C.工作任务迁移,根据步骤B得到的预测结果将工作任务迁移到CPU密集型队列或I/O密集型队列； 
D.工作任务调度，CPU密集型队列和I/O密集型队列分别独立调度，将工作任务调度到工作结点集群，执行任务。 
作为本发明的进一步改进，在所述步骤C中，当工作任务资源需求变化或错误时，能够将工作任务从CPU密集型队列迁移到I/O密集型队列、或者将工作任务从I/O密集型队列迁移到CPU密集型队列。 
作为本发明的进一步改进，在所述步骤D中，每个队列独立工作，分别以先进先出的方式调度并配置优先级，在存在多种任务类型的环境中，将CPU密集型和I/O密集型交替调度到工作结点集群。 
作为本发明的进一步改进，在所述步骤B中，工作任务包括Map任务与Reduce任务，需要采集的数据包括Map任务与Reduce任务产生输入及输出大小、Map任务与Reduce任务的执行时间和Map任务与Reduce任务所在结点的磁盘读写速率。 
作为本发明的进一步改进，在所述步骤B中，所述预测机制的方法是：假设同一工作任务对资源的需求情况一致，即，一个工作任务各部分对资源需求大体一致，类型相同；然后从历史运行数据中获得工作任务对资源的需求情况，预测整个工作任务的类型。 
本发明还提供了一种基于任务类型的动态MapReduce调度系统，包括： 
等待队列及调度模块，用于所有提交到工作结点集群上的工作任务都先进入等待队列，由等待队列将工作任务部分调度到工作结点集群； 
任务分类模块，用于根据预测机制将工作任务分为CPU密集型和I/O密集型； 
任务迁移模块,用于根据步骤B得到的预测结果将工作任务迁移到CPU密集型队列或I/O密集型队列； 
任务调度模块，用于CPU密集型队列和I/O密集型队列分别独立调度，将工作任务调度到工作结点集群，执行任务。 
作为本发明的进一步改进，在所述任务迁移模块中，当工作任务资源需求变化或错误时，能够将工作任务从CPU密集型队列迁移到I/O密集型队列、或者将工作任务从I/O密集型队列迁移到CPU密集型队列。 
作为本发明的进一步改进，在所述任务调度模块中，每个队列独立工作，分别以先进先出的方式调度并配置优先级，在存在多种任务类型的环境中，将CPU密集型和I/O密集型交替调度到工作结点集群。 
作为本发明的进一步改进，在所述任务分类模块中，工作任务包括Map任务与Reduce任务，需要采集的数据包括Map任务与Reduce任务产生输入及输出大小、Map任务与Reduce任务的执行时间和Map任务与 Reduce任务所在结点的磁盘读写速率。 
作为本发明的进一步改进，在所述任务分类模块中，所述预测机制的方法是：假设同一工作任务对资源的需求情况一致，即，一个工作任务各部分对资源需求大体一致，类型相同；然后从历史运行数据中获得工作任务对资源的需求情况，预测整个工作任务的类型。 
本发明的有益效果是：本发明基于任务类型的动态MapReduce调度方法，通过对工作任务类型预测，然后为不同类型任务分别设置队列，各队列独立调度。本发明基于任务类型的动态MapReduce调度方法，提高不同类型任务环境下集群的吞吐量。 
附图说明
图1是本发明的方法流程图。 
图2是本发明的MapReduce执行流程图。 
图3为本发明工作任务迁移示意图。 
图4为本发明分类错误时工作任务迁移示意图。 
具体实施方式
如图1所示，本发明公开了一种基于任务类型的动态MapReduce调度方法，包括如下步骤： 
在步骤S1中，进入等待队列，所有提交到工作结点集群上的工作任务都先进入等待队列，由等待队列将工作任务部分调度到工作结点集群； 
在步骤S2中，工作任务分类，根据预测机制将工作任务分为CPU密集型和I/O密集型； 
在步骤S3中，工作任务迁移,根据步骤B得到的预测结果将工作任务迁移到CPU密集型队列或I/O密集型队列； 
在步骤S4中，工作任务调度，CPU密集型队列和I/O密集型队列分别独立调度，将工作任务调度到工作结点集群，执行任务。 
在步骤S1中，等待队列并不是将任务直接调度到工作结点集群，而是调度任务的一小部分到工作结点集群，然后根据这一小部分的运行数据预测任务类型，所以在步骤S1中，等待队列将工作任务部分调度到工作结点集群。 
在步骤S3中，当工作任务资源需求变化或错误时，能够将工作任务从CPU密集型队列迁移到I/O密集型队列、或者将工作任务从I/O密集型队列迁移到CPU密集型队列。 
在所述步骤S4中，每个队列独立工作，分别以先进先出的方式调度 并配置优先级，在存在多种任务类型的环境中，将CPU密集型和I/O密集型交替调度到工作结点集群。 
在所述步骤S2中，工作任务包括Map任务与Reduce任务，需要采集的数据包括Map任务与Reduce任务产生输入及输出大小、Map任务与Reduce任务的执行时间和Map任务与Reduce任务所在结点的磁盘读写速率。 
在所述步骤S2中，所述预测机制的方法是：假设同一工作任务对资源的需求情况一致，即，一个工作任务各部分对资源需求大体一致，类型相同；然后从历史运行数据中获得工作任务对资源的需求情况，预测整个工作任务的类型。 
在步骤S1中，任务进入到等待队列后，由等待队列调度到集群，任务要处理的数据在提交到Map阶段之前会进行分片（分成大小固定的块），如图2所示。等待队列先调度一个分片到集群，然后根据获得的数据判断任务类型。这里假设同一任务的多个分片的特性，即对资源的需求，是一致的。 
在步骤S2中，假设同一任务的分片对资源需求是一致，即，这些分片类型相同。如此，就可以通过历史分片的执行情况来预测此任务其他分片的类型，亦即此任务的类型，这是本发明的前提。计算任务类型所需要采集的数据包括Map任务与Reduce任务产生输入及输出大小、Map任务与Reduce任务的执行时间和Map任务与Reduce任务所在结点的磁盘读写速率，这些数据都可在上一步中分片执行过程获得。 
在步骤S3中，如果在任务执行的过程中发现任务分类变化或错误，此时要将任务迁移到正确的队列中，如图4所示。 
本发明中，根据任务对CPU资源和I/O资源的使用情况对任务进行分类，在Map阶段涉及到输入输出的主要有两个动作：InputFormat和Partition。将这两个动作产生的输入输出分别记为Iinformat、Oinformat、Ipartition和Opartition。于Map任务是否为CPU密集型任务，以如下公式判定： 
n*(Iinformat+Oinformat+Ipartition+Opartition)Tfinish＜Rdisk   (1-1） 
其中：n为并行运行在单个结点的任务数，Iinformat为InputFormat输入数据大小，Oinformat为InputFormat输出数据大小，Ipartition为Partition输入数据大小，Opartition为Partition输出数据大小，Tfinish为任务完成所需时间，Rdisk为磁盘读写速率。 
在Reduce阶段涉及到输入输出的也有两个动作：OutputFormat和Shuffle。将这两个动作产生的输入输出分别记为Ioutformat、Ooutformat、Ishuffle和Oshuffle。对于Map任务是否为CPU密集型任务，以如下公式判定： 
n*(Ioutformat+Ooutformat+Ishuffle+Oshuffle)/Tfinish＜Rdisk   （1-2） 
其中：n为并行运行在单个结点的任务数，Ioutformat为OutputFormat输入数据大小，Ooutformat为OutputFormat输出数据大小，Ishuffle为Shuffle输入数据大小，Oshuffle为Shuffle输出数据大小，Tfinish为任务完成所需时间，Rdisk为磁盘读写速率。 
从式（1-1）和式（1-2）可以看出，当Map任务与Reduce任务产生的输入输出数据量的总和除以任务完成时间仍小于磁盘的读写速率时，就将其判定为CPU密集型的任务。 
对于Map任务是否为I/O密集型任务，以如下公式判定： 
n*(Iinformat+Oinformat)/Tfinish≥Rdisk    （1-3） 
从式（1-3）可以看出，当不考虑Partition输入输出的数据量，仅Map任务的InputFormat产生输入输出数据量的总和除以任务完成时间,就已经大于或等于磁盘的读写速率时，就将其判定为IO密集型的任务。 
对于Reduce任务是否为I/O密集型任务，以如下公式判定： 
n*(Ishuffle+Oshuffle)/Rfinish≥Rdisk   （1-4） 
从式（1-4）可以看出，当不考虑OutputFormat输入输出的数据量，仅Reduce任务的Shuffle产生输入输出数据量的总和除以任务完成时间,就已经大于或等于磁盘的读写速率时，就将其判定为IO密集型的任务。 
除了上述两种情况外，还存在这样一种情况，当不考虑Partition动作时的Map任务是CPU密集型的，然而当Partition动作开始后，产生大量的I/O操作，而CPU需求降低，此种情况以公式表示为： 
n*(Iinformat+Oinformat)/Tfinish＜Rdisk   （1-5） 
n*(Iinformat+Oinformat+Ipartition+Opartition)/Tfinish＜Rdisk    （1-6） 
从式（1-5）和（1-6）可以看出，当不考虑Partition输入输出的数据量，仅以所有任务的InputFormat输入输出数据量的总和除以任务完成时间是小于磁盘的读写速率；然而考虑进Partition输入输出的数据量时，磁盘的读写速率就成任务运行的主要瓶颈。 
对于Reduce任务，当不考虑OutputFormat动作时的Map任务是CPU密集型的，然而当OutputFormat动作开始后，产生大量的I/O操作，而CPU需求降低，此种情况以公式表示为： 
n*(Ishuffle+Oshuffle)/Tfinis＜Rdisk    （1-7） 
n*(Ioutformat+Ooutformat+Ishuffle+Oshuffle)/Tfinish≥Rdisk   (1-8） 
从式（1-7）和（1-8）可以看出，当不考虑OutputFormat输入输出的数据量，仅以所有任务的Shuffle输入输出数据量的总和除以任务完成时间是小于磁盘的读写速率；然而考虑进OutputFormat输入输出的数据量 时，磁盘的读写速率就成任务运行的主要瓶颈。 
这种情况下，要实时监测任务的运行情况，先将其迁入CPU密集型队列，当发现磁盘读写速率成为任务主要瓶颈时，将其从CPU密集型队列迁移到I/O密集型队列。以如下公式判定是否迁移： 
TrecentF＞α*TaverageF   （1-9） 
其中：RrecentF为任务最近完成分片的完成时间，α为一个阀值，本发明设为1.5，可能视具体环境会有所不同，TaverageF为任务分片的平均完成时间。 
任务类型预测流程的伪代码如下（以Map任务为例）： 
Begin 
if n*(Iinformat+Oinformat+Ipartition+Opartition)/Tcomplete＜Rdosk then 
将任务加入到CPU密集型队列； 
else if n*（Iinformat+Oinformat)/Tcomaplete≥Rdisk
then 
将任务加入到I/O密集型队列； 
else 
将任务加入到CPU密集型队列并标识任务； 
endif 
End 
当运行到CPU密集型队列中有标识的任务，要监视其最近完成分片的完成时间，利用式（1-9）判定是否从CPU密集型队列迁移到I/O密集型队 列。 
至此，基于任务类型的动态MapReduce调度完成。 
本发明的优选实施方式中，提交到集群的任务类型特征明显，即，通过式（1-1）、（1-2）和（1-3）、（1-4）可明确判定为CPU密集型或I/O密集型；而且提交到集群的任务分布均衡，即，CPU密集型任务和I/O密集型任务分布均匀，此时本发明所述基于任务类型的动态MapReduce调度可以将CPU密集型任务和I/O密集型任务交替调度到工作结点，即，同一时刻各工作结点CPU密集型任务和I/O密集型任务任务量相当，各结点的CPU资源和I/O资源都得到最大限度的利用。 
在CPU密集型队列和I/O密集型队列调度时，加入对任务优先级的考虑。 
本发明一种基于任务类型的动态MapReduce调度方法，包括将等待队列中的任务调度到工作集群，根据运行时获得信息按照设计的预测机制将工作任务分为CPU密集型和I/O密集型，然后转移到CPU密集型队列或I/O密集型队列进行调度，每个队列分别调度，主要目的是将CPU密集型任务和I/O密集型任务交替调度到工作结点，如果在运行过程中发现任务所需资源变化，可以将任务转移，例如任务原先在CPU密集型队列中，但现在对I/O需要提高，此时，调度方法可以将此任务转移到I/O密集型队列。 
对队列中任务可设置优先级，能保证其所需的最小CPU和I/O资源，针对任务对CPU和I/O资源的需求做出更详细的分类和更准确的调度。 
本发明的技术效果是：本发明基于任务类型的动态MapReduce调度方法，通过对工作任务类型预测，然后为不同类型任务分别设置队列，各队列独立调度。本发明基于任务类型的动态MapReduce调度方法，提高不同类型任务环境下集群的吞吐量。 
本发明还公开了一种基于任务类型的动态MapReduce调度系统，包括： 
等待队列及调度模块，用于所有提交到工作结点集群上的工作任务都先进入等待队列，由等待队列将工作任务部分调度到工作结点集群； 
任务分类模块，用于根据预测机制将工作任务分为CPU密集型和I/O密集型； 
任务迁移模块,用于根据步骤B得到的预测结果将工作任务迁移到CPU密集型队列或I/O密集型队列； 
任务调度模块，用于CPU密集型队列和I/O密集型队列分别独立调度，将工作任务调度到工作结点集群，执行任务。 
在所述任务迁移模块中，当工作任务资源需求变化或错误时，能够将工作任务从CPU密集型队列迁移到I/O密集型队列、或者将工作任务从I/O密集型队列迁移到CPU密集型队列。 
在所述任务调度模块中，每个队列独立工作，分别以先进先出的方式调度并配置优先级，在存在多种任务类型的环境中，将CPU密集型和I/O密集型交替调度到工作结点集群。 
在所述任务分类模块中，工作任务包括Map任务与Reduce任务，需要采集的数据包括Map任务与Reduce任务产生输入及输出大小、Map任务与Reduce任务的执行时间和Map任务与Reduce任务所在结点的磁盘读写速率。 
在所述任务分类模块中，所述预测机制的方法是：假设同一工作任务对资源的需求情况一致，即，一个工作任务各部分对资源需求大体一致，类型相同；然后从历史运行数据中获得工作任务对资源的需求情况，预测整个工作任务的类型。 
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。 

Claims (10)

1.一种基于任务类型的动态MapReduce调度方法，其特征在于，包括如下步骤：
A.进入等待队列，所有提交到工作结点集群上的工作任务都先进入等待队列，由等待队列将工作任务部分调度到工作结点集群；
B.工作任务分类，根据预测机制将工作任务分为CPU密集型和I/O密集型；
C.工作任务迁移,根据步骤B得到的预测结果将工作任务迁移到CPU密集型队列或I/O密集型队列；
D.工作任务调度，CPU密集型队列和I/O密集型队列分别独立调度，将工作任务调度到工作结点集群，执行任务。
2.根据权利要求1所述的动态MapReduce调度方法，其特征在于，在所述步骤C中，当工作任务资源需求变化或错误时，能够将工作任务从CPU密集型队列迁移到I/O密集型队列、或者将工作任务从I/O密集型队列迁移到CPU密集型队列。
3.根据权利要求1所述的动态MapReduce调度方法，其特征在于，在所述步骤D中，每个队列独立工作，分别以先进先出的方式调度并配置优先级，在存在多种任务类型的环境中，将CPU密集型和I/O密集型交替调度到工作结点集群。
4.根据权利要求1所述的动态MapReduce调度方法，其特征在于，在所述步骤B中，工作任务包括Map任务与Reduce任务，需要采集的数据包括Map任务与Reduce任务产生输入及输出大小、Map任务与Reduce任务的执行时间和Map任务与Reduce任务所在结点的磁盘读写速率。
5.根据权利要求1所述的动态MapReduce调度方法，其特征在于，在所述步骤B中，所述预测机制的方法是：假设同一工作任务对资源的需求情况一致，即，一个工作任务各部分对资源需求大体一致，类型相同；然后从历史运行数据中获得工作任务对资源的需求情况，预测整个工作任务的类型。
6.一种基于任务类型的动态MapReduce调度系统，其特征在于，包括：
等待队列及调度模块，用于所有提交到工作结点集群上的工作任务都先进入等待队列，由等待队列将工作任务部分调度到工作结点集群；
任务分类模块，用于根据预测机制将工作任务分为CPU密集型和I/O密集型；
任务迁移模块,用于根据步骤B得到的预测结果将工作任务迁移到CPU密集型队列或I/O密集型队列；
任务调度模块，用于CPU密集型队列和I/O密集型队列分别独立调度，将工作任务调度到工作结点集群，执行任务。
7.根据权利要求6所述的动态MapReduce调度系统，其特征在于，在所述任务迁移模块中，当工作任务资源需求变化或错误时，能够将工作任务从CPU密集型队列迁移到I/O密集型队列、或者将工作任务从I/O密集型队列迁移到CPU密集型队列。
8.根据权利要求6所述的动态MapReduce调度系统，其特征在于，在所述任务调度模块中，每个队列独立工作，分别以先进先出的方式调度并配置优先级，在存在多种任务类型的环境中，将CPU密集型和I/O密集型交替调度到工作结点集群。
9.根据权利要求6所述的动态MapReduce调度系统，其特征在于，在所述任务分类模块中，工作任务包括Map任务与Reduce任务，需要采集的数据包括Map任务与Reduce任务产生输入及输出大小、Map任务与Reduce任务的执行时间和Map任务与Reduce任务所在结点的磁盘读写速率。
10.根据权利要求6所述的动态MapReduce调度系统，其特征在于，在所述任务分类模块中，所述预测机制的方法是：假设同一工作任务对资源的需求情况一致，即，一个工作任务各部分对资源需求大体一致，类型相同；然后从历史运行数据中获得工作任务对资源的需求情况，预测整个工作任务的类型。
CN201310306360XA 2013-07-19 2013-07-19 一种基于任务类型的动态MapReduce 调度方法及系统 Pending CN103365729A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310306360XA CN103365729A (zh) 2013-07-19 2013-07-19 一种基于任务类型的动态MapReduce 调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310306360XA CN103365729A (zh) 2013-07-19 2013-07-19 一种基于任务类型的动态MapReduce 调度方法及系统

Publications (1)

Publication Number Publication Date
CN103365729A true CN103365729A (zh) 2013-10-23

Family

ID=49367149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310306360XA Pending CN103365729A (zh) 2013-07-19 2013-07-19 一种基于任务类型的动态MapReduce 调度方法及系统

Country Status (1)

Country Link
CN (1) CN103365729A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317635A (zh) * 2014-10-13 2015-01-28 北京航空航天大学 混合任务下的动态资源调度方法及系统
CN104657214A (zh) * 2015-03-13 2015-05-27 华存数据信息技术有限公司 一种基于多队列和多优先级的大数据任务管理系统和方法
CN104765643A (zh) * 2015-03-25 2015-07-08 华迪计算机集团有限公司 实现云计算资源混合调度的方法和系统
CN105471950A (zh) * 2014-09-05 2016-04-06 鸿富锦精密工业(武汉)有限公司 分布式计算方法及系统
CN105653357A (zh) * 2014-11-11 2016-06-08 田文洪 一种Hadoop集群的在线最小化总完工时间的调度方法和装置
CN105808346A (zh) * 2014-12-30 2016-07-27 华为技术有限公司 一种任务调度方法与装置
CN106201691A (zh) * 2016-07-11 2016-12-07 浪潮(北京)电子信息产业有限公司 一种网络io密集型任务的调度方法及装置
CN106502792A (zh) * 2016-10-20 2017-03-15 华南理工大学 一种面向不同类型负载的多租户资源优化调度方法
CN106569891A (zh) * 2016-11-09 2017-04-19 郑州云海信息技术有限公司 一种存储系统中任务调度执行的方法和装置
CN106708481A (zh) * 2015-07-30 2017-05-24 北京京东尚科信息技术有限公司 一种控制任务执行的方法
CN107656805A (zh) * 2017-10-20 2018-02-02 广东电网有限责任公司电力调度控制中心 一种基于Hadoop平台的电力数据作业调度方法
CN108052382A (zh) * 2017-12-26 2018-05-18 努比亚技术有限公司 一种i/o调度方法、终端及可读存储介质
CN108241524A (zh) * 2016-12-26 2018-07-03 北京视联动力国际信息技术有限公司 一种任务执行方法及系统
CN112181662A (zh) * 2020-10-13 2021-01-05 深圳壹账通智能科技有限公司 任务调度方法、装置、电子设备及存储介质
CN112579273A (zh) * 2020-12-15 2021-03-30 京东数字科技控股股份有限公司 任务调度方法及装置、计算机可读存储介质
CN115543624A (zh) * 2022-10-13 2022-12-30 联通(广东)产业互联网有限公司 异构算力编排调度方法、系统、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101009642A (zh) * 2006-12-31 2007-08-01 华为技术有限公司 一种基于任务分组的资源分配方法和装置
US20070204268A1 (en) * 2006-02-27 2007-08-30 Red. Hat, Inc. Methods and systems for scheduling processes in a multi-core processor environment
US20080126761A1 (en) * 2006-09-26 2008-05-29 Fontenot Nathan D Method and apparatus for scheduling optimization
CN102096461A (zh) * 2011-01-13 2011-06-15 浙江大学 基于虚拟机迁移和负载感知整合的云数据中心节能方法
CN103076870A (zh) * 2013-01-08 2013-05-01 北京邮电大学 数据中心中能耗驱动的应用融合调度和资源动态配置方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070204268A1 (en) * 2006-02-27 2007-08-30 Red. Hat, Inc. Methods and systems for scheduling processes in a multi-core processor environment
US20080126761A1 (en) * 2006-09-26 2008-05-29 Fontenot Nathan D Method and apparatus for scheduling optimization
CN101009642A (zh) * 2006-12-31 2007-08-01 华为技术有限公司 一种基于任务分组的资源分配方法和装置
CN102096461A (zh) * 2011-01-13 2011-06-15 浙江大学 基于虚拟机迁移和负载感知整合的云数据中心节能方法
CN103076870A (zh) * 2013-01-08 2013-05-01 北京邮电大学 数据中心中能耗驱动的应用融合调度和资源动态配置方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105471950A (zh) * 2014-09-05 2016-04-06 鸿富锦精密工业(武汉)有限公司 分布式计算方法及系统
CN104317635B (zh) * 2014-10-13 2017-11-07 北京航空航天大学 混合任务下的动态资源调度方法及系统
CN104317635A (zh) * 2014-10-13 2015-01-28 北京航空航天大学 混合任务下的动态资源调度方法及系统
CN105653357A (zh) * 2014-11-11 2016-06-08 田文洪 一种Hadoop集群的在线最小化总完工时间的调度方法和装置
CN105808346A (zh) * 2014-12-30 2016-07-27 华为技术有限公司 一种任务调度方法与装置
CN104657214A (zh) * 2015-03-13 2015-05-27 华存数据信息技术有限公司 一种基于多队列和多优先级的大数据任务管理系统和方法
CN104765643A (zh) * 2015-03-25 2015-07-08 华迪计算机集团有限公司 实现云计算资源混合调度的方法和系统
CN106708481A (zh) * 2015-07-30 2017-05-24 北京京东尚科信息技术有限公司 一种控制任务执行的方法
CN106201691A (zh) * 2016-07-11 2016-12-07 浪潮(北京)电子信息产业有限公司 一种网络io密集型任务的调度方法及装置
CN106502792A (zh) * 2016-10-20 2017-03-15 华南理工大学 一种面向不同类型负载的多租户资源优化调度方法
CN106502792B (zh) * 2016-10-20 2019-11-15 华南理工大学 一种面向不同类型负载的多租户资源优化调度方法
CN106569891A (zh) * 2016-11-09 2017-04-19 郑州云海信息技术有限公司 一种存储系统中任务调度执行的方法和装置
CN108241524A (zh) * 2016-12-26 2018-07-03 北京视联动力国际信息技术有限公司 一种任务执行方法及系统
CN108241524B (zh) * 2016-12-26 2019-04-02 视联动力信息技术股份有限公司 一种任务执行方法及系统
CN107656805A (zh) * 2017-10-20 2018-02-02 广东电网有限责任公司电力调度控制中心 一种基于Hadoop平台的电力数据作业调度方法
CN108052382A (zh) * 2017-12-26 2018-05-18 努比亚技术有限公司 一种i/o调度方法、终端及可读存储介质
CN108052382B (zh) * 2017-12-26 2020-12-15 银川华信智信息技术有限公司 一种i/o调度方法、终端及可读存储介质
CN112181662A (zh) * 2020-10-13 2021-01-05 深圳壹账通智能科技有限公司 任务调度方法、装置、电子设备及存储介质
CN112181662B (zh) * 2020-10-13 2023-05-02 深圳壹账通智能科技有限公司 任务调度方法、装置、电子设备及存储介质
CN112579273A (zh) * 2020-12-15 2021-03-30 京东数字科技控股股份有限公司 任务调度方法及装置、计算机可读存储介质
CN112579273B (zh) * 2020-12-15 2023-05-30 京东科技控股股份有限公司 任务调度方法及装置、计算机可读存储介质
CN115543624A (zh) * 2022-10-13 2022-12-30 联通(广东)产业互联网有限公司 异构算力编排调度方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN103365729A (zh) 一种基于任务类型的动态MapReduce 调度方法及系统
Zhou et al. Edge-enabled two-stage scheduling based on deep reinforcement learning for internet of everything
CN108762896B (zh) 一种基于Hadoop集群任务调度方法及计算机设备
Ananthanarayanan et al. {GRASS}: Trimming stragglers in approximation analytics
US10783436B2 (en) Deep learning application distribution
JP2010122758A (ja) ジョブ管理装置、ジョブ管理方法およびジョブ管理プログラム
CN103488775A (zh) 一种用于大数据处理的计算系统及计算方法
Kang et al. Lalarand: Flexible layer-by-layer cpu/gpu scheduling for real-time dnn tasks
CN103941649A (zh) 多轴运动卡控制系统的控制方法
WO2012037760A1 (zh) 提升告警处理效率的方法、服务器及系统
CN103346902B (zh) 数据采集调度的方法及系统
CN105740059B (zh) 一种面向可分割任务的粒子群调度方法
CN116263701A (zh) 算力网络任务调度方法、装置、计算机设备及存储介质
Althebyan et al. Multi-threading based map reduce tasks scheduling
CN104346220B (zh) 一种任务调度方法与系统
CN110837415B (zh) 一种基于risc-v多核处理器的线程调度方法和装置
US20140052432A1 (en) Method for a design evaluation of a system
CN102184124B (zh) 任务调度方法及系统
Naik et al. A review of adaptive approaches to MapReduce scheduling in heterogeneous environments
Pedarsani et al. Scheduling tasks with precedence constraints on multiple servers
CN110502337B (zh) 针对Hadoop MapReduce中混洗阶段的优化系统
CN107220114A (zh) 基于资源统一调度的分布式资源调度方法
CN111190704A (zh) 一种基于大数据处理框架的任务分类处理方法
CN107066318A (zh) 一种适用于流计算的数据调度方法
Khalil et al. Survey of Apache Spark optimized job scheduling in Big Data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20131023

RJ01 Rejection of invention patent application after publication