CN108769182A - 一种预测执行任务执行时间的组合优化调度方法 - Google Patents

一种预测执行任务执行时间的组合优化调度方法 Download PDF

Info

Publication number
CN108769182A
CN108769182A CN201810510271.XA CN201810510271A CN108769182A CN 108769182 A CN108769182 A CN 108769182A CN 201810510271 A CN201810510271 A CN 201810510271A CN 108769182 A CN108769182 A CN 108769182A
Authority
CN
China
Prior art keywords
task
node
combination
executes
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810510271.XA
Other languages
English (en)
Inventor
郭乃网
田英杰
苏运
陈睿
宋岩
沈泉江
庞天宇
方炯
杨洪山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Star Link Information Technology (shanghai) Co Ltd
State Grid Shanghai Electric Power Co Ltd
East China Power Test and Research Institute Co Ltd
Original Assignee
Star Link Information Technology (shanghai) Co Ltd
State Grid Shanghai Electric Power Co Ltd
East China Power Test and Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Star Link Information Technology (shanghai) Co Ltd, State Grid Shanghai Electric Power Co Ltd, East China Power Test and Research Institute Co Ltd filed Critical Star Link Information Technology (shanghai) Co Ltd
Priority to CN201810510271.XA priority Critical patent/CN108769182A/zh
Publication of CN108769182A publication Critical patent/CN108769182A/zh
Priority to JP2018566566A priority patent/JP2020524313A/ja
Priority to PCT/CN2018/118871 priority patent/WO2019223283A1/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种预测执行任务执行时间的组合优化调度方法，包括步骤：1、基于CREST组合优化预测执行任务调度模型；2、采集节点间带宽和节点处理能力能细粒度资源信息；3、根据节点间带宽和节点处理能力能细粒度资源信息获取重调度任务的预计完成时间；4、设计重执行慢任务组合方案，获取慢任务组合重执行预计完成时间；5、设计慢任务最优组合重执行方案，根据重调度任务的预计完成时间及慢任务组合重执行预计完成时间，获取组合重执行优化的目标方程；6、设置权重，利用组合重执行优化的目标方程获取有效缩短的预测执行任务运行时间。与现有技术相比，本发明具有有效缩短预测执行任务运行时间、提升性能效益、满足数据本地性需求等优点。

Description

一种预测执行任务执行时间的组合优化调度方法
技术领域
本发明涉及一种离线作业调度方法，尤其是涉及一种预测执行任务执行时间的组合优化调度方法。
背景技术
供配电大数据应用需要实现海量数据实时处理，需要依赖现有并行处理技术，同时还强调相关计算与存储能力的灵活性、可靠性、可管理性和经济性。其中，在对类似MapReduce等离线作业进行调度时，MapReduce作业的运行时间由执行时间最长的Map任务和运行时间最长的Reduce任务的运行时间之和决定，因此，要使作业的运行时间最短，就要最小化Map任务的运行时间和Reduce任务的运行时间的最大值。因此，如何最小化MapReduce作业运行时间转化为一个Min-Max优化问题。现有技术可实现作业运行时间基本的最小化，但在最优情况下无法有效地增加性能增益，且不能良好地适用于分布计算环境中的资源的异构性和动态性。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种预测执行任务执行时间的组合优化调度方法。
本发明的目的可以通过以下技术方案来实现：
由于Reduce任务数目比较少，任务需要传输的数据集较小，其输入数据需要从所有Map任务获取，不存在数据本地性问题。因此，采用CREST技术可降低所有Map任务中慢任务的运行时间，因而问题可以进一步转化为如何最小化Map慢任务的预测执行任务的执行时间tspec。
在一个支持离线调度的网络中，任务节点之间的带宽较小，任务节点的处理能力异构，需要在调度预测执行任务时考虑数据本地性需求。针对分布计算环境中的资源的异构性和动态性，产生了一系列资源监控的方法和系统。同时，关于MapReduce作业中任务的执行时间模型和通过样本任务的抽样运行来预测节点对任务的处理能力等方法也取得了很好的应用效果。因此，分布计算环境中节点间的带宽和处理任务的能力等细粒度资源信息可以用于优化预测执行任务调度。
基于上述内容，本发明涉及一种预测执行任务执行时间的组合优化调度方法，该方法包括以下步骤：
S1：基于CREST(CombinationRe-ExecutionSpeculativeTechnology，组合优化的预测执行技术)组合优化预测执行任务调度模型；
CREST包含CREST组合优化预测执行任务调度模型和CREST组合重执行调度算法及其实现两部分。由于每个计算节点之间都存在直接网络连接，即任意两点的通讯不需要第三个节点转发，因此，采用完全图表示节点的网络拓扑结构图和任务迁移图。CREST组合优化预测执行任务调度模型是一个有向完全图，每条边代表一个可能的迁移路径，即将该边始点上运行的任务结束，迁移到该边的终点上重新执行。
预测执行任务的调度通常存在两种机制：
1)LATE：直接在空闲资源上运行预测执行任务；
2)CREST：一种组合重执行机制，其组合重执行方案可视为从慢任务节点到空闲节点的一条无环路径。对该路径上的每条边，其始点上的任务被迁移到其终点上重新执行，依次顺延，保留慢任务节点上的慢任务继续执行。假设组合重执行机制中不存在节点之间互换作业的情况，即路径中不存在环路，因已经开始运行的作业其数据已经传输到节点本地，且Map任务的负载大致相当，初始分配作业时已经考虑到了数据本地性的要求，因此节点之间互换作业并不会带来性能收益。
S2：引入节点间带宽和节点处理能力能细粒度资源信息。
对有向完全图的边(u，v)而言，假设Tu表示节点u上运行的Map任务，d(Tu)表示Tu所处理的数据，|d(Tu)|表示d(Tu)的大小，PRv表示节点完成该类型Map任务的进度速率(Progress Rate)，bw(u，v)表示节点u，v之间网络连接的带宽。
S3：获取重调度任务的预计完成时间。
给定节点u上执行的Map任务重新调度到节点v上执行，则其预计完成时间(ExpectedTimetoFinish，ETF)用t′etf(u，v)表示，定义为式：
其中，tc表示当前时刻。数据传输时间tdata_movement可由公式得到：
需要指出的是，d(Tu)可以从u以外的节点传输到v，在算法实现中使用副本优化选择策略来加速传输。
S4：获取重执行慢任务组合方案。
给定s表示慢任务运行节点，f表示空闲节点，PATH(s，f)示从s到f的一条路径，PATH(s，f)沿着级联地将所有包含边中起始节点的任务迁移到终止节点上执行，定义为沿PATH(s，f)的慢任务的组合重执行方案。
慢任务组合重执行预计完成时间为：给定沿的慢任务组合重执行，则其预计完成时间定义为所有迁移作业的预计完成时间的最大值，其表达式为：
S5：获取慢任务最优组合重执行方案。
最优慢任务组合执方案定义为预测完成时间最小的组合重新执行方案，用CRES表示，即慢任务最优组合重执行预计完成时间为：
tspec(CRES)＝min(tspec(PATH(s，f)))forallpathconnects，f…
则沿最优组合重执行方案所取得的慢任务预测执行的预计完成时间为：
tcres＝min(tspec(PATH(s，f)))forallpathconnects，f
综合步骤S3可获取组合重执行优化的目标方程为：
S6：调节权重，获取缩短的预测执行任务运行时间。
将任务调度模型图中有向边(u，v)的权重设置为t′etf(u，v)，该权值大于零，则慢任务最优组合重执行方案在任务调度模型图中上体现为一条最优路径(CRES)，该路径的权值不是所含边的权值算术和，而是所含边中权值的最大值。优化后即可获取有效缩短的预测执行任务运行时间。
与现有技术相比，本发明具有以下优点：
(1)本发明采用CREST技术平均能够缩短50％以上的预测执行任务运行时间，在最优情况下，这一性能增益可达70％，同时，采用CREST技术时，有超过50％的概率获得40％以上的性能收益，随着副本数因子增大，采用CREST技术的性能提升幅度进一步变大；
(2)本发明引入了节点间带宽和节点处理能力能细粒度资源信息来设计组合优化机制，可满足预测执行任务的数据本地性需求，并良好地适用于分布计算环境中的资源的异构性和动态性。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示，本发明涉及一种预测执行任务执行时间的组合优化调度方法，包括以下步骤：
1)基于CREST技术组合优化预测执行任务调度模型；
2)采集节点间带宽和节点处理能力能细粒度资源信息；
3)根据节点间带宽和节点处理能力能细粒度资源信息获取重调度任务的预计完成时间；
4)设计重执行慢任务组合方案，获取慢任务组合重执行预计完成时间；
5)设计慢任务最优组合重执行方案，根据步骤3)获取的重调度任务的预计完成时间及步骤4)获取的慢任务组合重执行预计完成时间，获取组合重执行优化的目标方程；
6)设置权值，利用组合重执行优化的目标方程获取有效缩短的预测执行任务运行时间。
在一个支持离线调度的网络中，任务节点之间的带宽较小，任务节点的处理能力异构，需要在调度预测执行任务时考虑数据本地性需求。针对分布计算环境中的资源的异构性和动态性，产生了一系列资源监控的方法和系统。同时，关于MapReduce作业中任务的执行时间模型和通过样本任务的抽样运行来预测节点对任务的处理能力等方法也取得了很好的应用效果。因此，分布计算环境中节点间的带宽和处理任务的能力等细粒度资源信息可以用于优化预测执行任务调度。
CREST是一种借助细粒度资源信息，通过组合优化机制满足预测执行任务的数据本地性需求，消除数据传输的时间开销，进而大幅降低整个作业Map阶段执行时间的优化技术。CREST技术包含CREST组合优化预测执行任务调度模型和CREST组合重执行调度算法及其实现两部分。由于每个计算节点之间都存在直接网络连接，即任意两点的通讯不需要第三个节点转发，因此，我们可采用完全图表示节点的网络拓扑结构图和任务迁移图。CREST组合优化预测执行任务调度模型是一个有向完全图，每条边代表一个可能的迁移路径，即将该边始点上运行的任务结束，迁移到该边的终点上重新执行。通常，预测执行任务的调度，存在两种机制：
1)LATE：直接在空闲资源上运行预测执行任务；
2)CREST：一种组合重执行机制，其组合重执行方案在上图中可视为从慢任务节点到空闲节点的一条无环路径。对该路径上的每条边，其始点上的任务会被迁移到其终点上重新执行，依次顺延，但是保留慢任务节点上的慢任务继续执行。我们假设组合重执行机制中不存在节点之间互换作业的情况，即路径中不存在环路，这在现实中是合理的，因为已经开始运行的作业其数据已经传输到节点本地，并且Map任务的负载大致相当，初始分配作业时已经考虑到了数据本地性的要求，因此节点之间互换作业并不会带来性能收益。
相对于LATE，CREST引入了节点间带宽和节点处理能力能细粒度资源信息，并且设计了组合优化机制满足预测执行任务的数据本地性需求。对上图中的边(u，v)而言，设Tu表示节点u上运行的Map任务，d(Tu)表示Tu所处理的数据，|d(Tu)|表示d(Tu)的大小，PRv表示节点完成该类型Map任务的ProgressRate，bw(u，v)表示节点u，v之间网络连接的带宽。
重调度任务的预计完成时间：给定节点u上执行的Map任务重新调度到节点v上执行，则其预计完成时间t′etf(u，v)的定义如下：
其中数据传输时间tdata_movement可由公式得到：
其中tc表示当前时刻。需要指出的是，d(Tu)也可以从u以外的节点传输到v，我们在算法实现中使用副本优化选择策略来加速传输。
慢任务组合重执行方案：给定s表示慢任务运行节点，f表示空闲节点，PATH(s，f)表示从s到f的一条路径，PATH(s，f)沿着级联地将所有包含边中起始节点的任务迁移到终止节点上执行，定义为沿PATH(s，f)的慢任务的组合重执行方案。慢任务组合重执行预计完成时间：给定沿的慢任务组合重执行，则其预计完成时间定义为所有迁移作业的预计完成时间的最大值，如下式：
慢任务最优组合重执行方案：给定s表示慢任务运行节点，f表示空闲节点。PATH(s，f)从s到f的一条路径，最优慢任务组合执方案定义为预测完成时间最小的组合重新执行方案，用CRES表示，如下式：
tspec(CRES)＝min(tspec(PATH(s，f)))forallpathconnects，f
令tspec(CRES)表示沿最优组合重执行方案所取得的慢任务预测执行的预计完成时间，见式：
tcres＝min(tspec(PATH(s，f)))forallpathconnects，f
则由公式可得组合重执行优化的目标方程：
将任务调度模型图中有向边(u，v)的权重设置为t′etf(u，v)，该权值大于零，则慢任务最优组合重执行方案在任务调度模型图中上体现为一条最优路径(CRES)，该路径的权值不是所含边的权值算术和，而是所含边中权值的最大值。优化后即可获取有效缩短的预测执行任务运行时间。
经过大量的实验表明，使用CREST技术平均能够缩短50％以上的预测执行任务运行时间，最优情况下，这一性能增益可达70％。同时，采用CREST技术时，有超过50％的概率获得40％以上的性能收益。随着副本数因子增大，采用CREST技术的性能提升幅度会进一步变大。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种预测执行任务执行时间的组合优化调度方法，其特征在于，该方法包括以下步骤：
1)基于CREST技术组合优化预测执行任务调度模型；
2)采集节点间带宽和节点处理能力能细粒度资源信息；
3)根据节点间带宽和节点处理能力能细粒度资源信息获取重调度任务的预计完成时间；
4)设计重执行慢任务组合方案，获取慢任务组合重执行预计完成时间；
5)设计慢任务最优组合重执行方案，根据步骤3)获取的重调度任务的预计完成时间及步骤4)获取的慢任务组合重执行预计完成时间，获取组合重执行优化的目标方程；
6)设置权重，利用组合重执行优化的目标方程获取有效缩短的预测执行任务运行时间。
2.根据权利要求1所述的一种预测执行任务执行时间的组合优化调度方法，其特征在于，CREST包括CREST组合优化预测执行任务调度模型和CREST组合重执行调度算法及其实现两部分，所述的CREST组合优化预测执行任务调度模型为一个有向完全图。
3.根据权利要求2所述的一种预测执行任务执行时间的组合优化调度方法，其特征在于，步骤1)的具体内容为：
采用完全图表示节点的网络拓扑结构图和任务迁移图，CREST组合优化预测执行任务调度模型的有向完全图的每条边代表一个可能的迁移路径，将该边始点上运行的任务结束，迁移到该边的终点上重新执行。
4.根据权利要求3所述的一种预测执行任务执行时间的组合优化调度方法，其特征在于，步骤2)中，节点间带宽和节点处理能力能细粒度资源信息包括节点上运行的Map任务、Map任务所处理的数据、处理的数据的大小、节点完成该类型Map任务的进度速率以及节点之间网络连接的带宽。
5.根据权利要求4所述的一种预测执行任务执行时间的组合优化调度方法，其特征在于，步骤3)中，重调度任务的预计完成时间t′etf(u，v)的表达式为：
式中，tc为当前时刻，tdata_movement为数据传输时间，(u，v)为有向完全图的边，u，v分别为两个节点，Tu为节点u上运行的Map任务，d(Tu)为Tu所处理的数据，|d(Tu)|为d(Tu)的大小，PRv为节点完成该类型Map任务的进度速率，bw(u，v)为节点u，v之间网络连接的带宽。
6.根据权利要求5所述的一种预测执行任务执行时间的组合优化调度方法，其特征在于，步骤4)的具体内容为：
假设s为慢任务运行节点，f为空闲节点，PATH(s，f)为从s到f的一条路径，PATH(s，f)沿着级联地将所有包含边中起始节点的任务迁移到终止节点上执行，定义为沿PATH(s，f)的慢任务的组合重执行方案；
慢任务组合重执行预计完成时间为：给定沿的慢任务组合重执行，则其预计完成时间定义为所有迁移作业的预计完成时间的最大值，其表达式为：
7.根据权利要求6所述的一种预测执行任务执行时间的组合优化调度方法，其特征在于，步骤5)的具体内容为：
最优慢任务组合执方案定义为预测完成时间最小的组合重新执行方案，用CRES表示，即慢任务最优组合重执行预计完成时间为：
tspec(CRES)＝min(tspec(PATH(s，f)))forallpathconnects，f…
则沿最优组合重执行方案所取得的慢任务预测执行的预计完成时间为：
tcres＝min(tspec(PATH(s，f)))forallpathconnects，f
综合重调度任务的预计完成时间，获取组合重执行优化的目标方程为：
tcres＝min(max(t′etf(u，v)))，
8.根据权利要求7所述的一种预测执行任务执行时间的组合优化调度方法，其特征在于，步骤6)的具体内容为：
将任务调度模型图中有向边(u，v)的权重设置为t′etf(u，v)，根据组合重执行优化的目标方程获取有效缩短的预测执行任务运行时间。
9.根据权利要求8所述的一种预测执行任务执行时间的组合优化调度方法，其特征在于，设置的权重t′etf(u，v)大于零。
10.根据权利要求5所述的一种预测执行任务执行时间的组合优化调度方法，其特征在于，采用副本优化选择策略加速数据传输，数据传输时间的表达式为：
其中，d(Tu)从u以外的节点传输到v。
CN201810510271.XA 2018-05-24 2018-05-24 一种预测执行任务执行时间的组合优化调度方法 Pending CN108769182A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810510271.XA CN108769182A (zh) 2018-05-24 2018-05-24 一种预测执行任务执行时间的组合优化调度方法
JP2018566566A JP2020524313A (ja) 2018-05-24 2018-12-03 予測実行タスクの実行時間を組み合わせ最適化するスケジューリング方法
PCT/CN2018/118871 WO2019223283A1 (zh) 2018-05-24 2018-12-03 预测执行任务执行时间的组合优化调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810510271.XA CN108769182A (zh) 2018-05-24 2018-05-24 一种预测执行任务执行时间的组合优化调度方法

Publications (1)

Publication Number Publication Date
CN108769182A true CN108769182A (zh) 2018-11-06

Family

ID=64005528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810510271.XA Pending CN108769182A (zh) 2018-05-24 2018-05-24 一种预测执行任务执行时间的组合优化调度方法

Country Status (3)

Country Link
JP (1) JP2020524313A (zh)
CN (1) CN108769182A (zh)
WO (1) WO2019223283A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109960573A (zh) * 2018-12-29 2019-07-02 天津南大通用数据技术股份有限公司 一种基于智能感知的跨域计算任务调度方法及系统
CN110083672A (zh) * 2019-04-29 2019-08-02 广东广量测绘信息技术有限公司 地理信息大数据三维可视化系统
WO2019223283A1 (zh) * 2018-05-24 2019-11-28 国网上海市电力公司 预测执行任务执行时间的组合优化调度方法
CN111199316A (zh) * 2019-12-31 2020-05-26 中国电力科学研究院有限公司 一种基于执行时间评估的云雾协同计算电网调度方法
CN111240844A (zh) * 2020-01-13 2020-06-05 星环信息科技（上海）有限公司 一种资源调度方法、设备及存储介质
CN112698911A (zh) * 2020-12-28 2021-04-23 广东石油化工学院 一种基于深度强化学习的云作业调度方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111475298B (zh) * 2020-04-03 2023-05-02 北京字节跳动网络技术有限公司 任务处理方法、装置、设备及存储介质
CN114579268A (zh) * 2022-01-30 2022-06-03 阿里巴巴（中国）有限公司 资源调度方法以及装置
CN115375249A (zh) * 2022-10-26 2022-11-22 埃克斯工业有限公司 物料搬运调度方法、装置、设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140215471A1 (en) * 2013-01-28 2014-07-31 Hewlett-Packard Development Company, L.P. Creating a model relating to execution of a job on platforms
CN104461748A (zh) * 2015-01-04 2015-03-25 电子科技大学 一种基于MapReduce的最优本地化任务调度方法
CN104636204A (zh) * 2014-12-04 2015-05-20 中国联合网络通信集团有限公司 一种任务调度方法与装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769182A (zh) * 2018-05-24 2018-11-06 国网上海市电力公司 一种预测执行任务执行时间的组合优化调度方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140215471A1 (en) * 2013-01-28 2014-07-31 Hewlett-Packard Development Company, L.P. Creating a model relating to execution of a job on platforms
CN104636204A (zh) * 2014-12-04 2015-05-20 中国联合网络通信集团有限公司 一种任务调度方法与装置
CN104461748A (zh) * 2015-01-04 2015-03-25 电子科技大学 一种基于MapReduce的最优本地化任务调度方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019223283A1 (zh) * 2018-05-24 2019-11-28 国网上海市电力公司 预测执行任务执行时间的组合优化调度方法
CN109960573A (zh) * 2018-12-29 2019-07-02 天津南大通用数据技术股份有限公司 一种基于智能感知的跨域计算任务调度方法及系统
CN109960573B (zh) * 2018-12-29 2021-01-08 天津南大通用数据技术股份有限公司 一种基于智能感知的跨域计算任务调度方法及系统
CN110083672A (zh) * 2019-04-29 2019-08-02 广东广量测绘信息技术有限公司 地理信息大数据三维可视化系统
CN111199316A (zh) * 2019-12-31 2020-05-26 中国电力科学研究院有限公司 一种基于执行时间评估的云雾协同计算电网调度方法
CN111240844A (zh) * 2020-01-13 2020-06-05 星环信息科技（上海）有限公司 一种资源调度方法、设备及存储介质
CN112698911A (zh) * 2020-12-28 2021-04-23 广东石油化工学院 一种基于深度强化学习的云作业调度方法
CN112698911B (zh) * 2020-12-28 2022-05-17 广东石油化工学院 一种基于深度强化学习的云作业调度方法

Also Published As

Publication number Publication date
JP2020524313A (ja) 2020-08-13
WO2019223283A1 (zh) 2019-11-28

Similar Documents

Publication Publication Date Title
CN108769182A (zh) 一种预测执行任务执行时间的组合优化调度方法
Abed-Alguni et al. Distributed Grey Wolf Optimizer for scheduling of workflow applications in cloud environments
Bhattacharjee et al. Barista: Efficient and scalable serverless serving system for deep learning prediction services
CN104636204B (zh) 一种任务调度方法与装置
CN110737529A (zh) 一种面向短时多变大数据作业集群调度自适应性配置方法
CN109561148A (zh) 边缘计算网络中基于有向无环图的分布式任务调度方法
Huang et al. Rlsk: A job scheduler for federated kubernetes clusters based on reinforcement learning
CN102135914B (zh) 一种可自动调节参数的云计算系统负载预测方法
CN103116525A (zh) 一种Internet环境下MapReduce计算方法
CN111782627B (zh) 面向广域高性能计算环境的任务与数据协同调度方法
Taheri et al. Hopfield neural network for simultaneous job scheduling and data replication in grids
Shukla et al. Fault tolerance based load balancing approach for web resources in cloud environment.
Yao et al. An intelligent scheduling algorithm for complex manufacturing system simulation with frequent synchronizations in a cloud environment
Mahato et al. Dynamic and adaptive load balancing in transaction oriented grid service
CN117579701A (zh) 一种移动边缘网络计算卸载方法及系统
Xue et al. BOLAS: bipartite-graph oriented locality-aware scheduling for MapReduce tasks
Visheratin et al. Hard-deadline constrained workflows scheduling using metaheuristic algorithms
Xu et al. Intelligent scheduling for parallel jobs in big data processing systems
Prado et al. On providing quality of service in grid computing through multi-objective swarm-based knowledge acquisition in fuzzy schedulers
CN114035919A (zh) 基于配电网分层分布特征的任务调度系统及方法
Mao et al. Hierarchical model-based associate tasks scheduling with the deadline constraints in the cloud
Kokilavani et al. An ant colony optimization based load sharing technique for meta task scheduling in grid computing
Al Qassem et al. Containerized Microservices: A Survey of Resource Management Frameworks
Chandra et al. Prediction based dynamic load balancing techniques in heterogeneous clusters
Gao et al. BOLAS+: Scalable lightweight locality-aware scheduling for Hadoop

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181106