CN110086855B - 基于蚁群算法的Spark任务智能感知调度方法 - Google Patents

基于蚁群算法的Spark任务智能感知调度方法 Download PDF

Info

Publication number
CN110086855B
CN110086855B CN201910250517.9A CN201910250517A CN110086855B CN 110086855 B CN110086855 B CN 110086855B CN 201910250517 A CN201910250517 A CN 201910250517A CN 110086855 B CN110086855 B CN 110086855B
Authority
CN
China
Prior art keywords
calculation
spark
task
node
computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910250517.9A
Other languages
English (en)
Other versions
CN110086855A (zh
Inventor
陈华
李凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kaituo Information Systems Co ltd
Original Assignee
Kaituo Information Systems Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kaituo Information Systems Co ltd filed Critical Kaituo Information Systems Co ltd
Priority to CN201910250517.9A priority Critical patent/CN110086855B/zh
Publication of CN110086855A publication Critical patent/CN110086855A/zh
Application granted granted Critical
Publication of CN110086855B publication Critical patent/CN110086855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Multi Processors (AREA)

Abstract

本发明公开了一种基于蚁群算法的Spark任务智能感知调度方法，其特征在于，客户端向任务调度控制器发送计算请求；集群资源智能控制器通过kafka消息组件实时收集各spark计算结点上的工作负载和在运行时加载流量信息并进行数据的汇聚；集群资源智能控制器通过基于蚁群算法的调度计算方法对各spark计算结点的资源进行计算；任务调度控制器调取集群资源智能控制器计算之后的任务资源信息；任务调度控制器按新的计算需求执行的资源与运行权重，与各个spark计算结点进行通信，把新计算任务加载到合适的spark计算结点中；spark计算结点获取计算任务后，从Hadoop数据资源中获取实际的计算数据，并进行计算工作。采用本方案后最大限度地提升资源利用率和计算性能。

Description

基于蚁群算法的Spark任务智能感知调度方法
技术领域
本发明涉及大数据运算处理技术领域，尤其涉及一种基于蚁群算法的Spark任务智能感知调度方法。
背景技术
现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理(MPP)数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。
蚁群算法是一种用来寻找优化路径的概率型算法。它由Marco Dorigo于1992年在他的博士论文中提出，其灵感来源于蚂蚁在寻找食物过程中发现路径的行为。这种算法具有分布计算、信息正反馈和启发式搜索的特征，本质上是进化算法中的一种启发式全局优化算法。与其他优化算法相比，蚁群算法具有以下几个特点：
(1)采用正反馈机制，使得搜索过程不断收敛，最终逼近最优解。
(2)每个个体可以通过释放信息素来改变周围的环境，且每个个体能够感知周围环境的实时变化，个体间通过环境进行间接地通讯。
(3)搜索过程采用分布式计算方式，多个个体同时进行并行计算，大大提高了算法的计算能力和运行效率。
(4)启发式的概率搜索方式不容易陷入局部最优，易于寻找到全局最优解。
随着大数据业务的快速增长，大规模数据处理的计算变成了一种业务上的需求，Spark是专为大规模数据处理而设计的快速通用的计算引擎，在以集群的方式运行SparkApp时，任务调度控制器schedule会将Task分发给Executor来执行，当有多个应用或者多个程序在你的集群中运行时，默认的任务调度控制器未考虑到不同计算资源结点的计算性能和负载差异，以及计算结点之间的网络通信开销和结点内部的进程通信开销，当Task复杂度变化比较大时，容易导致各计算结点的负载不平衡，难以将各Executor结点资源与任务需求相结合，造成了Executor结点计算资源利用率不高、Executor结点内存不足以及网络堵塞等问题。
如何提供一种通过计算集群中各Executor的资源可用性，来分配相应的Task，最大限度地提升资源利用率和计算性能的高效的任务调度方法，是本案的发明人致力于研究的课题。
发明内容
为了解决现有技术存在的缺陷，本发明提供一种基于蚁群算法的Spark任务智能感知调度方法。
为了实现上述目的，本发明采用的技术方案是一种基于蚁群算法的Spark任务智能感知调度方法，
步骤一、客户端向任务调度控制器发送计算请求；
步骤二、集群资源智能控制器通过kafka消息组件实时收集各spark计算结点上的工作负载和在运行时加载流量信息并进行数据的汇聚；
步骤三、集群资源智能控制器通过基于蚁群算法的调度计算方法对各spark计算结点的资源进行计算；调度计算方法为：S1、进行算法参数的初始化，对集群中的各spark计算结点进行信息素设置；S2:进行算法的最大迭代次数设置；S3:n只蚂蚁随机发送到m个结点上；S4:根据给定预测时间的阈值和相应的结点选择概率，每只蚂蚁进行下个结点的选择；S5:当所有spark Job都分配完成后，更新所有结点对应的全局计算资源，否则跳转至步骤4；S6:当算法达到最大循环次数，输出Job分配结点的最优解，否则跳转至步骤3。
步骤四、任务调度控制器调取集群资源智能控制器计算之后的任务资源信息；任务调度控制器按新的计算需求执行的资源与运行权重，与各个spark计算结点进行通信，把新计算任务加载到合适的spark计算结点中；
步骤五、spark计算结点获取计算任务后，从Hadoop数据资源中获取实际的计算数据，并进行计算工作。
进一步的改进，基于蚁群算法的Spark任务智能感知调度方法的预测完成时间的计算方法如下：
首先、将n个计算任务分配到m个spark计算结点上执行；
其次、假设ptij为第i个计算任务在第j个spark计算结点上预测执行结束的时间，即可知整个任务调度控制器分配到spark计算结点的计算任务预测完成时间矩阵为PT[n,m]:
Figure GDA0003272763340000033
ptij为第i个Job在第j个Executor上的预测完成时间。
进一步的改进，基于蚁群算法的Spark任务智能感知调度方法的状态转移概率的计算方法如下：
首先、随着计算任务的陆续不断分配，需要对计算任务的预测完成时间矩阵进行更新，更新方法如下：
Figure GDA0003272763340000031
其中
Figure GDA0003272763340000032
表示在t2时间，新任务Tpredict在第j个spark计算结点上的完成的预测时间；
其次、在实际的算法计算中，蚂蚁从第i个spark计算结点转移到第j个spark计算结点时，存在一个状态转移概率，概率公式如下：
Figure GDA0003272763340000041
其中
Figure GDA0003272763340000042
表示蚂蚁h从第i个spark计算结点转移到第j个spark计算结点的概率，bidenh(h＝1,2,…,m)表示已经走过的spark计算结点，不允许再走，称作禁止表，集合bidenh随着算法动态进行调整。
进一步的改进，基于蚁群算法的Spark任务智能感知调度方法中：
随着各计算任务的执行完成与新计算任务的分配，各个spark计算结点的计算资源也会随之变动，相应的计算方法如下：
若当前spark计算结点计算任务执行完成，公式如下：
Figure GDA0003272763340000043
若分配计算任务到当前spark计算结点，公式如下：
Figure GDA0003272763340000044
进一步的改进，基于蚁群算法的Spark任务智能感知调度方法中Spark计算结点包括资源监控单元和计算单元。
采用本发明的计算方案后，当客户端发送过来计算请求时，任务调度控制器不再像现有采用的计算方式那样，直接将任务分配给Spark计算节点进行处理。而是让集群资源智能感知器通过蚁群算法借助于kafka消息组件预先收集各Spark节点的节点资源信息，经过概率计算后给出全局最优化解，对任务调度进行指导，任务调度控制器根据集群资源智能感知器反馈的任务资源信息进行判断后来决定分配某个计算任务给某个Spark计算节点，即计算资源丰富的Spark计算节点。通过上述方式，实现了能够根据计算集群中各Spark计算节点的资源可用性，来实现高效的任务调度分配，最大限度地提升资源利用率和计算性能。
附图说明
图1是基于蚁群算法的Spark任务智能感知调度方法的原理框图。
图2是基于蚁群算法的Spark任务智能感知调度方法的蚁群算法计算算法流程图。
具体实施方式
下面结合附图对本申请优选的方案做进一步的阐述。
如图1所示，一种基于蚁群算法的Spark任务智能感知调度方法，
步骤一、客户端向任务调度控制器发送计算请求；
步骤二、集群资源智能控制器通过kafka消息组件实时收集各spark计算结点上的工作负载和在运行时加载流量信息并进行数据的汇聚；其中、Spark计算结点包括资源监控单元和计算单元。
步骤三、集群资源智能控制器通过基于蚁群算法的调度计算方法对各spark计算结点的资源进行计算；
步骤四、任务调度控制器调取集群资源智能控制器计算之后的任务资源信息；任务调度控制器按新的计算需求执行的资源与运行权重，与各个spark计算结点进行通信，把新计算任务加载到合适的spark计算结点中；
步骤五、spark计算结点获取计算任务后，从Hadoop数据资源中获取实际的计算数据，并进行计算工作。
为了更好地说明本计算方案的实质，现对基于蚁群算法的Spark任务智能感知调度方法的实现过程进行说明：
首先利用服务器底层服务加载各Executor节点的资源情况，实时收集工作负载和在运行时加载流量信息，通过kafka消息组件进行数据的汇聚；集群资源智能感知器以窗口模式从kafka组件中读取各Executor节点负载信息和使用资源情况(如：CPU，内存，磁盘，网络等)，
其次利用蚁群算法计算出当前局部最优的任务调度策略；集群智能感知器算法实现原理为:将调度任务问题转化为数学问题，即将n个job分配到m个Executor上执行，假设ptij为第i个job在第j个Executor上预测执行结束的时间，即可知整个Driver分配到Executor的Job预测完成时间矩阵为PT[n,m]:
Figure GDA0003272763340000061
ptij为第i个Job在第j个Executor上的预测完成时间。
随着job的陆续不断分配，需要对Job的预测完成时间矩阵进行更新，更新公式如下：
Figure GDA0003272763340000062
其中
Figure GDA0003272763340000063
表示在t2时间，新任务Tpredict在第j个Executor上的完成的预测时间。
同时，在实际的算法计算中，蚂蚁从第i个Executor转移到第j个Executor时，存在一个状态转移概率，概率公式如下：
Figure GDA0003272763340000064
其中
Figure GDA0003272763340000065
表示蚂蚁h从第i个Executor转移到第j个Executor的概率，bidenh(h＝1,2,…,m)表示已经走过的Executor节点，不允许再走，称作禁止表，集合bidenh随着算法动态进行调整。
随着各Job的执行完成与新Job的分配，各个Executor的计算资源也会随之变动，给出相应的计算公式：
若当前Executor节点Job执行完成，公式如下：
Figure GDA0003272763340000066
若分配Job到当前Executor节点，公式如下：
Figure GDA0003272763340000071
基于蚁群算法的调度计算步骤如下：
S1:进行算法参数的初始化，对集群Executor work节点进行信息素设置；
S2:进行算法的最大迭代次数设置；
S3:n只蚂蚁随机发送到m个节点上；
S4:根据给定预测时间的阈值和相应的节点选择概率，每只蚂蚁进行下个节点的选择；
S5:当所有spark Job都分配完成后，更新所有节点对应的全局计算资源，否则跳转至步骤4；
S6:当算法达到最大循环次数，输出Job分配节点的最优解，否则跳转至步骤3。
基于蚁群算法，通过对各Executor的cpu，memory，disk，network等资源进行计算，给出全局最优化解，对任务调度进行指导，来决定分配某个Job给某个Executor，即计算资源丰富的Executor。
基于蚁群算法的计算算法流程如下：
如图2所示，当开始计算后，进行初始化参数，然后进行最大迭代次数，结果为Y时，开始输出Job分配节点的最优解。否则、开始进行初始化检索表，当检索结果为N时进行遍历任务和蚂蚁结束，当遍历任务和蚂蚁结束的结果为Y时进行清空搜索表后记录信息，然后进行信息素更新，完成后继续进行最大迭代次数运算。当遍历任务和蚂蚁结束的结果非Y时进行遍历蚂蚁结束运算，运算结果为Y时，循环进行遍历蚂蚁结束运算。运算结果为N时，进行计算节点选择概率运算，运算结束后选择节点，然后进行加入搜索表处理，之后循环回遍历蚂蚁结束运算。
最终、任务调度控制器通过自定义策略，读取由集群资源智能感知器计算出来的任务调度策略，并通过Driver节点合理的分配线程来执行调度。来实现高效的任务调度分配，最大限度地提升资源利用率和计算性能。

Claims (5)

1.一种基于蚁群算法的Spark任务智能感知调度方法，其特征在于，
步骤一、客户端向任务调度控制器发送计算请求；
步骤二、集群资源智能控制器通过kafka消息组件实时收集各spark计算结点上的工作负载和在运行时加载流量信息并进行数据的汇聚；
步骤三、集群资源智能控制器通过基于蚁群算法的调度计算方法对各spark计算结点的资源进行计算；所述蚁群算法的调度计算方法为：S1：进行算法参数的初始化，对集群中的各spark计算结点进行信息素设置；S2:进行算法的最大迭代次数设置；
S3:n只蚂蚁随机发送到m个结点上；S4:根据给定预测时间的阈值和相应的结点选择概率，每只蚂蚁进行下个结点的选择；S5:当所有spark Job都分配完成后，更新所有结点对应的全局计算资源，否则跳转至步骤4；S6:当算法达到最大循环次数，输出Job分配结点的最优解，否则跳转至步骤3；
步骤四、任务调度控制器调取集群资源智能控制器计算之后的任务资源信息；任务调度控制器按新的计算需求执行的资源与运行权重，与各个spark计算结点进行通信，把新计算任务加载到合适的spark计算结点中；
步骤五、spark计算结点获取计算任务后，从Hadoop数据资源中获取实际的计算数据，并进行计算工作。
2.根据权利要求1所述的基于蚁群算法的Spark任务智能感知调度方法，其特征在于，预测完成时间的计算方法如下：
首先、将n个计算任务分配到m个spark计算结点上执行；
假设ptij为第i个计算任务在第j个spark计算结点上预测执行结束的时间，即可知整个任务调度控制器分配到spark计算结点的计算任务预测完成时间矩阵为PT[n,m]:
Figure FDA0003272763330000021
ptij为第i个Job在第j个Executor上的预测完成时间。
3.根据权利要求2所述的基于蚁群算法的Spark任务智能感知调度方法，其特征在于，状态转移概率的计算方法如下：
首先、随着计算任务的陆续不断分配，需要对计算任务的预测完成时间矩阵进行更新，更新方法如下：
Figure FDA0003272763330000022
其中
Figure FDA0003272763330000023
表示在t2时间，新任务Tpredict在第j个spark计算结点上的完成的预测时间；
其次、在实际的算法计算中，蚂蚁从第i个spark计算结点转移到第j个spark计算结点时，存在一个状态转移概率，概率公式如下：
Figure FDA0003272763330000024
其中
Figure FDA0003272763330000025
表示蚂蚁h从第i个spark计算结点转移到第j个spark计算结点的概率，bidenh(h＝1,2,…,m)表示已经走过的spark计算结点，不允许再走，称作禁止表，集合bidenh随着算法动态进行调整。
4.根据权利要求3所述的基于蚁群算法的Spark任务智能感知调度方法，其特征在于，
随着各计算任务的执行完成与新计算任务的分配，各个spark计算结点的计算资源也会随之变动，相应的计算方法如下：
若当前spark计算结点计算任务执行完成，公式如下：
Figure FDA0003272763330000031
若分配计算任务到当前spark计算结点，公式如下：
Figure FDA0003272763330000032
5.根据权利要求1所述的基于蚁群算法的Spark任务智能感知调度方法，其特征在于，Spark计算结点包括资源监控单元和计算单元。
CN201910250517.9A 2019-03-29 2019-03-29 基于蚁群算法的Spark任务智能感知调度方法 Active CN110086855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910250517.9A CN110086855B (zh) 2019-03-29 2019-03-29 基于蚁群算法的Spark任务智能感知调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910250517.9A CN110086855B (zh) 2019-03-29 2019-03-29 基于蚁群算法的Spark任务智能感知调度方法

Publications (2)

Publication Number Publication Date
CN110086855A CN110086855A (zh) 2019-08-02
CN110086855B true CN110086855B (zh) 2021-11-05

Family

ID=67413843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910250517.9A Active CN110086855B (zh) 2019-03-29 2019-03-29 基于蚁群算法的Spark任务智能感知调度方法

Country Status (1)

Country Link
CN (1) CN110086855B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110673560B (zh) * 2019-10-10 2021-02-05 清华大学 基于操作完工时间快速预测的集成电路生产线调度方法
CN111459628B (zh) * 2020-03-12 2023-11-28 大庆市凯德信信息技术有限公司 基于改进量子蚁群算法的Spark平台任务调度方法
CN111813548A (zh) * 2020-06-30 2020-10-23 北京金山云网络技术有限公司 一种资源调度方法、装置、电子设备及存储介质
CN114625493B (zh) * 2020-12-14 2024-04-02 中国石油大学(华东) 基于改进天牛须智能方法的Kubernetes集群资源调度方法
CN114780247B (zh) * 2022-05-17 2022-12-13 中国地质大学（北京） 一种流速和资源感知的流应用调度方法及系统
KR102488270B1 (ko) * 2022-08-09 2023-01-18 주식회사 데이터스트림즈 효율적인 스파크 잡 실행을 위한 하이브리드 스파크 클러스터 관리 방법 및 시스템

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101504795A (zh) * 2008-11-03 2009-08-12 天津理工大学 应用于立体车库车位调度的dsp控制系统的工作方法
CN102932422A (zh) * 2012-09-29 2013-02-13 南京邮电大学 基于改进蚁群算法的云环境任务调度方法
CN103067524A (zh) * 2013-01-18 2013-04-24 浪潮电子信息产业股份有限公司 一种基于云计算环境的蚁群优化计算资源分配方法
CN103970609A (zh) * 2014-04-24 2014-08-06 南京信息工程大学 一种基于改进蚁群算法的云数据中心任务调度方法
CN104200271A (zh) * 2014-08-22 2014-12-10 华南农业大学 一种发动机多目标优化算法
CN106936892A (zh) * 2017-01-09 2017-07-07 北京邮电大学 一种自组织云多对多计算迁移方法及系统
CN107133088A (zh) * 2017-04-19 2017-09-05 武汉科技大学 一种基于粒子群算法的多核系统任务调度方法
CN107766927A (zh) * 2017-11-03 2018-03-06 西南交通大学 基于个体‑种群的智能优化算法在Spark上的通用并行化方法
CN109167671A (zh) * 2018-07-11 2019-01-08 国网信通亿力科技有限责任公司 一种面向量子密钥分发业务的配用通信系统均衡负载调度算法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG122839A1 (en) * 2004-11-24 2006-06-29 Nanyang Polytechnic Method and system for timetabling using pheromone and hybrid heuristics based cooperating agents
CN103345657B (zh) * 2013-04-02 2016-05-25 江苏大学 云计算环境下基于遗传和蚁群的任务调度方法
CN105656973B (zh) * 2014-11-25 2018-11-13 中国科学院声学研究所 一种分布式节点组内任务调度方法及系统
CN105487920A (zh) * 2015-10-12 2016-04-13 沈阳工业大学 基于蚁群算法的多核系统实时任务调度的优化方法
CN107133095B (zh) * 2017-04-07 2020-04-07 北京科技大学 一种云环境下的任务调度方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101504795A (zh) * 2008-11-03 2009-08-12 天津理工大学 应用于立体车库车位调度的dsp控制系统的工作方法
CN102932422A (zh) * 2012-09-29 2013-02-13 南京邮电大学 基于改进蚁群算法的云环境任务调度方法
CN103067524A (zh) * 2013-01-18 2013-04-24 浪潮电子信息产业股份有限公司 一种基于云计算环境的蚁群优化计算资源分配方法
CN103970609A (zh) * 2014-04-24 2014-08-06 南京信息工程大学 一种基于改进蚁群算法的云数据中心任务调度方法
CN104200271A (zh) * 2014-08-22 2014-12-10 华南农业大学 一种发动机多目标优化算法
CN106936892A (zh) * 2017-01-09 2017-07-07 北京邮电大学 一种自组织云多对多计算迁移方法及系统
CN107133088A (zh) * 2017-04-19 2017-09-05 武汉科技大学 一种基于粒子群算法的多核系统任务调度方法
CN107766927A (zh) * 2017-11-03 2018-03-06 西南交通大学 基于个体‑种群的智能优化算法在Spark上的通用并行化方法
CN109167671A (zh) * 2018-07-11 2019-01-08 国网信通亿力科技有限责任公司 一种面向量子密钥分发业务的配用通信系统均衡负载调度算法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
The ant system：optimization by a colony of cooperating agents;Marco Dorigo等;《IEEE Transactions on Systems, Man, and Cybernetics–Part B》;19961231;全文 *
云计算中任务调度算法的优化与研究;马睿;《中国优秀硕士学位论文全文数据库 信息科技辑》;20141015;第29页图4.1 *
云计算任务调度算法的分析与优化;刘晓飞;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180415;同上 *
优化粒子群和蚁群算法的云计算任务调度研究;查安民;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170315;全文 *
刘晓飞.云计算任务调度算法的分析与优化.《中国优秀硕士学位论文全文数据库 信息科技辑》.2018, *

Also Published As

Publication number Publication date
CN110086855A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
CN110086855B (zh) 基于蚁群算法的Spark任务智能感知调度方法
CN111459628B (zh) 基于改进量子蚁群算法的Spark平台任务调度方法
Abd Elaziz et al. IoT workflow scheduling using intelligent arithmetic optimization algorithm in fog computing
CN102932422B (zh) 基于改进蚁群算法的云环境任务调度方法
CN104317658A (zh) 一种基于MapReduce的负载自适应任务调度方法
CN108182105B (zh) 基于Docker容器技术的局部动态迁移方法及控制系统
Rathore et al. Variable threshold-based hierarchical load balancing technique in Grid
CN103067524A (zh) 一种基于云计算环境的蚁群优化计算资源分配方法
CN103699433B (zh) 一种于Hadoop平台中动态调整任务数目的方法及系统
CN112162789A (zh) 一种基于软件定义的边缘计算随机卸载决策方法及系统
CN114679451B (zh) 面向边缘计算的服务调度系统及其调度方法
Abdullah et al. A reliable, TOPSIS-based multi-criteria, and hierarchical load balancing method for computational grid
CN108234617B (zh) 一种面向电力系统混合云模式下的资源动态调度方法
CN112162837B (zh) 一种基于软件定义的边缘计算调度方法及系统
CN116954905A (zh) 一种面向Flink大数据的任务编排与迁移方法
CN111782627B (zh) 面向广域高性能计算环境的任务与数据协同调度方法
Datta A new task scheduling method for 2 level load balancing in homogeneous distributed system
Guo Ant colony optimization computing resource allocation algorithm based on cloud computing environment
Du et al. An Improved Ant Colony Algorithm for New energy Industry Resource Allocation in Cloud Environment
Patel et al. An improved approach for load balancing among heterogeneous resources in computational grids
CN115686830A (zh) 边缘计算资源弹性调度方法及系统
CN114116157A (zh) 一种边缘环境下多边缘集群云结构及负载均衡调度方法
Mostafa Resource Selection Service Based on Neural Network in Fog Environment
CN113791913A (zh) 一种类脑计算机操作系统的任务迁移方法
Patel et al. An efficient load balancing mechanism with cost estimation on GridSim

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant