CN110413389B - 一种资源不均衡Spark环境下的任务调度优化方法 - Google Patents

一种资源不均衡Spark环境下的任务调度优化方法 Download PDF

Info

Publication number
CN110413389B
CN110413389B CN201910669809.6A CN201910669809A CN110413389B CN 110413389 B CN110413389 B CN 110413389B CN 201910669809 A CN201910669809 A CN 201910669809A CN 110413389 B CN110413389 B CN 110413389B
Authority
CN
China
Prior art keywords
node
cpu
task
cluster
priority
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910669809.6A
Other languages
English (en)
Other versions
CN110413389A (zh
Inventor
胡亚红
盛夏
毛家发
吴寅超
邱圆圆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910669809.6A priority Critical patent/CN110413389B/zh
Publication of CN110413389A publication Critical patent/CN110413389A/zh
Application granted granted Critical
Publication of CN110413389B publication Critical patent/CN110413389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/484—Precedence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种资源不均衡Spark环境下的任务调度优化方法，本发明对Spark的底层调度算法进行优化，提出了基于节点优先级的Spark动态自适应调度算法(Spark Dynamic Adaptive Scheduling Algorithm，SDASA)。SDASA使用节点的优先级表示其计算能力，并在任务运行过程中实时进行优先级的更新，充分了考虑节点的异构性、资源利用和负载等情况。实验证明SDASA能够提高Spark系统的运行效率，缩短作业执行时间。当执行不同数据量的同种任务时，使用SDASA算法集群性能平均提升6.99％；当执行不同种任务时，使用SDASA算法集群性能平均提升6.32％。

Description

一种资源不均衡Spark环境下的任务调度优化方法
技术领域
本发明涉及大数据处理领域，尤其涉及一种资源不均衡Spark环境下的任务调度优化方法。
背景技术
随着各大数据中心、超算中心和互联网公司等机构设备的更新换代和高性能部件(如GPU等)的引入，集群中各节点逐步变得异构，计算节点在CPU、内存和IO等方面不同的性能导致它们的处理能力出现差异。因而各节点的综合计算能力出现较大的差异，整个集群处于资源不均衡的状态。由于集群中各节点的能力不同，相同任务分配到不同节点将对节点负载产生不同的影响。Spark默认的任务调度是基于集群节点同构的理想化设计，并未考虑集群异构性及节点资源利用和负载变化的情况，因此无法满足资源异构模式下系统的效率和负载均衡等要求。
目前并行框架下的任务调度研究主要集中于Hadoop平台，对于资源不均衡的Spark环境下任务调度算法研究相对较少。一种自适应任务调度方法是通过检测节点负载和资源利用率来提高集群的运行性能。但是该算法考虑资源影响因素不够全面，权值过于依赖设定的阈值，主观性较强。一些基于人工智能及生物信息的任务调度优化算法，如蚁群算法、遗传算法等，虽能够进行多目标优化，但是这些算法原理比较复杂，实现起来计算量较大，因而调度效率较低。因此，为提高资源不均衡环境下Spark的性能，需要提出高效的任务调度算法。
发明内容
本发明为克服上述的不足之处，目的在于提供一种资源不均衡Spark环境下的任务调度优化方法，本发明通过分析集群中每个节点的计算能力，对Spark的底层调度算法进行优化，提出了基于节点优先级的Spark动态自适应调度算法(Spark Dynamic AdaptiveScheduling Algorithm，SDASA)。SDASA充分考虑节点的异构性、资源利用和负载等情况，能够提高Spark系统的运行效率，缩短作业执行时间。
本发明是通过以下技术方案达到上述目的：一种资源不均衡Spark环境下的任务调度优化方法，包括如下步骤：
(1)筛选影响节点优先级的静态因素和动态因素，建立节点优先级评价指标体系，并计算出各指标的权值；
(2)在集群中部署分布式集群资源监控系统Ganglia，集群启动时，触发监控启动心跳；
(3)当集群建立或有新节点加入集群时，Master节点计算各个Slave节点的静态性能指标值或新加入节点的静态性能指标值；
(4)Master节点计算各个Slave节点的动态性能指标值；
(5)Master节点计算每个Slave节点的优先级；
(6)Master节点读取各Slave节点的优先级，并根据各Slave节点优先级的值对节点进行排序；
(7)Master节点根据排序结果选择Slave节点，对所选择的节点进行遍历，将需要运行的任务分配给本地化程度最高的Slave节点；
(8)若任务执行完毕，返回任务执行结果；否则返回步骤(3)。
作为优选，所述步骤(1)具体如下：
(1.1)使用主成分分析法确定节点的静态因素为节点的CPU速度、CPU核数、内存大小和磁盘容量；
(1.2)使用主成分分析法确定节点的动态因素为节点的CPU剩余率、内存剩余率、磁盘容量剩余率以及CPU负载；
(1.3)基于步骤(1.1)和(1.2)的分析结果建立节点优先级评价指标体系，并对各指标的重要性进行评估；
(1.4)使用层次分析法得到各静态因素、动态因素的权值。
作为优选，所述步骤(3)具体如下：
(3.1)各个Slave节点使用Ganglia集群资源监控系统获取自己的静态因素值，包括CPU速度scpu_speed、CPU核数scpu_num、内存大小smem和磁盘容量sdisk；
(3.2)Slave节点使用单播将数据汇集到Master节点；
(3.3)Master节点使用公式(1)计算出第i个Slave节点的静态性能指标Si，i＝1to h，h为集群中slave节点的个数；
Figure BDA0002141318010000031
其中n1，n2，n3，n4分别为CPU速度、CPU核数、内存大小和磁盘容量等静态因素的权值，并且n1+n2+n3+n4＝1；n1，n2，n3，n4的值使用层次分析法计算得到。
作为优选，所述步骤(4)具体如下：
(4.1)各个Slave节点按照Ganglia集群资源监控系统配置文件给定的周期定时获取自己的动态因素值，包括节点CPU剩余率dcpu、内存剩余率dmem、磁盘容量剩余率ddisk以及CPU负载dlength；
(4.2)Slave节点使用单播将数据汇集到Master节点；
(4.3)Master节点使用公式(2)计算出第i个Slave节点的动态性能指标Di，i＝1to h，h为集群中slave节点的个数；
Figure BDA0002141318010000041
其中，m1，m2，m3，m4分别表示CPU剩余率、内存剩余率、磁盘容量剩余率以及CPU负载等动态因素的权值，并且m1+m2+m3+m4＝1；m1，m2，m3，m4的值使用层次分析法计算得到。
作为优选，所述步骤(5)具体为：Master节点使用步骤(3)和(4)得到的各Slave节点的静态指标值Si和动态指标值Di，使用公式(3)计算各个节点的优先级：
Pi＝αDi+βSi (3)
其中α和β分别是Di和Si的权值，使用层次分析法计算得到。
作为优选，所述步骤(7)具体如下：
(7.1)Master节点依次遍历按节点优先级大小排序的节点集合WorkerOffer；
(7.2)在每个节点轮流遍历任务集合中的每个任务，循环执行步骤(7.3)；
(7.3)获取任务在当前节点上的本地化参数；如果参数是最大的，则执行步骤(7.4)，否则执行步骤(7.2)；
(7.4)分配该Task给该节点。
本发明的有益效果在于：本发明使用优先级描述资源不均衡的异构集群中节点的计算能力，并根据节点的优先级进行任务调度。在集群运行过程中，实时获取各Slave节点的动态因素值，并更新节点的优先级值。提出的算法能够根据节点的当前性能完成任务调度，有效地提高了集群的性能，缩短了任务的执行时间。
附图说明
图1是本发明的方法流程示意图；
图2是本发明的节点优先级评价指标体系示意图；
图3是本发明的SDASA算法实施架构图；
图4是本发明的SDASA算法和Spark默认算法执行不同数据量的同种任务完成时间比较示意图；
图5是本发明的SDASA算法和Spark默认算法执行不同种任务完成时间比较示意图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：
实施例：本发明针对Spark默认的任务调度是基于集群节点同构的理想化设计这一问题，本发明通过分析集群中每个节点的计算能力，对Spark的底层调度算法进行优化，提出了基于节点优先级的Spark动态自适应调度算法(Spark Dynamic AdaptiveScheduling Algorithm，SDASA)。SDASA充分考虑节点的异构性、资源利用和负载等情况，能够提高Spark系统的运行效率，缩短作业执行时间。
节点的计算能力用节点优先级表示，优先级越高代表节点计算能力越强，被选中执行任务的概率越大。节点优先级由一组描述节点性能的指标(即节点性能指标)计算得到。节点性能指标包括静态性能指标和动态性能指标。静态性能指标指与任务执行状态无关的指标，其值由多个静态因素决定。节点动态性能指标则是指取值会随着任务执行状态而变化的指标，其值由多个动态因素决定。
如图1所示，一种资源不均衡Spark环境下的任务调度优化方法，包括如下步骤：
(1)筛选影响节点优先级的静态因素和动态因素，建立节点优先级评价指标体系并计算出各指标的权值。
(1.1)对影响节点性能的因素进行分析，建立节点的优先级评价指标体系，如附图2所示；其中，进行分析包括使用主成分分析法确定节点的静态因素为节点的CPU速度、CPU核数、内存大小和磁盘容量。使用主成分分析法确定节点的动态因素为节点的CPU剩余率、内存剩余率、磁盘容量剩余率以及CPU负载(即CPU使用队列的长度)。
(1.2)领域专家对各指标的重要性进行评估；
(1.3)使用层次分析法计算各静态性能指标和动态性能指标的权值。
(2)在集群中部署分布式集群资源监控系统Ganglia，以完成对集群中各个Slave节点的内存、CPU、硬盘、网络流量等信息的监控。集群启动时，触发监控启动心跳。
(3)当集群建立或有新节点加入集群时，Master节点计算各个Slave节点的静态性能指标值或新加入节点的静态性能指标值。(3.1)当集群建立或有新节点加入集群时，各Slave节点(或新加入的Slave节点)使用Ganglia获取自己的静态因素值，包括CPU速度scpu_speed、CPU核数scpu_num、内存大小smem和磁盘容量sdisk；
(3.2)各个Slave节点使用单播将数据汇集到Master节点；
(3.3)Master节点使用公式(1)计算出第i个Slave节点的静态性能指标Si，i＝1to h，h为集群中slave节点的个数。
(4)Master节点计算各个Slave节点的动态性能指标值。
(4.1)、各个Slave节点按照Ganglia系统配置文件给定的周期定时获取自己的动态因素值，包括节点CPU剩余率dcpu、内存剩余率dmem、磁盘容量剩余率ddisk以及CPU负载dlength；
(4.2)、Slave节点使用单播将数据汇集到Master节点；
(4.3)、Master节点使用公式(2)计算出第i个Slave节点的动态性能指标Di，i＝1to h，h为集群中slave节点的个数。
(5)Master节点计算每个节点的优先级。
当出现节点排序请求时，Master节点从数据库中读取各节点的静态指标值Si和动态指标值Di，使用公式(3)计算出各个节点的优先级。
(6)Master节点读取各Slave节点的优先级，并根据优先级的值对节点进行排序。
(7)Master节点根据优先级大小选择Slave节点，然后再对所选择出的节点进行遍历，将需要运行的任务分配给本地化程度最高的Slave节点。
(8)若任务执行完毕，返回任务执行结果；否则返回步骤(3)。
其中上述方法是基于图3的架构实施的，本发明方法与默认的Spark任务调度算法的实验结果对比如图4和图5所示。
综上所述，本发明在建立节点优先级评价指标体系的基础上，使用层次分析法确定各个静态因素和动态因素的权值。SDASA算法实时获取各Slave节点的动态指标值，进行节点优先级的计算，并根据各个节点的优先级完成任务的分配。实验表明，相比Spark的默认调度算法，本发明提出的算法能够有效提高集群系统的性能。当执行不同数据量的同种任务时，使用SDASA算法集群性能平均提升6.99％；当执行不同种任务时，使用SDASA算法集群性能平均提升6.32％。
以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (4)

1.一种资源不均衡Spark环境下的任务调度优化方法，其特征在于，包括如下步骤：
(1)筛选影响节点优先级的静态因素和动态因素，建立节点优先级评价指标体系，并计算出各指标的权值；
(2)在集群中部署分布式集群资源监控系统Ganglia，集群启动时，触发监控启动心跳；
(3)当集群建立或有新节点加入集群时，Master节点计算各个Slave节点的静态性能指标值或新加入节点的静态性能指标值；
(4)Master节点计算各个Slave节点的动态性能指标值；
(5)Master节点计算每个Slave节点的优先级；具体为：Master节点使用步骤(3)和(4)得到的各Slave节点的静态指标值Si和动态指标值Di，使用公式(3)计算各个节点的优先级：
Pi＝αDi+βSi (3)
其中α和β分别是Di和Si的权值，使用层次分析法计算得到；
(6)Master节点读取各Slave节点的优先级，并根据各Slave节点优先级的值对节点进行排序；
(7)Master节点根据排序结果选择Slave节点，对所选择的节点进行遍历，将需要运行的任务分配给本地化程度最高的Slave节点；具体如下：
(7.1)Master节点依次遍历按节点优先级大小排序的节点集合WorkerOffer；
(7.2)在每个节点轮流遍历任务集合中的每个任务，循环执行步骤(7.3)；
(7.3)获取任务在当前节点上的本地化参数；如果参数是最大的，则执行步骤(7.4)，否则执行步骤(7.2)；
(7.4)分配该Task给该节点；
(8)若任务执行完毕，返回任务执行结果；否则返回步骤(3)。
2.根据权利要求1所述的一种资源不均衡Spark环境下的任务调度优化方法，其特征在于：所述步骤(1)具体如下：
(1.1)使用主成分分析法确定节点的静态因素为节点的CPU速度、CPU核数、内存大小和磁盘容量；
(1.2)使用主成分分析法确定节点的动态因素为节点的CPU剩余率、内存剩余率、磁盘容量剩余率以及CPU负载；
(1.3)基于步骤(1.1)和(1.2)的分析结果建立节点优先级评价指标体系，并对各指标的重要性进行评估；
(1.4)使用层次分析法得到各静态因素、动态因素的权值。
3.根据权利要求1所述的一种资源不均衡Spark环境下的任务调度优化方法，其特征在于：所述步骤(3)具体如下：
(3.1)各个Slave节点使用Ganglia集群资源监控系统获取自己的静态因素值，包括CPU速度scpu_speed、CPU核数scpu_num、内存大小smem和磁盘容量sdisk；
(3.2)Slave节点使用单播将数据汇集到Master节点；
(3.3)Master节点使用公式(1)计算出第i个Slave节点的静态性能指标Si，i＝1 to h，h为集群中slave节点的个数；
Figure FDA0003129259280000031
其中n1，n2，n3，n4分别为CPU速度、CPU核数、内存大小和磁盘容量的权值，并且n1+n2+n3+n4＝1；n1，n2，n3，n4的值使用层次分析法计算得到。
4.根据权利要求1所述的一种资源不均衡Spark环境下的任务调度优化方法，其特征在于：所述步骤(4)具体如下：
(4.1)各个Slave节点按照Ganglia集群资源监控系统配置文件给定的周期定时获取自己的动态因素值，包括节点CPU剩余率dcpu、内存剩余率dmem、磁盘容量剩余率ddisk以及CPU负载dlength；
(4.2)Slave节点使用单播将数据汇集到Master节点；
(4.3)Master节点使用公式(2)计算出第i个Slave节点的动态性能指标Di，i＝1 to h，h为集群中slave节点的个数；
Figure FDA0003129259280000032
其中，m1，m2，m3，m4分别表示CPU剩余率、内存剩余率、磁盘容量剩余率以及CPU负载的权值，并且m1+m2+m3+m4＝1；m1，m2，m3，m4的值使用层次分析法计算得到。
CN201910669809.6A 2019-07-24 2019-07-24 一种资源不均衡Spark环境下的任务调度优化方法 Active CN110413389B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910669809.6A CN110413389B (zh) 2019-07-24 2019-07-24 一种资源不均衡Spark环境下的任务调度优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910669809.6A CN110413389B (zh) 2019-07-24 2019-07-24 一种资源不均衡Spark环境下的任务调度优化方法

Publications (2)

Publication Number Publication Date
CN110413389A CN110413389A (zh) 2019-11-05
CN110413389B true CN110413389B (zh) 2021-09-28

Family

ID=68362792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910669809.6A Active CN110413389B (zh) 2019-07-24 2019-07-24 一种资源不均衡Spark环境下的任务调度优化方法

Country Status (1)

Country Link
CN (1) CN110413389B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110928666B (zh) * 2019-12-09 2022-03-22 湖南大学 一种Spark环境中基于内存优化任务并行度的方法和系统
CN110928648B (zh) * 2019-12-10 2022-05-20 浙江工商大学 融合启发式和智能计算的云工作流分段在线调度优化方法
CN110955526B (zh) * 2019-12-16 2022-10-21 湖南大学 一种用于在分布式异构环境下实现多gpu调度的方法和系统
CN111459628B (zh) * 2020-03-12 2023-11-28 大庆市凯德信信息技术有限公司 基于改进量子蚁群算法的Spark平台任务调度方法
CN111694789A (zh) * 2020-04-22 2020-09-22 西安电子科技大学 嵌入式可重构异构测定方法、系统、存储介质、处理器
CN111985845B (zh) * 2020-09-02 2024-03-19 浙江工业大学 一种异构Spark集群的节点优先级调优方法
CN112068959A (zh) * 2020-09-04 2020-12-11 北京明略昭辉科技有限公司 自适应任务调度方法、系统及包括该方法的检索方法
CN112231081B (zh) * 2020-10-14 2022-08-16 山东大学 云环境下基于pso-ahp的单调速率资源调度方法及系统
CN112256434B (zh) * 2020-10-30 2024-04-05 中国科学院信息工程研究所 一种加密数据破解场景中的资源匹配方法
CN112764906B (zh) * 2021-01-26 2024-03-15 浙江工业大学 一种基于用户作业类型及节点性能偏向性的集群资源调度方法
CN113377495B (zh) * 2021-05-17 2024-02-27 杭州中港科技有限公司 基于启发式蚁群算法的docker集群部署优化方法
CN114780247B (zh) * 2022-05-17 2022-12-13 中国地质大学（北京） 一种流速和资源感知的流应用调度方法及系统
CN115408136B (zh) * 2022-11-01 2023-03-24 安徽思高智能科技有限公司 一种基于遗传算法的rpa流程调度方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073546A (zh) * 2010-12-13 2011-05-25 北京航空航天大学 一种云计算环境中分布式计算模式下的任务动态调度方法
CN103218233A (zh) * 2013-05-09 2013-07-24 福州大学 Hadoop异构集群中的数据分配策略
CN104270322A (zh) * 2014-10-30 2015-01-07 中电海康集团有限公司 面向物联网设备接入处理平台的自适应负载均衡调度机制
CN108762921A (zh) * 2018-05-18 2018-11-06 电子科技大学 一种Spark集群系统的在线优化分区的任务调度方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7827435B2 (en) * 2005-02-15 2010-11-02 International Business Machines Corporation Method for using a priority queue to perform job scheduling on a cluster based on node rank and performance
JP6515708B2 (ja) * 2015-07-06 2019-05-22 富士通株式会社 情報処理装置、並列計算機システム、ジョブスケジュール設定プログラムおよびジョブスケジュール設定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073546A (zh) * 2010-12-13 2011-05-25 北京航空航天大学 一种云计算环境中分布式计算模式下的任务动态调度方法
CN103218233A (zh) * 2013-05-09 2013-07-24 福州大学 Hadoop异构集群中的数据分配策略
CN104270322A (zh) * 2014-10-30 2015-01-07 中电海康集团有限公司 面向物联网设备接入处理平台的自适应负载均衡调度机制
CN108762921A (zh) * 2018-05-18 2018-11-06 电子科技大学 一种Spark集群系统的在线优化分区的任务调度方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Yarn的负载均衡研究;贺阳;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180115;全文 *
改进的Hadoop作业调度算法;冯兴杰等;《计算机工程与应用》;20170630;全文 *

Also Published As

Publication number Publication date
CN110413389A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN110413389B (zh) 一种资源不均衡Spark环境下的任务调度优化方法
CN108829494B (zh) 基于负载预测的容器云平台智能资源优化方法
CN110351348B (zh) 一种基于dqn的云计算资源调度优化方法
CN113742089B (zh) 异构资源中神经网络计算任务的分配方法、装置和设备
CN113806018A (zh) 基于神经网络和分布式缓存的Kubernetes集群资源混合调度方法
CN110334157B (zh) 一种云计算管理系统
CN109460301B (zh) 一种流数据负载的弹性资源配置方法及系统
CN114661482B (zh) 一种gpu算力管理方法、介质、设备及系统
CN111985845A (zh) 一种异构Spark集群的节点优先级调优方法
CN113722112B (zh) 一种服务资源负载均衡处理方法及系统
CN117349026B (zh) 一种用于aigc模型训练的分布式算力调度系统
CN108388471B (zh) 一种基于双门限约束虚机迁移的管理方法
CN112231081B (zh) 云环境下基于pso-ahp的单调速率资源调度方法及系统
CN111367632B (zh) 一种基于周期特征的容器云调度方法
Du et al. An Improved Ant Colony Algorithm for New energy Industry Resource Allocation in Cloud Environment
CN112598112B (zh) 一种基于图神经网络的资源调度方法
CN115914235A (zh) 负载均衡方法及装置
CN115033389A (zh) 一种电网信息系统节能型任务资源调度方法和装置
CN111506394B (zh) 一种Docker Swarm容器调度方法及调度系统
CN114398148A (zh) 一种电力行业k8s动态容器编排方法及存储介质
CN111966447A (zh) 一种基于双排列遗传算法的容器放置方法
Shi et al. Multi-Objective Biogeography-Based Method to Optimize Virtual Machine Consolidation.
Lang et al. Implementation of load balancing algorithm based on flink cluster
CN116089248B (zh) 一种写i/o突发分布预测方法、装置、设备及存储介质
CN116541178B (zh) 一种Docker云平台动态负载均衡方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant