CN108762896A - 一种基于Hadoop集群任务调度方法及计算机设备 - Google Patents

一种基于Hadoop集群任务调度方法及计算机设备 Download PDF

Info

Publication number
CN108762896A
CN108762896A CN201810250970.5A CN201810250970A CN108762896A CN 108762896 A CN108762896 A CN 108762896A CN 201810250970 A CN201810250970 A CN 201810250970A CN 108762896 A CN108762896 A CN 108762896A
Authority
CN
China
Prior art keywords
task
priority
queue
scheduling
concurrent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810250970.5A
Other languages
English (en)
Other versions
CN108762896B (zh
Inventor
蔡伟群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Star Software Co Ltd
Original Assignee
Fujian Star Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Star Software Co Ltd filed Critical Fujian Star Software Co Ltd
Priority to CN201810250970.5A priority Critical patent/CN108762896B/zh
Publication of CN108762896A publication Critical patent/CN108762896A/zh
Application granted granted Critical
Publication of CN108762896B publication Critical patent/CN108762896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种基于Hadoop集群任务调度方法，包括如下步骤：步骤10、设定业务有N个优先级，每个优先级对应一个调度队列，每个任务按照业务重要性指定对应优先级，进入对应优先级的调度队列，并按照时间先后进行排队等待，其中N为正整数；步骤20、设定系统最大任务并发数以及每一优先级对应的队列最大任务并发数，每间隔时间按优先级高低顺序去调度队列调度任务；步骤30、按照优先级高低顺序自动将排队任务均衡分配到任务空闲优先级队列调度；步骤40、对运行失败的任务和超过预定最大运行时间的任务重新入原先优先级队列排队调度。本发明还提供一种计算机设备，实现任务的优先级分组、排队调度、路由策略和故障转移，极大的提高集群任务调度效率。

Description

一种基于Hadoop集群任务调度方法及计算机设备
技术领域
本发明涉及计算机分布式系统数据处理领域，尤其涉及一种基于Hadoop集群任务调度方法及计算机设备。
背景技术
随着业务不断增加，基于Hadoop的大数据平台处理的任务越来越多，现有的基于Hadoop集群的大数据平台可以把任务拆分到集群节点进行分布式处理，但是没有对任务进行优先级区分调度以及并发数量控制。由于任意任务都能得到调度，受限于集群软硬件资源存在瓶颈，使任务扎堆抢不到资源调度，导致一些业务优先级高的业务延迟或者失败，一些低优先级任务一直调度，集群处理效率低。
发明内容
本发明要解决的技术问题之一，在于提供一种基于Hadoop集群任务调度方法，实现任务的优先级分组、排队调度、路由策略和故障转移，极大的提高集群任务调度效率。
本发明要解决的技术问题之一是这样实现的：一种基于Hadoop集群任务调度方法，包括如下步骤：
步骤10、设定业务有N个优先级，每个优先级对应一个调度队列，每个任务按照业务重要性指定对应优先级，进入对应优先级的调度队列，并按照时间先后进行排队等待，其中N为正整数；
步骤20、设定系统最大任务并发数以及每一优先级对应的队列最大任务并发数，每间隔时间按优先级高低顺序去调度队列调度任务，队列调度的原则为：每一优先级队列调度的任务数不超过该优先级的队列最大任务并发数，且每次调度任务总数不超过系统最大任务并发数；
步骤30、按照优先级高低顺序自动将排队任务均衡分配到任务空闲优先级队列调度；
步骤40、对运行失败的任务重新入原先优先级队列排队调度，并对每一个任务定义一个最大运行时间，对于超过最大运行时间的任务暂停并重新入原先优先级队列排队调度。
进一步的，所述优先级按数值从小到大降序。
进一步的，所述系统最大任务并发数根据集群硬件资源计算得到的，使得集群并行处理时每一任务得到合理调度。
进一步的，所述步骤30中均衡分配的方式具体为：排队任务是按照优先级从高到低的配到空闲队列；只有高优先级没有排队任务，才开始分配低优先级的排队任务；新分配的任务个数取决于空闲队列个数；同一有优先级排队任务，按照入队先后顺序进入不同空闲队列，时间越早先进入优先级高的队列运行。
进一步的，所述步骤40中的运行失败的任务和暂停的任务直接选择配置放弃。
本发明要解决的技术问题之二，在于提供一种计算机设备，实现任务的优先级分组、排队调度、路由策略和故障转移，极大的提高集群任务调度效率。
本发明要解决的技术问题之二是这样实现的：一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
步骤10、设定业务有N个优先级，每个优先级对应一个调度队列，每个任务按照业务重要性指定对应优先级，进入对应优先级的调度队列，并按照时间先后进行排队等待，其中N为正整数；
步骤20、设定系统最大任务并发数以及每一优先级对应的队列最大任务并发数，每间隔时间按优先级高低顺序去调度队列调度任务，队列调度的原则为：每一优先级队列调度的任务数不超过该优先级的队列最大任务并发数，且每次调度任务总数不超过系统最大任务并发数；
步骤30、按照优先级高低顺序自动将排队任务均衡分配到任务空闲优先级队列调度；
步骤40、对运行失败的任务重新入原先优先级队列排队调度，并对每一个任务定义一个最大运行时间，对于超过最大运行时间的任务暂停并重新入原先优先级队列排队调度。
进一步的，所述优先级按数值从小到大降序。
进一步的，所述系统最大任务并发数根据集群硬件资源计算得到的，使得集群并行处理时每一任务得到合理调度。
进一步的，所述步骤30中均衡分配的方式具体为：排队任务是按照优先级从高到低的配到空闲队列；只有高优先级没有排队任务，才开始分配低优先级的排队任务；新分配的任务个数取决于空闲队列个数；同一有优先级排队任务，按照入队先后顺序进入不同空闲队列，时间越早先进入优先级高的队列运行。
进一步的，所述步骤40中的运行失败的任务和暂停的任务直接选择配置放弃。
本发明具有如下优点：针对Hadoop集群多任务环境下的调度不合理的问题，通过业务性质设定优先级调度任务，合理有效使用系统资源，并设置排队与路由策略合理调度任务，同时设置故障转移来有效处理故障任务，使集群达到最佳处理速度。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明一种基于Hadoop集群任务调度方法执行流程图。
图2为本发明一种基于Hadoop集群任务调度方法的原理示意图。
图3为本发明一场景下的采用路由策略均衡分配任务示意图。
图4为本发明另一场景下的采用路由策略均衡分配任务示意图。
具体实施方式
如图1和图2所示，本发明的一种基于Hadoop集群任务调度方法，包括如下步骤：
步骤10、进行优先级分组，设定业务有N(1,2..N-1,N)个优先级，例如，优先级可以设定为按数值从小到大降序，每个优先级对应一个调度队列，每个任务按照业务重要性指定对应优先级，进入对应优先级的调度队列，并按照时间先后进行排队等待，其中N为正整数，例如N值取8，如图2所示；
步骤20、进行排队调度，设定系统最大任务并发数以及每一优先级对应的队列最大任务并发数(用于控制每个队列运行时间长的任务数量)，每间隔时间按优先级高低顺序去调度队列调度任务，队列调度的原则为：每一优先级队列调度的任务数不超过该优先级的队列最大任务并发数，且每次调度任务总数不超过系统最大任务并发数，如果不满足调度原则，就继续排队等待；所述系统最大任务并发数根据集群硬件资源计算得到的，用于控制集群能处理的最大任务数，超过系统最大任务并发数，则任务得不到合理调度，设系统最大任务并发数可使得集群并行处理时每一任务得到合理调度。
步骤30、执行路由策略，按照优先级高低顺序自动将排队任务均衡分配到任务空闲优先级队列调度，对排队任务路由到空闲队列运行，让资源合理利用，由于受最大任务并发数限制，有些优先级队列有任务排队等待，有些优先级队列任务空闲，此时自动把排队任务均衡分配到任务空闲优先级队列调度，按照优先级高低依次处理排队等待任务；
步骤40、进行故障转移，对运行失败的任务重新入原先优先级队列排队调度，并对每一个任务定义一个最大运行时间，对于超过最大运行时间的任务暂停并重新入原先优先级队列排队调度。对于运行失败的任务和暂停的任务还可以根据需要直接选择配置放弃。
较佳的，所述步骤30中均衡分配的方式具体为：排队任务是按照优先级从高到低的配到空闲队列；只有高优先级没有排队任务，才开始分配低优先级的排队任务；新分配的任务个数取决于空闲队列个数；同一有优先级排队任务，按照入队先后顺序进入不同空闲队列，时间越早先进入优先级高的队列运行。例如，在一场景中，如图3所示，N为4，队列4、队列3、队列2、队列1的优先级依次降低，空闲队列只有2个，分别为队列2和队列1，高优先级的队列4此时按时间顺序把A任务分派到队列2，B任务分配到队列1，C任务等待下一次调度；队列3的任务没调到。在另一场景中，如图4所示，N为4，队列4、队列3、队列2、队列1的优先级依次降低，空闲队列只有2个，队列2和队列1，队列4此时把A任务分派到队列2，队列3的B任务分配到队列1，C任务等待下一次调度。
请再参阅图1和图2，本发明的一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
步骤10、进行优先级分组，设定业务有N(1,2..N-1,N)个优先级，例如，优先级可以设定为按数值从小到大降序，每个优先级对应一个调度队列，每个任务按照业务重要性指定对应优先级，进入对应优先级的调度队列，并按照时间先后进行排队等待，其中N为正整数，例如N值取8，如图2所示；
步骤20、进行排队调度，设定系统最大任务并发数以及每一优先级对应的队列最大任务并发数(用于控制每个队列运行时间长的任务数量)，每间隔时间按优先级高低顺序去调度队列调度任务，队列调度的原则为：每一优先级队列调度的任务数不超过该优先级的队列最大任务并发数，且每次调度任务总数不超过系统最大任务并发数，如果不满足调度原则，就继续排队等待；所述系统最大任务并发数根据集群硬件资源计算得到的，用于控制集群能处理的最大任务数，超过系统最大任务并发数，则任务得不到合理调度，设系统最大任务并发数可使得集群并行处理时每一任务得到合理调度。
步骤30、执行路由策略，按照优先级高低顺序自动将排队任务均衡分配到任务空闲优先级队列调度，对排队任务路由到空闲队列运行，让资源合理利用，由于受最大任务并发数限制，有些优先级队列有任务排队等待，有些优先级队列任务空闲，此时自动把排队任务均衡分配到任务空闲优先级队列调度，按照优先级高低依次处理排队等待任务；
步骤40、进行故障转移，对运行失败的任务重新入原先优先级队列排队调度，并对每一个任务定义一个最大运行时间，对于超过最大运行时间的任务暂停并重新入原先优先级队列排队调度。对于运行失败的任务和暂停的任务还可以根据需要直接选择配置放弃。
较佳的，所述步骤30中均衡分配的方式具体为：排队任务是按照优先级从高到低的配到空闲队列；只有高优先级没有排队任务，才开始分配低优先级的排队任务；新分配的任务个数取决于空闲队列个数；同一有优先级排队任务，按照入队先后顺序进入不同空闲队列，时间越早先进入优先级高的队列运行。例如，在一场景中，如图3所示，N为4，队列4、队列3、队列2、队列1的优先级依次降低，空闲队列只有2个，分别为队列2和队列1，高优先级的队列4此时按时间顺序把A任务分派到队列2，B任务分配到队列1，C任务等待下一次调度；队列3的任务没调到。在另一场景中，如图4所示，N为4，队列4、队列3、队列2、队列1的优先级依次降低，空闲队列只有2个，队列2和队列1，队列4此时把A任务分派到队列2，队列3的B任务分配到队列1，C任务等待下一次调度。
本发明针对Hadoop集群多任务环境下的调度不合理的问题，通过业务性质设定优先级调度任务，合理有效使用系统资源，并设置排队与路由策略合理调度任务，同时设置故障转移来有效处理故障任务，使集群达到最佳处理速度。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (10)

1.一种基于Hadoop集群任务调度方法，其特征在于：包括如下步骤：
步骤10、设定业务有N个优先级，每个优先级对应一个调度队列，每个任务按照业务重要性指定对应优先级，进入对应优先级的调度队列，并按照时间先后进行排队等待，其中N为正整数；
步骤20、设定系统最大任务并发数以及每一优先级对应的队列最大任务并发数，每间隔时间按优先级高低顺序去调度队列调度任务，队列调度的原则为：每一优先级队列调度的任务数不超过该优先级的队列最大任务并发数，且每次调度任务总数不超过系统最大任务并发数；
步骤30、按照优先级高低顺序自动将排队任务均衡分配到任务空闲优先级队列调度；
步骤40、对运行失败的任务重新入原先优先级队列排队调度，并对每一个任务定义一个最大运行时间，对于超过最大运行时间的任务暂停并重新入原先优先级队列排队调度。
2.根据权利要求1所述的一种基于Hadoop集群任务调度方法，其特征在于：所述优先级按数值从小到大降序。
3.根据权利要求1所述的一种基于Hadoop集群任务调度方法，其特征在于：所述系统最大任务并发数根据集群硬件资源计算得到的，使得集群并行处理时每一任务得到合理调度。
4.根据权利要求1所述的一种基于Hadoop集群任务调度方法，其特征在于：所述步骤30中均衡分配的方式具体为：排队任务是按照优先级从高到低的配到空闲队列；只有高优先级没有排队任务，才开始分配低优先级的排队任务；新分配的任务个数取决于空闲队列个数；同一有优先级排队任务，按照入队先后顺序进入不同空闲队列，时间越早先进入优先级高的队列运行。
5.根据权利要求1所述的一种基于Hadoop集群任务调度方法，其特征在于：所述步骤40中的运行失败的任务和暂停的任务直接选择配置放弃。
6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：
步骤10、设定业务有N个优先级，每个优先级对应一个调度队列，每个任务按照业务重要性指定对应优先级，进入对应优先级的调度队列，并按照时间先后进行排队等待，其中N为正整数；
步骤20、设定系统最大任务并发数以及每一优先级对应的队列最大任务并发数，每间隔时间按优先级高低顺序去调度队列调度任务，队列调度的原则为：每一优先级队列调度的任务数不超过该优先级的队列最大任务并发数，且每次调度任务总数不超过系统最大任务并发数；
步骤30、按照优先级高低顺序自动将排队任务均衡分配到任务空闲优先级队列调度；
步骤40、对运行失败的任务重新入原先优先级队列排队调度，并对每一个任务定义一个最大运行时间，对于超过最大运行时间的任务暂停并重新入原先优先级队列排队调度。
7.根据权利要求5所述的一种计算机设备，其特征在于：所述优先级按数值从小到大降序。
8.根据权利要求5所述的一种计算机设备，其特征在于：所述系统最大任务并发数根据集群硬件资源计算得到的，使得集群并行处理时每一任务得到合理调度。
9.根据权利要求5所述的一种计算机设备，其特征在于：所述步骤30具体为：所述步骤30中均衡分配的方式具体为：排队任务是按照优先级从高到低的配到空闲队列；只有高优先级没有排队任务，才开始分配低优先级的排队任务；新分配的任务个数取决于空闲队列个数；同一有优先级排队任务，按照入队先后顺序进入不同空闲队列，时间越早先进入优先级高的队列运行。
10.根据权利要求5所述的一种计算机设备，其特征在于：所述步骤40中的运行失败的任务和暂停的任务直接选择配置放弃。
CN201810250970.5A 2018-03-26 2018-03-26 一种基于Hadoop集群任务调度方法及计算机设备 Active CN108762896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810250970.5A CN108762896B (zh) 2018-03-26 2018-03-26 一种基于Hadoop集群任务调度方法及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810250970.5A CN108762896B (zh) 2018-03-26 2018-03-26 一种基于Hadoop集群任务调度方法及计算机设备

Publications (2)

Publication Number Publication Date
CN108762896A true CN108762896A (zh) 2018-11-06
CN108762896B CN108762896B (zh) 2022-04-12

Family

ID=63980212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810250970.5A Active CN108762896B (zh) 2018-03-26 2018-03-26 一种基于Hadoop集群任务调度方法及计算机设备

Country Status (1)

Country Link
CN (1) CN108762896B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109542600A (zh) * 2018-11-15 2019-03-29 口碑(上海)信息技术有限公司 分布式任务调度系统及方法
CN110012062A (zh) * 2019-02-22 2019-07-12 北京奇艺世纪科技有限公司 一种多机房任务调度方法、装置及存储介质
CN110187957A (zh) * 2019-05-27 2019-08-30 北京奇艺世纪科技有限公司 一种下载任务的排队方法、装置及电子设备
CN110543359A (zh) * 2019-07-03 2019-12-06 威富通科技有限公司 一种任务队列运行装置
CN111176848A (zh) * 2019-12-31 2020-05-19 北大方正集团有限公司 集群任务的处理方法、装置、设备和存储介质
CN111400010A (zh) * 2020-03-18 2020-07-10 中国建设银行股份有限公司 任务调度方法及装置
CN112001612A (zh) * 2020-08-12 2020-11-27 中水三立数据技术股份有限公司 一种水厂多滤池反冲洗队列排队方法
CN112448899A (zh) * 2019-08-31 2021-03-05 深圳致星科技有限公司 一种基于流量调度的多任务训练集群网络优化方法
CN112488492A (zh) * 2020-11-26 2021-03-12 中科星通(廊坊)信息技术有限公司 一种基于优先级的遥感产品生产调度方法
CN112559159A (zh) * 2021-01-05 2021-03-26 广州华资软件技术有限公司 一种基于分布式部署的任务调度方法
CN112579263A (zh) * 2019-09-29 2021-03-30 北京国双科技有限公司 任务执行方法及装置、存储介质及电子设备
CN112860390A (zh) * 2019-11-12 2021-05-28 富士通株式会社 作业调度程序、信息处理设备和作业调度方法
CN113422877A (zh) * 2021-06-22 2021-09-21 中国平安财产保险股份有限公司 基于业务场景实现号码外呼的方法及装置、电子设备
CN113590289A (zh) * 2021-07-30 2021-11-02 中科曙光国际信息产业有限公司 作业调度方法、系统、装置、计算机设备和存储介质
CN113886034A (zh) * 2021-09-09 2022-01-04 深圳奥哲网络科技有限公司 任务调度方法、系统、电子设备及存储介质
WO2022023891A1 (en) * 2020-07-31 2022-02-03 International Business Machines Corporation Instruction dispatch routing
CN114995984A (zh) * 2022-07-19 2022-09-02 深圳市乐易网络股份有限公司 一种分布式超并发云计算系统
CN115328640A (zh) * 2022-10-17 2022-11-11 广州数说故事信息科技有限公司 一种任务调度方法、装置、系统及计算机可读存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5826081A (en) * 1996-05-06 1998-10-20 Sun Microsystems, Inc. Real time thread dispatcher for multiprocessor applications
US20050097556A1 (en) * 2003-10-30 2005-05-05 Alcatel Intelligent scheduler for multi-level exhaustive scheduling
CN101414270A (zh) * 2008-12-04 2009-04-22 浙江大学 硬件辅助的辅核任务动态优先级调度的实现方法
CN101739293A (zh) * 2009-12-24 2010-06-16 航天恒星科技有限公司 一种基于多线程的卫星数据产品生产任务并行调度方法
CN101923487A (zh) * 2010-08-06 2010-12-22 西华师范大学 一种综合嵌入式实时周期任务调度方法
US20120102500A1 (en) * 2010-10-25 2012-04-26 Samsung Electronics Co., Ltd. Numa aware system task management
CN104331327A (zh) * 2014-12-02 2015-02-04 山东乾云启创信息科技有限公司 大规模虚拟化环境中任务调度的优化方法及优化系统
EP2857968A1 (en) * 2012-05-24 2015-04-08 Kernelon Silicon Incorporated Task processor
CN105302638A (zh) * 2015-11-04 2016-02-03 国家计算机网络与信息安全管理中心 基于系统负载的mpp集群任务调度方法
CN105474175A (zh) * 2013-06-14 2016-04-06 微软技术许可有限责任公司 分配和调度用于多个优先化队列的线程
CN106293918A (zh) * 2016-08-11 2017-01-04 浪潮(北京)电子信息产业有限公司 一种调度进程的方法、系统及计算机
CN106293950A (zh) * 2016-08-23 2017-01-04 成都卡莱博尔信息技术股份有限公司 一种面向集群系统的资源优化管理方法
CN106331394A (zh) * 2016-10-19 2017-01-11 上海携程商务有限公司 语音外呼系统及其外呼方法
CN106470169A (zh) * 2015-08-19 2017-03-01 阿里巴巴集团控股有限公司 一种业务请求调整方法及设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5826081A (en) * 1996-05-06 1998-10-20 Sun Microsystems, Inc. Real time thread dispatcher for multiprocessor applications
US20050097556A1 (en) * 2003-10-30 2005-05-05 Alcatel Intelligent scheduler for multi-level exhaustive scheduling
CN101414270A (zh) * 2008-12-04 2009-04-22 浙江大学 硬件辅助的辅核任务动态优先级调度的实现方法
CN101739293A (zh) * 2009-12-24 2010-06-16 航天恒星科技有限公司 一种基于多线程的卫星数据产品生产任务并行调度方法
CN101923487A (zh) * 2010-08-06 2010-12-22 西华师范大学 一种综合嵌入式实时周期任务调度方法
US20120102500A1 (en) * 2010-10-25 2012-04-26 Samsung Electronics Co., Ltd. Numa aware system task management
EP2857968A1 (en) * 2012-05-24 2015-04-08 Kernelon Silicon Incorporated Task processor
CN105474175A (zh) * 2013-06-14 2016-04-06 微软技术许可有限责任公司 分配和调度用于多个优先化队列的线程
CN104331327A (zh) * 2014-12-02 2015-02-04 山东乾云启创信息科技有限公司 大规模虚拟化环境中任务调度的优化方法及优化系统
CN106470169A (zh) * 2015-08-19 2017-03-01 阿里巴巴集团控股有限公司 一种业务请求调整方法及设备
CN105302638A (zh) * 2015-11-04 2016-02-03 国家计算机网络与信息安全管理中心 基于系统负载的mpp集群任务调度方法
CN106293918A (zh) * 2016-08-11 2017-01-04 浪潮(北京)电子信息产业有限公司 一种调度进程的方法、系统及计算机
CN106293950A (zh) * 2016-08-23 2017-01-04 成都卡莱博尔信息技术股份有限公司 一种面向集群系统的资源优化管理方法
CN106331394A (zh) * 2016-10-19 2017-01-11 上海携程商务有限公司 语音外呼系统及其外呼方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YU ZHANG等: "Dynamic Scheduling with Service Curve for QoS Guarantee of Large-Scale Cloud Storage", 《IEEE TRANSACTIONS ON COMPUTERS》 *
YUMING XU等: "A Multiple Priority Queueing Genetic Algorithm for Task Scheduling on Heterogeneous Computing Systems", 《2012 IEEE 14TH INTERNATIONAL CONFERENCE ON HIGH PERFORMANCE COMPUTING AND COMMUNICATION & 2012 IEEE 9TH INTERNATIONAL CONFERENCE ON EMBEDDED SOFTWARE AND SYSTEMS》 *
徐攀等: "支持队列公平和安全策略的调度算法研究", 《计算机与现代化》 *
李春艳等: "Hadoop平台的多队列作业调度优化方法研究", 《计算机应用研究》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109542600B (zh) * 2018-11-15 2020-12-25 口碑(上海)信息技术有限公司 分布式任务调度系统及方法
CN109542600A (zh) * 2018-11-15 2019-03-29 口碑(上海)信息技术有限公司 分布式任务调度系统及方法
CN110012062A (zh) * 2019-02-22 2019-07-12 北京奇艺世纪科技有限公司 一种多机房任务调度方法、装置及存储介质
CN110012062B (zh) * 2019-02-22 2022-02-08 北京奇艺世纪科技有限公司 一种多机房任务调度方法、装置及存储介质
CN110187957A (zh) * 2019-05-27 2019-08-30 北京奇艺世纪科技有限公司 一种下载任务的排队方法、装置及电子设备
CN110543359A (zh) * 2019-07-03 2019-12-06 威富通科技有限公司 一种任务队列运行装置
CN112448899A (zh) * 2019-08-31 2021-03-05 深圳致星科技有限公司 一种基于流量调度的多任务训练集群网络优化方法
CN112579263A (zh) * 2019-09-29 2021-03-30 北京国双科技有限公司 任务执行方法及装置、存储介质及电子设备
CN112860390A (zh) * 2019-11-12 2021-05-28 富士通株式会社 作业调度程序、信息处理设备和作业调度方法
CN111176848A (zh) * 2019-12-31 2020-05-19 北大方正集团有限公司 集群任务的处理方法、装置、设备和存储介质
CN111176848B (zh) * 2019-12-31 2023-05-26 北大方正集团有限公司 集群任务的处理方法、装置、设备和存储介质
CN111400010A (zh) * 2020-03-18 2020-07-10 中国建设银行股份有限公司 任务调度方法及装置
US11327766B2 (en) 2020-07-31 2022-05-10 International Business Machines Corporation Instruction dispatch routing
WO2022023891A1 (en) * 2020-07-31 2022-02-03 International Business Machines Corporation Instruction dispatch routing
GB2612550A (en) * 2020-07-31 2023-05-03 Ibm Instruction dispatch routing
CN112001612A (zh) * 2020-08-12 2020-11-27 中水三立数据技术股份有限公司 一种水厂多滤池反冲洗队列排队方法
CN112488492A (zh) * 2020-11-26 2021-03-12 中科星通(廊坊)信息技术有限公司 一种基于优先级的遥感产品生产调度方法
CN112559159A (zh) * 2021-01-05 2021-03-26 广州华资软件技术有限公司 一种基于分布式部署的任务调度方法
CN113422877A (zh) * 2021-06-22 2021-09-21 中国平安财产保险股份有限公司 基于业务场景实现号码外呼的方法及装置、电子设备
CN113422877B (zh) * 2021-06-22 2022-11-15 中国平安财产保险股份有限公司 基于业务场景实现号码外呼的方法及装置、电子设备
CN113590289A (zh) * 2021-07-30 2021-11-02 中科曙光国际信息产业有限公司 作业调度方法、系统、装置、计算机设备和存储介质
CN113886034A (zh) * 2021-09-09 2022-01-04 深圳奥哲网络科技有限公司 任务调度方法、系统、电子设备及存储介质
CN114995984A (zh) * 2022-07-19 2022-09-02 深圳市乐易网络股份有限公司 一种分布式超并发云计算系统
CN115328640A (zh) * 2022-10-17 2022-11-11 广州数说故事信息科技有限公司 一种任务调度方法、装置、系统及计算机可读存储介质

Also Published As

Publication number Publication date
CN108762896B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN108762896A (zh) 一种基于Hadoop集群任务调度方法及计算机设备
CN114138486B (zh) 面向云边异构环境的容器化微服务编排方法、系统及介质
Page et al. Framework for task scheduling in heterogeneous distributed computing using genetic algorithms
CN104580396B (zh) 一种任务调度方法、节点及系统
Jung et al. Synchronous parallel processing of big-data analytics services to optimize performance in federated clouds
CN109783225B (zh) 一种多租户大数据平台的租户优先级管理方法及系统
CN106445675B (zh) 一种b2b平台分布式应用调度与资源分配方法
US20200174844A1 (en) System and method for resource partitioning in distributed computing
CN109408215A (zh) 一种计算节点的任务调度方法和装置
CN109564528B (zh) 分布式计算中计算资源分配的系统和方法
Tantalaki et al. Pipeline-based linear scheduling of big data streams in the cloud
CN112087503A (zh) 集群任务调度方法、系统、计算机和计算机可读存储介质
Gkoutioudi et al. Task cluster scheduling in a grid system
Komarasamy et al. A novel approach for Dynamic Load Balancing with effective Bin Packing and VM Reconfiguration in cloud
CN104917839A (zh) 一种用于云计算环境下的负载均衡方法
CN106201681A (zh) Hadoop平台下基于预释放资源列表的任务调度算法
Stavrinides et al. Orchestrating bag-of-tasks applications with dynamically spawned tasks in a distributed environment
CN113672391A (zh) 一种基于Kubernetes的并行计算任务调度方法与系统
CN103176850A (zh) 一种基于负载均衡的电力系统网络集群任务分配方法
Rosemarry et al. Grouping based job scheduling algorithm using priority queue and hybrid algorithm in grid computing
Jiang et al. Adia: Achieving high link utilization with coflow-aware scheduling in data center networks
CN106095573B (zh) 一种工作槽感知的Storm平台作业均分调度方法
Papazachos et al. Gang scheduling in a two-cluster system implementing migrations and periodic feedback
Gadre et al. Investigating MapReduce framework extensions for efficient processing of geographically scattered datasets
Fan et al. Shuffle scheduling for MapReduce jobs based on periodic network status

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 350000 21 / F, building 5, f District, Fuzhou Software Park, 89 software Avenue, Gulou District, Fuzhou City, Fujian Province

Applicant after: FUJIAN SINOREGAL SOFTWARE CO.,LTD.

Address before: Floor 20-21, building 5, area F, Fuzhou Software Park, 89 software Avenue, Gulou District, Fuzhou City, Fujian Province 350000

Applicant before: FUJIAN SINOREGAL SOFTWARE CO.,LTD.

GR01 Patent grant
GR01 Patent grant