CN105511950A - 大数据集的任务队列优先级的调度管理方法 - Google Patents

大数据集的任务队列优先级的调度管理方法 Download PDF

Info

Publication number
CN105511950A
CN105511950A CN201510910405.3A CN201510910405A CN105511950A CN 105511950 A CN105511950 A CN 105511950A CN 201510910405 A CN201510910405 A CN 201510910405A CN 105511950 A CN105511950 A CN 105511950A
Authority
CN
China
Prior art keywords
queue
task
priority
management method
large data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510910405.3A
Other languages
English (en)
Inventor
于鑫
周祖胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TIANJIN HYLANDA INFORMATION TECHNOLOGY CO LTD
Original Assignee
TIANJIN HYLANDA INFORMATION TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TIANJIN HYLANDA INFORMATION TECHNOLOGY CO LTD filed Critical TIANJIN HYLANDA INFORMATION TECHNOLOGY CO LTD
Priority to CN201510910405.3A priority Critical patent/CN105511950A/zh
Publication of CN105511950A publication Critical patent/CN105511950A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5018—Thread allocation

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种大数据集的任务队列优先级的调度管理方法，在任务获取端的每一个节点运行获取任务的循环线程，根据队列的优先级从不同的队列获取任务，它可以优先从高优先级的队列中获取任务，同时也要兼顾低优先级的任务不会被高优先级阻塞。队列服务本身可以支持多个多种类型的队列，每个队列可以分别设定其优先级，根据运行记录可以获取某个队列的平均运行时间。根据任务优先级、队列长度、队列的平均运行时间、每次获取的最大任务数等多个条件来动态调整从各个队列中获取的任务数量，合理调度任务，防止资源浪费。

Description

大数据集的任务队列优先级的调度管理方法
技术领域
本发明涉及大数据处理的技术领域，具体说是一种大数据集的任务队列优先级的调度管理方法。
背景技术
随着大数据时代的到来，它已经衍生出了自己独特的架构，而且也直接推动了存储、网络以及计算软件技术的发展。任务作为数据处理中的最小单元，其数量也呈现出爆发性的增长，同样作为承载任务的任务队列就面临着任务优先级的调度问题。
目前，在此情况下面临的问题有：采取普通队列时，在列表类型队列中调整任务优先级会极大的降低队列的性能；而采取简单多队列时，需设置多条不同优先级的队列，通过改变任务所处队列实现优先级调度，但是在高优先级队列出现堆积时会完全阻塞其他优先级队列，所以许多工作节点未被充分利用，有些节点会出现负载过高。
发明内容
本发明要解决的技术问题是提供一种大数据集的任务队列优先级的调度管理方法。
本发明为解决公知技术中存在的技术问题所采取的技术方案是:
本发明的大数据集的任务队列优先级的调度管理方法，其特征在于：在任务获取端的每一个节点运行获取任务的循环线程，循环线程包括以下步骤：
A、线程开始，取得任务队列；
B、通过执行引擎运行不同算法，计算各队列获取的任务数量；
C、从任务队列中获取任务；
D、执行任务；
E、任务完成后判断线程是否停止，循环至步骤A，重新取得任务队列。
本发明还可以采用以下技术措施：
所述的任务队列中预先设定任务的优先级。
步骤B中，执行引擎运行优先级算法、队列长度均衡算法、运行时间均衡算法、贪婪算法、遗传算法中的一种。
所述的队列的平均运行时间由运行记录中获得。
依任务队列对应设置队列服务器，队列采用先进先出队列、后进先出队列、循环队列、优先级队列中任一种。
本发明具有的优点和积极效果是:
本发明的大数据集的任务队列优先级的调度管理方法中，在任务获取端的每一个节点运行获取任务的循环线程，根据队列的优先级从不同的队列获取任务，它可以优先从高优先级的队列中获取任务，同时也要兼顾低优先级的任务不会被高优先级阻塞。队列服务本身可以支持多个多种类型的队列，每个队列可以设定其优先级，根据运行记录可以获取某个队列的平均运行时间。根据任务优先级、队列长度、队列的平均运行时间、每次获取的最大任务数等多个条件来动态调整从各个队列中获取的任务数量，合理调度任务，防止资源浪费。本发明中所依赖的系统具有简单的架构，可以高效利用计算资源，系统是分布式的并且可以水平扩展。
附图说明
图1是本发明的大数据集的任务队列优先级的调度管理方法的流程图；
图2是本发明的大数据集的任务队列优先级的调度管理方法的循环线程架构图；
图3是本发明的大数据集的任务队列优先级的调度管理方法中任务调度架构图。
具体实施方式
以下通过附图和具体实施例对本发明进行详细说明。
如图1至图3所示，本发明的大数据集的任务队列优先级的调度管理方法，在任务获取端的每一个节点运行获取任务的循环线程workerprocess，循环线程包括以下步骤：
A、线程开始，取得任务队列，即图2中的getQueue；
B、通过执行引擎运行不同算法，计算各队列获取的任务数量；
C、从任务队列所对应的队列服务器QueueServer中获取任务，即getTask；
D、执行任务execute；
E、任务完成后判断线程是否停止，循环至步骤A，重新取得任务队列。
任务队列中预先设定任务的优先级。队列的优先级是在任务端worker中配置的，不同的任务端可以根据自身的需求对不同的队列设置不同的优先级。
步骤B中，执行引擎运行优先级算法、队列长度均衡算法、运行时间均衡算法、贪婪算法、遗传算法中的一种。例如：
1、优先级算法
假设队列中分别有a、b、c，各自长度均为100，设定优先级a最高、b次之而c最低，设定每次共取10个任务，设定每个队列至少取1个任务则可以算出这次取出任务数量分别为a8个、b1个、c1个。
2、队列长度均衡算法
假设队列中分别有a、b、c，各自长度分别为51、50、50，设定每次共取10个任务，可以算出这次取出任务数量为a4个、b3个、c3个
3、运行时间均衡算法
假设在任务端内a、b、c三种任务的执行时间分别为a2秒、b1秒和c1秒，设定每次共取10个任务，可以算出这次取出任务数量为a2个、b4个、c4个。
队列的平均运行时间由运行记录中获得。
依任务队列对应设置队列服务器QueueServer，队列服务器中具有多个队列如queue1、queue2、queue3等等，队列采用先进先出队列、后进先出队列、循环队列、优先级队列中任一种。队列服务本身可以支持多个多种类型的队列，根据队列的优先级从不同的队列获取任务，它可以优先从高优先级的队列中获取任务，同时也要兼顾低优先级的任务不会被高优先级阻塞。图3中worker1分别由queue1、queue2和queue3获取了优先级为100、10和10的三个不同优先级的任务，而worker2分别由queue1、queue2和queue3获取了三个50优先级的任务，这一任务分配过程根据任务优先级、队列长度、队列的平均运行时间而自动完成。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例公开如上，然而，并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当然会利用揭示的技术内容作出些许更动或修饰，成为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均属于本发明技术方案的范围内。

Claims (5)

1.一种大数据集的任务队列优先级的调度管理方法，其特征在于：在任务获取端的每一个节点运行获取任务的循环线程，循环线程包括以下步骤：
A、线程开始，取得任务队列；
B、通过执行引擎运行不同算法，计算各队列获取的任务数量；
C、从任务队列中获取任务；
D、执行任务；
E、任务完成后判断线程是否停止，循环至步骤A，重新取得任务队列。
2.根据权利要求1所述的大数据集的任务队列优先级的调度管理方法，其特征在于：任务端中预先设定任务的优先级。
3.根据权利要求2所述的大数据集的任务队列优先级的调度管理方法，其特征在于：步骤B中，执行引擎运行优先级算法、队列长度均衡算法、运行时间均衡算法、贪婪算法、遗传算法中的一种。
4.根据权利要求3所述的大数据集的任务队列优先级的调度管理方法，其特征在于：队列的平均运行时间由运行记录中获得。
5.根据权利要求4所述的大数据集的任务队列优先级的调度管理方法，其特征在于：依任务队列对应设置队列服务器，队列采用先进先出队列、后进先出队列、循环队列、优先级队列中任一种。
CN201510910405.3A 2015-12-10 2015-12-10 大数据集的任务队列优先级的调度管理方法 Pending CN105511950A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510910405.3A CN105511950A (zh) 2015-12-10 2015-12-10 大数据集的任务队列优先级的调度管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510910405.3A CN105511950A (zh) 2015-12-10 2015-12-10 大数据集的任务队列优先级的调度管理方法

Publications (1)

Publication Number Publication Date
CN105511950A true CN105511950A (zh) 2016-04-20

Family

ID=55719956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510910405.3A Pending CN105511950A (zh) 2015-12-10 2015-12-10 大数据集的任务队列优先级的调度管理方法

Country Status (1)

Country Link
CN (1) CN105511950A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106371903A (zh) * 2016-08-23 2017-02-01 西安电子科技大学 飞机机载可信计算平台的任务调度方法
CN106874090A (zh) * 2017-01-23 2017-06-20 北京思特奇信息技术股份有限公司 基于云系统的作业调度方法和系统
CN107133332A (zh) * 2017-05-11 2017-09-05 广州视源电子科技股份有限公司 一种查询任务的分配方法及装置
CN107145388A (zh) * 2017-05-25 2017-09-08 深信服科技股份有限公司 一种多任务环境下任务调度方法及系统
CN107423120A (zh) * 2017-04-13 2017-12-01 阿里巴巴集团控股有限公司 任务调度方法及装置
CN107680144A (zh) * 2017-10-16 2018-02-09 郑州云海信息技术有限公司 一种WebP文件转换的方法及装置
CN109976885A (zh) * 2017-12-28 2019-07-05 中移物联网有限公司 基于多任务操作系统的事件处理方法、装置及存储介质
CN110196775A (zh) * 2019-05-30 2019-09-03 苏州浪潮智能科技有限公司 一种计算任务处理方法、装置、设备以及可读存储介质
CN111061570A (zh) * 2019-11-26 2020-04-24 深圳云天励飞技术有限公司 一种图像计算请求处理方法、装置及终端设备
CN111400010A (zh) * 2020-03-18 2020-07-10 中国建设银行股份有限公司 任务调度方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080244584A1 (en) * 2007-03-26 2008-10-02 Smith Gary S Task scheduling method
CN101739293A (zh) * 2009-12-24 2010-06-16 航天恒星科技有限公司 一种基于多线程的卫星数据产品生产任务并行调度方法
CN103365711A (zh) * 2013-07-03 2013-10-23 南京邮电大学 应用于物联网业务平台的任务调度机制和方法
CN103778011A (zh) * 2014-01-21 2014-05-07 国家电网公司 一种电力系统中服务平台任务公平随机调度方法
CN104156264A (zh) * 2014-08-01 2014-11-19 西北工业大学 一种基于多gpu的基带信号处理任务并行实时调度方法
CN104391918A (zh) * 2014-11-19 2015-03-04 天津南大通用数据技术股份有限公司 基于对等部署的分布式数据库查询优先级管理的实现方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080244584A1 (en) * 2007-03-26 2008-10-02 Smith Gary S Task scheduling method
CN101739293A (zh) * 2009-12-24 2010-06-16 航天恒星科技有限公司 一种基于多线程的卫星数据产品生产任务并行调度方法
CN103365711A (zh) * 2013-07-03 2013-10-23 南京邮电大学 应用于物联网业务平台的任务调度机制和方法
CN103778011A (zh) * 2014-01-21 2014-05-07 国家电网公司 一种电力系统中服务平台任务公平随机调度方法
CN104156264A (zh) * 2014-08-01 2014-11-19 西北工业大学 一种基于多gpu的基带信号处理任务并行实时调度方法
CN104391918A (zh) * 2014-11-19 2015-03-04 天津南大通用数据技术股份有限公司 基于对等部署的分布式数据库查询优先级管理的实现方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106371903A (zh) * 2016-08-23 2017-02-01 西安电子科技大学 飞机机载可信计算平台的任务调度方法
CN106371903B (zh) * 2016-08-23 2019-05-24 西安电子科技大学 飞机机载可信计算平台的任务调度方法
CN106874090A (zh) * 2017-01-23 2017-06-20 北京思特奇信息技术股份有限公司 基于云系统的作业调度方法和系统
CN107423120B (zh) * 2017-04-13 2020-06-30 阿里巴巴集团控股有限公司 任务调度方法及装置
CN107423120A (zh) * 2017-04-13 2017-12-01 阿里巴巴集团控股有限公司 任务调度方法及装置
CN107133332A (zh) * 2017-05-11 2017-09-05 广州视源电子科技股份有限公司 一种查询任务的分配方法及装置
CN107133332B (zh) * 2017-05-11 2020-10-16 广州视源电子科技股份有限公司 一种查询任务的分配方法及装置
CN107145388A (zh) * 2017-05-25 2017-09-08 深信服科技股份有限公司 一种多任务环境下任务调度方法及系统
CN107145388B (zh) * 2017-05-25 2020-10-30 深信服科技股份有限公司 一种多任务环境下任务调度方法及系统
CN107680144A (zh) * 2017-10-16 2018-02-09 郑州云海信息技术有限公司 一种WebP文件转换的方法及装置
CN109976885A (zh) * 2017-12-28 2019-07-05 中移物联网有限公司 基于多任务操作系统的事件处理方法、装置及存储介质
CN110196775A (zh) * 2019-05-30 2019-09-03 苏州浪潮智能科技有限公司 一种计算任务处理方法、装置、设备以及可读存储介质
CN111061570A (zh) * 2019-11-26 2020-04-24 深圳云天励飞技术有限公司 一种图像计算请求处理方法、装置及终端设备
CN111061570B (zh) * 2019-11-26 2023-03-31 深圳云天励飞技术有限公司 一种图像计算请求处理方法、装置及终端设备
CN111400010A (zh) * 2020-03-18 2020-07-10 中国建设银行股份有限公司 任务调度方法及装置

Similar Documents

Publication Publication Date Title
CN105511950A (zh) 大数据集的任务队列优先级的调度管理方法
CN108762896B (zh) 一种基于Hadoop集群任务调度方法及计算机设备
US10558498B2 (en) Method for scheduling data flow task and apparatus
CN107391243B (zh) 线程任务处理设备、装置及方法
Jia et al. Heuristic offloading of concurrent tasks for computation-intensive applications in mobile cloud computing
CN106557369B (zh) 一种多线程的管理方法及系统
WO2016082370A1 (zh) 一种分布式节点组内任务调度方法及系统
WO2018120991A1 (zh) 一种资源调度方法及装置
CN105159775A (zh) 基于负载均衡器的云计算数据中心的管理系统和管理方法
WO2023011157A1 (zh) 业务处理方法、装置、服务器、存储介质和计算机程序产品
CN103412786A (zh) 一种高性能服务器架构系统及数据处理方法
CN105159769A (zh) 一种适用于计算能力异构集群的分布式作业调度方法
CN103984594A (zh) 一种基于分布式可配置加权算法的任务调度方法及系统
CN112087503A (zh) 集群任务调度方法、系统、计算机和计算机可读存储介质
US20120290707A1 (en) System and method for unified polling of networked devices and services
Wang et al. Task scheduling for MapReduce in heterogeneous networks
CN111158904A (zh) 一种任务调度方法、装置、服务器及介质
Shu-Jun et al. Optimization and research of hadoop platform based on fifo scheduler
CN107423134B (zh) 一种大规模计算集群的动态资源调度方法
CN113961341A (zh) 基于Actor模型的并发数据处理方法、系统、设备和存储介质
CN117608840A (zh) 一种智能监控系统资源综合管理的任务处理方法及系统
CN115248734B (zh) 一种私有云多租户的资源配额自适应调节方法及装置
CN107911484B (zh) 一种消息处理的方法及装置
CN116360922A (zh) 集群资源调度方法、装置、计算机设备和存储介质
CN113434256B (zh) 一种云资源横向扩展方法、可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 300020 Tianjin Heping District, South Road, No. 11 International Building 23 purchase of Wheat

Applicant after: Tianjin mass information technology Limited by Share Ltd

Address before: 300020 Tianjin Heping District, South Road, No. 11 International Building 23 purchase of Wheat

Applicant before: Tianjin Hylanda Information Technology Co.,Ltd.

COR Change of bibliographic data
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160420