CN102402461A - 一种基于作业规模的均衡调度方法 - Google Patents
一种基于作业规模的均衡调度方法 Download PDFInfo
- Publication number
- CN102402461A CN102402461A CN2011104051174A CN201110405117A CN102402461A CN 102402461 A CN102402461 A CN 102402461A CN 2011104051174 A CN2011104051174 A CN 2011104051174A CN 201110405117 A CN201110405117 A CN 201110405117A CN 102402461 A CN102402461 A CN 102402461A
- Authority
- CN
- China
- Prior art keywords
- priority
- scheduling
- user
- resource
- factor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于作业规模的均衡调度方法，S1，系统启动；S2，计算作业优先级；S3，按照优先级启动调度作业，如果不能启动，则根据预约深度为作业创建预约；S4，检查当前是否还有空闲资源，如果有空闲资源，则选择可以回填的小作业回填；S5，本轮调度结束，睡眠一段时间，返回S2继续。本发明的优先级算法可以灵活定制。权重的设置可以是正数、负数、零，通过对于权重的设置，可以得到不同的优先级算法，如FIFO、大作业优先等；结合预约和抢占，可以较好的平衡大作业和小作业的竞争，提高系统的吞吐率。
Description
技术领域
本发明涉及高性能计算中的作业调度，特别涉及一种基于作业规模的均衡调度方法。
背景技术
一般高性能计算集群中，作业调度系统来负责作业的调度管理。调度策略的效率和有效性直接影响集群的工作效率。由于用户业务应用的多样性，传统调度策略很难解决所有应用的有效调度，最常见的问题：大作业/小作业竞争。本文提出了一种基于作业规模的均衡调度方法，通过综合优先级、公平共享、预约、回填等多种策略来解决作业竞争的问题，提高集群的整体利用率和作业吞吐率。
发明内容
本发明的目的是通过一组策略的组合来解决作业的均衡调度的问题。
一种基于作业规模的均衡调度方法，所述方法包括如下步骤：
S1，系统启动；
S2，计算作业优先级；
S3，按照优先级启动调度作业，如果不能启动，则根据预约深 度为作业创建预约；
S4，检查当前是否还有空闲资源，如果有空闲资源，则选择可以回填的小作业回填；
S5，本轮调度结束，睡眠一段时间，返回S2继续。
优选的，所述优先级的影响因素包括资源请求信息、作业凭证信息、公平共享设置和服务历史信息；
其中，所述资源请求信息包括节点数，处理器数，内存数，运行时间，磁盘空间；
所述作业凭证信息包括用户，用户组，队列和项目；
所述公平共享设置包括用户共享，用户组共享，队列共享和项目共享。
所述历史统计信息包括入队时间和调度计数。
优选的，所述优先级的影响因素可以设置不同的权重；
默认情况下，RES大类及子类的权重设置均为1，其它大类和子类均为0。
优选的，所述作业的优先级由所有的影响因素累加得到，每个因素大类的优先级是子因素优先级的求和。
本发明的优点在于：
优先级算法可以灵活定制。权重的设置可以是正数、负数、零，通过对于权重的设置，可以得到不同的优先级算法，如FIFO、大作业优先等；
结合预约和抢占，可以较好的平衡大作业和小作业的竞争，提 高系统的吞吐率。
具体实施方式
本发明的主要内容是提出了一种灵活可配的优先级生成算法来生成作业优先级，根据优先级高低顺序调度作业。同时，辅以已经标准化了的预约、回填、公平共享等策略，在尽可能均衡的情况下提高集群的利用率和吞吐率。本发明的流程包括：
一、系统启动
二、计算作业优先级
(1)优先级影响因素包括如下几种：资源请求信息(RES)、作业凭证信息(CRED)、公平共享设置(FAIRSHARE)、服务历史信息(HISOTORY)。每类信息又包括若干种子因素，具体包括：
*资源请求信息(RES)
-节点数(NODE) 请求的节点数
-处理器数(PROC) 请求的核心数
-内存数(MEM) 请求的内存数
-运行时间(WALLTIME) 请求的运行时间
-磁盘空间(DISK) 请求的磁盘大小
*作业凭证信息(CRED)
-用户(USER) 作业所属用户的优先级
-用户组(GROUP) 作业所属用户组的优先级
-队列(CLAS) 作业所载队列的优先级
-项目(ACCOUNT) 作业所属项目的优先级
*公平共享设置(FAIRSHARE)
-用户共享(FSUSER) 用户的资源使用目标值
-用户组共享(FSGROUP) 用户组的资源使用目标值
-队列共享(FSCLASS) 队列的资源使用目标值
-项目共享(FSACCOUNT) 项目的资源使用目标值
*历史统计信息(HISTORY)
-入队时间(QUEUETIME) 已经入队时间长度
-调度计数(BYPASS) 已经拒绝调度次数
(2)每种因素(及子因素)均可以设置不同的权重；
默认情况下，RES大类及子类的权重设置均为1，其它大类和子类均为0。
(3)作业的优先级由所有的影响因素累加得到。
作业的优先级是以上四大类优先级大类的求和。每个因素大类的优先级是子因素优先级的求和。如RES资源大类优先级＝资源大类权重*(节点权重*节点数+处理器权重*处理器数+内存权重*内存数+运行时间权重*运行时间+磁盘权重*磁盘空间)
三、按照优先级启动调度作业，如果不能启动，则根据预约深度(N)为前N个作业创建预约。
四、检查当前是否还有空闲资源，如果有空闲资源，则选择 可以回填的小作业回填。
五、本轮调度结束，睡眠一段时间，返回步骤二继续。
Claims (4)
1.一种基于作业规模的均衡调度方法，其特征在于：所述方法包括如下步骤：
S1，系统启动；
S2，计算作业优先级；
S3，按照优先级启动调度作业，如果不能启动，则根据预约深度为作业创建预约；
S4，检查当前是否还有空闲资源，如果有空闲资源，则选择可以回填的小作业回填；
S5，本轮调度结束，睡眠一段时间，返回S2继续。
2.如权利要求1所述的方法，其特征在于：所述优先级的影响因素包括资源请求信息、作业凭证信息、公平共享设置和服务历史信息；
其中，所述资源请求信息包括节点数，处理器数，内存数，运行时间，磁盘空间；
所述作业凭证信息包括用户，用户组，队列和项目；
所述公平共享设置包括用户共享，用户组共享，队列共享和项目共享。
所述历史统计信息包括入队时间和调度计数。
3.如权利要求2所述的方法，其特征在于：所述优先级的影响因素可以设置不同的权重；
默认情况下，RES大类及子类的权重设置均为1，其它大类和子类均为0。
4.如权利要求2所述的方法，其特征在于：所述作业的优先级由所有的影响因素累加得到，每个因素大类的优先级是子因素优先级的求和。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011104051174A CN102402461A (zh) | 2011-12-08 | 2011-12-08 | 一种基于作业规模的均衡调度方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011104051174A CN102402461A (zh) | 2011-12-08 | 2011-12-08 | 一种基于作业规模的均衡调度方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102402461A true CN102402461A (zh) | 2012-04-04 |
Family
ID=45884691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011104051174A Pending CN102402461A (zh) | 2011-12-08 | 2011-12-08 | 一种基于作业规模的均衡调度方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102402461A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102904750A (zh) * | 2012-09-24 | 2013-01-30 | 曙光信息产业(北京)有限公司 | 一种基于网络拓扑结构的作业分配方法 |
| CN103400065A (zh) * | 2013-07-03 | 2013-11-20 | 山东省计算中心 | 一种基于数据统计的License动态预测与调度方法 |
| CN103810037A (zh) * | 2014-01-10 | 2014-05-21 | 清华大学 | 一种作业调度方法和计算装置 |
| CN104021044A (zh) * | 2013-02-28 | 2014-09-03 | 中国移动通信集团浙江有限公司 | 一种作业调度方法及装置 |
| CN107070534A (zh) * | 2017-01-26 | 2017-08-18 | 清华大学 | 一种中继卫星负载均衡的动态抢占式任务调度方法及系统 |
| CN109766186A (zh) * | 2019-01-03 | 2019-05-17 | 中国联合网络通信集团有限公司 | 预约资源分配方法、装置、系统和可读存储介质 |
| CN109992418A (zh) * | 2019-03-25 | 2019-07-09 | 华南理工大学 | Sla感知的多租户大数据平台资源优先级调度方法及系统 |
| CN112506634A (zh) * | 2020-12-08 | 2021-03-16 | 天津津航计算技术研究所 | 一种基于预约机制的公平性作业调度方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6662203B1 (en) * | 1998-11-16 | 2003-12-09 | Telefonaktiebolaget Lm Ericsson (Publ) | Batch-wise handling of signals in a processing system |
| US7036123B2 (en) * | 2001-04-25 | 2006-04-25 | Sun Microsystems, Inc. | System using fair-share scheduling technique to schedule processes within each processor set based on the number of shares assigned to each process group |
| CN101063947A (zh) * | 2006-04-27 | 2007-10-31 | 国际商业机器公司 | 便于确定作业的调度优先级的方法和系统 |
| CN101458634A (zh) * | 2008-01-22 | 2009-06-17 | 中兴通讯股份有限公司 | 负载均衡调度方法和装置 |
| CN101662495A (zh) * | 2009-09-16 | 2010-03-03 | 成都市华为赛门铁克科技有限公司 | 备份方法、主服务器、备份服务器以及备份系统 |
| CN102096599A (zh) * | 2009-12-14 | 2011-06-15 | 中国移动通信集团公司 | 一种多队列任务调度方法及相关系统和设备 |
-
2011
- 2011-12-08 CN CN2011104051174A patent/CN102402461A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6662203B1 (en) * | 1998-11-16 | 2003-12-09 | Telefonaktiebolaget Lm Ericsson (Publ) | Batch-wise handling of signals in a processing system |
| US7036123B2 (en) * | 2001-04-25 | 2006-04-25 | Sun Microsystems, Inc. | System using fair-share scheduling technique to schedule processes within each processor set based on the number of shares assigned to each process group |
| CN101063947A (zh) * | 2006-04-27 | 2007-10-31 | 国际商业机器公司 | 便于确定作业的调度优先级的方法和系统 |
| CN101458634A (zh) * | 2008-01-22 | 2009-06-17 | 中兴通讯股份有限公司 | 负载均衡调度方法和装置 |
| CN101662495A (zh) * | 2009-09-16 | 2010-03-03 | 成都市华为赛门铁克科技有限公司 | 备份方法、主服务器、备份服务器以及备份系统 |
| CN102096599A (zh) * | 2009-12-14 | 2011-06-15 | 中国移动通信集团公司 | 一种多队列任务调度方法及相关系统和设备 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102904750A (zh) * | 2012-09-24 | 2013-01-30 | 曙光信息产业(北京)有限公司 | 一种基于网络拓扑结构的作业分配方法 |
| CN102904750B (zh) * | 2012-09-24 | 2017-06-23 | 曙光信息产业(北京)有限公司 | 一种基于网络拓扑结构的作业分配方法 |
| CN104021044A (zh) * | 2013-02-28 | 2014-09-03 | 中国移动通信集团浙江有限公司 | 一种作业调度方法及装置 |
| CN104021044B (zh) * | 2013-02-28 | 2017-05-31 | 中国移动通信集团浙江有限公司 | 一种作业调度方法及装置 |
| CN103400065B (zh) * | 2013-07-03 | 2016-01-20 | 山东省计算中心 | 一种基于数据统计的License动态预测与调度方法 |
| CN103400065A (zh) * | 2013-07-03 | 2013-11-20 | 山东省计算中心 | 一种基于数据统计的License动态预测与调度方法 |
| CN103810037A (zh) * | 2014-01-10 | 2014-05-21 | 清华大学 | 一种作业调度方法和计算装置 |
| CN107070534A (zh) * | 2017-01-26 | 2017-08-18 | 清华大学 | 一种中继卫星负载均衡的动态抢占式任务调度方法及系统 |
| CN109766186A (zh) * | 2019-01-03 | 2019-05-17 | 中国联合网络通信集团有限公司 | 预约资源分配方法、装置、系统和可读存储介质 |
| CN109766186B (zh) * | 2019-01-03 | 2021-05-18 | 中国联合网络通信集团有限公司 | 预约资源分配方法、装置、系统和可读存储介质 |
| CN109992418A (zh) * | 2019-03-25 | 2019-07-09 | 华南理工大学 | Sla感知的多租户大数据平台资源优先级调度方法及系统 |
| CN109992418B (zh) * | 2019-03-25 | 2023-01-06 | 华南理工大学 | Sla感知的多租户大数据平台资源优先级调度方法及系统 |
| CN112506634A (zh) * | 2020-12-08 | 2021-03-16 | 天津津航计算技术研究所 | 一种基于预约机制的公平性作业调度方法 |
| CN112506634B (zh) * | 2020-12-08 | 2022-07-12 | 天津津航计算技术研究所 | 一种基于预约机制的公平性作业调度方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102402461A (zh) | 一种基于作业规模的均衡调度方法 | |
| CN103324525B (zh) | 一种云计算环境下的任务调度方法 | |
| WO2016082370A1 (zh) | 一种分布式节点组内任务调度方法及系统 | |
| CN104580396B (zh) | 一种任务调度方法、节点及系统 | |
| CN106293950B (zh) | 一种面向集群系统的资源优化管理方法 | |
| CN102043675B (zh) | 一种基于任务处理请求任务量大小的线程池管理方法 | |
| CN105045658B (zh) | 一种利用多核嵌入式dsp实现动态任务调度分发的方法 | |
| Wang et al. | Workflow as a service in the cloud: architecture and scheduling algorithms | |
| CN100517219C (zh) | 多芯架构中的资源管理装置和方法以及多芯处理器 | |
| CN102243598B (zh) | 分布式数据仓库中的任务调度方法及系统 | |
| CN104021044A (zh) | 一种作业调度方法及装置 | |
| WO2015106533A1 (zh) | 基于协处理器的作业调度处理方法及装置 | |
| CN101499019B (zh) | 电信级以太网系统及用于该系统的实时任务调度方法 | |
| CN108108225B (zh) | 一种面向云计算平台的任务调度方法 | |
| CN109710392B (zh) | 一种基于混合云的异构资源调度方法 | |
| CN108154317B (zh) | 多云环境下基于实例自适应分配整合的工作流组调度方法 | |
| CN103679388B (zh) | 生产调度方法及生产调度系统 | |
| CN104572305A (zh) | 均衡负载的集群渲染任务调度方法 | |
| CN105389204B (zh) | 一种多资源偏序调度方法 | |
| CN104820616B (zh) | 一种任务调度的方法及装置 | |
| CN101582043A (zh) | 一种异构计算系统动态任务分配方法 | |
| CN110187956A (zh) | 一种多智能体平台的分层实时任务调度方法和系统 | |
| US20150113542A1 (en) | Knapsack-based sharing-aware scheduler for coprocessor-based compute clusters | |
| CN108984286A (zh) | 一种云计算平台的资源调度方法和系统 | |
| CN104035819A (zh) | 科学工作流调度处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120404 |