CN109117257A - 云环境下任务调度方法 - Google Patents

云环境下任务调度方法 Download PDF

Info

Publication number
CN109117257A
CN109117257A CN201810805311.3A CN201810805311A CN109117257A CN 109117257 A CN109117257 A CN 109117257A CN 201810805311 A CN201810805311 A CN 201810805311A CN 109117257 A CN109117257 A CN 109117257A
Authority
CN
China
Prior art keywords
task
cloud
resource
scheduling
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810805311.3A
Other languages
English (en)
Inventor
董秀梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XUZHOU HAIPAI TECHNOLOGY Co Ltd
Original Assignee
XUZHOU HAIPAI TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XUZHOU HAIPAI TECHNOLOGY Co Ltd filed Critical XUZHOU HAIPAI TECHNOLOGY Co Ltd
Priority to CN201810805311.3A priority Critical patent/CN109117257A/zh
Publication of CN109117257A publication Critical patent/CN109117257A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration

Abstract

本发明涉及移动云技术领域，且公开了云环境下任务调度方法，S1：任务接收：计算云系统对外接收任务，同时云系统计算自身的资源利用率；S2；任务赛选排序：将经过S1步骤接收的任务进行大小、简易难度和优先等级进行筛选并排序，根据自身资源的空闲率进行合理的分配；S3：任务分配：构建云任务与虚拟资源节点的分配关系矩阵，按照概率选择公式为每个云任务从构建的分配关系矩阵中选择一个资源分配方式，按照选择的资源分配方式执行每个云任务。该云环境下任务调度方法，支持高优先级的任务能够抢占资源执行的同时，又可以使得低优先级的任务不会被阻塞过长时间等优点，解决了后排的优先任务也能够获得资源执行的问题。

Description

云环境下任务调度方法
技术领域
本发明涉及任务调度技术领域，具体为云环境下任务调度方法。
背景技术
随着云计算技术的日趋成熟，越来越多的计算，数据存储，软件等资源，以服务的形式在网络上提供给用户使用。在云计算环境下执行软件测试，逐渐成为替代传统上代价高昂的软件测试解决方案的主要方法。在云计算环境下进行软件测试，将面临多用户，多任务的情况，如何调度这些属于不同用户的软件测试任务，使得测试资源能够得到高效的利用，成为一个关键问题。
当前云计算环境下常用的调度算法有：先入先出调度算法(FIFO)，计算能力调度算法(Capacity Scheduler)和公平调度算法(Fair Scheduler)。先入先出调度算法思想是首先按照作业的优先级的高低，再按照任务到达的时间先后，来调度任务的执行。算法思想简单明了，调度器的开销小，但忽视了不同任务的需求差异。计算能力调度器中包含多个任务队列，组织任务到队列中，每个队列可以占有一定比例的集群资源，在同一个队列的任务共享队列资源。每一个队列内部还是优先按照任务优先级，其次比较任务的到达时间来给任务分配资源。每个队列强制的分配给每个用户受限制的容量，这样保证队列中的资源不被一个任务所占用。该调度对公平性的考虑较少，因而会出现一个任务长时间占用大量测试资源，以至于其后的任务只能等待，这样就会使用户的体验较差。
Facebook提出的公平调度算法，它的目地是让所有的任务随着时间的推移，都能平均的获取近似等同的共享资源。仅仅一个任务在运行时，它将使用整个集群资源。当有其他的任务提交上来时，系统会将CPU空闲时间片赋给这些新的任务，以使得每个任务大概获取等量的执行时间。这个特性能够让小任务在合理的时间内完成的同时又不会让消耗较长时间的大任务等待过长的时间。该调度算法比较适合多用户，小任务较多的共享集群任务调度
本文提出了一种基于任务优先级的任务调度方法，该方法的特点在于支持高优先级的任务能够抢占资源执行的同时，又可以使得低优先级的任务不会被阻塞过长的时间，从而使得低优先级的任务也能够获得资源执行。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了支持高优先级的任务能够抢占资源执行的同时，又可以使得低优先级的任务不会被阻塞过长时间等优点，解决了后排的优先任务也能够获得资源执行的问题。
(二)技术方案
为实现后排的优先任务也能够获得资源执行的目的，本发明提供如下技术方案：云环境下任务调度方法，包括：
S1：任务接收：计算云系统对外接收任务，同时云系统计算自身的资源利用率。
S2；任务赛选排序：将经过S1步骤接收的任务进行大小、简易难度和优先等级进行筛选并排序，根据自身资源的空闲率进行合理的分配；
S3：任务分配：构建云任务与虚拟资源节点的分配关系矩阵，按照概率选择公式为每个云任务从构建的分配关系矩阵中选择一个资源分配方式，按照选择的资源分配方式执行每个云任务，其中，资源分配方式用于表示每个云任务在哪个虚拟资源节点上执行且每个云任务只能在一个虚拟资源节点上运行；
S4：继续接收任务：计算云系统继续对外接收任务，将其进行后续赛选分配，当遇到标记加急任务时，对其进行标记，同时暂时停止任务等级较低的小型困难任务，将其计算资源进行空闲；
S5：任务处理：将标记加急的任务分配到S4中空闲的资源中并进行计算；
S6：任务验收：对完成的任务进行验收。
优选的，所述按照概率选择公式为每个云任务从构建的分配关系矩阵中选择一个资源分配方式包括：按照概率选择公式轮盘赌为每个云任务从构建的分配关系矩阵中选择一个资源分配方式。
优选的，在按照概率选择公式为每个云任务从构建的分配关系矩阵中选择一个资源分配方式之后，所述方法还包括：被选择的资源分配方式所在行的其余所有列被置于禁忌表中。
优选的，所述任务筛选排序将所述任务接收模块加入队列的任务进行筛选，筛选步骤包括：
S1：导入任务名称；
S2：对任务进行判断，判断任务是否属于该组织所负责的范围，如果符合则保留任务名称并将任务发送至所述资源节点，如果不符合则拒绝接收任务名称并将任务打回至任务接收处，任务筛选模块打回至任务接收处的任务名称由云系统直接打回发送文件处；
S3：任务排序。
优选的，所述任务分配时会预留百分之三的资源节点，进行紧急计算使用。
优选的，所述接收任务类型主要包括：文职类，辨别或抄写符号，如打字等；运动类，如工人根据信号操作；心理类，包括学习、回忆、计算等；监控类，如检验合格产品；双重类，即同时进行两种任务，其中一项常常是监控任务。
优选的，所述任务验收将执行完成后的任务进行收回并验收，若果执行后的任务不合格，则直接打回至S1步骤并再一次的进行计算。
优选的，所述任务处理和任务验收均为同一台计算机。
(三)有益效果
与现有技术相比，本发明提供了云环境下任务调度方法，具备以下有益效果：
该云环境下任务调度方法，通过云系统接收任务，将任务压入队列并为下一步的筛选做准备，将接收的任务加入队列的任务进行筛选，筛选步骤包括：S1：导入任务名称；S2：判断任务是否属于该组织所负责的范围，如果符合则保留任务名称并将任务发送至所述资源节点，如果不符合则拒绝接收任务名称并将任务打回至任务接收处，任务筛选模块打回至任务接收处的任务名称由云系统直接打回发送文件处；S3：任务排序，建云任务与虚拟资源节点的分配关系矩阵，按照概率选择公式为每个云任务从构建的分配关系矩阵中选择一个资源分配方式，按照选择的资源分配方式执行每个云任务，其中，资源分配方式用于表示每个云任务在哪个虚拟资源节点上执行且每个云任务只能在一个虚拟资源节点上运行；计算云系统继续对外接收任务，将其进行后续赛选分配，当遇到标记加急任务时，对其进行标记，同时暂时停止任务等级较低的小型困难任务，将其计算资源进行空闲，将标记加急的任务分配到S4中空闲的资源中并进行计算，对完成的任务进行验收，支持高优先级的任务能够抢占资源执行的同时，又可以使得低优先级的任务不会被阻塞过长时间等优点，解决了后排的优先任务也能够获得资源执行的问题。
附图说明
图1为本发明提出的云环境下任务调度方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，云环境下任务调度方法，包括：
S1：任务接收：计算云系统对外接收任务，同时云系统计算自身的资源利用率。
S2；任务赛选排序：将经过S1步骤接收的任务进行大小、简易难度和优先等级进行筛选并排序，根据自身资源的空闲率进行合理的分配；
S3：任务分配：构建云任务与虚拟资源节点的分配关系矩阵，按照概率选择公式为每个云任务从构建的分配关系矩阵中选择一个资源分配方式，按照选择的资源分配方式执行每个云任务，其中，资源分配方式用于表示每个云任务在哪个虚拟资源节点上执行且每个云任务只能在一个虚拟资源节点上运行；
S4：继续接收任务：计算云系统继续对外接收任务，将其进行后续赛选分配，当遇到标记加急任务时，对其进行标记，同时暂时停止任务等级较低的小型困难任务，将其计算资源进行空闲；
S5：任务处理：将标记加急的任务分配到S4中空闲的资源中并进行计算；
S6：任务验收：对完成的任务进行验收。
优选的，按照概率选择公式为每个云任务从构建的分配关系矩阵中选择一个资源分配方式包括：按照概率选择公式轮盘赌为每个云任务从构建的分配关系矩阵中选择一个资源分配方式。
优选的，在按照概率选择公式为每个云任务从构建的分配关系矩阵中选择一个资源分配方式之后，方法还包括：被选择的资源分配方式所在行的其余所有列被置于禁忌表中。
优选的，任务筛选排序将任务接收模块加入队列的任务进行筛选，筛选步骤包括：
S1：导入任务名称；
S2：对任务进行判断，判断任务是否属于该组织所负责的范围，如果符合则保留任务名称并将任务发送至资源节点，如果不符合则拒绝接收任务名称并将任务打回至任务接收处，任务筛选模块打回至任务接收处的任务名称由云系统直接打回发送文件处；
S3：任务排序。
任务分配时会预留百分之三的资源节点，进行紧急计算使用。
接收任务类型主要包括：文职类，辨别或抄写符号，如打字等；运动类，如工人根据信号操作；心理类，包括学习、回忆、计算等；监控类，如检验合格产品；双重类，即同时进行两种任务，其中一项常常是监控任务。
任务验收将执行完成后的任务进行收回并验收，若果执行后的任务不合格，则直接打回至S1步骤并再一次的进行计算。
所述任务处理和任务验收均为同一台计算机。
综上所述，该云环境下任务调度方法，支持高优先级的任务能够抢占资源执行的同时，又可以使得低优先级的任务不会被阻塞过长时间等优点，解决了后排的优先任务也能够获得资源执行的问题。
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.云环境下任务调度方法，其特征在于，包括：
S1：任务接收：计算云系统对外接收任务，同时云系统计算自身的资源利用率。
S2；任务赛选排序：将经过S1步骤接收的任务进行大小、简易难度和优先等级进行筛选并排序，根据自身资源的空闲率进行合理的分配；
S3：任务分配：构建云任务与虚拟资源节点的分配关系矩阵，按照概率选择公式为每个云任务从构建的分配关系矩阵中选择一个资源分配方式，按照选择的资源分配方式执行每个云任务，其中，资源分配方式用于表示每个云任务在哪个虚拟资源节点上执行且每个云任务只能在一个虚拟资源节点上运行；
S4：继续接收任务：计算云系统继续对外接收任务，将其进行后续赛选分配，当遇到标记加急任务时，对其进行标记，同时暂时停止任务等级较低的小型困难任务，将其计算资源进行空闲；
S5：任务处理：将标记加急的任务分配到S4中空闲的资源中并进行计算；
S6：任务验收：对完成的任务进行验收。
2.根据权利要求1所述的云环境下任务调度方法，其特征在于：所述按照概率选择公式为每个云任务从构建的分配关系矩阵中选择一个资源分配方式包括：按照概率选择公式轮盘赌为每个云任务从构建的分配关系矩阵中选择一个资源分配方式。
3.根据权利要求1所述的云环境下任务调度方法，其特征在于：在按照概率选择公式为每个云任务从构建的分配关系矩阵中选择一个资源分配方式之后，所述方法还包括：被选择的资源分配方式所在行的其余所有列被置于禁忌表中。
4.根据权利要求1所述的云环境下任务调度方法，其特征在于：所述任务筛选排序将所述任务接收模块加入队列的任务进行筛选，筛选步骤包括：
S1：导入任务名称；
S2：对任务进行判断，判断任务是否属于该组织所负责的范围，如果符合则保留任务名称并将任务发送至所述资源节点，如果不符合则拒绝接收任务名称并将任务打回至任务接收处，任务筛选模块打回至任务接收处的任务名称由云系统直接打回发送文件处；
S3：任务排序。
5.根据权利要求1所述的云环境下任务调度方法，其特征在于：所述任务分配时会预留百分之三的资源节点，进行紧急计算使用。
6.根据权利要求1所述的云环境下任务调度方法，其特征在于：所述接收任务类型主要包括：文职类，辨别或抄写符号，如打字等；运动类，如工人根据信号操作；心理类，包括学习、回忆、计算等；监控类，如检验合格产品；双重类，即同时进行两种任务，其中一项常常是监控任务。
7.根据权利要求1所述的云环境下任务调度方法，其特征在于：所述任务验收将执行完成后的任务进行收回并验收，若果执行后的任务不合格，则直接打回至S1步骤并再一次的进行计算。
8.根据权利要求1所述的云环境下任务调度方法，其特征在于：所述任务处理和任务验收均为同一台计算机。
CN201810805311.3A 2018-07-20 2018-07-20 云环境下任务调度方法 Pending CN109117257A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810805311.3A CN109117257A (zh) 2018-07-20 2018-07-20 云环境下任务调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810805311.3A CN109117257A (zh) 2018-07-20 2018-07-20 云环境下任务调度方法

Publications (1)

Publication Number Publication Date
CN109117257A true CN109117257A (zh) 2019-01-01

Family

ID=64863204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810805311.3A Pending CN109117257A (zh) 2018-07-20 2018-07-20 云环境下任务调度方法

Country Status (1)

Country Link
CN (1) CN109117257A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115766474A (zh) * 2022-10-31 2023-03-07 南方电网数字平台科技(广东)有限公司 一种适用于云平台运营的虚拟资源生命周期管理的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324525A (zh) * 2013-07-03 2013-09-25 东南大学 一种云计算环境下的任务调度方法
CN103699445A (zh) * 2013-12-19 2014-04-02 北京奇艺世纪科技有限公司 一种任务调度方法、装置及系统
CN103823719A (zh) * 2014-02-26 2014-05-28 杭州群核信息技术有限公司 针对可执行程序的分布式云计算系统及针对可执行程序的分布式云计算方法
CN105786605A (zh) * 2016-03-02 2016-07-20 中国科学院自动化研究所 一种机器人中的任务管理方法及系统
CN107133095A (zh) * 2017-04-07 2017-09-05 北京科技大学 一种云环境下的任务调度方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324525A (zh) * 2013-07-03 2013-09-25 东南大学 一种云计算环境下的任务调度方法
CN103699445A (zh) * 2013-12-19 2014-04-02 北京奇艺世纪科技有限公司 一种任务调度方法、装置及系统
CN103823719A (zh) * 2014-02-26 2014-05-28 杭州群核信息技术有限公司 针对可执行程序的分布式云计算系统及针对可执行程序的分布式云计算方法
CN105786605A (zh) * 2016-03-02 2016-07-20 中国科学院自动化研究所 一种机器人中的任务管理方法及系统
CN107133095A (zh) * 2017-04-07 2017-09-05 北京科技大学 一种云环境下的任务调度方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115766474A (zh) * 2022-10-31 2023-03-07 南方电网数字平台科技(广东)有限公司 一种适用于云平台运营的虚拟资源生命周期管理的方法
CN115766474B (zh) * 2022-10-31 2024-04-26 南方电网数字平台科技(广东)有限公司 一种适用于云平台运营的虚拟资源生命周期管理的方法

Similar Documents

Publication Publication Date Title
CN109471705A (zh) 任务调度的方法、设备及系统、计算机设备
CN110209496A (zh) 基于数据处理的任务分片方法、装置及分片服务器
CN104391918B (zh) 基于对等部署的分布式数据库查询优先级管理的实现方法
CN107038069A (zh) Hadoop平台下动态标签匹配DLMS调度方法
CN106919445A (zh) 一种在集群中并行调度容器的方法和装置
CN107968802A (zh) 一种资源调度的方法、装置和过滤式调度器
TW201023042A (en) Scheduler of virtual machine module, scheduling method thereof, and device containing computer software
CN104182278B (zh) 一种判定计算机硬件资源繁忙程度的方法和装置
CN110287022A (zh) 一种调度节点选择方法、装置、存储介质及服务器
CN111880939A (zh) 容器动态迁移方法、装置及电子设备
CN110716796A (zh) 智能任务调度方法及装置、存储介质、电子设备
CN107944000A (zh) 航班运价更新方法、装置、电子设备、存储介质
CN110389843A (zh) 一种业务调度方法、装置、设备及可读存储介质
CN113886034A (zh) 任务调度方法、系统、电子设备及存储介质
CN111798106A (zh) 项目管理方法及系统
CN110083536B (zh) 测试资源分配方法及装置、电子设备及存储介质
CN109117257A (zh) 云环境下任务调度方法
CN110912967A (zh) 一种服务节点调度方法、装置、设备及存储介质
CN110471761A (zh) 服务器的控制方法、用户设备、存储介质及装置
Zhang et al. Multi-resource fair allocation for cloud federation
CN113962500A (zh) 一种应急车辆的调度方法、装置、计算机设备和存储介质
CN116560860A (zh) 一种基于机器学习的资源优先级的实时优化调整方法
CN113205235A (zh) 客服调度的方法和装置
EP2828761A1 (en) A method and system for distributed computing of jobs
CN111796934B (zh) 任务下发方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190101