CN106027617A - 一种私有云环境下任务及资源动态调度的实现方法 - Google Patents
一种私有云环境下任务及资源动态调度的实现方法 Download PDFInfo
- Publication number
- CN106027617A CN106027617A CN201610306504.5A CN201610306504A CN106027617A CN 106027617 A CN106027617 A CN 106027617A CN 201610306504 A CN201610306504 A CN 201610306504A CN 106027617 A CN106027617 A CN 106027617A
- Authority
- CN
- China
- Prior art keywords
- task
- resource
- event
- state
- management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012544 monitoring process Methods 0.000 claims abstract description 19
- 230000001960 triggered effect Effects 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000008602 contraction Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 abstract description 27
- 238000011084 recovery Methods 0.000 abstract description 2
- 238000013468 resource allocation Methods 0.000 abstract description 2
- 230000000903 blocking effect Effects 0.000 abstract 1
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
Abstract
本发明特别涉及一种私有云环境下任务及资源动态调度的实现方法。该私有云环境下任务及资源动态调度的实现方法，包括任务管理，调度引擎，资源池管理和监控管理四部分；所述任务管理对运行于平台中的任务进行统一定义、统一运行管理；所述调度引擎用于平衡资源分配；所述资源池管理记录平台资源的使用情况，并负责对资源进行分配和回收；所述监控管理负责对任务执行和资源的使用情况进行实时监控，将信息反馈给调度引擎。该私有云环境下任务及资源动态调度的实现方法，为私有云环境提供了任务调度以及资源高效利用的方法，能够将有限的资源进行调度，用最少的资源完成既定的任务，满足用户需求，具有公平，及时，高利用率，非阻塞的特性。
Description
技术领域
本发明涉及计算机应用技术领域，特别涉及一种私有云环境下任务及资源动态调度的实现方法。
背景技术
随着云计算、大数据的发展以及云平台的成熟，越来越多的应用迁移到云平台中运行，随着平台中任务的增加，如何对众多任务进行科学调度、对平台资源进行合理分配成了云平台的核心。在现实情况下，任务的执行情况复杂多变，任务启动的时机不同，有的是定时执行，有的任务之间是依赖关系，有的任务可并行执行，在任务执行过程中，如何调度资源才能最大限度的提高资源利用率，此发明解决了任务调度及资源分配问题。
在资源有限、任务繁重的情况下，如何将有限的资源进行调度，分配给将要执行的任务，以实现公平性、及时性、高利用率以及非阻塞的要求。批处理系统要求增加系统吞吐量和提高系统资源的利用率；分时系统要求每个分时用户能容忍的响应时间；实时系统要求对随机发生的外部事件做出实时响应；在云平台中则需要通过对任务的编排和对任务执行过程的监控，来对任务进行全局的调度和平台资源的分配。
基于上述问题，本发明提出了一种私有云环境下任务及资源动态调度的实现方法。
发明内容
本发明为了弥补现有技术的缺陷，提供了一种简单高效的私有云环境下任务及资源动态调度的实现方法。
本发明是通过如下技术方案实现的：
一种私有云环境下任务及资源动态调度的实现方法，其特征在于：包括任务管理，调度引擎，资源池管理和监控管理四部分；所述任务管理对运行于平台中的任务进行统一定义、统一运行管理，包括对任务定义和任务执行两方面的管理；所述调度引擎用于平衡资源分配，只处理与调度有关的事物，包括对任务的解析，根据解析结果启用调度策略，并在分配的资源中执行任务；所述资源池管理记录平台资源的使用情况，并负责对资源进行分配和回收；所述监控管理负责对任务执行和资源的使用情况进行实时监控，将信息反馈给调度引擎。
运行于平台中的任务分为未启动，已启动，在执行三种执行状态；所述未启动状态是指定义时状态；已启动状态表明任务在等待启动，可通过手动，定时或依赖进行启动；在执行状态表明该任务正在执行，尚未结束；任务执行结束后状态变为已启动状态等待下一次执行；所有任务启动时检查当前执行状态，若任务当前状态是在执行，则不进行操作；
根据任务的启动类型，运行于平台中的任务分为即时启动任务，定时启动任务和依赖启动任务，所述即时启动任务和定时启动任务均可由客户手动的启动，所述依赖启动任务不允许客户手动启动，只能通过系统自动启动；所述任务定义包括对任务基本属性的设置，以及对所述定时启动任务设置其定时属性，对所述依赖启动任务设置其依赖属性。
所述定时启动任务的定时属性，包括定时时间及产生的事件类型，当到达定时时间时产生的相应事件，以及由相应事件触发的相应任务；所述依赖启动任务的依赖属性，包括任务的依赖关系及产生的事件类型，当满足依赖条件时产生的相应事件，以及由相应事件触发的相应任务。
由于不同调度场景下对资源的定义不同，所以平台不会存在一个通用的调度功能，而是根据不同场景实现指定接口开发不同的调度实现。
在执行任务时，所述资源池管理在资源所在的资源池中寻找可用的资源，对资源进行分配和回收；所述监控管理监控任务的执行状态和资源池的状态，并在监控到任务的执行状态和资源池的状态发生变化时通知调度引擎，以触发调度任务；触发调度任务的事件包括两类，一类是新任务的执行，另一类是监控管理监控到执行的任务状态发生变化，即执行异常或执行结束，收缩事件不会触发调度任务的产生。
本发明的有益效果是：该私有云环境下任务及资源动态调度的实现方法，为私有云环境提供了任务调度以及资源高效利用的方法，在任务启动后无需等待，可直接分配资源进行执行；同时，在满足任务执行需要的资源的前提下，能够尽可能的将任务进行合并执行，回收所占用的资源；在私有云环境资源有限、任务繁重的情况下，还能够将有限的资源进行调度，用最少的资源完成既定的任务，满足用户需求，具有公平，及时，高利用率，非阻塞的特性。
附图说明
附图1为本发明私有云环境下任务及资源动态调度的实现方法示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图和实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
该私有云环境下任务及资源动态调度的实现方法，包括任务管理，调度引擎，资源池管理和监控管理四部分；所述任务管理对运行于平台中的任务进行统一定义、统一运行管理，包括对任务定义和任务执行两方面的管理；所述调度引擎用于平衡资源分配，只处理与调度有关的事物，包括对任务的解析，根据解析结果启用调度策略，并在分配的资源中执行任务；所述资源池管理记录平台资源的使用情况，并负责对资源进行分配和回收；所述监控管理负责对任务执行和资源的使用情况进行实时监控，将信息反馈给调度引擎。
运行于平台中的任务分为未启动，已启动，在执行三种执行状态；所述未启动状态是指定义时状态；已启动状态表明任务在等待启动，可通过手动，定时或依赖进行启动；在执行状态表明该任务正在执行，尚未结束；任务执行结束后状态变为已启动状态等待下一次执行；所有任务启动时检查当前执行状态，若任务当前状态是在执行，则不进行操作；
根据任务的启动类型，运行于平台中的任务分为即时启动任务，定时启动任务和依赖启动任务，所述即时启动任务和定时启动任务均可由客户手动的启动，所述依赖启动任务不允许客户手动启动，只能通过系统自动启动；所述任务定义包括对任务基本属性的设置，以及对所述定时启动任务设置其定时属性，对所述依赖启动任务设置其依赖属性。
所述定时启动任务的定时属性，包括定时时间及产生的事件类型，当到达定时时间时产生的相应事件，以及由相应事件触发的相应任务；所述依赖启动任务的依赖属性，包括任务的依赖关系及产生的事件类型，当满足依赖条件时产生的相应事件，以及由相应事件触发的相应任务。
由于不同调度场景下对资源的定义不同，所以平台不会存在一个通用的调度功能，而是根据不同场景实现指定接口开发不同的调度实现。
在执行任务时，所述资源池管理在资源所在的资源池中寻找可用的资源，对资源进行分配和回收；所述监控管理监控任务的执行状态和资源池的状态，并在监控到任务的执行状态和资源池的状态发生变化时通知调度引擎，以触发调度任务；触发调度任务的事件包括两类，一类是新任务的执行，另一类是监控管理监控到执行的任务状态发生变化，即执行异常或执行结束，收缩事件不会触发调度任务的产生。
组件之间的调用可以通过REST接口来实现，但这要求每个组件都需要知道调用哪个REST，如果不知道调用哪个需要提前进行注册，这无疑增加了程序的复杂性。
为简化组件之间调用程序的复杂性，该私有云环境下任务及资源动态调度的实现方法，还提出了事件机制；所述事件机制是指当事件发生后，事件生产者将事件内容进行保存记录，并将事件按照统一规范命名，打好事件的类型标签，事件消费者按照事先约定消费该事件并产生相应的任务即可。
在事件机制下，事件生产者不关注由谁来消费事件，只关心生产事件、打好事件的类型标签，事件消费者也不需要关注事件是由谁产生的，只需要消费相应类型的事件即可。
在该私有云环境下任务及资源动态调度的实现方法中，事件生产者生产触发调度任务的事件，调度引擎作为事件消费者消费触发调度任务的事件并产生相应的任务。所述事件命名格式为“组件名_功能_事件”，使用json格式对事件状态的数据类型进行保存。
Claims (6)
1.一种私有云环境下任务及资源动态调度的实现方法，其特征在于：包括任务管理，调度引擎，资源池管理和监控管理四部分；所述任务管理对运行于平台中的任务进行统一定义、统一运行管理，包括对任务定义和任务执行两方面的管理；所述调度引擎用于平衡资源分配，只处理与调度有关的事物，包括对任务的解析，根据解析结果启用调度策略，并在分配的资源中执行任务；所述资源池管理记录平台资源的使用情况，并负责对资源进行分配和回收；所述监控管理负责对任务执行和资源的使用情况进行实时监控，将信息反馈给调度引擎。
2.根据权利要求1所述的私有云环境下任务及资源动态调度的实现方法，其特征在于：运行于平台中的任务分为未启动，已启动，在执行三种执行状态；所述未启动状态是指定义时状态；已启动状态表明任务在等待启动，可通过手动，定时或依赖进行启动；在执行状态表明该任务正在执行，尚未结束；任务执行结束后状态变为已启动状态等待下一次执行；所有任务启动时检查当前执行状态，若任务当前状态是在执行，则不进行操作；
根据任务的启动类型，运行于平台中的任务分为即时启动任务，定时启动任务和依赖启动任务，所述即时启动任务和定时启动任务均可由客户手动的启动，所述依赖启动任务不允许客户手动启动，只能通过系统自动启动；所述任务定义包括对任务基本属性的设置，以及对所述定时启动任务设置其定时属性，对所述依赖启动任务设置其依赖属性。
3.根据权利要求2所述的私有云环境下任务及资源动态调度的实现方法，其特征在于：所述定时启动任务的定时属性，包括定时时间及产生的事件类型，当到达定时时间时产生的相应事件，以及由相应事件触发的相应任务；所述依赖启动任务的依赖属性，包括任务的依赖关系及产生的事件类型，当满足依赖条件时产生的相应事件，以及由相应事件触发的相应任务。
4.根据权利要求1所述的私有云环境下任务及资源动态调度的实现方法，其特征在于：在执行任务时，所述资源池管理在资源所在的资源池中寻找可用的资源，对资源进行分配和回收；所述监控管理监控任务的执行状态和资源池的状态，并在监控到任务的执行状态和资源池的状态发生变化时通知调度引擎，以触发调度任务；触发调度任务的事件包括两类，一类是新任务的执行，另一类是监控管理监控到执行的任务状态发生变化，即执行异常或执行结束，收缩事件不会触发调度任务的产生。
5.根据权利要求4所述的私有云环境下任务及资源动态调度的实现方法，其特征在于：为简化组件之间调用程序的复杂性，提出了事件机制；所述事件机制是指当触发调度任务的事件发生后，事件生产者将触发调度任务的事件内容进行保存记录，并将事件按照统一规范命名，打好事件的类型标签，调度引擎作为事件消费者消费该事件并产生相应的任务即可。
6.根据权利要求5所述的私有云环境下任务及资源动态调度的实现方法，其特征在于：所述事件命名格式为“组件名_功能_事件”，使用json格式对事件状态的数据类型进行保存。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610306504.5A CN106027617A (zh) | 2016-05-11 | 2016-05-11 | 一种私有云环境下任务及资源动态调度的实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610306504.5A CN106027617A (zh) | 2016-05-11 | 2016-05-11 | 一种私有云环境下任务及资源动态调度的实现方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106027617A true CN106027617A (zh) | 2016-10-12 |
Family
ID=57098969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610306504.5A Pending CN106027617A (zh) | 2016-05-11 | 2016-05-11 | 一种私有云环境下任务及资源动态调度的实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106027617A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106502803A (zh) * | 2016-10-21 | 2017-03-15 | 郑州云海信息技术有限公司 | 一种私有云环境下的异构虚拟化平台事件管理模型 |
| CN106789244A (zh) * | 2016-12-22 | 2017-05-31 | 上海斐讯数据通信技术有限公司 | 一种云终端设备的管理方法及系统 |
| CN107908466A (zh) * | 2017-10-27 | 2018-04-13 | 南京理工大学 | 一种云环境下BoT任务的快速调度方法 |
| CN109672709A (zh) * | 2017-10-17 | 2019-04-23 | 上海仪电（集团）有限公司中央研究院 | 一种混合云业务调度系统及方法 |
| CN110750350A (zh) * | 2019-10-29 | 2020-02-04 | 广东浪潮大数据研究有限公司 | 一种大资源调度方法、系统、装置及可读存储介质 |
| CN111240819A (zh) * | 2020-01-10 | 2020-06-05 | 山东浪潮通软信息科技有限公司 | 一种调度任务的发布系统及方法 |
| CN111654534A (zh) * | 2020-04-22 | 2020-09-11 | 国云科技股份有限公司 | 一种私有云任务管理系统、方法及存储介质 |
| CN111984393A (zh) * | 2020-10-12 | 2020-11-24 | 浙江大华技术股份有限公司 | 分布式大规模实时数据调度引擎系统及其数据调度方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102073546A (zh) * | 2010-12-13 | 2011-05-25 | 北京航空航天大学 | 一种云计算环境中分布式计算模式下的任务动态调度方法 |
| CN102081557A (zh) * | 2011-01-27 | 2011-06-01 | 浪潮(北京)电子信息产业有限公司 | 云计算操作系统中资源管理方法及系统 |
| CN102413186A (zh) * | 2011-12-02 | 2012-04-11 | 北京星网锐捷网络技术有限公司 | 基于私有云计算的资源调度方法、装置和云管理服务器 |
| CN101986274B (zh) * | 2010-11-11 | 2012-10-03 | 东软集团股份有限公司 | 一种私有云环境下资源调配系统及资源调配方法 |
| US20120317168A1 (en) * | 2010-07-09 | 2012-12-13 | Sap Ag | Brokered Cloud Computing Architecture |
| CN103561092A (zh) * | 2013-10-31 | 2014-02-05 | 广州华多网络科技有限公司 | 私有云环境下管理资源的方法及装置 |
| CN103731372A (zh) * | 2013-12-24 | 2014-04-16 | 东南大学 | 一种混合云环境下服务提供者的资源供应方法 |
-
2016
- 2016-05-11 CN CN201610306504.5A patent/CN106027617A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120317168A1 (en) * | 2010-07-09 | 2012-12-13 | Sap Ag | Brokered Cloud Computing Architecture |
| CN101986274B (zh) * | 2010-11-11 | 2012-10-03 | 东软集团股份有限公司 | 一种私有云环境下资源调配系统及资源调配方法 |
| CN102073546A (zh) * | 2010-12-13 | 2011-05-25 | 北京航空航天大学 | 一种云计算环境中分布式计算模式下的任务动态调度方法 |
| CN102081557A (zh) * | 2011-01-27 | 2011-06-01 | 浪潮(北京)电子信息产业有限公司 | 云计算操作系统中资源管理方法及系统 |
| CN102413186A (zh) * | 2011-12-02 | 2012-04-11 | 北京星网锐捷网络技术有限公司 | 基于私有云计算的资源调度方法、装置和云管理服务器 |
| CN103561092A (zh) * | 2013-10-31 | 2014-02-05 | 广州华多网络科技有限公司 | 私有云环境下管理资源的方法及装置 |
| CN103731372A (zh) * | 2013-12-24 | 2014-04-16 | 东南大学 | 一种混合云环境下服务提供者的资源供应方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106502803A (zh) * | 2016-10-21 | 2017-03-15 | 郑州云海信息技术有限公司 | 一种私有云环境下的异构虚拟化平台事件管理模型 |
| CN106789244A (zh) * | 2016-12-22 | 2017-05-31 | 上海斐讯数据通信技术有限公司 | 一种云终端设备的管理方法及系统 |
| CN109672709A (zh) * | 2017-10-17 | 2019-04-23 | 上海仪电（集团）有限公司中央研究院 | 一种混合云业务调度系统及方法 |
| CN109672709B (zh) * | 2017-10-17 | 2023-03-24 | 上海仪电（集团）有限公司中央研究院 | 一种混合云业务调度系统及方法 |
| CN107908466A (zh) * | 2017-10-27 | 2018-04-13 | 南京理工大学 | 一种云环境下BoT任务的快速调度方法 |
| CN110750350A (zh) * | 2019-10-29 | 2020-02-04 | 广东浪潮大数据研究有限公司 | 一种大资源调度方法、系统、装置及可读存储介质 |
| CN111240819A (zh) * | 2020-01-10 | 2020-06-05 | 山东浪潮通软信息科技有限公司 | 一种调度任务的发布系统及方法 |
| CN111654534A (zh) * | 2020-04-22 | 2020-09-11 | 国云科技股份有限公司 | 一种私有云任务管理系统、方法及存储介质 |
| CN111984393A (zh) * | 2020-10-12 | 2020-11-24 | 浙江大华技术股份有限公司 | 分布式大规模实时数据调度引擎系统及其数据调度方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106027617A (zh) | 一种私有云环境下任务及资源动态调度的实现方法 | |
| CN103593242B (zh) | 基于Yarn框架的资源共享控制系统 | |
| WO2015096656A1 (zh) | 线程创建方法、业务请求处理方法及相关设备 | |
| Sengupta et al. | Scheduling multi-tenant cloud workloads on accelerator-based systems | |
| Böhm et al. | Profiling Lightweight Container Platforms: MicroK8s and K3s in Comparison to Kubernetes. | |
| WO2014090008A1 (zh) | 一种任务处理的方法和虚拟机 | |
| CN108920153A (zh) | 一种基于负载预测的Docker容器动态调度方法 | |
| CN112882828B (zh) | 基于slurm作业调度系统的昇腾处理器管理和调度方法 | |
| CN103744716A (zh) | 一种基于当前vcpu调度状态的动态中断均衡映射方法 | |
| CN110012062B (zh) | 一种多机房任务调度方法、装置及存储介质 | |
| CN104243617A (zh) | 一种异构集群中面向混合负载的任务调度方法及系统 | |
| CN105550040A (zh) | 基于kvm平台的虚拟机cpu资源预留算法 | |
| CN107943559A (zh) | 一种大数据资源调度系统及其方法 | |
| CN112256414A (zh) | 一种连接多种计算存储引擎的方法及系统 | |
| CN109117244B (zh) | 一种虚拟机资源申请排队机制的实现方法 | |
| El Haj Ahmed et al. | KubCG: A dynamic Kubernetes scheduler for heterogeneous clusters | |
| CN112395736A (zh) | 一种分布交互仿真系统的并行仿真作业调度方法 | |
| CN103716397A (zh) | 一种面向服务仿真时钟推进方法 | |
| Zhao et al. | Efficient sharing and fine-grained scheduling of virtualized GPU resources | |
| CN114721818A (zh) | 一种基于Kubernetes集群的GPU分时共享方法和系统 | |
| WO2022120577A1 (zh) | 一种预处理函数的无服务器计算方法及其系统 | |
| CN104717269A (zh) | 用于位置服务的云公共平台计算机资源监控和调度方法 | |
| CN113326098B (zh) | 支持kvm虚拟化与容器虚拟化的云管平台 | |
| CN112527469B (zh) | 一种云计算服务器的容错组合方法 | |
| CN111506407B (zh) | Pull模式与Push模式相结合的资源管理与作业调度方法、系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161012 |