CN102495759A - 一种云计算环境中作业调度的方法 - Google Patents
一种云计算环境中作业调度的方法 Download PDFInfo
- Publication number
- CN102495759A CN102495759A CN2011104049136A CN201110404913A CN102495759A CN 102495759 A CN102495759 A CN 102495759A CN 2011104049136 A CN2011104049136 A CN 2011104049136A CN 201110404913 A CN201110404913 A CN 201110404913A CN 102495759 A CN102495759 A CN 102495759A
- Authority
- CN
- China
- Prior art keywords
- user
- management node
- resource
- node
- resources
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Stored Programmes (AREA)
Abstract
本发明提出了一种云计算环境中作业调度的方法，用户通过管理节点的申请接口向系统提交任务；管理节点根据用户提交的任务，分配计算节点执行任务；管理节点对资源运行状态进行监控，当资源不足时，选择该用户权限范围内相应的应用模板，生成新的计算资源，并添加到管理节点中，当用户的计算任务所获得的资源过剩时，选择向系统退还过剩的资源。本发明在生成、添加、配置新的计算节点的过程中，不需要管理员手动管理作业调度管理节点配置项，系统管理节点可以根据管理员在系统初始化时的基本配置，自动完成新计算节点的生成与添加。系统可以实现对计算资源的灵活调配，满足不同用户对计算资源规模的不同需求，同时实现对系统资源的有效分配，以最大化系统资源的利用率。
Description
技术领域
本发明涉及云计算资源管理，特别涉及一种云计算环境中作业调度的方法。
背景技术
目前在高性能计算问题领域中有多种作业调度算法，可实现对系统中预定义资源进行有效的管理。
当前的调度算法实现中，无法解决计算节点按需快速生成的问题。当需要计算的问题规模变化时，需要管理员手动添加新的计算节点配置，并在新的计算节点上部署安装不同的应用程序，以满足新的计算任务对计算资源的需求。
若提前将应用程序部署好，以备随时添加新的计算节点，则带来的问题是，当系统中有多个应用需要共享系统中有限的计算资源时，无法有效规划计算资源的分配，因为无法预测各种不同的应用在不同时间段对计算资源的占用情况，从而造成系统资源分配不均衡的现象：在某一时刻，部分被预先占用的计算资源并没有被应用所使用，而需要更多计算资源的应用却无法获取更多的计算资源，导致无法满足应用的需求。
发明内容
为解决上述问题，本发明提出了一种云计算环境中作业调度的方法。
一种云计算环境中作业调度的方法，所述方法包括如下步骤：
S1，用户通过管理节点的申请接口向系统提交任务；
S2，管理节点根据用户提交的任务，分配计算节点执行任务；
S3，管理节点对资源运行状态进行监控，当资源不足时，选择该用户权限范围内相应的应用模板，生成新的计算资源，并添加到管理节点中；
S4，当用户的计算任务所获得的资源过剩时，选择向系统退还过剩的资源。
优选的，所述计算节点由云计算环境中的计算资源组成，包括物理服务器上部署的操作系统与虚拟机节点上部署的操作系统，在操作系统中部署安装用户的应用程序。
优选的，所述物理服务器操作系统中的应用程序可以根据管理员对系统整体资源的规划，提前定义好资源的分配情况。
优选的，所述虚拟机节点操作系统中的应用程序是可以在系统运行过程中动态调配的。
优选的，所述虚拟机节点的操作系统由管理员部署安装应用程序，并将虚拟机制做成系统可管理的应用模板。
优选的，所述系统为用户分配的计算资源不能满足用户应用的需求时，用户可选择向管理员申请添加新的计算资源，管理员审批同意用户请求后，管理节点根据管理员的配置策略，基于为用户制定的应用模板动态生成新的计算资源，并添加到管理节点配置项中，然后管理节点将用户应用任务分配到新的计算节点上。
本发明在生成、添加、配置新的计算节点的过程中，不需要管理员手动管理作业调度管理节点配置项，系统管理节点可以根据管理员在系统初始化时的基本配置，自动完成新计算节点的生成与添加。系统可以实现对计算资源的灵活调配，满足不同用户对计算资源规模的不同需求，同时实现对系统资源的有效分配，以最大化系统资源的利用率。
附图说明
具体实施方式
下面通过具体实施方式对本发明的方法进行说明。
在本发明中，计算节点由云计算环境中的计算资源组成，包括物理服务器上部署的操作系统与虚拟机节点上部署的操作系统，在操作系统中需要部署安装用户的应用程序。物理服务器操作系统在系统中标记为PhyResource，虚拟机操作系统在系统中标记为VirResource。
其中物理服务器操作系统中的应用程序可以根据管理员对系统整体资源的规划，提前定义好资源的分配情况，以平衡不同的用户对计算资源初步的需求。当前系统对分配策略不做具体约束，允许管理员根据系统用户不同的要求进行管理。
虚拟机节点操作系统中的应用程序则是可以在系统运行过程中动态调配的，以实现对系统中计算资源动态分配的需要，满足不同用户对计算资源的动态变化的需求，从而实现云计算环境中资源的最优化分配过程。
管理员可以为不同的用户分配适当数量的物理机操作系统，并部署安装用户需要的应用程序。同时在虚拟机操作系统中部署安装应用程序，并将虚拟机制作成系统可管理的应用模板。
应用模板定义以下属性值：
应用模板名称：String ImgName；
应用模板ID：long ImgID，应用模板在系统中的唯一标示；
用户属性：long UserRoleID，唯一标示该应用模板属于系统中哪类用户，当用户不具有该角色属性时，不能为该用户分配该应用模板；
系统对用户的计算资源使用状态进行实时监控，并将监控的数据反馈给作业调度管理节点。监控信息主要包括以下属性：
单个计算资源的利用率：long ResUtility；
用户计算资源整体利用率：long JobResUtility；
用户计算任务计算用时：long JobRunTime；
当系统为用户分配的计算资源不能满足用户应用的需求时，即JobResUtility数据超过系统定义的资源利用率阈值，用户可选择向管理员申请添加新的计算资源。新的计算资源需要用户根据应用模板参数提交。
管理员审批同意用户请求后，管理节点会根据管理员的配置策略，基于为用户制定的应用模板动态生成新的计算资源，并添加到管理节点配置项中，以便于管理节点将用户应用任务分配到新的计算节点上。上述过程包括以下步骤：
步骤1)用户通过管理节点的申请接口
Public ReqResult getJobReqResource(ReqParams reqParams)向系统提交任务；
步骤2)管理节点根据用户提交的任务，分配相应的计算节点进行执行；
步骤3)管理节点监控资源运行状态，若当前系统资源JobResUtility超过系统定义的阈值时，系统根据管理员配置的策略，选择该用户权限范围内相应的应用模板，生成新的计算资源，并添加到管理节点中。
在上述生成、添加、配置新的计算节点的过程中，不需要管理员手动管理作业调度管理节点配置项，系统管理节点可以根据管理员在系统初始化时的基本配置，自动完成新计算节点的生成与添加。
管理节点提供以下管理接口：
Public Map collectResInfo(long resID)，实现对系统资源运行状态的监控；
Public JobRes createJobRes(ImgRes imgRes)，实现根据应用模板生成新的计算资源；
Public ResResult addJobRes(JobRes jobRes)，实现向管理节点添加新的计算资源；
步骤4)当用户的计算任务不需要当前为其分配的计算资源时，可选择申请向系统退还部分计算资源，以便于将这部分资源释放给系统中其他有需求的用户。
Claims (6)
1.一种云计算环境中作业调度的方法，其特征在于：所述方法包括如下步骤：
S1，用户通过管理节点的申请接口向系统提交任务；
S2，管理节点根据用户提交的任务，分配计算节点执行任务；
S3，管理节点对资源运行状态进行监控，当资源不足时，选择该用户权限范围内相应的应用模板，生成新的计算资源，并添加到管理节点中；
S4，当用户的计算任务所获得的资源过剩时，选择向系统退还过剩的资源。
2.如权利要求1所述的方法，其特征在于：所述计算节点由云计算环境中的计算资源组成，包括物理服务器上部署的操作系统与虚拟机节点上部署的操作系统，在操作系统中部署安装用户的应用程序。
3.如权利要求2所述的方法，其特征在于：所述物理服务器操作系统中的应用程序可以根据管理员对系统整体资源的规划，提前定义好资源的分配情况。
4.如权利要求2所述的方法，其特征在于：所述虚拟机节点操作系统中的应用程序是可以在系统运行过程中动态调配的。
5.如权利要求2所述的方法，其特征在于：所述虚拟机节点的操作系统由管理员部署安装应用程序，并将虚拟机制做成系统可管理的应用模板。
6.如权利要求1所述的方法，其特征在于：所述系统为用户分配的计算资源不能满足用户应用的需求时，用户可选择向管理员申请添加新的计算资源，管理员审批同意用户请求后，管理节点根据管理员的配置策略，基于为用户制定的应用模板动态生成新的计算资源，并添加到管理节点配置项中，然后管理节点将用户应用任务分配到新的计算节点上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011104049136A CN102495759A (zh) | 2011-12-08 | 2011-12-08 | 一种云计算环境中作业调度的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011104049136A CN102495759A (zh) | 2011-12-08 | 2011-12-08 | 一种云计算环境中作业调度的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102495759A true CN102495759A (zh) | 2012-06-13 |
Family
ID=46187586
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011104049136A Pending CN102495759A (zh) | 2011-12-08 | 2011-12-08 | 一种云计算环境中作业调度的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102495759A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102915248A (zh) * | 2012-09-28 | 2013-02-06 | 用友软件股份有限公司 | 应用系统的自动部署系统和自动部署方法 |
| CN103019625A (zh) * | 2012-12-13 | 2013-04-03 | 中国电信股份有限公司云计算分公司 | 存储控制方法及设备 |
| CN103064702A (zh) * | 2012-12-13 | 2013-04-24 | 中国电信股份有限公司云计算分公司 | 应用程序提供方法及管理节点设备 |
| CN103561092A (zh) * | 2013-10-31 | 2014-02-05 | 广州华多网络科技有限公司 | 私有云环境下管理资源的方法及装置 |
| CN103560915A (zh) * | 2013-11-07 | 2014-02-05 | 浪潮(北京)电子信息产业有限公司 | 管理云计算系统中资源的方法和系统 |
| CN103902351A (zh) * | 2012-12-28 | 2014-07-02 | 鸿富锦精密工业（深圳）有限公司 | 虚拟机运算系统及方法 |
| CN103986703A (zh) * | 2014-05-12 | 2014-08-13 | 浪潮电子信息产业股份有限公司 | 一种新型云应用解决方法 |
| WO2015109950A1 (zh) * | 2014-01-27 | 2015-07-30 | 华为技术有限公司 | 业务资源组实现方法及装置 |
| CN105426245A (zh) * | 2014-06-30 | 2016-03-23 | 伊姆西公司 | 包括分散的部件的动态地组成的计算节点 |
| CN106657203A (zh) * | 2015-11-02 | 2017-05-10 | 广达电脑股份有限公司 | 动态资源管理系统及其方法 |
| CN107015858A (zh) * | 2016-01-27 | 2017-08-04 | 西门子公司 | 云计算环境中云节点调度方法和装置 |
| CN107040407A (zh) * | 2017-03-15 | 2017-08-11 | 成都中讯创新科技股份有限公司 | 一种高性能计算集群动态节点作业方法 |
| CN107844376A (zh) * | 2017-11-21 | 2018-03-27 | 北京星河星云信息技术有限公司 | 计算系统的资源调配方法、计算系统、介质和服务器 |
| CN108429704A (zh) * | 2017-02-14 | 2018-08-21 | 中国移动通信集团吉林有限公司 | 一种节点资源分配方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101694633A (zh) * | 2009-09-30 | 2010-04-14 | 曙光信息产业(北京)有限公司 | 计算机作业调度设备、方法及系统 |
| CN101739292A (zh) * | 2009-12-04 | 2010-06-16 | 曙光信息产业(北京)有限公司 | 基于应用特征的异构集群作业自适应调度方法和系统 |
| CN101938416A (zh) * | 2010-09-01 | 2011-01-05 | 华南理工大学 | 一种基于动态重配置虚拟资源的云计算资源调度方法 |
| CN101969475A (zh) * | 2010-11-15 | 2011-02-09 | 张军 | 基于云计算的商业数据可控分发与融合应用系统 |
| CN102073546A (zh) * | 2010-12-13 | 2011-05-25 | 北京航空航天大学 | 一种云计算环境中分布式计算模式下的任务动态调度方法 |
| CN102081554A (zh) * | 2011-01-30 | 2011-06-01 | 浪潮(北京)电子信息产业有限公司 | 云计算操作系统及其内核控制系统及方法 |
| CN102222174A (zh) * | 2011-02-22 | 2011-10-19 | 深圳华大基因科技有限公司 | 一种基因计算系统和方法 |
-
2011
- 2011-12-08 CN CN2011104049136A patent/CN102495759A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101694633A (zh) * | 2009-09-30 | 2010-04-14 | 曙光信息产业(北京)有限公司 | 计算机作业调度设备、方法及系统 |
| CN101739292A (zh) * | 2009-12-04 | 2010-06-16 | 曙光信息产业(北京)有限公司 | 基于应用特征的异构集群作业自适应调度方法和系统 |
| CN101938416A (zh) * | 2010-09-01 | 2011-01-05 | 华南理工大学 | 一种基于动态重配置虚拟资源的云计算资源调度方法 |
| CN101969475A (zh) * | 2010-11-15 | 2011-02-09 | 张军 | 基于云计算的商业数据可控分发与融合应用系统 |
| CN102073546A (zh) * | 2010-12-13 | 2011-05-25 | 北京航空航天大学 | 一种云计算环境中分布式计算模式下的任务动态调度方法 |
| CN102081554A (zh) * | 2011-01-30 | 2011-06-01 | 浪潮(北京)电子信息产业有限公司 | 云计算操作系统及其内核控制系统及方法 |
| CN102222174A (zh) * | 2011-02-22 | 2011-10-19 | 深圳华大基因科技有限公司 | 一种基因计算系统和方法 |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102915248A (zh) * | 2012-09-28 | 2013-02-06 | 用友软件股份有限公司 | 应用系统的自动部署系统和自动部署方法 |
| CN102915248B (zh) * | 2012-09-28 | 2016-07-06 | 用友网络科技股份有限公司 | 应用系统的自动部署系统和自动部署方法 |
| CN103019625A (zh) * | 2012-12-13 | 2013-04-03 | 中国电信股份有限公司云计算分公司 | 存储控制方法及设备 |
| CN103064702A (zh) * | 2012-12-13 | 2013-04-24 | 中国电信股份有限公司云计算分公司 | 应用程序提供方法及管理节点设备 |
| CN103019625B (zh) * | 2012-12-13 | 2016-01-06 | 中国电信股份有限公司 | 存储控制方法及设备 |
| CN103902351A (zh) * | 2012-12-28 | 2014-07-02 | 鸿富锦精密工业（深圳）有限公司 | 虚拟机运算系统及方法 |
| CN103561092A (zh) * | 2013-10-31 | 2014-02-05 | 广州华多网络科技有限公司 | 私有云环境下管理资源的方法及装置 |
| CN103561092B (zh) * | 2013-10-31 | 2017-01-11 | 广州华多网络科技有限公司 | 私有云环境下管理资源的方法及装置 |
| CN103560915A (zh) * | 2013-11-07 | 2014-02-05 | 浪潮(北京)电子信息产业有限公司 | 管理云计算系统中资源的方法和系统 |
| WO2015109950A1 (zh) * | 2014-01-27 | 2015-07-30 | 华为技术有限公司 | 业务资源组实现方法及装置 |
| CN103986703A (zh) * | 2014-05-12 | 2014-08-13 | 浪潮电子信息产业股份有限公司 | 一种新型云应用解决方法 |
| CN105426245B (zh) * | 2014-06-30 | 2019-12-31 | 伊姆西公司 | 包括分散的部件的动态地组成的计算节点 |
| CN105426245A (zh) * | 2014-06-30 | 2016-03-23 | 伊姆西公司 | 包括分散的部件的动态地组成的计算节点 |
| CN106657203A (zh) * | 2015-11-02 | 2017-05-10 | 广达电脑股份有限公司 | 动态资源管理系统及其方法 |
| CN106657203B (zh) * | 2015-11-02 | 2019-12-06 | 广达电脑股份有限公司 | 动态资源管理系统及其方法 |
| CN107015858A (zh) * | 2016-01-27 | 2017-08-04 | 西门子公司 | 云计算环境中云节点调度方法和装置 |
| CN108429704A (zh) * | 2017-02-14 | 2018-08-21 | 中国移动通信集团吉林有限公司 | 一种节点资源分配方法及装置 |
| CN108429704B (zh) * | 2017-02-14 | 2022-01-25 | 中国移动通信集团吉林有限公司 | 一种节点资源分配方法及装置 |
| CN107040407A (zh) * | 2017-03-15 | 2017-08-11 | 成都中讯创新科技股份有限公司 | 一种高性能计算集群动态节点作业方法 |
| CN107040407B (zh) * | 2017-03-15 | 2020-02-18 | 成都中讯创新科技股份有限公司 | 一种高性能计算集群动态节点作业方法 |
| CN107844376A (zh) * | 2017-11-21 | 2018-03-27 | 北京星河星云信息技术有限公司 | 计算系统的资源调配方法、计算系统、介质和服务器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102495759A (zh) | 一种云计算环境中作业调度的方法 | |
| Wu et al. | A green energy-efficient scheduling algorithm using the DVFS technique for cloud datacenters | |
| Zhang et al. | Integrating resource consumption and allocation for infrastructure resources on-demand | |
| CN102521055B (zh) | 一种虚拟机资源分配方法及其系统 | |
| CN105404549B (zh) | 基于yarn架构的虚拟机调度系统 | |
| CN101694633A (zh) | 计算机作业调度设备、方法及系统 | |
| CN106020934A (zh) | 一种基于虚拟集群在线迁移的优化部署方法 | |
| CN104021040A (zh) | 基于时间约束条件下的云计算关联任务调度方法和装置 | |
| Zhang et al. | Constraint programming based virtual cloud resources allocation model | |
| CN102609316B (zh) | 一种网络计算资源的管理系统及方法 | |
| Mishra et al. | Allocation of energy-efficient task in cloud using DVFS | |
| Cao et al. | Towards tenant demand-aware bandwidth allocation strategy in cloud datacenter | |
| Lin et al. | Novel resource allocation model and algorithms for cloud computing | |
| Pandya et al. | Dynamic resource allocation techniques in cloud computing | |
| Lin et al. | Energy-efficient core allocation and deployment for container-based virtualization | |
| CN104283910A (zh) | 云计算环境下的资源管理系统 | |
| Mandal et al. | Design and implementation of an SLA and energy-aware VM placement policy in green cloud computing | |
| Sasikaladevi | Minimum makespan task scheduling algorithm in cloud computing. | |
| Loganathan et al. | Energy Aware Resource Management and Job Scheduling in Cloud Datacenter. | |
| Karuppasamy et al. | Energy saving from cloud resources for a sustainable green cloud computing environment | |
| Kaur et al. | Challenges to task and workflow scheduling in cloud environment | |
| Sahu et al. | Efficient load balancing algorithm analysis in cloud computing | |
| Nadjar et al. | Hierarchical VM scheduling to improve energy and performance efficiency in IaaS Cloud data centers | |
| Duran-Limon et al. | Using Lightweight virtual machines to run high performance computing applications: the case of the weather research and forecasting model | |
| Aldahari | Dynamic voltage and frequency scaling enhanced task scheduling technologies toward green cloud computing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120613 |