CN103873587B - 一种基于云平台实现调度的方法及装置 - Google Patents

一种基于云平台实现调度的方法及装置 Download PDF

Info

Publication number
CN103873587B
CN103873587B CN201410117548.4A CN201410117548A CN103873587B CN 103873587 B CN103873587 B CN 103873587B CN 201410117548 A CN201410117548 A CN 201410117548A CN 103873587 B CN103873587 B CN 103873587B
Authority
CN
China
Prior art keywords
scheduling
scheduling strategy
resource
strategy
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410117548.4A
Other languages
English (en)
Other versions
CN103873587A (zh
Inventor
刘海
张乐涛
陈大川
王保杰
王恺
王石
曲仁军
孙世臻
刘鸿光
高原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
China Unicom System Integration Ltd Corp
Original Assignee
China United Network Communications Group Co Ltd
China Unicom System Integration Ltd Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd, China Unicom System Integration Ltd Corp filed Critical China United Network Communications Group Co Ltd
Priority to CN201410117548.4A priority Critical patent/CN103873587B/zh
Publication of CN103873587A publication Critical patent/CN103873587A/zh
Application granted granted Critical
Publication of CN103873587B publication Critical patent/CN103873587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种基于云平台实现调度的方法及装置,包括在调度任务被启动时,根据预先设置的调度策略确定当前调度任务的调度策略;按照确定出的调度策略,调度外部资源和/或能力引擎,并利用调度到的资源和/或能力引擎执行具体调度任务。通过本发明方法,实现了根据调度任务,适时地、动态地调用资源和/或能力引擎,实现了业务调度系统基于云平台的自动调度机制;同时,也实现了不同业务,不同硬件和软件的自动化分配,从而提升了调度系统整体的作用。

Description

一种基于云平台实现调度的方法及装置
技术领域
本发明涉及云计算技术,尤指一种基于云平台实现调度的方法及装置。
背景技术
云平台可以认为包括基础设施即服务(IaaS,Infrastructure as a Service)、平台服务(PaaS,Platform as a Service),以及软件服务(SaaS,Software as a service)三个层次的服务,其中,
IaaS是指消费者通过互联网,可以从完善的计算机基础设施获得服务,是基于因特网(Internet)的服务,包括存储服务器和计算服务器;PaaS是指把服务器平台或者开发环境作为一种服务提供的商业模式,通过网络进行程序提供的服务,包括提供应用服务器、数据库、中间件等;SaaS是指厂商将应用软件统一部署在自己的服务器上,客户端可以根据自己的实际需求,通过互联网向厂商定购所需的应用软件服务,按定购的服务多少和时间长短向厂商支付费用,并通过互联网获得厂商提供的服务。
现有,对于基于云平台(即基于云平台提供的资源对象如存储、网络、安全等,接受的数据和调度的对象是面向云平台的)的资源调度方法,通常在于对系统资源本身的调整来调整资源的分配,以使得在实现同样功能时,CPU、内存等这些系统资源的使用量下降,从而达到加快计算速度、减少空间占用,节约资源的结果。比如,在同样资源条件下,以IaaS中的计算服务器为例,假设原先计算服务器系统只能为100名用户提供服务,现有的基于云平台的调度方法以通过减少系统内开销的方式来达到为更多用户提供服务的目的,使得每一个用户的资源使用量是未优化之前的90%或更低,这样就节约了资源,从而实现了该计算服务器为大于100个用户提供服务。从现有基于云平台的资源调度方法来看,并没有考虑到用户的实际需求。比如某用户在某时间段内并不需要执行计算任务,这时,只有在该用户申请后,才能通过人工参与的方式,调度外部资源和能力引擎(来自于IaaS等能力引擎,不属于云平台)属于现有技术,在指定时间段进行计算资源的调整如降低其内存等,这种处理方式在实际应用中很不方便,而且效率很低。
发明内容
为了解决上述技术问题,本发明提供了一种基于云平台实现调度的方法及装置,能够实现业务调度系统基于云平台的自动调度机制,从而提升业务调度系统整体的作用。
为了达到本发明目的,本发明提供了一种基于云平台实现调度的方法,包括:在调度任务被启动时,根据预先设置的调度策略确定当前调度任务的调度策略;
按照确定出的调度策略,调度外部资源和/或能力引擎,并利用调度到的资源和/或能力引擎执行具体调度任务。
该方法之前,还包括:接收来自基础设施即服务IaaS层服务的条件信息,若条件信息满足预置的触发条件,则启动所述调度任务。
所述触发条件包括:业务、性能、定时、能耗、故障、报警。
所述调度策略以文件的形式设置存储;
所述调度策略文件的元数据至少包括:调度策略文件资源类型、文件位置。
所述确定当前调度任务的调度策略包括:根据所述触发条件中的参数查询预先设置的调度策略,匹配出当前调度任务的调度策略。
本发明还提供了一种基于云平台实现调度的装置,至少包括调度触发模块、调度管理模块、确定模块,以及调度执行单元,其中,
调度触发模块,用于启动调度任务,并通知确定模块;
调度管理模块,用于创建调度策略并存储;
确定模块,用于接收到来自调度触发模块的通知,根据触发所述调度任务的触发条件中的参数查询调度管理模块中的调度策略,匹配出当前调度任务的调度策略,并将具体调度任务及其对应的调度策略发给调度执行模块;
调度执行模块,用于按照来自调确定模块的具体调度任务的调度策略,调度外部资源和/或能力引擎,并利用调度到的资源和/或能力引擎执行具体调度任务。
所述调度触发模块还用于,接收来自IaaS层服务的条件信息,若条件信息满足预置的触发条件,则启动所述调度任务。
与现有技术相比,本发明包括:在调度任务被触发时,根据预先设置的调度策略确定当前调度任务的调度策略;按照确定出的调度策略,调度外部资源和/或能力,并利用调度到的资源和/或能力执行具体调度任务。通过本发明方法,实现了根据调度任务,适时地、动态地调用资源和/或能力,实现了业务调度系统基于云平台的自动调度机制;同时,也实现了不同业务,不同硬件和软件的自动化分配,从而提升了调度系统整体的作用。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1为本发明基于云平台实现调度的装置的组成结构示意图;
图2为本发明基于云平台实现调度的方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本发明基于云平台实现调度的装置的组成结构示意图,如图1所示,至少包括调度触发模块、调度管理模块、确定模块,以及调度执行模块,其中,
调度触发模块,用于启动调度任务,并通知确定模块;
调度管理模块,用于创建调度策略并存储;
确定模块,用于接收到来自调度触发模块的通知,根据触发所述调度任务的触发条件中的参数查询调度管理模块中的调度策略,匹配出当前调度任务的调度策略,并将具体调度任务及其对应的调度策略发给调度执行模块;
调度执行模块,用于按照来自确定模块的具体调度任务的调度策略,调度外部资源和/或能力引擎,并利用调度到的资源和/或能力引擎执行具体调度任务。其中,外部资源和能力引擎(来自于IaaS等能力引擎,不属于云平台)属于现有技术,目前的能力具有短信、彩信、定位(LBS)、CA、支付、GIS等,外部资源包括但不限于计算资源、数据库即服务资源、对象存储即服务资源、中间件即服务资源、存储资源、安全资源、网络资源、能力资源等。
具体地,调度管理模块中的创建调度策略为:根据需求编制调度策略并保存调度策略及其元数据信息;修改调度策略为:对调度策略内容的修改;查询调度策略为:根据条件获取匹配的调度策略用于调度执行模块的执行;删除调度策略为:删除编制的调度策略;测试调度策略为:检查编制的调度策略的合法性、可执行性等。
其中,调度触发模块还用于,接收来自IaaS层服务的条件信息,若条件信息满足预置的触发条件,则启动所述调度任务。具体地,
触发条件是预先设置的,触发条件可根据不同的策略而不同,比如业务、和/或性能、和/或定时、和/或能耗、和/或故障报警等触发条件,不同的触发条件需要设置不同的参数。比如,对于触发条件为定时,需要设置时间信息、规则参数等;对于触发条件为性能,需要设置性能指标、规则参数等;对于触发条件为能耗,需要设置能耗信息、规则参数等;对于触发条件为故障,需要设置故障信息、规则参数等;对于触发条件为报警,需要设置报警条件,规则参数等;对于触发条件为业务,需要设置具体的业务信息,规则参数等。
以网络资源调度策略为例,调度管理模块中的网络资源调度策略可以包括如表1所示的内容。
表1
此时,假设从IaaS层服务接收到的条件信息包括网络资源中的带宽与时间,将这两个条件信息与表1中的策略进行对比:
按照表1所示的调度策略,比如:当时间在6:00后或者20:00后,即满足这两个触发条件时,会启动调度任务,并按照时间参数查询出匹配的调度策略,如表1所示,定时调整网络带宽,且对应的调度策略为分别是调整带宽为10M和5M;
再如:假设用户当前的带宽为10M,当使用带宽的90%以上时(9M),即满足触发条件时,会启动调度任务,并按照带宽参数查询出匹配的调度策略,如表1所示,根据定制的阈值实时调整带宽,且对应的调度策略为将该用户带宽增加20%。
从上面的具体实例不难看出,与背景技术提到的为大于100个用户提供服务的现有调度方法相比,本发明通过资源自动调度的方式,根据用户的实际需求包括根据用户不同工作状态、不同时间段等的实际需求,动态划分各用户的资源分配,从而实现为大于100个用户提供服务的目的;而不是简单地减少系统内开销。本发明实现调度的方法,根据调度任务,适时地、动态地调用资源和/或能力,实现了业务调度系统基于云平台的自动调度机制;从而提升了调度系统整体的作用。
以存储资源调度策略为例,调度管理模块中的存储资源调度策略可以包括如表2所示的内容:
表2
以计算资源调度策略为例,调度管理模块中的计算资源调度策略可以包括如表3所示的内容:
表3
在使用过程中,一方面。用户对资源的实际使用有时无法达到其预先定制时申请的最大资源量,另一方面,有时又会有定制的资源量无法满足用户实际使用需求的情况发生。为了达到资源的有效利用,并保证用户对资源的正常使用,本申请提供的基于云平台实现调度的装置,可根据用户的实际需求,在该用户使用闲时分配较少资源,而在该用户使用忙时分配较多的资源。举例来说,假设用户预先定制时申请的资源为:带宽10M、存储1T、内存8G、CPU为4个、虚拟机为4台。基于上述表1、表2和表3中的场景描述,在满足相应触发条件时,在带宽方面,可动态的分配为早上6点以后带宽10M,晚上8点以后带宽5M;用户存储空间占用80%以上后,增加原存储20%,当达到其业务上限时,可临时给予高于上限的存储空间并提示用户;内存长期(60min)占用80%以上,增加原内存20%;CPU使用率长期(2h)80%以上,增加20%的CPU个数;虚拟机数量可根据并发用户数进行动态调整,从而实现了闲时节省资源,忙时确保业务可用性。
通过本发明,实现了根据调度任务,实时地、动态地调用资源和/或能力引擎,实现了业务调度系统基于云平台的自动调度机制;同时,也实现了不同业务,不同硬件和软件的自动化分配,从而提升了调度系统整体的作用。
图2为本发明基于云平台实现调度的方法的流程图,如图2所示,包括:
步骤200:在调度任务被启动时,根据预先设置的调度策略确定当前调度任务的调度策略。
本步骤之前,还包括:触发启动调度任务的触发条件。其中,触发条件是预先设置的,触发条件可根据不同的策略而不同,比如业务、性能、定时、能耗、故障、报警等触发条件,不同的触发条件需要设置不同的参数。比如,对于触发条件为定时,需要设置时间信息、规则参数等;对于触发条件为性能,需要设置性能指标、规则参数等;对于触发条件为能耗,需要设置能耗信息、规则参数等;对于触发条件为故障,需要设置故障信息、规则参数等;对于触发条件为报警,需要设置报警条件,规则参数等;对于触发条件为业务,需要设置具体的业务信息,规则参数等。其中,规则参数是来自其他子系统反馈的参数,根据反馈回的参数判断是否调用策略,以及调用哪种策略。例如,参数中CPU占用率长期大于80%,即判断调用增加CPU数量的策略等。
本步骤中,调度策略可以以文件的形式设置存储,调度策略文件为根据不同的规则需求编制的调度策略文件;调度策略文件的元数据包括调度策略文件资源类型、文件存数位置等描述信息。具体实现可以以表1、表2和表3为例,对于本领域技术人员来讲,基于本发明方法是容易得出更多的调度策略的,这里不再赘述。
本步骤中,确定当前调度任务的调度策略包括:根据触发条件中的参数查询预先设置的调度策略,匹配出当前调度任务的调度策略。这里,匹配是指与触发条件中的参数对应的调度策略。
步骤201:按照确定出的调度策略,调度外部资源和/或能力引擎,并利用调度到的资源和/或能力引擎执行具体调度任务。
本步骤中,外部资源和能力引擎(来自于IaaS等能力引擎,不属于云平台)属于现有技术,目前的能力具有短信、彩信、定位(LBS)、CA、支付、GIS等,外部资源包括但不限于计算资源、数据库即服务资源、对象存储即服务资源、中间件即服务资源、存储资源、安全资源、网络资源、能力资源等。
通过本发明方法,实现了根据调度任务,实时地、动态地调用资源和/或能力引擎,实现了业务调度系统基于云平台的自动调度机制;同时,也实现了不同业务,不同硬件和软件的自动化分配,从而提升了调度系统整体的作用。
虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。

Claims (6)

1.一种基于云平台实现调度的方法,其特征在于,包括:
接收来自基础设施即服务IaaS层服务的条件信息,若条件信息满足预置的触发条件,则启动调度任务,根据预先设置的调度策略确定当前调度任务的调度策略;
按照确定出的调度策略,调度外部资源和/或能力引擎,并利用调度到的资源和/或能力引擎执行具体调度任务;
其中,所述预先设置的调度策略包括:网络资源调度策略、存储资源调度策略或计算资源调度策略,每种调度策略分别包括资源类型、输入参数和场景描述。
2.根据权利要求1所述的方法,其特征在于,所述触发条件包括:业务、和/或性能、和/或定时、和/或能耗、和/或故障报警。
3.根据权利要求1或2所述的方法,其特征在于,所述调度策略以文件的形式设置存储;
所述调度策略文件的元数据至少包括:调度策略文件资源类型、文件存储位置。
4.根据权利要求2所述的方法,其特征在于,所述确定当前调度任务的调度策略包括:根据所述触发条件中的参数查询预先设置的调度策略,匹配出当前调度任务的调度策略。
5.一种基于云平台实现调度的装置,其特征在于,至少包括调度触发模块、调度管理模块、确定模块,以及调度执行单元,其中,
调度触发模块,用于接收来自IaaS层服务的条件信息,若条件信息满足预先设置的触发条件,则启动调度任务,并通知确定模块;
调度管理模块,用于创建预先设置的调度策略并存储;
确定模块,用于接收到来自调度触发模块的通知,根据触发所述调度任务的触发条件中的参数查询调度管理模块中预先设置的的调度策略,匹配出当前调度任务的调度策略,并将具体调度任务及其对应的调度策略发给调度执行模块;
调度执行模块,用于按照来自确定模块的具体调度任务的调度策略,调度外部资源和/或能力引擎,并利用调度到的资源和/或能力引擎执行具体调度任务;
其中,所述预先设置的调度策略包括:网络资源调度策略、存储资源调度策略或计算资源调度策略,每种调度策略分别包括资源类型、输入参数和场景描述。
6.根据权利要求5所述的装置,其特征在于,所述触发条件包括:业务、和/或性能、和/或定时、和/或能耗、和/或故障报警。
CN201410117548.4A 2014-03-26 2014-03-26 一种基于云平台实现调度的方法及装置 Active CN103873587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410117548.4A CN103873587B (zh) 2014-03-26 2014-03-26 一种基于云平台实现调度的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410117548.4A CN103873587B (zh) 2014-03-26 2014-03-26 一种基于云平台实现调度的方法及装置

Publications (2)

Publication Number Publication Date
CN103873587A CN103873587A (zh) 2014-06-18
CN103873587B true CN103873587B (zh) 2017-12-22

Family

ID=50911701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410117548.4A Active CN103873587B (zh) 2014-03-26 2014-03-26 一种基于云平台实现调度的方法及装置

Country Status (1)

Country Link
CN (1) CN103873587B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105282199A (zh) * 2014-07-14 2016-01-27 中兴通讯股份有限公司 云服务资源优化方法、云平台及云用户客户端
CN104765643A (zh) * 2015-03-25 2015-07-08 华迪计算机集团有限公司 实现云计算资源混合调度的方法和系统
CN104679595B (zh) * 2015-03-26 2017-10-13 南京大学 一种面向应用的IaaS层动态资源分配方法
CN106484497B (zh) * 2015-08-26 2020-04-14 华为技术有限公司 基于云平台的伸缩处理方法、装置及云平台
CN111124652A (zh) * 2019-12-31 2020-05-08 联想(北京)有限公司 一种资源预调度方法、设备及存储介质
CN111831454B (zh) * 2020-09-17 2021-02-19 北京汇智恒安科技有限责任公司 云计算服务器集群资源调配控制系统及方法
CN113590333B (zh) * 2021-08-06 2024-01-26 北京天融信网络安全技术有限公司 针对业务引擎的系统资源调度方法及电子设备
CN115002117A (zh) * 2022-05-30 2022-09-02 中移(杭州)信息技术有限公司 内容分发网络动态调度方法、系统、设备及存储介质
CN115237557A (zh) * 2022-06-20 2022-10-25 厦门锐特信息技术有限公司 基于配置引擎的智能调度系统及其方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894050A (zh) * 2010-07-28 2010-11-24 山东中创软件工程股份有限公司 云资源池的jee应用资源弹性调度方法、装置及系统
CN101937368A (zh) * 2010-08-31 2011-01-05 苏州阊亦宏环保科技有限公司 一种面向云计算的数据中心管理系统
CN102158545A (zh) * 2011-02-28 2011-08-17 浪潮(北京)电子信息产业有限公司 资源池管理方法和装置
CN102255933A (zh) * 2010-05-20 2011-11-23 中兴通讯股份有限公司 云服务中介、云计算方法及云系统
CN102917014A (zh) * 2012-09-10 2013-02-06 中国联合网络通信集团有限公司 资源调度方法及装置
CN103164279A (zh) * 2011-12-13 2013-06-19 中国电信股份有限公司 云计算资源分配方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080189718A1 (en) * 2007-02-02 2008-08-07 The Mathworks, Inc. Scalable architecture
US8572706B2 (en) * 2010-04-26 2013-10-29 Vmware, Inc. Policy engine for cloud platform

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102255933A (zh) * 2010-05-20 2011-11-23 中兴通讯股份有限公司 云服务中介、云计算方法及云系统
CN101894050A (zh) * 2010-07-28 2010-11-24 山东中创软件工程股份有限公司 云资源池的jee应用资源弹性调度方法、装置及系统
CN101937368A (zh) * 2010-08-31 2011-01-05 苏州阊亦宏环保科技有限公司 一种面向云计算的数据中心管理系统
CN102158545A (zh) * 2011-02-28 2011-08-17 浪潮(北京)电子信息产业有限公司 资源池管理方法和装置
CN103164279A (zh) * 2011-12-13 2013-06-19 中国电信股份有限公司 云计算资源分配方法和系统
CN102917014A (zh) * 2012-09-10 2013-02-06 中国联合网络通信集团有限公司 资源调度方法及装置

Also Published As

Publication number Publication date
CN103873587A (zh) 2014-06-18

Similar Documents

Publication Publication Date Title
CN103873587B (zh) 一种基于云平台实现调度的方法及装置
CN105190555B (zh) 集中式任务调度
US10430218B2 (en) Management of demand for virtual computing resources
CN102567106B (zh) 任务调度方法、系统和装置
CN106980532A (zh) 一种作业调度方法和装置
CN109564528B (zh) 分布式计算中计算资源分配的系统和方法
CN102193833A (zh) 资源管理器中空闲资源的高效利用
CN111338791A (zh) 集群队列资源的调度方法、装置、设备及存储介质
CN114610474B (zh) 一种异构超算环境下多策略的作业调度方法及系统
CN105187327A (zh) 一种分布式消息队列中间件
CN103150213A (zh) 负载平衡方法和装置
CN111078436A (zh) 数据处理的方法、装置、设备及存储介质
CN112988362A (zh) 一种任务处理方法、装置、电子设备及存储介质
CN110427257A (zh) 多任务调度方法、装置及计算机可读存储介质
CN110287018A (zh) 批量任务编排方法及装置
CN103023980A (zh) 一种云平台处理用户服务请求的方法和系统
Perret et al. A deadline scheduler for jobs in distributed systems
CN110599148A (zh) 集群数据处理方法、装置、计算机集群及可读存储介质
CN109840141A (zh) 基于云监控的线程控制方法、装置、电子设备及存储介质
CN114155026A (zh) 一种资源分配方法、装置、服务器及存储介质
CN103685492A (zh) Hadoop集群系统的调度方法、调度装置及其应用
CN105260244A (zh) 一种分布式系统任务调度的方法和装置
CN115562846A (zh) 一种资源调度的方法、装置及计算节点
CN106302241A (zh) 在线消息队列调度方法和装置
CN109634812B (zh) Linux系统的进程CPU占用率控制方法、终端设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant