CN103944985A - 一种异构云计算系统节能方法及任务调度方法 - Google Patents
一种异构云计算系统节能方法及任务调度方法 Download PDFInfo
- Publication number
- CN103944985A CN103944985A CN201410156148.4A CN201410156148A CN103944985A CN 103944985 A CN103944985 A CN 103944985A CN 201410156148 A CN201410156148 A CN 201410156148A CN 103944985 A CN103944985 A CN 103944985A
- Authority
- CN
- China
- Prior art keywords
- task
- node
- computing node
- lambda
- cloud computing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Power Sources (AREA)
Abstract
本发明公开了一种异构云计算系统节能方法,属于云计算与节能技术交叉的技术领域。该方法使异构云计算系统接收到的各任务分别在平均服务时间与该任务在该计算节点上的执行时间最接近的计算节点上执行。本发明还公开了一种异构云计算系统任务调度方法,所述异构云计算系统按照先到先服务的原则接收随机到来的任务,并按照以下方法将当前任务调度至相应的计算节点:从能使当前任务在要求的截止时间前完成的计算节点集合中选择其平均服务时间与当前任务在该计算节点上的执行时间最接近的计算节点,将当前任务调度至该计算节点执行。本发明可有效降低云计算系统能耗,同时本发明为云计算系统的任务调度分析提供了一条新的思路。
Description
技术领域
本发明涉及一种云计算系统的节能方法,尤其涉及一种异构云计算系统节能方法及任务调度方法,属于云计算与节能技术交叉的技术领域。
背景技术
组成云计算硬件基础设施的云数据中心通常是由大规模异构计算节点组成,这些节点通常是由不同厂家生产的服务器或计算机,具有不同的硬件配置以及不同的计算能力和不同的能量消耗率,从而构成一个大规模异构云环境。云计算技术的快速发展正是以云数据中心为基础,然而,云计算发展的同时也面临一系列的挑战,其中云数据中心的高能耗问题刻不容缓。据统计,Google的云计算数据中心每年消耗的电能为1亿千瓦,这相当于一个小型城市的总能耗。由IDC提供的报告显示,在最近的30年之中,由大规模数据中心所带来的能源消耗已经增长了400%,并且这一数字正快速的持续增长。目前,在全球70%的计算中心中,能耗开销已成为第二大运营开销。为避免云数据中心的高能耗问题成为制约云计算发展的瓶颈,高能耗问题亟须解决。
任务调度是云计算系统的关键技术,由于到达云计算系统的任务请求具有随机性,时而密集,例如针对某个热点事件的集中讨论;时而稀疏,例如凌晨时段云任务提交通常较少,这使得云数据中心的计算节点长期处于开启状态等待任务的到来,导致云数据中心的资源利用率不足30%,产生能耗浪费。因此,设计合理的任务调度算法,使得在任务调度的过程中实现节能也是降低云数据中心能耗的一个主要方面。
现有的节能任务调度技术主要包括:对基于传统启发式任务调度的改进、元启发式任务调度和基于排队论的任务调度三类。基于排队论的节能的任务调度技术的核心思想是:基于不同的排队系统对云计算系统建模,将云计算系统看成一个随机服务排队系统,到达云计算系统中的任务称之为顾客,云计算系统中的异构计算节点称之为服务员,结合排队系统不同的性能指标进行能耗分析,并制定相应的任务调度策略实现能耗优化,具有实用性强、效率高等特点。经典排队系统主要是由任务到达过程、服务机制、排队规则三部分组成,休假排队系统作为经典排队系统的改进,它是在经典排队系统基础上在增加一个休假策略,其中基于空竭服务的休假排队系统规定了:计算节点一旦开始执行任务,就一直持续工作到节点变成空的,一旦系统中没有任务,便开启一次随机长度为的休假时间,直到系统中有任务到来,休假结束,系统开始为顾客服务。
发明内容
本发明所要解决的技术问题在于克服现有技术不足,基于休假排队论的思想,对异构云计算系统中的任务调度与云计算系统能耗之间的关系进行建模分析,提供一种异构云计算系统节能方法及任务调度方法,可有效降低云计算系统的能耗,同时为云计算系统任务调度与云计算系统能耗的建模分析提出了一个新的思路。
本发明的采用以下技术方案:
一种异构云计算系统节能方法,使异构云计算系统接收到的各任务分别在平均服务时间与该任务在该计算节点上的执行时间最接近的计算节点上执行。
一种异构云计算系统任务调度方法,所述异构云计算系统按照先到先服务的原则接收随机到来的任务,并按照以下方法将当前任务调度至相应的计算节点:从能使当前任务在要求的截止时间前完成的计算节点集合中选择其平均服务时间与当前任务在该计算节点上的执行时间最接近的计算节点,将当前任务调度至该计算节点执行。
上述技术方案中,当不存在能使当前任务在要求的截止时间前完成的计算节点时,可以直接采用现有的各种任务调度策略来对当前任务进行调度,为了保证任务的性能,本发明进一步采用以下技术方案:
如不存在能使当前任务在要求的截止时间前完成的计算节点,则将当前任务调度至能使当前任务最早完成的计算节点。
本发明基于休假排队论的思想,对异构云计算系统中的任务调度与云计算系统能耗之间的关系建立了与实际情况贴近的数学模型,通过对该数学模型的分析发现:稳态条件下,异构云计算系统中计算节点的能耗仅和计算节点的空闲期阈值与服务时间方差有关,因此可以在任务调度时通过减少服务时间方差与合理设置空闲期阈值来减少能耗。基于该发现,本发明将任务调度至平均服务时间与当前任务在该计算节点上的执行时间最接近的计算节点,从而可有效降低云计算系统能耗,同时本发明为云计算系统的任务调度分析提供了一条新的思路。
附图说明
图1为计算节点在不同状态之间的转换过程示意图;
图2为基于休假M/G/1排队系统的云计算任务调度框架图;
图3为具体实施方式中所述异构云计算系统任务调度方法的流程图。
具体实施方式
下面结合附图对本发明的技术方案进行详细说明:
本发明针对异构云计算系统,使用空竭服务的休假M/G/1排队系统对异构云计算系统中的任务调度进行建模,并基于所建立的模型对任务调度与系统能耗之间的关系进行分析,具体建模及分析过程如下:
步骤1、用户需要云计算系统为其提供的服务称之为任务,独立任务以泊松流到达云计算系统,第j个任务用taskj表示:
其中comj表示用户任务vj的计算量大小,单位是MB;表示任务到达时间;表示任务截止完成时间;j表示任务的编号,j为正整数。
步骤2、异构云计算系统中各计算节点不同状态之间的转换过程分析:云数据中心是由大量异构计算节点组成,在任意时刻,计算节点nodei均处于下列状态之一:
1)运行态:计算节点执行任务的状态;
2)空闲态:计算节点没有任务时,为了避免节点频繁的进行状态转换,先经历一段时间的空闲态,为节点的空闲期阈值,可根据实际需要设定;
3)休眠态:计算节点经历空闲态后仍没有任务到达,则转入休眠态;
4)恢复态:计算节点在休眠态有任务到达时,需要经历一段时间的恢复才能转入运行态开始执行任务,这个从休眠态到运行态之间的转换状态称为恢复态。
每个计算节点在以上状态下的功率不同,可定义计算节点为一个五元组其中,分别表示第i个计算节点的运行态功率、空闲态功率、休眠态功率以及恢复态的瞬时功率,表示节点从休眠态被唤醒到运行态的恢复时间。和均是和服务器出厂商及硬件配置相关的系数,对一个计算节点而言,均为常数。
至此,完成了计算节点不同状态之间转换的分析,其不同的功耗状态转换过程如图1所示,节点nodei在时刻tA执行完所有任务,进入空闲态,空闲态的功率为空闲期阈值为在空闲态时如果有新任务到达(tB时刻),则节点nodei立即执行该任务,转入运行态,功率为如果在整个空闲态都没有任务到达,则经过后,在时刻tC,节点nodei开启一次休假,进入休眠态,功率为在休眠态期间(tD时刻)有任务到达,则节点nodei进入恢复态,恢复功率为度过长度为的恢复期后,开始执行任务(tE时刻),此时功率转换为
步骤3、到达计算节点nodei(1≤i≤k)的任务遵循参数为λi的泊松过程,节点的服务时间有一般分布函数B(ti),其一、二阶矩记为:
其中,μi表示节点nodei中任务的平均服务率,则平均服务时间为1/μi。
至此,完成了异构云计算系统中基于休假M/G/1排队系统中任务调度的建模。云计算系统由k个异构计算节点构成,任务流以泊松分布到达计算节点,任务控制器按照先来先服务的原则接收所有任务请求,并根据任务调度策略将任务调度到计算节点中执行,其框架结构如图2所示。
步骤4、根据建立的异构云计算系统中基于休假M/G/1排队系统的任务调度模型,对异构云计算系统中的期望能耗进行分析。
由于计算节点执行任务产生的能耗是关于功率和时间的函数,因此,首先结合排队论不同的性态,分析排队系统的平均响应时间和平均功率。
(1)任务平均响应时间的分析:
任务在云计算系统的平均响应时间由任务在计算节点局部队列中的等待时间和在计算节点执行任务的执行时间两部分组成。稳态条件下,空竭服务的休假M/G/1排队模型中,任务等待时间可分解为无休假M/G/1排队系统中的等待时间和空竭服务的休假M/G/1排队系统产生的附加延迟两个独立随机变量之和。对任意计算节点nodei,在稳态条件下,任务的等待时间可分解为:
其中是经典无休假M/G/1中的稳态等待时间,是附加延迟。则经典无休假M/G/1中的稳态等待时间的均值及附加延迟的均值分别为:
其中,表示节点的服务强度,稳态条件下ρi<1;Qbi为忙期开始时节点nodei中的任务数,节点的忙期是从任务到达空闲的节点开始一直持续工作到节点再次成为空闲的时间总长度。
则任务的等待时间均值为:
如果在空闲态内有任务到达,或者在休眠态和恢复态均没任务到达,则Qbi=1。Qbi=l(l≥2)意味着空闲态内没有任务到达,恢复态有l-1个任务到达。
根据指数分布的概率公式,可得出式(8),
结合式(8),可以得出忙期的期望E(Qbi)与二阶矩E(Qbi 2)分别为:
将式(9)(10)代入式(6)可得,
结合公式(4)(7)(11),可得计算节点nodei在稳态条件下任务的平均等待时间为:
由式(2)可知,节点nodei对任务的平均服务时间为1/μi,则稳态条件下,节点nodei中任务的平均响应时间为:
(2)计算节点平均功率的分析。
从一个忙期结束到其相邻的下一个忙期结束的一段时间称为一个忙循环,节点nodei的忙循环长度用表示。当空闲态有任务到达,由一段空闲期和随后的运行态组成;当空闲态无任务到达,由长为的空闲期及其后的休眠态、恢复态和随后的运行态连接而成。令表示计算节点nodei空闲态的实际长度,若空闲态内没有任务到达节点,则若空闲态内有任务到达,则是已知到达间隔时间Ui在下的条件分布。
故计算节点空闲态的平均长度为:
由于任务到达间隔Ui服从参数为λi的指数分布,且在的条件下,Ui的条件分布是:
由条件分布计算公式可知,
故结合公式(14)(15)(16),计算得:
当空闲态没有任务到达时,忙循环长度还包括休眠态长度和恢复态长度则计算节点休眠态和恢复态的平均长度和分别为:
由于节点nodei对任务的平均服务时间为1/μi,结合公式(9)节点忙期的平均任务数E(Qbi)可知节点运行态的平均长度为:
综上所述,节点nodei忙循环的平均长度为:
由上式可以计算出计算节点处于各种状态的概率,令分别表示计算节点nodei处于空闲态、休眠态、恢复态、运行态的概率,有:
结合计算节点忙期处于不同状态的概率分析,计算节点nodei的平均功率E(Pnodei)为:
(3)计算节点的期望能耗分析。
结合以上任务的平均响应时间分析与计算节点的平均功率分析,计算节点nodei的期望能耗E(Enodei)为:
则整个云计算系统中计算节点产生的总能耗为:
由云计算系统总能耗公式(27)、(28)可知,云计算系统的总能耗与每个计算节点中的任务到达率、任务服务率、不同状态的功率、空闲期阈值、恢复时间以及服务时间的方差有关。对于一个确定的云计算系统而言,计算节点的任务到达率、服务率均可以通过大量实验验证得到,节点不同状态的功率、从休眠态到运行态的恢复时间是和节点出厂相关的参数,其值也是确定的,只有计算节点的空闲期阈值、服务时间方差是随任务调度策略的不同而变化的。假定云计算系统中计算节点nodei的能耗与其空闲期阈值x和服务时间方差y的关系为fi(x,y),则可将云计算系统中节点nodei的能耗公式(28)转换为:
其中,Ai~Ii是和节点nodei本身相关的系数,均大于0,x、y分别对应节点的空闲期阈值和服务时间方差。
分别对x、y求偏导,则有公式(30)(31):
由公式(30)分析可知,fi(x,y)关于x的偏导与Ai~Ii、λi和y相关,也即计算节点的空闲时间阈值的设置与计算节点本身各项系数以及到达计算节点的任务相关。
由公式(31)分析可知,恒成立,则节点nodei的能耗随着服务时间方差y的增大而越来越高,又因为y≥0,故当y=0时,能耗最小。
根据公式(30)(31)分析可知,稳态条件下,计算节点的能耗仅和计算节点的空闲期阈值与服务时间方差有关,任务调度时可以通过减少服务时间方差与合理设置空闲期阈值来减少能耗。
结合计算节点对任务的平均响应时间公式(13)与计算节点能耗公式(27)的分析可知,当计算节点的服务时间方差越小,即将任务调度到任务执行时间与节点服务时间相似的节点中,能耗最少。故可根据以上结论得到本发明的任务调度方法如下:
从能使当前任务在要求的截止时间前完成的计算节点集合中选择其平均服务时间与当前任务在该计算节点上的执行时间最接近的计算节点,将当前任务调度至该计算节点执行。
对于不能在截止期内完成的任务,可以直接采用现有各种任务调度策略进行调度,例如Min-Min算法、贪婪算法和时间轮转调度算法以及先来先调度算法等。为了保证任务的性能,本实施例中,当不存在能使当前任务在要求的截止时间前完成的计算节点时,不考虑能耗优化,直接将任务调度到能最早完成该任务的计算节点中执行。该任务调度方法的具体过程如图3所示,
根据当前到达云计算系统中的任务大小,计算任务在各计算节点执行所需的执行时间,将任务调度到任务执行时间与节点服务时间相似的节点中,具体步骤如下:
1)随机到达异构云计算系统中的独立任务生成任务集合TASK,并按照先来先服务原则接受服务;
2)计算任务集合TASK中的独立任务taskj在计算节点nodei的执行时间tji,
3)选择能在当前任务截止时间内完成的计算节点集合U,其中如果U≠Φ,转4);否则,转5);
4)在3)中确定的节点集合U中选择执行任务taskj的执行时间与节点的平均服务时间最接近的计算节点nodei执行该任务,即min|1/μi-tji|,转6);
5)选择能最早完成任务taskj的计算节点,即转6);
6)转1)。
Claims (3)
1.一种异构云计算系统节能方法,其特征在于,使异构云计算系统接收到的各任务分别在平均服务时间与该任务在该计算节点上的执行时间最接近的计算节点上执行。
2.一种异构云计算系统任务调度方法,其特征在于,所述异构云计算系统按照先到先服务的原则接收随机到来的任务,并按照以下方法将当前任务调度至相应的计算节点:从能使当前任务在要求的截止时间前完成的计算节点集合中选择其平均服务时间与当前任务在该计算节点上的执行时间最接近的计算节点,将当前任务调度至该计算节点执行。
3.如权利要求2所述异构云计算系统任务调度方法,其特征在于,如不存在能使当前任务在要求的截止时间前完成的计算节点,则将当前任务调度至能使当前任务最早完成的计算节点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410156148.4A CN103944985A (zh) | 2014-04-17 | 2014-04-17 | 一种异构云计算系统节能方法及任务调度方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410156148.4A CN103944985A (zh) | 2014-04-17 | 2014-04-17 | 一种异构云计算系统节能方法及任务调度方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103944985A true CN103944985A (zh) | 2014-07-23 |
Family
ID=51192466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410156148.4A Pending CN103944985A (zh) | 2014-04-17 | 2014-04-17 | 一种异构云计算系统节能方法及任务调度方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103944985A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105681096A (zh) * | 2016-01-29 | 2016-06-15 | 湖南大学 | 一种用于云平台利润最大化的服务器配置方法和装置 |
CN106550440A (zh) * | 2016-09-23 | 2017-03-29 | 燕山大学 | 一种联合用户和基站的休眠策略及阈值确定方法 |
CN106940656A (zh) * | 2016-01-04 | 2017-07-11 | 阿里巴巴集团控股有限公司 | 一种任务调度方法及装置 |
CN110050260A (zh) * | 2016-12-07 | 2019-07-23 | 微软技术许可有限责任公司 | 基于用户条件或者平台条件的优化电力转变 |
CN108268310B (zh) * | 2016-12-30 | 2020-08-28 | 大唐移动通信设备有限公司 | 一种确定最小调度粒度的方法及装置 |
CN111626648A (zh) * | 2020-07-28 | 2020-09-04 | 太平金融科技服务(上海)有限公司 | 查勘任务调度方法、装置、计算机设备和存储介质 |
CN114462900A (zh) * | 2022-04-13 | 2022-05-10 | 云智慧(北京)科技有限公司 | 一种业务活动节点的拆分方法、装置及设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102541652A (zh) * | 2010-12-09 | 2012-07-04 | 上海杉达学院 | 集群系统的业务调度方法 |
-
2014
- 2014-04-17 CN CN201410156148.4A patent/CN103944985A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102541652A (zh) * | 2010-12-09 | 2012-07-04 | 上海杉达学院 | 集群系统的业务调度方法 |
Non-Patent Citations (1)
Title |
---|
谭一鸣 等: "随机任务在云计算平台中能耗的优化管理方法", 《软件学报》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106940656A (zh) * | 2016-01-04 | 2017-07-11 | 阿里巴巴集团控股有限公司 | 一种任务调度方法及装置 |
CN105681096A (zh) * | 2016-01-29 | 2016-06-15 | 湖南大学 | 一种用于云平台利润最大化的服务器配置方法和装置 |
CN106550440A (zh) * | 2016-09-23 | 2017-03-29 | 燕山大学 | 一种联合用户和基站的休眠策略及阈值确定方法 |
CN106550440B (zh) * | 2016-09-23 | 2020-02-04 | 燕山大学 | 一种联合用户和基站的休眠策略及阈值确定方法 |
CN110050260A (zh) * | 2016-12-07 | 2019-07-23 | 微软技术许可有限责任公司 | 基于用户条件或者平台条件的优化电力转变 |
CN110050260B (zh) * | 2016-12-07 | 2022-04-29 | 微软技术许可有限责任公司 | 基于用户条件或者平台条件的优化电力转变 |
CN108268310B (zh) * | 2016-12-30 | 2020-08-28 | 大唐移动通信设备有限公司 | 一种确定最小调度粒度的方法及装置 |
CN111626648A (zh) * | 2020-07-28 | 2020-09-04 | 太平金融科技服务(上海)有限公司 | 查勘任务调度方法、装置、计算机设备和存储介质 |
CN111626648B (zh) * | 2020-07-28 | 2021-02-26 | 太平金融科技服务(上海)有限公司 | 查勘任务调度方法、装置、计算机设备和存储介质 |
CN114462900A (zh) * | 2022-04-13 | 2022-05-10 | 云智慧(北京)科技有限公司 | 一种业务活动节点的拆分方法、装置及设备 |
CN114462900B (zh) * | 2022-04-13 | 2022-07-29 | 云智慧(北京)科技有限公司 | 一种业务活动节点的拆分方法、装置及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103944985A (zh) | 一种异构云计算系统节能方法及任务调度方法 | |
Cheng et al. | An energy-saving task scheduling strategy based on vacation queuing theory in cloud computing | |
CN105912401B (zh) | 一种分布式数据批处理系统和方法 | |
CN102739785B (zh) | 基于网络带宽估计的云计算任务调度方法 | |
CN103346902B (zh) | 数据采集调度的方法及系统 | |
CN103823545B (zh) | 一种云计算系统的服务器唤醒方法 | |
CN102171627A (zh) | 对在异构计算系统中执行的应用的调度 | |
CN103559045A (zh) | 一种硬件实时操作系统 | |
CN102364447A (zh) | 一种优化多任务间通信能耗的作业调度方法 | |
CN105187327A (zh) | 一种分布式消息队列中间件 | |
CN106445070B (zh) | 一种硬实时系统资源受限偶发任务能耗优化调度方法 | |
CN103500123A (zh) | 异构环境中并行计算调度方法 | |
CN109324880A (zh) | 一种适用于实时系统周期任务模型的低功耗调度方法 | |
CN106897133B (zh) | 一种基于pbs作业调度管理集群负载的实现方法 | |
Han et al. | A Qos Guided task Scheduling Model in cloud computing environment | |
Wang et al. | Energy-efficient collaborative optimization for VM scheduling in cloud computing | |
Jin et al. | A virtual machine scheduling strategy with a speed switch and a multi-sleep mode in cloud data centers | |
CN104796673B (zh) | 一种面向能耗优化的云视频监控系统任务接入方法 | |
Ma et al. | The virtual machines scheduling strategy based on M/M/c queueing model with vacation | |
CN107329842B (zh) | 基于Qt信号槽机制的获取数据的方法及终端 | |
CN104102532A (zh) | 一种异构集群中基于低能耗的科学工作流调度方法 | |
CN104852860A (zh) | 一种基于队列的异构资源多目标调度策略 | |
Peng et al. | Resource optimization strategy for CPU intensive applications in cloud computing environment | |
CN101847044B (zh) | 一种适用于千万亿次计算机机群的低功耗管理方法 | |
CN106547517B (zh) | 一种控制等待时间的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140723 |