CN110308991B - 一种基于随机任务的数据中心节能优化方法及系统 - Google Patents

一种基于随机任务的数据中心节能优化方法及系统 Download PDF

Info

Publication number
CN110308991B
CN110308991B CN201910542580.XA CN201910542580A CN110308991B CN 110308991 B CN110308991 B CN 110308991B CN 201910542580 A CN201910542580 A CN 201910542580A CN 110308991 B CN110308991 B CN 110308991B
Authority
CN
China
Prior art keywords
energy consumption
virtual machine
data center
virtualization server
reconfiguration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910542580.XA
Other languages
English (en)
Other versions
CN110308991A (zh
Inventor
周舟
李方敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Micro-Network Juli Network Technology Co.,Ltd.
Original Assignee
Changsha University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University filed Critical Changsha University
Priority to CN201910542580.XA priority Critical patent/CN110308991B/zh
Publication of CN110308991A publication Critical patent/CN110308991A/zh
Application granted granted Critical
Publication of CN110308991B publication Critical patent/CN110308991B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/324—Power saving characterised by the action undertaken by lowering clock frequency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45579—I/O management, e.g. providing access to device drivers or storage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45583—Memory management, e.g. access or allocation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及大数据计算领域，公开了一种基于随机任务的数据中心节能优化方法及系统，以在大数据处理中有效地综合考虑资源计算能耗、通信能耗、存储能耗、以及任务的排队情况；本发明的方法包括构建虚拟化服务器节点,并将每个所述虚拟化服务器节点虚拟为至少两个虚拟机；将数据中心虚拟为两个以上虚拟化服务器节点，并计算各虚拟化服务器节点的可供总资源，其中，各虚拟化服务器节点之间通过虚拟化网络相互连接；筛选符合设定要求的用户请求，将所有符合设定要求的用户请求存入队列中并计算每个用于请求需要的总资源；根据约束条件计算截止期，根据截止期和设定比对方法将队列中的用户请求分配至虚拟化服务器节点的虚拟机上。

Description

一种基于随机任务的数据中心节能优化方法及系统
技术领域
本发明涉及大数据计算领域，尤其涉及一种基于随机任务的数据中心节能优化方法及系统。
背景技术
当代大规模计算密集型应用加上对大数据的处理需求，导致大规模虚拟化网络数据中心VNDCs(Virtualised Networked DataCentres)的建立。VNDCs因处理广泛的应用需求而受到越来越多的关注，VNDCs中的高能耗问题引发研究者在相关的研究方向上进行探索，这些研究方向包括能耗建模，DVFS(Dynamic Voltage Frequency Scaling)技术，虚拟化技术，DVFS和虚拟化技术的结合。
由于服务器的CPU频率与其能源消耗之间的关系，DVFS技术被广泛用来降低数据中心的能耗。例如，当数据中心的任务量少时(即处理器CPU未被充分利用)，在满足用户要求的情况下，尽可能地通过减少处理器的供电电压和时钟频率以节约系统的能耗。当数据中心的任务量多时，为避免违约率带来的风险，可以适当的保持处理器的供电电压和时钟频率在某一高位运行。尽管DVFS技术能在一定范围内降低VNDCs的能耗，但节能效果有限。服务器合并和迁移技术是一种降低数据中心能耗的有效方法。通过使用该技术，分散在多个服务器上的负载被“聚集”到数目较少的服务器上，考虑到节能的因素，空闲的服务器将被关闭。例如在一些文献中，作者探讨了最佳判别式算法并提出了一种自适应节能的虚拟机迁移策略。或者有作者通过设制阈值去控制虚拟机的迁移，进而控制数据中心的能耗。然而，在VNDCs中，一些服务需求对实时性的要求比较高。为降低虚拟化网络数据中心(VNDCs)的能耗，国内外的学者做了一定的研究，取得了一些成果。有人提出了一种“Lyapunov”方法最大化联合效用(包括能耗成本和平均应用吞吐量)，这种方法能在一定程度节约数据中心的能耗，但这种方法仅考虑VNDCs的计算能耗而忽略了如虚拟机重配置能耗，网络设备的通信能耗，存储能耗等。此外，为处理数据中心的负载，有人提出了一种“IDEAL”算法去优化处理器频率。IDEAL算法同样仅优化数据中心的计算能耗，而忽略了数据中心的其它能耗。IDEAL算法是一种纯理想化的算法，需要在连续的频率范围内工作，这在实际的环境中不可能存在。为降低VNDCs的能耗，有人提出了一种“Standard”方法用于优化能耗，但该方法仍然集中优化计算能耗。然而，在VNDCs中，还存在着设备的存储能耗。以上所有的这些方法主要集中于优化VNDCs中的一到两个资源能耗，而没有考虑任务的排队情况和设备的存储能耗。
因此，在大数据存储中如何有效地综合考虑资源能耗、任务的排队情况和设备的存储能耗成为一个急需解决的问题。
发明内容
本发明目的在于提供一种基于随机任务的数据中心节能优化方法及系统，以在大数据处理中有效地综合考虑资源计算能耗、通信能耗、存储能耗、以及任务的排队情况；为实现上述目的，本发明提供了一种基于随机任务的数据中心节能优化方法，包括以下步骤：
构建虚拟化服务器节点，并将每个所述虚拟化服务器节点虚拟为至少两个虚拟机；
将数据中心虚拟为两个以上虚拟化服务器节点，并计算各虚拟化服务器节点的可供总资源，其中，各虚拟化服务器节点之间通过虚拟化网络相互连接；
筛选符合设定要求的用户请求，将所有符合设定要求的用户请求存入队列中，计算每个用户请求需要的总资源；
根据约束条件计算截止期，根据截止期和设定比对方法将所述队列中的用户请求分配至虚拟化服务器节点的虚拟机上。
优选地，所述构建虚拟化服务器节点具体为：将CPU、RAM、磁盘、网络接口卡、带宽视为一个虚拟化服务器节点。
优选地，所述设定要求为：用户请求中包括CPU需求、内存大小、带宽大小、以及磁盘存储容量。
优选地，根据约束条件计算截止期，根据截止期和设定比对方法将所述队列中的用户请求分配至虚拟化服务器节点具体包括以下步骤：
计算截止期Ttotal；
在截止期结束前，将用户请求需要的总资源与各虚拟化服务器节点的可供资源进行比对，提取出所有可供资源大于用户请求需要的总资源的虚拟化服务器节点，计算各虚拟化服务器节点处理该用户请求所需的总能耗，将该用户请求分配至总能耗最小的虚拟化服务器节点。
优选地，所述总能耗包括计算能耗、虚拟机重配置能耗、通信能耗、以及磁盘存储能耗。
优选地，所述计算能耗的计算公式为：
Figure GDA0002402430290000021
式中，Ecpu(i)为计算能耗，fk(i)为虚拟机i的第k个离散频率，tk(i)为虚拟机i运行在fk(i)上所花的时间，A为阈值系数，Ceff为有效电容负载，Q为处理器离散频率的数目，为m为虚拟机的数目；
所述虚拟机重配置能耗包括虚拟机重配置内部能耗和虚拟机重配置外部能耗，其中虚拟机重配置内部能耗的计算公式为：
Figure GDA0002402430290000031
式中，Ereconf(Int)(i)为虚拟机重配置内部能耗，kc为虚拟机重配置能耗系数；
虚拟机重配置外部能耗的计算公式为：
Ereconf(Ext)(i)＝kc×Eexter；
式中，Ereconf(Ext)(i)为虚拟机重配置外部能耗，Eexter指的是虚拟机从一个频率切换到另一个频率的开销；
所述通信能耗的计算公式为：
Figure GDA0002402430290000032
式中，Ecom(i)为一条链路的通信能耗，pnet(R(i))为通信能耗，TD(i)为第i条链路的转发时延，R(i)为转发率；
所述磁盘存储能耗的计算公式为：
Figure GDA0002402430290000033
式中，W为下载的文件大小，ET为转发和交换时每一位的能耗，Pcs为服务器的能耗，参数Ccs为服务器的存储容量，D为的是每小时下载的文件数目，Phd为磁盘阵列的能耗，参数Chd为磁盘阵列的存储容量。
优选地，还包括步骤：
以满足硬实时Ttotal约束条件下的总能耗Etotal最小为优化目标优化总能耗。
作为一个总的技术构思，本发明还提供一种基于随机任务的数据中心节能优化系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
本发明具有以下有益效果：
本发明提供一种基于随机任务的数据中心节能优化方法及系统，首先将CPU、RAM、磁盘、网络接口卡、带宽视为一个虚拟化服务器节点；将数据中心虚拟为两个以上虚拟化服务器节点，并计算各虚拟化服务器节点的可供总资源，其中，各虚拟化服务器节点之间通过虚拟化网络相互连接；筛选符合设定要求的用户请求，将所有符合设定要求的用户请求存入队列中并计算每个用于请求需要的总资源；根据约束条件计算截止期，根据截止期和设定比对方法将队列中的用户请求分配至虚拟化服务器节点的虚拟机上；可以在大数据存储中有效地综合考虑资源计算能耗、通信能耗、任务的排队情况和设备的存储能耗。
下面将参照附图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明优选实施例的基于随机任务的数据中心节能优化方法流程图；
图2是本发明优选实施例的虚拟机i在不同频率下工作的实例；
图3是本发明优选实施例的五种算法的计算能耗对比示意图；
图4是本发明优选实施例的三种算法在η＝0.5时计算能耗示意图；
图5是本发明优选实施例的三种算法在η＝0.2时计算能耗示意图；
图6是本发明优选实施例的三种算法在η＝0.8时计算能耗示意图；
图7是本发明优选实施例的二种算法在kc＝0.05时三种能耗之和示意图；
图8是本发明优选实施例的二种算法在kc＝0.05时虚拟机重配置外部能耗示意图；
图9是本发明优选实施例的二种算法在kc＝0.005时三种能耗之和示意图；
图10是本发明优选实施例的二种算法在kc＝0.005时虚拟机重配置外部能耗示意图；
图11是本发明优选实施例的二种算法在kc＝0.5时三种能耗之和示意图；
图12是本发明优选实施例的二种算法在kc＝0.5时虚拟机重配置外部能耗示意图；
图13是本发明优选实施例的二种算法的四种能耗之和示意图。
图14是本发明优选实施例的MCEC与Extended NetDC算法的磁盘存取能耗Edisk变化情况示意图；
图15是本发明优选实施例的前100个任务在不同虚拟机数目下的执行时间情况示意图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
实施例1
如图1所示，本实施例提供一种基于随机任务的数据中心节能优化方法，包括以下步骤：
构建虚拟化服务器节点,并将每个所述虚拟化服务器节点虚拟为至少两个虚拟机；本实施例中，将CPU、RAM、磁盘、网络接口卡、带宽视为一个虚拟化服务器节点。
将数据中心虚拟为两个以上虚拟化服务器节点，并计算各虚拟化服务器节点的可供总资源，其中，各虚拟化服务器节点之间通过虚拟化网络相互连接；
筛选符合设定要求的用户请求，将所有符合设定要求的用户请求存入队列中计算每个用于请求需要的总资源；
根据约束条件计算截止期，根据截止期和设定比对方法将所述队列中的用户请求分配至虚拟化服务器节点的虚拟机上。
需要说明的是，虚拟机的个数由服务器节点的可供资源多少确定，当服务器节点的可供资源较多时，虚拟出来的虚拟机个数越多。在进行任务分配时，只需将任务分配至服务器节点上的任意一个虚拟机即可。
上述的基于随机任务的数据中心节能优化方法，可以在大数据处理中有效地综合考虑资源计算能耗、通信能耗、存储能耗、以及任务的排队情况。作为本实施例优选的实施方式，上述的设定要求为：用户请求中包括CPU需求、内存大小、带宽大小、以及磁盘存储容量。
作为本实施例优选的实施方式，根据约束条件计算截止期，根据截止期和设定比对方法将队列中的用户请求分配至虚拟化服务器节点具体包括以下步骤：
计算截止期Ttotal；
在截止期结束前，将用户请求需要的总资源与各虚拟化服务器节点的可供资源进行比对，提取出所有可供资源大于用户请求需要的总资源的虚拟化服务器节点，计算各虚拟化服务器节点处理该用户请求所需的总能耗，将该用户请求分配至总能耗最小的虚拟化服务器节点。截止时间可以根据用户的需求进行设定，也可以根据实际情况根据经验值设定。
作为本实施例优选的实施方式，总能耗包括计算能耗、虚拟机重配置能耗、通信能耗、以及磁盘存储能耗。
本实施例中，在进行具体计算时，总的能耗(Etotal)的计算公式为：
Figure GDA0002402430290000051
上式中，Ecpu(i),Ereconf,Ecom(i)和Edisk(i)分别代表计算能耗，虚拟机重配置能耗，通信能耗和磁盘存储能耗。在下面的部分中，将分别计算计算能耗，虚拟机重配置能耗，通信能耗和磁盘存储能耗。
在计算计算能耗时，应当明确的是，处理器的动态能耗(P)与供电电压和处理频率有关，计算公式为：
P＝A·Ceff·f·V2
式中，参数A，Ceff，f和V分别为阈值系数，有效电容负载，处理器的频率和供电电压。
由于处理器的频率与供电电压互相相关，虚拟机i的计算能耗(Ecpu(i))的计算公式为：
Figure GDA0002402430290000061
式中，fk(i)为虚拟机i的第k个离散频率，tk(i)为虚拟机i运行在fk(i)上所花的时间。参数k＝0表示虚拟机i处在空闲状态,参数Q对应处理器离散频率的数目。其中虚拟机i在不同频率下工作的实例如下图2所示，本实例中Q＝5。
虚拟机重配置能耗时虚拟机重配置外部能耗(Ereconf(Ext)(i))和虚拟机重配置内部能耗(Ereconf(Int)(i)),它们满足如下关系：
Ereconf(i)＝Ereconf(Ext)(i)+Ereconf(Int)(i)
式中，Ereconf(Ext)(i)为虚拟机i从最后一个活动的离散频率(处理最后作业)切换到第一个活动的离散频率(处理下一个即将来的作业)的重配置能耗开销。本实施例中将Ereconf(Ext)(i)定义为：
Ereconf(Ext)(i)＝kc×Eexter
式中，参数kc为虚拟机重配置能耗系数，在虚拟化网络数据中心，kc的值可看成是一个常数，Eexter为虚拟机从一个频率切换到另一个频率的开销。对于虚拟机重配置内部能耗(Ereconf(Int)(i))为虚拟机从目前活动的离散频率到另一个频率的能耗开销，例如当虚拟机从频率(fk(i))到另一个频率(fk+1(i)),此时虚拟机重配置内部能耗为kc(fk+1(i)-fk(i))2。因此,Ereconf(Internal)(i)可以被定义为：
Figure GDA0002402430290000062
需要说明的是，每一个虚拟机都需要通过一条专用的虚拟化链路与VMM通信。对于一条链路的转发和交换操作，其通信能耗(pnet(i))可定义为：
Figure GDA0002402430290000063
式中，参数
Figure GDA0002402430290000064
为转发和交换信息的能耗，而
Figure GDA0002402430290000065
为接收操作的能耗。在实际情况中，转发和接收的信道能耗相等。因此，根据Shannon-Hartley指数公式，通信能耗(pnet(i))可定义如下：
Figure GDA0002402430290000066
式中，参数η指高斯噪声可看成是一个常量,参数R(i)为转发率,参数B(i)为转发的带宽,Pidle为端到端链路连接空闲时的能耗且可看成是一个固定值。对于第i条链路的转发时延(TD(i))的计算公式为：
Figure GDA0002402430290000071
因此,一条链路的通信能耗(Ecom(i))的计算公式为：
Figure GDA0002402430290000072
此外，应当明确的是，“存储作为一种服务”对用户来说是一种便利的方式去“存取”数据，通过该服务，用户可以向云服务提供商购买他们的存储服务需求。尽管所有的处理都是在用户个人的电脑完成，但主要的数据存取是在云中，这些数据文件可能包含视频，图片和文档。当这些文件从云中下载用于预览和编辑后，修改后的文件再上传至云中存储。存储能耗(Edisk(i))可的计算公式为：
Figure GDA0002402430290000073
式中，参数W为下载的文件大小,参数ET为转发和交换时每一位的能耗，因子1.5为制冷和其它的能耗开销，因子2为冗余存储的能耗，参数Pcs为服务器的能耗,参数Ccs为服务器的存储容量,参数D为的是每小时下载的文件数目并且该值可以通过经验方法获得,参数Phd为磁盘阵列的能耗(云存储),参数Chd为磁盘阵列的存储容量。
此外，本实施例中，在计算式还考虑CPU密集型作业和相关的输入数据。每一个接收的作业由m个任务构成
Figure GDA0002402430290000075
这些任务将被并行执行。这个作业的m个任务将分配给服务中的m台虚拟机。每一个任务ti可被定义为一个多元组。
ti＝<t(id),S,t(w),t(e),t(dz),t(d)＞(6.12)
式中，t(id)为任务的标识号,S为任务大小,t(w)为任务的等待时间，t(dz)为任务使用的数据大小,t(d)为任务的截止时间,t(e)为任务的执行时间，则有：
Figure GDA0002402430290000074
式中，参数f指的是虚拟机的处理速度。任务完成时间(T)为：
T＝t(w)+t(e)
为了评估并行执行的性能,加速比(SR)定义为：
Figure GDA0002402430290000081
式中，参数E(T1)为任务在单个虚拟机上的执行时间，E(Tp)为任务在p个虚拟机上并行执行所消耗的时间。
每一个接收的作业必须在给定的时间间隔Ttotal＝max(t(d))内完成。由于作业的随机性,本实施例中使用随机服务系统模型(M/M/1排队模型)去处理该问题。假设λ代表用户作业单位时间内的平均到达率，μ代表用户作业单位时间内的平均服务率，将用户作业的平均服务时间ρ定义为：
Figure GDA0002402430290000082
式中，ρ(0≤ρ≤1)被使用去判定该队列是否忙。ρ值越小,用户作业在队列中的等待时间就越小。相反如果ρ值越大,用户作业在队列中的等待时间就越长。
本实施例中定义在硬实时约束下总能耗优化问题即时间在Ttotal(Ttotal是每个作业最大允许的排队加计算加通信时间)范围内，最小化Etotal的值，计算公式为：
Figure GDA0002402430290000083
Figure GDA0002402430290000084
0≤tk(i)≤t(e)1≤i≤m,0≤k≤Q (3)
Figure GDA0002402430290000085
Figure GDA0002402430290000086
Figure GDA0002402430290000087
t(w)+t(e)＝T (7)
Figure GDA0002402430290000088
Figure GDA0002402430290000089
上式(1)为目标函数,其目标是最小化虚拟化网络数据中心Etotal的值。公式(2)保持一个作业可以划分为m个并行的任务。公式(3)确保每一个计算间隔非负且小于等于t(e)。公式(4)确保计算时间不会超过一个任务的执行时间,公式(5)确保每个作业的总时间(包括排队时间,计算时间和网络通信相关的时间)应当小于等于Ttotal。公式(4)到公式(5)有户的QoS。公式(6)指排队等待时间的约束，而公式(7)指任务完成时间的约束。公式(8)中的带宽不等式是指每一个虚拟机的带宽之和应当小于等于全局网络可用的总带宽。公式(9)指信道通信率应小于等于可用的网络带宽容量。
本实施例中，为满足硬实时Ttotal约束条件下的最小化总能耗Etotal优化问题，提出了一种算法名为：
MCEC(Minimize Computing-plus-VMs reconfiguration-plus-communication-plus-disk Energy Consumption)。
MCEC的主要思想是在满足SLA需求情况下优化Etotal的值,进而给总能耗优化问题提供一个解。注意在MCEC中，SLA包含两个方面：第一，每个作业的等待加计算时间应小于或者等于T；第二,每个作业的总时间(包括排队等待时间，计算时间和网络通信相关的时间)应当小于等于Ttotal。
不同于以往的节能优化算法仅优化虚拟化网络数据中心一到两个能耗资源,MCEC在硬实时Ttotal(Ttotal可看成是一种SLA)约束条件下优化总能耗Etotal。MCEC首先初始化相关的参数，然后计算任务的排队时间t(w)。该算法找出虚拟机i在不同频率fk(i)下工作的所有时间解，这些解应满足公式(2)到公式(5)和公式(7)到公式(9)。对于每一个候选时间解，我们比较其总能耗Etotal的大小并选择使总能耗Etotal值最小的解。最后，MCEC返回tk(i)和Etotal的值。
实施例2
本实施例中针对上述方法进行实验验证。实验所用的软件为Matlab中的CVX工具箱，实验所用的相关的参数如表1所示：
表1实验所用的参数值
Figure GDA0002402430290000091
为了评估MCEC的性能，首先建模负载为一个独立同分布随机序列S,序列S的值属于区间[S-b,S+b]。在本实施例中，S＝8[Gbit],b＝2[Gbit]。离散的处理器频率f＝{0.15,1.867,2.133,2.533,2.668}。本实施例所选择的基准算法为Lyapunov,，IDEAL，Standard和NetDC。
其中，该五种方法的计算能耗比如下图3所示，当仅优化虚拟化网络数据中心计算能耗(Ecpu)的时候，图3显示的是这五种算法(Standard,Lyapunov,NetDC,IDEAL和MCEC)在不同虚拟机数目下的计算能耗(Ecpu)(y轴)。
根据图3可知，IDEAL最好,NetDC次之,MCEC排第三位,Lyapunov排第四位,Standard最差。当仅优化虚拟化网络数据中心计算能耗(Ecpu)的时候，IDEAL在每一个小的时间片都得到最优的频率,导致最小的计算能耗。MCEC接近于NetDC算法，并且优于Standard和Lyapunov算法，这是因为MCEC能为活动的离散频率找到合适的时间。然而，IDEAL和NetDC算法不能应用于真实的情景中。在仅优化计算能耗时，Lyapunov优于Standard算法其原因在于Lyapunov利用排队信息去降低数据中心的能耗，而Standard算法通过降低虚拟机的CPU频率进而降低能耗。
图3同时也表明，随着虚拟机数目的增加(例如，当虚拟机数目从1增加到2),相当多的能耗可以被节省，其原因在于随着虚拟机数目的增加，S中相对较小的配额(fk(i)tk(i))将被分配每一个虚拟机。因此，去处理该任务所需要的频率和时间相应的也减少，进而产生较小的计算能耗(Ecpu)。然而，当虚拟机数目增加(例如大于2时即m>2),就NetDC,IDEAL和MCEC这三个算法而言，并没有影响到计算能耗，其原因在于系统大部分时间处于空闲模式，小部分时间被分配去处理任务。对Lyapunov和Standard算法而言,当虚拟机数目增加(例如大于2时即m>2),计算能耗(Ecpu)相应增加其原因在于Lyapunov和Standard算法都不能较好适应变化的负载。
当仅优化虚拟化网络数据中心计算能耗(Ecpu)加通信能耗(Ecom)的时候，图4,图5和图6显示的是这三种算法(NetDC,IDEAL和MCEC)在不同虚拟机数目下的ECC值(y轴)。ECC是数据中心计算能耗(Ecpu)和通信能耗(Ecom)的和，见如下公式：
ECC＝Ecpu+Ecom
因Standard和Lyapunov算法并没有考虑通信能耗，因此，在本实验中已将这两种算法排除。图4表明，当η＝0.5时，IDEAL导致最小的ECC能耗，NetDC导致最多的ECC能耗，MCEC居于这两者之间。其原因在于IDEAL是一种理想化的想法但不能使用在真实的环境中。与NetDC相比，MCEC节约了大约10％的ECC能耗，其原因可解释为NetDC仅考虑虚拟机前一个离散活动频率与下一个频率的概率，从而导致较多的通信能耗。
图5(η＝0.2时)和图6(η＝0.8时)同时也显示参数η与ECC之间的关系，随着参数η值的增加，ECC的值也相应增加。此外，当虚拟机数目增加时，ECC能耗值降低，这是因为虚拟机越多，计算能力就越强，需要的频率和时间相应的减小从而导致ECC能耗值降低。
当仅优化虚拟化网络数据中心计算能耗(Ecpu)加虚拟机重配置外部能耗(Ereconf(Ext))加通信能耗(Ecom)的时候，图7至图12显示的是NetDC和MCEC这二种算法(IDEAL算法因未考虑虚拟机重配置能耗，故将其排除)在不同虚拟机数目下的ECRC值(y轴)。ECRC是计算能耗(Ecpu)加虚拟机重配置外部能耗(Ereconf(Ext))加通信能耗(Ecom)的和，见如下公式：
ECRC＝Ecpu+Ereconf(Ext)+Ecom
与NetDC算法相比，图7表明MCEC算法节约10％的ECRC能耗。这是因为MCEC在处理负载时能为活动的离散频率找到合适的时间。从图8中可以判断，NetDC产生较小的虚拟机重配置外部能耗(Ereconf(Ext))，其原因可解释如下：相比较计算能耗(Ecpu)和通信能耗(Ecom),虚拟机重配置外部能耗(Ereconf(Ext))只占很小的比例。因此，在优化问题的求解时，最优解总是尽量使计算能耗(Ecpu)和通信能耗(Ecom)的值最小而忽略虚拟机重配置外部能耗(Ereconf(Ext))。图7至图12也显示虚拟机重配置外部能耗随着参数kc值的增加而增加。
进一步地，计算加通信加虚拟机重配置加磁盘能耗对比
首先，定义ECRCD为计算能耗，虚拟机重配置外部能耗，通信能耗和磁盘存取能耗的总和，定义公式为：
ECRCD＝Ecpu+Ereconfig(Ext)+Ecom+Edisk
由于Standard,Lyapunov,NetDC和DEAL都没有考虑磁盘存取能耗,我们扩展了NetDC算法以便其考虑磁盘存储能耗，另一方面也便于对比评估MCEC的性能，扩展后的NetDC算法记为“Extended NetDC”。相关的实验结果如图13和图14所示：
图13显示的是MCEC与Extended NetDC算法的性能,结果表明，MCEC优于ExtendedNetDC算法，其原因解释如下：MCEC能为活动的离散频率找到合适的时间，进而优化总能耗。图13也表明，当虚拟机数目m≥6时，MCEC的能耗能保存在一个稳定的状态，这是因为MCEC能分配合适的时间给每一个离散的活动频率。
从图14显示的是MCEC与Extended NetDC算法的磁盘存取能耗Edisk，实验结果表明与MCEC算法相比，Extended NetDC算法产生较小的Edisk，其原因可解释如下：相比较计算能耗(Ecpu)和通信能耗(Ecom),磁盘存取能耗Edisk只占很小的比例。因此，在优化问题的求解时，最优解总是尽量使计算能耗(Ecpu)和通信能耗(Ecom)的值最小而忽略磁盘存取能耗Edisk。
图15显示的是前100个任务在不同虚拟机数目下的执行时间。从图15中可以看出，随着虚拟机数目的增加每个任务的执行时间减少，这是因为更多的虚拟机意味着更多的CPU处理能力，从而减少每个任务的执行时间。
实施例3
与上述方法实施例相对应地，本实施例提供一种基于随机任务的数据中心节能优化系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述方法的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于随机任务的数据中心节能优化方法，其特征在于，包括以下步骤：
构建虚拟化服务器节点,并将每个所述虚拟化服务器节点虚拟为至少两个虚拟机；
将数据中心虚拟为两个以上虚拟化服务器节点，计算各虚拟化服务器节点的可供总资源，其中，各虚拟化服务器节点之间通过虚拟化网络相互连接；
筛选符合设定要求的用户请求，将所有符合设定要求的用户请求存入队列中，计算每个用户请求需要的总资源；
根据约束条件计算截止期；所述约束条件下的总能耗包括虚拟机重配置能耗，所述虚拟机重配置能耗包括虚拟机重配置内部能耗和虚拟机重配置外部能耗；
处理所述队列中的用户请求，其中，所述处理具体包括：接收用户请求，虚拟机根据所述截止期调节自身频率，将所述用户请求分配至虚拟机的自身频率较低的数值区间进行处理。
2.根据权利要求1所述的基于随机任务的数据中心节能优化方法，其特征在于，所述构建虚拟化服务器节点具体为：将CPU、RAM、磁盘、网络接口卡、带宽视为一个虚拟化服务器节点。
3.根据权利要求1所述的基于随机任务的数据中心节能优化方法，其特征在于，所述设定要求为：用户请求中包括CPU需求、内存大小、带宽大小、以及磁盘存储容量。
4.根据权利要求1所述的基于随机任务的数据中心节能优化方法，其特征在于，所述总能耗还包括计算能耗、通信能耗、以及磁盘存储能耗。
5.根据权利要求4所述的基于随机任务的数据中心节能优化方法，其特征在于，所述计算能耗的计算公式为：
Figure FDA0002402430280000011
式中，Ecpu(i)为计算能耗，fk(i)为虚拟机i的第k个离散频率，tk(i)为虚拟机i运行在fk(i)上所花的时间，A为阈值系数，Ceff为有效电容负载，Q为处理器离散频率的数目，m为虚拟机的数目；
所述虚拟机重配置内部能耗的计算公式为：
Figure FDA0002402430280000012
式中，Ereconf(Int)(i)为虚拟机重配置内部能耗，kc为虚拟机重配置能耗系数；
虚拟机重配置外部能耗的计算公式为：
Ereconf(Ext)(i)＝kc×Eexter；
式中，Ereconf(Ext)(i)为虚拟机重配置外部能耗，Eexter为虚拟机从一个频率切换到另一个频率的开销；
所述通信能耗的计算公式为：
Figure FDA0002402430280000021
式中，Ecom(i)为一条链路的通信能耗，pnet(R(i))为通信能耗，TD(i)为第i条链路的转发时延，R(i)为转发率；
所述磁盘存储能耗的计算公式为：
Figure FDA0002402430280000022
式中，W为下载的文件大小，ET为转发和交换时每一位的能耗，Pcs为服务器的能耗，参数Ccs为服务器的存储容量，D为的是每小时下载的文件数目，Phd为磁盘阵列的能耗，参数Chd为磁盘阵列的存储容量。
6.根据权利要求1所述的基于随机任务的数据中心节能优化方法，其特征在于，还包括步骤：
以满足硬实时约束条件下的总能耗最小为优化目标优化总能耗。
7.一种基于随机任务的数据中心节能优化系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-6任一所述方法的步骤。
CN201910542580.XA 2019-06-21 2019-06-21 一种基于随机任务的数据中心节能优化方法及系统 Active CN110308991B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910542580.XA CN110308991B (zh) 2019-06-21 2019-06-21 一种基于随机任务的数据中心节能优化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910542580.XA CN110308991B (zh) 2019-06-21 2019-06-21 一种基于随机任务的数据中心节能优化方法及系统

Publications (2)

Publication Number Publication Date
CN110308991A CN110308991A (zh) 2019-10-08
CN110308991B true CN110308991B (zh) 2020-06-19

Family

ID=68077050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910542580.XA Active CN110308991B (zh) 2019-06-21 2019-06-21 一种基于随机任务的数据中心节能优化方法及系统

Country Status (1)

Country Link
CN (1) CN110308991B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395161A (zh) * 2020-11-26 2021-02-23 国网天津市电力公司 大数据中心能耗分析方法及计算设备
CN114691362B (zh) * 2022-03-22 2024-04-30 重庆邮电大学 一种时延与能耗折衷的边缘计算方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5820525B2 (ja) * 2012-03-29 2015-11-24 株式会社日立製作所 仮想計算機のスケジュールシステム及びその方法
CN103076870B (zh) * 2013-01-08 2015-10-28 北京邮电大学 数据中心中能耗驱动的应用融合调度和资源动态配置方法
CN103853618B (zh) * 2014-03-06 2017-04-19 南京理工大学 基于截止日期驱动的云系统代价最小化资源分配方法
CN106126317A (zh) * 2016-06-24 2016-11-16 安徽师范大学 应用于云计算环境的虚拟机调度方法
CN106775932B (zh) * 2016-11-29 2020-01-17 中国人民解放军国防科学技术大学 一种云计算系统中随机事件触发的实时工作流调度方法

Also Published As

Publication number Publication date
CN110308991A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
Alahmadi et al. Enhanced first-fit decreasing algorithm for energy-aware job scheduling in cloud
Zhao et al. A new energy-aware task scheduling method for data-intensive applications in the cloud
Mao et al. A multi-resource task scheduling algorithm for energy-performance trade-offs in green clouds
Xu et al. Resource pre-allocation algorithms for low-energy task scheduling of cloud computing
Li An adaptive overload threshold selection process using Markov decision processes of virtual machine in cloud data center
Li et al. Data locality optimization based on data migration and hotspots prediction in geo-distributed cloud environment
Li et al. An energy-aware scheduling algorithm for big data applications in Spark
CN110308991B (zh) 一种基于随机任务的数据中心节能优化方法及系统
CN113535409A (zh) 一种面向能耗优化的无服务器计算资源分配系统
Hussin et al. Priority-based scheduling for large-scale distribute systems with energy awareness
Kuehn et al. DVFS-power management and performance engineering of data center server clusters
Terzopoulos et al. Bag-of-task scheduling on power-aware clusters using a dvfs-based mechanism
Spivak et al. Data preloading and data placement for MapReduce performance improving
Anan et al. SLA-based optimization of energy efficiency for green cloud computing
Bagheri et al. Enhancing energy efficiency in resource allocation for real-time cloud services
Dabbagh et al. Online assignment and placement of cloud task requests with heterogeneous requirements
Aziz et al. Power efficient scheduling heuristics for energy conservation in computational grids
Vashisht et al. A Cost Effective and Energy Efficient Algorithm for Cloud Computing
Khaleel et al. Energy-aware job management approaches for workflow in cloud
Dad et al. Energy efficient VM live migration and allocation at cloud data centers
Cao et al. A QoS-guaranteed energy-efficient VM dynamic migration strategy in cloud data centers
Bhandary et al. Energy-efficient VM scheduling in the cloud environment using reinforcement learning
Chakroun et al. Reducing energy consumption for reconfiguration in cloud data centers
Cao et al. Fast communication-aware virtual machine dynamic consolidation for cloud data center
Puneetha et al. Energy efficient power aware VM scheduling in decentralized cloud

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211220

Address after: 410026 room 2306, building 10 and 11, Hengda Yayuan, No. 699, Section 1, Wanjiali North Road, Hongshan street, Kaifu District, Changsha City, Hunan Province

Patentee after: Hunan Yueshi Ganlin culture media Co.,Ltd.

Address before: 410022 No. 98 Hongshan Road, Kaifu District, Changsha City, Hunan Province

Patentee before: CHANGSHA University

TR01 Transfer of patent right
CP02 Change in the address of a patent holder

Address after: 410000 room 602, building B2, Lugu science and technology innovation and entrepreneurship Park, No. 1698, Yuelu West Avenue, high tech Development Zone, Changsha City, Hunan Province

Patentee after: Hunan Yueshi Ganlin culture media Co.,Ltd.

Address before: 410026 room 2306, building 10 and 11, Hengda Yayuan, No. 699, Section 1, Wanjiali North Road, Hongshan street, Kaifu District, Changsha City, Hunan Province

Patentee before: Hunan Yueshi Ganlin culture media Co.,Ltd.

CP02 Change in the address of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20240206

Address after: No. 39, Group 7, Liujia Village, Aijia Town, Dianjun District, Yichang City, Hubei Province, 443004

Patentee after: Chen Haiyan

Country or region after: China

Address before: 410000 room 602, building B2, Lugu science and technology innovation and entrepreneurship Park, No. 1698, Yuelu West Avenue, high tech Development Zone, Changsha City, Hunan Province

Patentee before: Hunan Yueshi Ganlin culture media Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240621

Address after: Room 801A, 8th Floor, Building 1, Zone 4, No. 81 Beiqing Road, Haidian District, Beijing, 100080

Patentee after: Beijing Micro-Network Juli Network Technology Co.,Ltd.

Country or region after: China

Address before: No. 39, Group 7, Liujia Village, Aijia Town, Dianjun District, Yichang City, Hubei Province, 443004

Patentee before: Chen Haiyan

Country or region before: China