CN111737078A - 基于负载类型的自适应云服务器能耗测算方法、系统及设备 - Google Patents

基于负载类型的自适应云服务器能耗测算方法、系统及设备 Download PDF

Info

Publication number
CN111737078A
CN111737078A CN202010396546.9A CN202010396546A CN111737078A CN 111737078 A CN111737078 A CN 111737078A CN 202010396546 A CN202010396546 A CN 202010396546A CN 111737078 A CN111737078 A CN 111737078A
Authority
CN
China
Prior art keywords
load
energy consumption
cpu
disk
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010396546.9A
Other languages
English (en)
Other versions
CN111737078B (zh
Inventor
林伟伟
张煜锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen robust Technology Co.,Ltd.
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010396546.9A priority Critical patent/CN111737078B/zh
Publication of CN111737078A publication Critical patent/CN111737078A/zh
Application granted granted Critical
Publication of CN111737078B publication Critical patent/CN111737078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G06F11/3062—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations where the monitored property is the power consumption
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及一种基于负载类型感知的自适应云服务器能耗测算方法、系统及设备，方法包括：采集服务器监控数据并进行分析和清洗，得到一个离线的负载数据集和一个实时更新的负载数据集；基于离线的负载数据集，使用K‑Means聚类算法进行聚类，得到具有类簇边界的4个负载类型簇；根据类簇边界计算出每个负载类型的资源阈值区间；同时，基于实时的负载数据集，使用ARIMA算法进行预测，将资源阈值区间作为分类判定条件，进行负载类型的分类判别；根据分类判别结果设置负载能耗模型中的参数，实时计算此负载下的云服务器的能耗。本发明可以有效地在实际的云环境中测算各种工作负载所消耗的能耗，对服务器负载做出准确的能耗评估。

Description

基于负载类型的自适应云服务器能耗测算方法、系统及设备
技术领域
本发明涉及一种云服务器能耗测算方法，特别涉及一种基于负载类型的自适应云服务器能耗测算方法、系统及设备。
背景技术
近年来，随着云计算技术及其应用的快速发展，云数据中心数量和规模迅速增加，但随之而来的却是高耗能的问题。鉴于数据中心不断恶化的能耗表现，其能耗管理优化逐渐成为了云计算领域研究的热点问题之一。
云数据中心的能耗很大一部分来自于服务器的能耗(约45％)，而服务器的能耗又来自于负载运行时的资源消耗。对服务器的能耗进行准确有效的测算可为集群节能调度和资源规划提供真实可靠的依据，从而提升物理资源利用率，为云服务器提供商节省大量成本。因此，大量学者和研究人员在数据中心云服务器能耗建模和能耗测算问题上进行研究。
基于能耗模型的估算方法应用最为广泛，并且是虚拟化环境下和仿真环境下的能耗监控方法的基础。其能够以低成本的方式实现细粒度、高可扩展性的能耗测算，十分适用于云数据中心内复杂、异构且频繁扩展的设备环境。基于能耗模型的估算方法主要是基于系统部件使用率来建立能耗评估模型，且主要集中在CPU、内存和磁盘三大部件的能耗模型研究。
现有的基于能耗模型的能耗测算方法均是在服务器、虚拟机这一操作系统层面上进行的，这些工作更关心的是单个服务器、虚拟机所消耗的能耗，而忽略了服务器上的工作负载的异构性对能耗的影响。实际云服务器中比较常见的负载类型为CPU密集型负载、I/O密集型负载、内存密集型负载和混合型这4种负载类型，每种负载占用的资源数和资源的使用情况是不一样的。这种负载的异构性会对不同资源的利用率产生影响，从而影响服务器的能耗。其次，目前大部分的面向云计算环境和负载的能耗模型研究往往针对的是单一负载类型，或者没有对负载类型进行区分和差异性的能耗建模。因为工作负载存在的异构性，对所有负载都使用同一种能耗模型来描述是不准确的。使用不合适的模型对负载的能耗进行测算，其准确性和适应性很差。
然而，面向负载的实时能耗测算面临如下问题：其一，是对即将到来的负载进行分类，但现存的负载分类方式并没有对CPU密集型、内存密集型和IO密集型负载进行明确的划分；其二，如何在云环境下有效地分析不同负载下的状态特征，构建有效的面向不同负载的能耗模型，对服务器中运行的负载做出准确的能耗评估。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出的一种基于负载类型的自适应云服务器能耗测算方法、系统及设备，通过引入负载聚类算法和负载预测算法，明确各个负载类型的阈值区间，提前获得下一时刻的负载类型，针对不同负载类型进行差异化能耗建模，可以有效地测算各种工作负载环境中服务器所消耗的能耗，对服务器负载做出准确的能耗评估。
为了达到上述目的，本发明采用以下技术方案：
本发明提供了一种基于负载类型的自适应云服务器能耗测算方法，包括下述步骤：
S1.对云服务器系统中监控的CPU、内存、磁盘三大部件的资源使用数据进行采集并分析，对采集到的资源使用数据进行数据清洗，得到一个离线的负载数据集和一个实时更新的负载数据集；
S2.基于离线的负载数据集，使用K-Means聚类算法进行聚类，得到具有类簇边界的4个负载类型簇：CPU密集型、内存密集型、I/O密集型和混合型，根据类簇边界计算出每个负载类型的资源阈值区间；
S3.基于实时的负载数据集，使用ARIMA算法进行预测，得到下一时刻服务器的负载；
S4.将负载聚类模型计算出的每个负载类型的资源阈值区间作为分类判定条件，对上一步预测的云服务器上的负载进行负载类型的分类判别；
S5.根据分类判别结果设置负载能耗模型中的参数，实时计算此负载下的云服务器的能耗。
作为优选的技术方案，步骤S1中，在对云服务器系统中监控的CPU、内存、磁盘三大部件的资源使用数据进行采集时，分别对云服务器系统中监控的CPU利用率、内存使用量、磁盘I/O操作数和磁盘I/O速率4种资源使用数据进行采集，采集服务器运行的一段时间的数据，形成一个离线的负载数据集，同时使用滑动窗口来获得实时更新的负载数据，形成一个在线负载数据集。
作为优选的技术方案，步骤S2中，所述K-Means聚类算法中负载之间的距离定义为：
对于CPU、内存资源使用数据(利用率)，则采用欧氏距离进行度量，记为d1：
Figure BDA0002487806090000021
对于磁盘的资源使用数据，采用相关系数进行度量，记为d2：
Figure BDA0002487806090000022
其中disk1,disk2分别代表两者中磁盘资源使用数据：磁盘IO操作数和磁盘IO速率；cov(disk1,disk2)为变量间的协方差，
Figure BDA0002487806090000031
为两个变量的乘积，
那么负载之间的距离度量为：
Figure BDA0002487806090000032
作为优选的技术方案，步骤S2中，所述得到具有类簇边界的4个负载类型簇，具体包括下述步骤：
S21.构建以负载类簇中心为顶点的三角形网，对聚类中心和形成的三角形编号，记录每个三角形是由哪三个聚类中心构成；
S22.计算并记录下每个三角形的外接圆圆心位置；
S23.遍历三角形网，对于每个三角形，寻找与当前三角形共边的相邻三角形，若存在，则把寻找到的三角形的外接圆圆心与当前三角形的外接圆圆心连接；
S24.对于三角形中没有共边的边，作该边的中垂线射线；
S25.遍历步骤S23和S24，直到遍历完成，形成类簇边界。
作为优选的技术方案，所述步骤S3具体为：
S31.根据实时更新的负载数据集，将CPU利用率、内存利用量、磁盘I/O速率和磁盘I/O操作数分别作为一个时间序列，形成多个时间序列；
S32.确定ARIMA算法中使序列稳定的差分参数d，使用ARIMA算法分别对每个时间序列建立负载预测模型；
S33.使用建立好的ARIMA预测模型，对下一时刻负载的资源使用数据进行预测。
作为优选的技术方案，所述步骤S32中，ARIMA中使序列稳定的差分参数d的设置策略的具体信息包括：
对于CPU、内存利用率，若未满足平稳性要求，则采用差分方法使得序列稳定，d为差分次数；
对于磁盘IO操作数和磁盘IO速率，考虑到数值范围大，若未满足平稳性要求，则采用先取对数后进行差分方法使得序列稳定，d为差分次数。
作为优选的技术方案，步骤S4中，对上一步预测的云服务器上的负载进行负载类型的分类判别，具体为：
假设gcpu(t),gmem(t),gioo(t)分别为服务器在t时刻的CPU利用率、内存使用量、磁盘I/O操作数，则：
如果gvpu(t)＞CPUbound且gmem(t)＜Membound,gioo(t)＜Ioobound时，该时刻负载为CPU密集型负载；
如果gmem(t)＞Membound且gcpu(t)＜CPUbound,gioo(t)＜Ioobound时，该时刻负载为内存密集型负载；
如果gioo(t)＞Ioobound且gcpu(t)＜CPUbound,gmem(t)＜Membound时，该时刻负载为I/O密集型负载；
如果gcpu(t)＞CPUbound且gmem(t)＞Membound,gioo(t)＞Ioobound时，该时刻负载为混合型负载。
作为优选的技术方案，步骤S5中，设置负载能耗模型中的参数具体为：
Figure BDA0002487806090000041
Pcpu、Pmem和Pdisk分别为CPU、内存、磁盘三个部件的能耗，
Figure BDA0002487806090000042
为系统空闲能耗，α，β，γ为待取系数；
若为CPU密集型负载，则主要关注CPU的能耗，此时CPU能耗Pcpu采用CPU能耗模型计算，内存能耗Pmem和磁盘能耗Pdisk可记为空闲能耗；此时α＝1,β＝0,γ＝0，
若为I/O密集型负载，则需要同时关注CPU和磁盘的能耗；此时CPU能耗Pcpu采用CPU能耗模型计算，磁盘能耗Pdisk采用磁盘能耗模型计算；对于内存，由于占用率较低，表明内存页的换入换出不频繁，其能耗Pmem可记为空闲能耗；此时α＝1,β＝1,γ＝0；
若为内存密集型负载，则需要同时关注CPU和内存的能耗；此时CPU能耗Pcpu采用CPU能耗模型计算，内存能耗Pmem采用内存能耗模型计算；磁盘活跃度低，磁盘基本维持在其空闲水平，其能耗Pdisk可记为空闲能耗，此时α＝1,β＝0,γ＝1；
若为混合型负载，则需要同时关注CPU、内存、磁盘的能耗，三者的能耗都采用各自的能耗模型进行计算；此时α，β，γ都取为1。
本发明还提供了一种基于负载类型的自适应云服务器能耗测算系统，包括数据集采集模块、负载聚类模块、负载预测模块、负载分类和模型选择模块、以及能耗测算模块；
所述数据集采集模块，用于对服务器系统中监控的CPU、内存、磁盘三大部件的资源使用数据进行分析并采集，对采集好的资源使用数据进行数据清洗，生成一个离线的负载数据集和一个实时的负载数据集；
所述负载聚类模块，使用K-means聚类算法建立负载聚类模型，确定负载所占用的资源的阈值区间，作为划分负载类型的标准；
所述负载预测模块，根据负载的资源使用时间序列使用ARIMA算法进行预测，得到下一时刻服务器的负载；
所述负载分类和模型选择模块，用于根据负载预测模型预测的下一时刻的服务器的负载资源使用数据，将负载聚类模型计算出的每个负载类型的资源阈值区间作为分类判定条件，判断下一时刻的负载类型，并根据分类判别结果选择相应的负载能耗模型；
所述能耗测算模块，用于根据选择的负载能耗模型以及实时的资源利用率数据，进行当前负载下的实时能耗测算。
本发明还提供了一种计算机设备，其特征在于，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于：所述处理器执行存储器存储的程序时，实现权利要求1-7任一项所述的基于负载类型的自适应云服务器能耗测算方法。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明可以提供一种基于负载类型的云服务器能耗测算方法，与传统的云服务器能耗测算方法不同，本方法考虑云服务器中运行的工作负载的异构性，针对云服务器上常见的CPU密集型负载、I/O密集型负载、内存密集型负载和混合型负载四种负载类型分别进行能耗建模。
(2)本方法在针对负载类型进行差异化能耗建模的基础之上，同时采用负载聚类方法，对CPU密集型、内存密集型和IO密集型负载进行明确的划分，得到各自负载类型的阈值区间。同时，采用了负载预测的方法，对即将到来的负载进行预测。这样一来可以提高负载类型分类的响应时间，达到更好的预测分类的效果。
(3)提出的能耗测算方法可以根据云应用的负载类型变化动态切换能耗模型对应的参数，即不是对所有云应用都是用同样的能耗模型参数，而是动态切换对应的能耗模型参数。因此，本发明能更有效地在实际的云环境中测算各种工作负载所消耗的能耗，对服务器负载做出准确的能耗评估，是云服务器能耗测算的一种更加灵活、可用的解决方案。
附图说明
图1为本申请实施例中基于负载类型的自适应云服务器能耗测算方法的流程图。
图2为本申请实施例中计算得到具有类簇边界的4个负载类型簇的示意图。
图3为本申请实施例中基于负载类型的自适应云服务器能耗测算方法的负载类型的分类判别流程图。
图4为本申请另一个实施例中基于负载类型的自适应云服务器能耗测算方法的系统示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，本实施例基于负载类型的自适应云服务器能耗测算方法，包括下述步骤：
步骤一：对云服务器系统中监控的CPU、内存、磁盘三大部件的资源使用数据进行采集并分析，对采集到的资源使用数据进行数据清洗，得到一个离线的负载数据集和一个实时更新的负载数据集。
更为具体的，步骤一中离线的负载数据集和负载数据集通过下述方式实现：
服务器管理员使用Windows下提供的性能监视器(Performance Monitor)对云服务器系统中监控的CPU、内存、磁盘三大部件的资源使用数据进行采集并分析，对采集好的数据中存在的空值、异常值的记录进行处理，并进行Min-Max归一化处理，采集服务器运行的一段时间的数据，形成一个离线的负载数据集。同时使用滑动窗口来获得实时更新的负载数据，形成一个在线负载数据集。
步骤二：基于离线的负载数据集，使用K-Means聚类算法进行聚类，得到具有类簇边界的4个负载类型簇：CPU密集型、内存密集型、I/O密集型和混合型。根据类簇边界计算出每个负载类型的资源阈值区间。
更为具体的，数据集采集完成后，基于离线的负载数据集训练负载类型的聚类模型，使用K-means算法基于离线负载数据集，计算负载之间的距离，对负载进行聚类，计算得到一个具有类簇边界的4个负载类型簇：CPU密集型、内存密集型、I/O密集型和混合型，并根据类簇边界计算出每个负载类型的资源阈值区间。
在本申请的一个实施例中，给出计算得到具有类簇边界的4个负载类型簇的一种实施方式，如图2所示，首先构建以负载类簇中心为顶点的三角形网，对聚类中心和形成的三角形编号，记录每个三角形是由哪三个聚类中心构成，计算并记录下每个三角形的外接圆圆心位置。然后遍历三角形网，对于每个三角形，寻找与当前三角形共边的相邻三角形，若存在，则把寻找到的三角形的外接圆圆心与当前三角形的外接圆圆心连接。对于三角形中没有共边的边，作该边的中垂线射线。遍历完所有的三角形，最终形成类簇边界。
在本申请的一个实施例中，所述K-Means聚类算法中负载之间的距离定义为：
对于CPU、内存资源使用数据(利用率)，则采用欧氏距离进行度量，记为d1：
Figure BDA0002487806090000071
对于磁盘的资源使用数据，采用相关系数进行度量，记为d2：
Figure BDA0002487806090000072
其中disk1,disk2分别代表两者中磁盘资源使用数据：磁盘IO操作数和磁盘IO速率；cov(disk1,disk2)为变量间的协方差，
Figure BDA0002487806090000073
为两个变量的乘积，
那么负载之间的距离度量为：
Figure BDA0002487806090000074
步骤三：基于实时的负载数据集，使用ARIMA算法进行预测，得到下一时刻服务器的负载(资源使用情况)。
更为具体的，利用预测模型进行预测，具体为：
根据实时更新的负载数据集，将CPU利用率、内存利用量、磁盘I/O速率和磁盘I/O操作数分别作为一个时间序列，形成多个时间序列；
确定ARIMA算法中使序列稳定的差分参数d，使用ARIMA算法分别对每个时间序列建立负载预测模型；
使用建立好的ARIMA预测模型，对下一时刻负载的资源使用数据进行预测。
在本申请的另一个实施例中，ARIMA中使序列稳定的差分参数d的设置策略的具体信息包括：
对于CPU、内存利用率，若未满足平稳性要求，则采用差分方法使得序列稳定，d为差分次数；
对于磁盘IO操作数和磁盘IO速率，考虑到数值范围大，若未满足平稳性要求，则采用先取对数后进行差分方法使得序列稳定。
步骤四：将负载聚类模型计算出的每个负载类型的资源阈值区间作为分类判定条件，对上一步预测的云服务器上的负载进行负载类型的分类判别。
如图3所示，所述的负载类型分类的判断实例为：
假设gcpu(t),gmem(t),gioo(t)分别为服务器在t时刻的CPU利用率、内存使用量、磁盘I/O操作数，则：
如果gcpu(t)＞CPUbound且gmem(t)＜Membound,gioo(t)＜Ioobound时，该时刻负载为CPU密集型负载。
如果gmem(t)＞Membound且gcpu(t)＜CPUbound,gioo(t)＜Ioobound时，该时刻负载为内存密集型负载。
如果gioo(t)＞Ioobound且gcpu(t)＜CPUbound,gmem(t)＜Membound时，该时刻负载为I/O密集型负载。
如果gcpu(t)＞CPUbound且gmem(t)＞Membound,gioo(t)＞Ioobound时，该时刻负载为混合型负载。
步骤五：根据分类判别结果设置负载能耗模型中的参数，实时计算此负载下的云服务器的能耗。
更为具体的，设置负载能耗模型中的参数具体为：
Figure BDA0002487806090000081
Pcpu、Pmem和Pdisk分别为CPU、内存、磁盘三个部件的能耗，
Figure BDA0002487806090000082
为系统空闲能耗，α，β，γ为待取系数；
若为CPU密集型负载，则主要关注CPU的能耗，此时CPU能耗Pcpu采用CPU能耗模型计算，内存能耗Pmem和磁盘能耗Pdisk可记为空闲能耗；此时α＝1,β＝0,γ＝0，
若为I/O密集型负载，则需要同时关注CPU和磁盘的能耗；此时CPU能耗Pcpu采用CPU能耗模型计算，磁盘能耗Pdisk采用磁盘能耗模型计算；对于内存，由于占用率较低，表明内存页的换入换出不频繁，其能耗Pmem可记为空闲能耗；此时α＝1,β＝1,γ＝0；
若为内存密集型负载，则需要同时关注CPU和内存的能耗；此时CPU能耗Pcpu采用CPU能耗模型计算，内存能耗Pmem采用内存能耗模型计算；磁盘活跃度低，磁盘基本维持在其空闲水平，其能耗Pdisk可记为空闲能耗.此时α＝1,β＝0,γ＝1；
若为混合型负载，则需要同时关注CPU、内存、磁盘的能耗，三者的能耗都采用各自的能耗模型进行计算。此时α，β，γ都取为1。
在本申请的另一个实施例中，如图4所示，本实施例基于负载类型的自适应云服务器能耗测算方法包括数据集采集模块、负载聚类模块、负载预测模块、负载分类和模型选择模块、以及能耗测算模块；
其中数据集采集模块负责对对服务器系统中监控的CPU、内存、磁盘三大部件的资源使用数据进行分析并采集，对采集好的资源使用数据进行数据清洗，生成一个离线的负载数据集和一个实时的负载数据集；负载聚类模块负责建立负载聚类模型，确定负载所占用的资源(如CPU、内存、磁盘)的阈值区间，作为划分负载类型的标准；负载预测模块负责根据负载的资源使用时间序列建立负载预测模型，通过负载预测模型预测下一时刻的系统资源使用值；负载分类和模型选择模块负责根据负载预测模型预测的下一时刻的服务器的负载资源使用数据，将负载聚类模型计算出的每个负载类型的资源阈值区间作为分类判定条件，判断下一时刻的负载类型，并根据分类判别结果选择相应的负载能耗模型；能耗测算模块负责根据选择的负载能耗模型以及实时的资源利用率数据，进行当前负载下的实时能耗测算。
在另一个实施例中，还提供了一种计算设备，该计算设备包括处理器和存储器，存储器存储有一个或多个程序，处理器执行存储器存储的程序时，实现上述基于负载类型的自适应云服务器能耗测算方法，如下：
步骤一：对云服务器系统中监控的CPU、内存、磁盘三大部件的资源使用数据进行采集并分析，对采集到的资源使用数据进行数据清洗，得到一个离线的负载数据集和一个实时更新的负载数据集。
步骤二：基于离线的负载数据集，使用K-means聚类算法建立负载聚类模型，得到具有类簇边界的4个负载类型簇：CPU密集型、内存密集型、I/O密集型和混合型。根据类簇边界计算出每个负载类型的资源阈值区间。
步骤三：基于实时的负载数据集，使用ARIMA预测算法建立负载预测模型，并利用负载预测模型预测得到下一时刻服务器的负载(资源使用情况)。
步骤四：将步骤二中计算出的每个负载类型的资源阈值区间作为分类判定条件，对步骤三中预测的云服务器上的负载进行负载类型的分类判别。
步骤五：根据分类判别结果设置负载能耗模型中的参数，实时计算此负载下的云服务器的能耗。
在本说明书的描述中，参考术语“实施例”、“一个实施例”、“其中一个实施例”、或“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于负载类型的自适应云服务器能耗测算方法，其特征在于，包括下述步骤：
S1.对云服务器系统中监控的CPU、内存、磁盘三大部件的资源使用数据进行采集并分析，对采集到的资源使用数据进行数据清洗，得到一个离线的负载数据集和一个实时更新的负载数据集；
S2.基于离线的负载数据集，使用K-Means聚类算法进行聚类，得到具有类簇边界的4个负载类型簇：CPU密集型、内存密集型、I/O密集型和混合型，根据类簇边界计算出每个负载类型的资源阈值区间；
S3.基于实时的负载数据集，使用ARIMA算法进行预测，得到下一时刻服务器的负载；
S4.将负载聚类模型计算出的每个负载类型的资源阈值区间作为分类判定条件，对上一步预测的云服务器上的负载进行负载类型的分类判别；
S5.根据分类判别结果设置负载能耗模型中的参数，实时计算此负载下的云服务器的能耗。
2.根据权利要求1所述基于负载类型的自适应云服务器能耗测算方法，其特征在于，步骤S1中，在对云服务器系统中监控的CPU、内存、磁盘三大部件的资源使用数据进行采集时，分别对云服务器系统中监控的CPU利用率、内存使用量、磁盘I/O操作数和磁盘I/O速率4种资源使用数据进行采集，采集服务器运行的一段时间的数据，形成一个离线的负载数据集，同时使用滑动窗口来获得实时更新的负载数据，形成一个在线负载数据集。
3.根据权利要求1所述基于负载类型的自适应云服务器能耗测算方法，其特征在于，步骤S2中，所述K-Means聚类算法中负载之间的距离定义为：
对于CPU、内存资源使用数据，则采用欧氏距离进行度量，记为d1：
Figure FDA0002487806080000011
对于磁盘的资源使用数据，采用相关系数进行度量，记为d2：
Figure FDA0002487806080000012
其中disk1,disk2分别代表两者中磁盘资源使用数据：磁盘IO操作数和磁盘IO速率；cov(disk1,disk2)为变量间的协方差，
Figure FDA0002487806080000013
为两个变量的乘积，
那么负载之间的距离度量为：
Figure FDA0002487806080000014
4.根据权利要求1所述基于负载类型的自适应云服务器能耗测算方法，其特征在于，步骤S2中，所述得到具有类簇边界的4个负载类型簇，具体包括下述步骤：
S21.构建以负载类簇中心为顶点的三角形网，对聚类中心和形成的三角形编号，记录每个三角形是由哪三个聚类中心构成；
S22.计算并记录下每个三角形的外接圆圆心位置；
S23.遍历三角形网，对于每个三角形，寻找与当前三角形共边的相邻三角形，若存在，则把寻找到的三角形的外接圆圆心与当前三角形的外接圆圆心连接；
S24.对于三角形中没有共边的边，作该边的中垂线射线；
S25.遍历步骤S23和S24，直到遍历完成，形成类簇边界。
5.根据权利要求1所述基于负载类型的自适应云服务器能耗测算方法，其特征在于，所述步骤S3具体为：
S31.根据实时更新的负载数据集，将CPU利用率、内存利用量、磁盘I/O速率和磁盘I/O操作数分别作为一个时间序列，形成多个时间序列；
S32.确定ARIMA算法中使序列稳定的差分参数d，使用ARIMA算法分别对每个时间序列建立负载预测模型；
S33.使用建立好的ARIMA预测模型，对下一时刻负载的资源使用数据进行预测。
6.根据权利要求5所述基于负载类型的自适应云服务器能耗测算方法，其特征在于，所述步骤S32中，ARIMA中使序列稳定的差分参数d的设置策略的具体信息包括：
对于CPU、内存利用率，若未满足平稳性要求，则采用差分方法使得序列稳定，d为差分次数；
对于磁盘IO操作数和磁盘IO速率，考虑到数值范围大，若未满足平稳性要求，则采用先取对数后进行差分方法使得序列稳定，d为差分次数。
7.根据权利要求1所述基于负载类型的自适应云服务器能耗测算方法，其特征在于，步骤S4中，对上一步预测的云服务器上的负载进行负载类型的分类判别，具体为：
假设gcpu(t),gmem(t),gioo(t)分别为服务器在t时刻的CPU利用率、内存使用量、磁盘I/O操作数，则：
如果gcpu(t)＞CPUbound且gmem(t)＜Membound,gioo(t)＜Ioobound时，该时刻负载为CPU密集型负载；
如果gmen(t)＞Membound且gcpu(t)＜CPUbound,gioo(t)＜Ioobound时，该时刻负载为内存密集型负载；
如果gioo(t(＞Ioobound且gcpu(t)＜CPUbound,gmem(t)＜Membound时，该时刻负载为I/O密集型负载；
如果gcpu(t)＞CPUbound且gmem(t)＞Membound,gioo(t)＞Ioobound时，该时刻负载为混合型负载。
8.根据权利要求1所述基于负载类型的自适应云服务器能耗测算方法，其特征在于，步骤S5中，设置负载能耗模型中的参数具体为：
Figure FDA0002487806080000031
Pcpu、Pmem和Pdisk分别为CPU、内存、磁盘三个部件的能耗，
Figure FDA0002487806080000032
为系统空闲能耗，α，β，γ为待取系数；
若为CPU密集型负载，则主要关注CPU的能耗，此时CPU能耗Pcpu采用CPU能耗模型计算，内存能耗Pmem和磁盘能耗Pdisk可记为空闲能耗；此时α＝1,β＝0,γ＝0，
若为I/O密集型负载，则需要同时关注CPU和磁盘的能耗；此时CPU能耗Pcpu采用CPU能耗模型计算，磁盘能耗Pdisk采用磁盘能耗模型计算；对于内存，由于占用率较低，表明内存页的换入换出不频繁，其能耗Pmem可记为空闲能耗；此时α＝1,β＝1,γ＝0；
若为内存密集型负载，则需要同时关注CPU和内存的能耗；此时CPU能耗Pcpu采用CPU能耗模型计算，内存能耗Pmem采用内存能耗模型计算；磁盘活跃度低，磁盘基本维持在其空闲水平，其能耗Pdisk可记为空闲能耗.此时α＝1,β＝0,γ＝1；
若为混合型负载，则需要同时关注CPU、内存、磁盘的能耗，三者的能耗都采用各自的能耗模型进行计算；此时α，β，γ都取为1。
9.基于负载类型的自适应云服务器能耗测算系统，其特征在于，包括数据集采集模块、负载聚类模块、负载预测模块、负载分类和模型选择模块、以及能耗测算模块；
所述数据集采集模块，用于对服务器系统中监控的CPU、内存、磁盘三大部件的资源使用数据进行分析并采集，对采集好的资源使用数据进行数据清洗，生成一个离线的负载数据集和一个实时的负载数据集；
所述负载聚类模块，使用K-means聚类算法建立负载聚类模型，确定负载所占用的资源的阈值区间，作为划分负载类型的标准；
所述负载预测模块，根据负载的资源使用时间序列使用ARIMA算法进行预测，得到下一时刻服务器的负载；
所述负载分类和模型选择模块，用于根据负载预测模型预测的下一时刻的服务器的负载资源使用数据，将负载聚类模型计算出的每个负载类型的资源阈值区间作为分类判定条件，判断下一时刻的负载类型，并根据分类判别结果选择相应的负载能耗模型；
所述能耗测算模块，用于根据选择的负载能耗模型以及实时的资源利用率数据，进行当前负载下的实时能耗测算。
10.一种计算机设备，其特征在于，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于：所述处理器执行存储器存储的程序时，实现权利要求1-7任一项所述的基于负载类型的自适应云服务器能耗测算方法。
CN202010396546.9A 2020-05-12 2020-05-12 基于负载类型的自适应云服务器能耗测算方法、系统及设备 Active CN111737078B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010396546.9A CN111737078B (zh) 2020-05-12 2020-05-12 基于负载类型的自适应云服务器能耗测算方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010396546.9A CN111737078B (zh) 2020-05-12 2020-05-12 基于负载类型的自适应云服务器能耗测算方法、系统及设备

Publications (2)

Publication Number Publication Date
CN111737078A true CN111737078A (zh) 2020-10-02
CN111737078B CN111737078B (zh) 2021-11-23

Family

ID=72647099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010396546.9A Active CN111737078B (zh) 2020-05-12 2020-05-12 基于负载类型的自适应云服务器能耗测算方法、系统及设备

Country Status (1)

Country Link
CN (1) CN111737078B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108243030A (zh) * 2016-12-23 2018-07-03 航天星图科技（北京）有限公司 一种备份服务器选择管理方法
CN113064779A (zh) * 2021-03-04 2021-07-02 山东英信计算机技术有限公司 一种机器出厂诊断方法、系统、设备和存储介质
CN113075994A (zh) * 2021-04-26 2021-07-06 华南理工大学 面向x86和arm混合云计算的节能调度系统、方法和存储介质
CN114721835A (zh) * 2022-06-10 2022-07-08 湖南工商大学 边缘数据中心服务器能耗预测方法、系统、设备及介质
CN116089021A (zh) * 2023-04-10 2023-05-09 北京大学 面向深度学习的大规模负载混部调度方法、装置及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101060424A (zh) * 2006-04-21 2007-10-24 英业达股份有限公司 一种实现负载平衡与高可用性的系统及其方法
US20170099226A1 (en) * 2015-10-06 2017-04-06 Cisco Technology, Inc. Time-based traffic engineering for seasonal flows in a network
US20170286147A1 (en) * 2014-09-22 2017-10-05 China Unionpay Co., Ltd. System and method for load estimation of virtual machines in a cloud environment and serving node
CN108595301A (zh) * 2018-03-26 2018-09-28 中国科学院计算技术研究所 一种基于机器学习的服务器能耗预测方法和系统
CN109271015A (zh) * 2018-10-10 2019-01-25 杭州电子科技大学 一种降低大规模分布式机器学习系统能耗的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101060424A (zh) * 2006-04-21 2007-10-24 英业达股份有限公司 一种实现负载平衡与高可用性的系统及其方法
US20170286147A1 (en) * 2014-09-22 2017-10-05 China Unionpay Co., Ltd. System and method for load estimation of virtual machines in a cloud environment and serving node
US20170099226A1 (en) * 2015-10-06 2017-04-06 Cisco Technology, Inc. Time-based traffic engineering for seasonal flows in a network
CN108595301A (zh) * 2018-03-26 2018-09-28 中国科学院计算技术研究所 一种基于机器学习的服务器能耗预测方法和系统
CN109271015A (zh) * 2018-10-10 2019-01-25 杭州电子科技大学 一种降低大规模分布式机器学习系统能耗的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AMAN KANSAL ET AL.: "Virtual machine power metering and provisioning", 《HTTPS://WWW.RESEARCHGATE.NET/PUBLICATION/220831911》 *
ZHENDONG ZANG ET AL.: "Application of ARIMA and Markov Combination Model in Medium and Long Term Electricity Forecasting", 《2019 IEEE 3RD INTERNATIONAL ELECTRICAL AND ENERGY CONFERENCE》 *
吴文泰: "云环境下的能耗模型与节能调度策略研究", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 *
沈航等: "基于K-means分类和BP神经网络的故障电弧辨识方法", 《电气自动化》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108243030A (zh) * 2016-12-23 2018-07-03 航天星图科技（北京）有限公司 一种备份服务器选择管理方法
CN113064779A (zh) * 2021-03-04 2021-07-02 山东英信计算机技术有限公司 一种机器出厂诊断方法、系统、设备和存储介质
CN113075994A (zh) * 2021-04-26 2021-07-06 华南理工大学 面向x86和arm混合云计算的节能调度系统、方法和存储介质
CN113075994B (zh) * 2021-04-26 2023-05-30 华南理工大学 面向x86和arm混合云计算的节能调度系统、方法和存储介质
CN114721835A (zh) * 2022-06-10 2022-07-08 湖南工商大学 边缘数据中心服务器能耗预测方法、系统、设备及介质
CN116089021A (zh) * 2023-04-10 2023-05-09 北京大学 面向深度学习的大规模负载混部调度方法、装置及介质

Also Published As

Publication number Publication date
CN111737078B (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN111737078B (zh) 基于负载类型的自适应云服务器能耗测算方法、系统及设备
US7272517B1 (en) Method and system for providing performance estimations for a specified power budget
CN103853106B (zh) 一种建筑能源供应设备的能耗预测参数优化方法
CN108595301B (zh) 一种基于机器学习的服务器能耗预测方法和系统
US7802236B2 (en) Method and apparatus for identifying similar regions of a program's execution
Mishra et al. Towards characterizing cloud backend workloads: insights from google compute clusters
CN104407688A (zh) 基于树回归的虚拟化云平台能耗测量方法及系统
CN102854968A (zh) 一种虚拟机实时能耗计量方法
Tao et al. A multi-strategy collaborative prediction model for the runtime of online tasks in computing cluster/grid
CN112149873A (zh) 一种基于深度学习的低压台区线损合理区间预测方法
CN109981749A (zh) 一种基于极限梯度提升的云工作流任务执行时间预测方法
CN107656851A (zh) 一种基于部件能耗模型的云服务器能耗测算方法及系统
CN109740052A (zh) 网络行为预测模型的构建方法及装置、网络行为预测方法
CN103885867B (zh) 一种模拟电路性能的在线评价方法
CN111914891A (zh) 一种基于故障数据的电能表寿命预测方法
Shamsa et al. Concurrent application bias scheduling for energy efficiency of heterogeneous multi-core platforms
Zhang et al. Estimating power consumption of containers and virtual machines in data centers
Ismaeel et al. Real-time energy-conserving vm-provisioning framework for cloud-data centers
CN113158435A (zh) 基于集成学习的复杂系统仿真运行时间预测方法与设备
Khan et al. Analyzing the power consumption behavior of a large scale data center
Onile et al. A comparative study on graph-based ranking algorithms for consumer-oriented demand side management
CN111158974B (zh) 一种面向云服务器的硬件感知cpu能耗测算方法
CN112784435A (zh) 一种基于性能事件计数和温度的gpu实时功率建模方法
CN115907138A (zh) 一种用于对数据中心的pue值进行预测的方法、系统及介质
Calzarossa et al. A methodology towards automatic performance analysis of parallel applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220401

Address after: 518052 2506, Dongfang Science and technology building, No. 16, Keyuan Road, science and Technology Park community, Yuehai street, Nanshan District, Shenzhen, Guangdong Province

Patentee after: Shenzhen robust Technology Co.,Ltd.

Address before: 510640 No. five, 381 mountain road, Guangzhou, Guangdong, Tianhe District

Patentee before: SOUTH CHINA University OF TECHNOLOGY