CN112380006A - 一种数据中心资源分配方法及装置 - Google Patents

一种数据中心资源分配方法及装置 Download PDF

Info

Publication number
CN112380006A
CN112380006A CN202011247051.6A CN202011247051A CN112380006A CN 112380006 A CN112380006 A CN 112380006A CN 202011247051 A CN202011247051 A CN 202011247051A CN 112380006 A CN112380006 A CN 112380006A
Authority
CN
China
Prior art keywords
resource
data
cloud computing
time period
load
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011247051.6A
Other languages
English (en)
Inventor
邱子良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Power Supply Bureau Co Ltd
Original Assignee
Shenzhen Power Supply Bureau Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Power Supply Bureau Co Ltd filed Critical Shenzhen Power Supply Bureau Co Ltd
Priority to CN202011247051.6A priority Critical patent/CN112380006A/zh
Publication of CN112380006A publication Critical patent/CN112380006A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5072Grid computing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/086Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Physiology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种数据中心资源分配方法及装置,其中,数据中心资源分配方法包括:步骤S1,对云计算环境下数据中心的运行状态进行监控,并采集历史资源使用状态数据;步骤S2,从历史资源使用状态数据提取出当前时间段内的资源负荷数据,并基于当前时间段内的资源负荷数据进行预测以得到下一时间段的云计算资源负荷值;步骤S3,对当前时间段内的资源负荷数据和下一时间段的资源负荷值进行综合分析,并采取主动控制与被动反应相结合的自适应弹性资源配置策略进行资源分配。本发明能更好地适应云计算环境,为资源的优化合理配置提供切实有效的保障,保证云计算平台稳定运行和资源的合理使用,为云计算用户提供可靠、灵活、高效的资源供应服务。

Description

一种数据中心资源分配方法及装置
技术领域
本发明涉及数据中心技术领域,尤其涉及一种数据中心资源分配方法及装置。
背景技术
云计算是一种基于互联网的新型信息资源服务系统,可以为用户提供包括基础设施、平台和应用在内的可定制弹性虚拟化资源服务。在技术进步、需求引领和服务模式创新等因素的共同驱动下,云计算得到了普遍认可,已经在现实生活中形成涵盖移动互联网、物联网等在内的新型创意产业,并以其低成本和无处不在的应用得到迅速发展,将从根本上改变人们生活的方方面面。
为了满足这些多元化、海量的应用资源需求,云计算必须拥有庞大的资源集群,这些资源在地理上是分布的,类型上是异构的,并且在各自的管理域中又具有不同的资源管理策略和资源使用计价准则。资源管理是云计算的核心问题之一,其目的是利用虚拟化技术屏蔽底层资源的异构性和复杂性,使得海量分布式资源形成一个统一的巨型资源池,并在此基础上,合理运用相关资源管理方法和技术,确保资源的合理、高效的分配和使用。因此,如何实现对云计算资源的有效管理是一个亟待解决的关键问题。
发明内容
本发明所要解决的技术问题在于,提出一种数据中心资源分配方法及装置,以为资源的优化合理配置提供切实有效的保障,保证云计算平台稳定运行和资源的合理使用。
为了解决上述技术问题,本发明提供一种数据中心资源分配方法,其包括:
步骤S1,对云计算环境下数据中心的运行状态进行监控,并采集历史资源使用状态数据;
步骤S2,从历史资源使用状态数据提取出当前时间段内的资源负荷数据,并基于当前时间段内的资源负荷数据进行预测以得到下一时间段的云计算资源负荷值;
步骤S3,对当前时间段内的资源负荷数据和下一时间段的资源负荷值进行综合分析,并采取主动控制与被动反应相结合的自适应弹性资源配置策略进行资源分配。
进一步地,所述步骤S2具体包括:
步骤S21,利用固定尺寸重叠滑动窗口技术从历史数据集中提取当前时间段的云计算资源负荷子序列集;
步骤S22,使用KFCM聚类算法将云计算资源负荷子序列集分成若干类并放置于不同的聚类簇中;
步骤S23,给每一个聚类簇分配一个预测器,将每一个聚类簇中的云计算资源负荷子序列集输入到预测器中对其进行训练和预测;
步骤S24,挑选出具有最小预测误差的聚类簇及其所对应的预测器进行预测,获得下一时间段所需的云计算资源负荷预测值。
进一步地,所述步骤S22进一步包括:
步骤S221,设置目标函数精度ε,模糊指数p,最大迭代次数Maxiter,以及最大聚类数MaxC;
步骤S222,对云计算资源负荷子序列集X作归一化处理,选择核函数,设定相关参数,计算核矩阵K;
步骤S223,随机初始化隶属度矩阵U;
步骤S224,令t=1:Maxiter,计算目标函数JKFCM,并利用公式:
Figure BDA0002770374270000021
更新隶属度矩阵U以及聚类中心vc,若满足|JKFCM(t)-JKFCM(t-1)|<ε或t≥Maxiter,则转到步骤S225;否则,t→t+1,转到步骤S221;
Figure BDA0002770374270000022
为数据xi在聚类簇c(c∈C)中的隶属度;
步骤S225:输出最优隶属度矩阵U以及聚类中心vc
进一步地,所述步骤S21具体为:
对于给定长度为L的云计算资源负荷时间序列,使用固定尺寸重叠滑动窗口技术将这长度为L的时间序列数据截成每段长度为d的n段子序列,得到n个d维数据点xi
进一步地,当有新的资源负荷时间序列数据到来时,使用基于双时间尺度的聚类簇更新机制来放置新来的负荷数据,在短时间尺度上,计算新来数据与已有的聚类之间的相似度,并将新数据放入能够产生与其有最大相似度的聚类簇中,在长时间尺度上,将历史数据和新到数据一起进行一次聚类簇重新确定过程。
进一步地,所述步骤S23中采取基于遗传算法优化的Elman神经网络预测器。
进一步地,所述步骤S3中进行资源分配的控制实施周期Ti根据以下公式确定:
Figure BDA0002770374270000031
其中,K为缓冲器队列中可容纳的最大资源请求数的参数值,
Figure BDA0002770374270000032
为下一时刻资源需求变化量的估算值。
进一步地,所述步骤S3中采取主动控制与被动反应相结合的自适应弹性资源配置策略进行资源分配具体为:
利用获得的数据计算资源需求变化量D(t),被动反应策略为应对当前变化所需增加或减少的资源量为:
Nreactive=D(t)/SRAvg
其中,SRAvg为单位时间每一台虚拟机对于资源请求的服务率中位数,D(t)为t时刻资源请求的变化量;
利用预测获得的下一时刻资源需求的变化量估计值
Figure BDA0002770374270000033
主动控制策略为应对下一时刻资源需求变化所配置的资源量为:
Figure BDA0002770374270000034
若NREACTIVE>K,即资源需求变化量超过缓冲器可以存放的资源请求最大量时,且主动控制策略和被动反应策略都决定需要增加资源供应时,云计算将提供的资源量为:C(t)+NProactive+Nreactive
若被动反应策略决定需要增加资源供应而主动控制策略决定减少资源供应时,只执行被动反应策略,云计算将提供的资源量为:C(t)+Nreactive
其它情况,不再分配实施主动控制所需资源NPROACTIVE
本发明还提供一种数据中心资源分配装置,包括:
监控模块,用于对云计算环境下数据中心的运行状态进行监控,并采集历史资源使用状态数据;
预测模块,用于从历史资源使用状态数据提取出当前时间段内的资源负荷数据,并基于当前时间段内的资源负荷数据进行预测以得到下一时间段的云计算资源负荷值;
资源分配模块,用于对当前时间段内的资源负荷数据和下一时间段的资源负荷值进行综合分析,并采取主动控制与被动反应相结合的自适应弹性资源配置策略进行资源分配。
进一步地,所述预测模块包括:
数据提取单元,用于利用固定尺寸重叠滑动窗口技术从历史数据集中提取当前时间段的云计算资源负荷子序列集;
分类单元,用于使用KFCM聚类算法将云计算资源负荷子序列集分成若干类并放置于不同的聚类簇中;
分配单元,用于给每一个聚类簇分配一个预测器,将每一个聚类簇中的云计算资源负荷子序列集输入到预测器中对其进行训练和预测;
选择单元,用于挑选出具有最小预测误差的聚类簇及其所对应的预测器进行预测,获得下一时间段所需的云计算资源负荷预测值。
本发明实施例的有益效果在于:将资源需求预测及混合式资源供给策略结合起来,能更好地适应云计算环境,为资源的优化合理配置提供切实有效的保障,在提供高服务质量的同时,保证云计算平台稳定运行和资源的合理使用,为云计算用户提供可靠、灵活、高效的资源供应服务。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一一种数据中心资源分配方法的流程示意图。
图2是图1所示步骤S2的具体流程示意图。
图3是本发明实施例二一种数据中心资源分配装置的模块结构示意图。
图4是图3所示预测模块的单元结构示意图。
具体实施方式
以下各实施例的说明是参考附图,用以示例本发明可以用以实施的特定实施例。
如图1所示,本发明实施例一提供一种数据中心资源分配方法,包括:
步骤S1,对云计算环境下数据中心的运行状态进行监控,并采集历史资源使用状态数据;
步骤S2,从历史资源使用状态数据提取出当前时间段内的资源负荷数据,并基于当前时间段内的资源负荷数据进行预测以得到下一时间段的云计算资源负荷值;
步骤S3,对当前时间段内的资源负荷数据和下一时间段的资源负荷值进行综合分析,并采取主动控制与被动反应相结合的自适应弹性资源配置策略进行资源分配。
可以理解,本实施例的云环境下数据中心的资源分配方法,先通过对云计算环境下数据中心的运行状态进行监控并采集历史资源使用状态数据,然后从历史资源使用状态数据提取出当前时间段内的资源负荷数据,并基于当前时间段内的资源负荷数据进行预测以得到下一时间段的云计算资源负荷值,最后基于当前时间段内的资源负荷数据和下一时间段的资源负荷值采取主动控制与被动反应相结合的自适应弹性资源配置策略进行资源分配,将资源需求预测及混合式资源供给策略结合起来,能更好地适应云计算环境,为资源的优化合理配置提供切实有效的保障,在提供高服务质量的同时,保证云计算平台稳定运行和资源的合理使用,为云计算用户提供可靠、灵活、高效的资源供应服务。
可以理解,如图2所示,所述步骤S2具体包括以下步骤:
步骤S21:利用固定尺寸重叠滑动窗口技术从历史数据集中提取当前时间段的云计算资源负荷子序列集;
步骤S22:使用KFCM聚类算法(Kernel Fuzzy C-Means,基于核的模糊C均值聚类算法)将云计算资源负荷子序列集分成若干类并放置于不同的聚类簇中;
步骤S23:给每一个聚类簇分配一个预测器,将每一个聚类簇中的云计算资源负荷子序列集输入到预测器中对其进行训练和预测;
步骤S24:挑选出具有最小预测误差的聚类簇及其所对应的预测器进行预测,获得下一时间段所需的云计算资源负荷预测值。
可以理解,在所述步骤S21中,对于给定长度为L的云计算资源负荷时间序列,使用固定尺寸重叠滑动窗口技术(Fixed Size Overlapping Sliding Window,FSOSW)将这长度为L的时间序列数据截成每段长度为d的n段子序列,则n=L/d,从而得到了n个d维数据点xi(i=1,2,…,n)用于聚类,即运用聚类算法进行特征分类时是将长度为d的n段子序列看成n个d维数据点。其中,使用FSOSW进行子序列提取时,固定尺寸重叠滑动窗口的长度为d+h,其中h为需要预测的云计算资源负荷时间序列长度,即将n段长度为d的子序列提取出来的同时,也将他们后面的n段长度为h的子序列提取出来共同作为接下来的预测模型训练数据,以此来建立当前负荷与未来负荷之间合理的联系。在本实施例中,根据神经网络预测模型的内在结构要求,子序列长度d是h整数倍,即d=γ×h(γ为整数),优选γ取1,从而Elman神经网络的输入层神经元个数为d,而输出层神经元个数为h。
可以理解,在所述步骤S22中,令X={x1、x2、x3、...、xn}是大小为n的云计算资源负荷子序列集,xi∈Rd,即每一个xi都是d维向量空间中的一个数据点,i=1,2,…,n。Φ是一个能将输入空间数据映射到高维空间H的非线性核映射函数,即:
Φ:Rd→H,x→Φ(x) (1-1)
其中,核映射函数Φ采用径向基核函数(Radial Basis Function,RBF):
Figure BDA0002770374270000061
其中系数a,b,σ>0,当a=1,b=2时,RBF退化为高斯函数。
KFCM聚类算法通过将特征空间中的距离作为优化目标来将数据集分到C个聚类簇中:
Figure BDA0002770374270000062
使得:
Figure BDA0002770374270000071
其中,
Figure BDA0002770374270000072
为数据xi在聚类簇c(c∈C)中的隶属度,取值范围为[0,1],
Figure BDA0002770374270000073
同时也是隶属度矩阵U中第i行c列的元素。隶属度矩阵U表示出了每个数据点在各个聚类簇中的隶属度大小,p是模糊度量化控制参数。
Figure BDA0002770374270000074
表示在特征空间中的数据点xi与某个特定聚类簇中心vc之间的距离,通过映射函数Φ得到的特征空间中每个聚类簇中心vc由以下公式计算得到:
Figure BDA0002770374270000075
特征空间中的距离
Figure BDA0002770374270000076
可由以下方法计算得到:
Figure BDA0002770374270000077
最后,利用期望最大化方法计算目标函数(1-3)的最优解,得到约束条件下的最优聚类中心vc,以及最优隶属度矩阵U,它们分别为:
Figure BDA0002770374270000078
Figure BDA0002770374270000081
由上所述,所述步骤S22中使用KFCM聚类算法将云计算资源负荷子序列集分成若干类并放置于不同的聚类簇中的步骤具体包括以下内容:
步骤S221:设置目标函数精度ε,模糊指数p,最大迭代次数Maxiter,以及最大聚类数MaxC;
步骤S222:对云计算资源负荷子序列集X作归一化处理,选择核函数,设定相关参数,计算核矩阵K;
步骤S223:随机初始化隶属度矩阵U;
步骤S224:令t=1:Maxiter,计算目标函数JKFCM,并利用公式(1-7)更新隶属度矩阵U以及聚类中心vc,若满足|JKFCM(t)-JKFCM(t-1)|<ε或t≥Maxiter,则转到步骤S225;否则,t→t+1,转到步骤S221;
步骤S225:输出最优隶属度矩阵U以及聚类中心vc
可以理解,所述步骤S22中采用基于核的模糊C均值聚类算法(Kernel Fuzzy C-Means,KFCM)能识别数据中非凸的聚类结构,能将样本点映射到高维特征空间,在特征空间内利用与FCM(Fuzzy C-Means,模糊C均值聚类算法)模型一致的聚类准则设计目标函数并完成聚类。由于引入了核函数,因此可实现从原始数据空间到特征空间的非线性映射,KFCM可以得到原始数据空间的非凸聚类划分,从而提升了对于高维数据的划分能力,也即增强了FCM聚类算法对于高维数据的聚类能力。
可以理解,长度为d的云计算资源负荷子序列会根据他们的负载特性通过使用相应的聚类算法被放置到不同的簇中。当有新的资源负荷时间序列数据到来时,这些新来的数据同样也会被截成若干段子序列并放置到不同的聚类簇中。在此,本实施例使用基于双时间尺度的聚类簇更新机制来合理放置新来的负荷数据,并尽可能不影响预测效果。具体地,在很短的时间尺度上(如短于6小时或12小时),我们首先计算新来数据与已有的聚类之间的相似度,并将新数据放入能够产生与其有最大相似度的聚类簇中;在较长的时间尺度上(如长于6小时或12小时),我们会将历史数据和新到数据一起进行一次聚类簇重新确定过程,即重新训练数据来获得当前情况下的最优聚类簇。这样就可以通过不断更新和再训练最新数据来适应云计算资源负荷的动态性和实时性。
可以理解,在所述步骤S23中,预测器优选采用基于遗传算法优化的Elman神经网络预测器,Elman神经网络是一种典型的动态局部递归网络,其比BP神经网络、RBF神经网络等前向型神经网络具有更强的计算能力,更注重系统的稳定性。它在前馈网络的基础上,通过存储内部状态使其具备映射动态特征的功能,从而使得系统具有适应时变特性的能力。
如图3所示,Elman神经网络一般具有4层结构,除了与其他神经网络类似的输入层、隐含层、输出层以外,它还有一个特殊的结构称为承接层,也可以称作关联层,其中输入层神经元起信号传输的作用,输出层神经元起线型加权的作用,隐含层神经元的传递函数可采用线性或非线性函数,关联层用来记忆隐含层前一时刻的输出值并返回给输入可以认为是一步延时算子,这种自连方式使其对历史状态的数据具有敏感性,内部反馈网络的加入增加网络处理动态信息的能力。
Elman神经网络的非线性状态空间表达式为:
y(k)=g(ω3x(k))
x(k)=f(ω1xc(k-1)+ω2u(k-1))
xc(k-1)=x(k-1) (1-9)
其中y、x、u、xc分别表示m维输出节点向量、n维隐含层节点单元向量、r维输入向量和n维反馈状态向量,ω3、ω2和ω1分别表示隐含层到输出层、输入层到隐含层、关联层到隐含层的连接权值,g()为隐含层到输出层神经元的传递函数,是隐含层输出的线性组合,f()为输入层到隐含层神经元的传递函数,采用S函数,即:
f(x)=(1+e-x)-1 (1-10)
由于Elman神经网络采取与BP网络一致的权值更新方法—梯度下降法,通过不断训练来调整网络的权值和阈值,该过程开始于输出层,然后通过隐藏层向后移动。通过应用梯度法,Elman神经网络能找到更好的权值和阈值,但很容易出现局部极小值的问题,并在其训练过程出现不稳定收敛现象。所以,本实施例借助遗传算法(Genetic Algorithm,GA)来训练优化初始权值,遗传算法是一种随机搜索方法,在搜索过程中执行全局搜索,可以在更大的空间范围内展开有效搜索,因此GA算法能帮助Elman神经网络发现更好的网络连接权值和参数,提高了Elman神经网络的预测性能。
可以理解,所述步骤S23中基于遗传算法优化的Elman神经网络预测器的工作流程如下:
步骤S231:种群初始化。个体编码方法为实数编码,每个个体均为一个实数串组成的染色体,由输入层与隐含层连接权值、隐含层阈值、关联层与隐含层连接权值、隐含层与输出层连接权值,以及输出层阈值五部分组成,GA算法将Elman神经网络的初始随机权值和阈值编码为由若干染色体组成的初始种群;
步骤S232:适应度函数设置。用训练数据训练Elman神经网络后预测系统输出,把预测输出和期望输出的均方误差(Mean Square Error,MSE)作为个体适应度值(Fitness),其计算公式为:
Figure BDA0002770374270000101
式中,n为网络输出节点数,yi为神经网络第i个节点的期望输出值,
Figure BDA0002770374270000102
为神经网络第i个节点的预测输出值,i=1,2,…,n;
步骤S233:选择:采用轮盘赌法(Roulette Wheel Selection)把种群中所有染色体的适应度的总和看作一个轮盘的圆周,而每个染色体按其适应度在总和中所占的比例占据轮盘的一个扇区。每次染色体的选择复制可以看作轮盘的一次随机转动,它转到哪个扇区停下来,那个扇区对应的染色体就被选中。尽管这种选择方法是随机的,但它与各染色体适应度成比例,适应度大的染色体占据轮盘扇区面积大,被选中的概率就高;
步骤S234:交叉:从种群里面随机选择两个个体再在个体字符串中随机设置一个交叉点把两个个体从这个交叉点后的部分结构进行互换从而产生新的个体;
步骤S235:变异:从种群里随机挑选若干个体,在选中的个体中随机确定变异位,然后以一定的概率对变异位进行取反运算,或者以一定概率给变异位基因加一个符合某一范围内均匀分布的随机数;
步骤S236:形成新的一代种群;
步骤S237:当达到最大后代数时算法停止;
步骤S238:产生优化后的神经网络初始权值;
步骤S239:对Elman神经网络进行学习和训练并更新权值计算网络误差观测是否达到要求;
步骤S240:当达到训练次数时流程结束。
可以理解,在所述步骤S3中,从数据中心的历史资源使用状态数据中可得:
C(t+1)=C(t)+D(t+1) (1-12)
其中,C(t)和C(t+1)分别为当前及下一时刻需要用于处理请求的资源量,D(t+1)为下一时刻将增加或减少的资源需求量,即下一时刻资源需求的变化量,利用预测器获得的下一时刻资源需求量预测值C(t+1),t时刻云计算总的资源负载量为L(t),则:
Figure BDA0002770374270000111
它由三部分构成,即t时刻新到的资源请求量A(t),t时刻正在处理的资源请求量E(t),以及t时刻存放于缓冲器中的资源请求量B(t),τ为启用整个缓冲器所需的时间。t时刻资源请求的变化量为:
D(t)=L(t)-R(t) (1-14)
其中R(t)为t时刻可用于处理请求的资源总量,则下一时刻资源需求变化量D(t+1)的估计值
Figure BDA0002770374270000112
为:
Figure BDA0002770374270000113
其中,控制实施周期Ti的取值对于整个控制过程有着重要的影响,它是实现云计算资源自适应弹性控制的关键参数,因为控制器执行一次控制的时间间隔为Ti,预测的是接下来的Ti个时间段内资源需求变化,虚拟机则在接下来的时间点t+1,t+2,...,t+n根据资源需求变化重新配置资源。根据云计算资源负载的动态变化性,Ti的值需要能根据其变化情况自适应调整:
Figure BDA0002770374270000121
其中,K为缓冲器队列中可容纳的最大资源请求数的参数值。K的取值较小时,控制系统能够对资源负载变化作出迅速的调整,但容易造成系统的震荡和不稳定;K的取值偏大时,控制器对资源负载变化的反应则较为迟钝。参数τ也有类似的作用,因为它决定着缓冲器中资源请求的启用率,在控制器的反应能力和稳定性之间起到平衡作用。
可以理解,所述基于主动控制与被动反应相结合的自适应弹性资源配置策略的主要思想是提前增加所需资源,延后释放当前空闲资源。目的是为用户提供足够资源、保证服务质量的同时,降低不必要的资源消耗,维持系统的稳定运行。与目前仅仅依靠被动反应配置策略相比,提前增加所需资源能保证在下一时间段内资源需求上升后有充足的资源量,从而不出现资源短缺和资源供给滞后的情况;而延后释放当前空闲资源是考虑云计算资源需求的不确定性,因为仅仅依靠预测信息来判断资源需求的变化是不够的,并且虚拟机的再次启动需要一定时间,当资源需求出现激增情况时,延后释放的资源能起到有效地缓冲作用。
具体地,所述主动控制与被动反应相结合的自适应弹性资源配置策略主要包括以下内容:利用获得的数据计算资源需求变化量D(t),被动反应策略为应对当前变化所需增加/减少的资源量(虚拟机数量)为:
Nreactive=D(t)/SRAvg (1-17)
其中,SRAvg为单位时间每一台虚拟机对于资源请求的服务率中位数,该参数由虚拟机的硬件配置决定。
利用预测获得的下一时刻资源需求的变化量估计值
Figure BDA0002770374270000122
主动控制策略为应对下一时刻资源需求变化所配置的资源量为:
Figure BDA0002770374270000123
若Nreactive>K,即资源需求变化量超过缓冲器可以存放的资源请求最大量时,且主动控制策略和被动反应策略都决定需要增加资源供应时,云计算将提供的资源量为:C(t)+NProactive+Nreactive
若被动反应策略决定需要增加资源供应而主动控制策略决定减少资源供应时,即两者的决定相矛盾时,只执行被动反应策略,因为被动反应策略主要应对当前的资源需求状况,即云计算将提供的资源量为:C(t)+Nreactive
其它情况,系统将不再分配实施主动控制所需资源NProactive
再请参照图4所示,相应于本发明实施例一种数据中心资源分配方法,本发明实施例二还提供一种数据中心资源分配装置,包括:
监控模块,用于对云计算环境下数据中心的运行状态进行监控,并采集历史资源使用状态数据;
预测模块,用于从历史资源使用状态数据提取出当前时间段内的资源负荷数据,并基于当前时间段内的资源负荷数据进行预测以得到下一时间段的云计算资源负荷值;
资源分配模块,用于对当前时间段内的资源负荷数据和下一时间段的资源负荷值进行综合分析,并采取主动控制与被动反应相结合的自适应弹性资源配置策略进行资源分配。
本实施例一种数据中心资源分配装置的工作原理及具体工作过程请参照本发明实施例一的说明,此处不再赘述。
通过上述说明可知,本发明实施例的有益效果在于:将资源需求预测及混合式资源供给策略结合起来,能更好地适应云计算环境,为资源的优化合理配置提供切实有效的保障,在提供高服务质量的同时,保证云计算平台稳定运行和资源的合理使用,为云计算用户提供可靠、灵活、高效的资源供应服务。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (10)

1.一种数据中心资源分配方法,其特征在于,包括:
步骤S1,对云计算环境下数据中心的运行状态进行监控,并采集历史资源使用状态数据;
步骤S2,从历史资源使用状态数据提取出当前时间段内的资源负荷数据,并基于当前时间段内的资源负荷数据进行预测以得到下一时间段的云计算资源负荷值;
步骤S3,对当前时间段内的资源负荷数据和下一时间段的资源负荷值进行综合分析,并采取主动控制与被动反应相结合的自适应弹性资源配置策略进行资源分配。
2.根据权利要求1所述的数据中心资源分配方法,其特征在于,所述步骤S2具体包括:
步骤S21,利用固定尺寸重叠滑动窗口技术从历史数据集中提取当前时间段的云计算资源负荷子序列集;
步骤S22,使用KFCM聚类算法将云计算资源负荷子序列集分成若干类并放置于不同的聚类簇中;
步骤S23,给每一个聚类簇分配一个预测器,将每一个聚类簇中的云计算资源负荷子序列集输入到预测器中对其进行训练和预测;
步骤S24,挑选出具有最小预测误差的聚类簇及其所对应的预测器进行预测,获得下一时间段所需的云计算资源负荷预测值。
3.根据权利要求2所述的数据中心资源分配方法,其特征在于,所述步骤S22进一步包括:
步骤S221,设置目标函数精度ε,模糊指数p,最大迭代次数Maxiter,以及最大聚类数MaxC;
步骤S222,对云计算资源负荷子序列集X作归一化处理,选择核函数,设定相关参数,计算核矩阵K;
步骤S223,随机初始化隶属度矩阵U;
步骤S224,令t=1:Maxiter,计算目标函数JKFCM,并利用公式:
Figure FDA0002770374260000021
更新隶属度矩阵U以及聚类中心vc,若满足|JKFCM(t)-JKFCM(t-1)|<ε或t≥Maxiter,则转到步骤S225;否则,t→t+1,转到步骤S221;
Figure FDA0002770374260000022
为数据xi在聚类簇c(c∈C)中的隶属度;
步骤S225:输出最优隶属度矩阵U以及聚类中心vc
4.根据权利要求2所述的数据中心资源分配方法,其特征在于,所述步骤S21具体为:
对于给定长度为L的云计算资源负荷时间序列,使用固定尺寸重叠滑动窗口技术将这长度为L的时间序列数据截成每段长度为d的n段子序列,得到n个d维数据点xi
5.根据权利要求3所述的数据中心资源分配方法,其特征在于,当有新的资源负荷时间序列数据到来时,使用基于双时间尺度的聚类簇更新机制来放置新来的负荷数据,在短时间尺度上,计算新来数据与已有的聚类之间的相似度,并将新数据放入能够产生与其有最大相似度的聚类簇中,在长时间尺度上,将历史数据和新到数据一起进行一次聚类簇重新确定过程。
6.根据权利要求2所述的数据中心资源分配方法,其特征在于,所述步骤S23中采取基于遗传算法优化的Elman神经网络预测器。
7.根据权利要求1所述的云环境下数据中心的资源分配方法,其特征在于,所述步骤S3中进行资源分配的控制实施周期Ti根据以下公式确定:
Figure FDA0002770374260000023
其中,K为缓冲器队列中可容纳的最大资源请求数的参数值,
Figure FDA0002770374260000024
为下一时刻资源需求变化量的估算值。
8.根据权利要求7所述的数据中心资源分配方法,其特征在于,所述步骤S3中采取主动控制与被动反应相结合的自适应弹性资源配置策略进行资源分配具体为:
利用获得的数据计算资源需求变化量D(t),被动反应策略为应对当前变化所需增加或减少的资源量为:
Nreactive=D(t)/SRAvg
其中,SRAvg为单位时间每一台虚拟机对于资源请求的服务率中位数,D(t)为t时刻资源请求的变化量;
利用预测获得的下一时刻资源需求的变化量估计值
Figure FDA0002770374260000032
主动控制策略为应对下一时刻资源需求变化所配置的资源量为:
Figure FDA0002770374260000031
若NREACTIVE>K,即资源需求变化量超过缓冲器可以存放的资源请求最大量时,且主动控制策略和被动反应策略都决定需要增加资源供应时,云计算将提供的资源量为:C(t)+NProactive+Nreactive
若被动反应策略决定需要增加资源供应而主动控制策略决定减少资源供应时,只执行被动反应策略,云计算将提供的资源量为:C(t)+Nreactive
其它情况,不再分配实施主动控制所需资源NPROACTIVE
9.一种数据中心资源分配装置,其特征在于,包括:
监控模块,用于对云计算环境下数据中心的运行状态进行监控,并采集历史资源使用状态数据;
预测模块,用于从历史资源使用状态数据提取出当前时间段内的资源负荷数据,并基于当前时间段内的资源负荷数据进行预测以得到下一时间段的云计算资源负荷值;
资源分配模块,用于对当前时间段内的资源负荷数据和下一时间段的资源负荷值进行综合分析,并采取主动控制与被动反应相结合的自适应弹性资源配置策略进行资源分配。
10.根据权利要求9的数据中心资源分配装置,其特征在于,所述预测模块包括:
数据提取单元,用于利用固定尺寸重叠滑动窗口技术从历史数据集中提取当前时间段的云计算资源负荷子序列集;
分类单元,用于使用KFCM聚类算法将云计算资源负荷子序列集分成若干类并放置于不同的聚类簇中;
分配单元,用于给每一个聚类簇分配一个预测器,将每一个聚类簇中的云计算资源负荷子序列集输入到预测器中对其进行训练和预测;
选择单元,用于挑选出具有最小预测误差的聚类簇及其所对应的预测器进行预测,获得下一时间段所需的云计算资源负荷预测值。
CN202011247051.6A 2020-11-10 2020-11-10 一种数据中心资源分配方法及装置 Pending CN112380006A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011247051.6A CN112380006A (zh) 2020-11-10 2020-11-10 一种数据中心资源分配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011247051.6A CN112380006A (zh) 2020-11-10 2020-11-10 一种数据中心资源分配方法及装置

Publications (1)

Publication Number Publication Date
CN112380006A true CN112380006A (zh) 2021-02-19

Family

ID=74579504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011247051.6A Pending CN112380006A (zh) 2020-11-10 2020-11-10 一种数据中心资源分配方法及装置

Country Status (1)

Country Link
CN (1) CN112380006A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113568759A (zh) * 2021-09-27 2021-10-29 睿至科技集团有限公司 一种基于云计算的大数据处理方法及其系统
CN116792370A (zh) * 2023-08-29 2023-09-22 德州华海石油机械股份有限公司 Tpb智能安全报警方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220337A (zh) * 2013-03-22 2013-07-24 合肥工业大学 基于自适应弹性控制的云计算资源优化配置方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220337A (zh) * 2013-03-22 2013-07-24 合肥工业大学 基于自适应弹性控制的云计算资源优化配置方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐达宇: "云计算环境下资源需求预测与优化配置方法研究", 《中国博士学位论文全文数据库信息科技辑》, no. 9, pages 139 - 1 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113568759A (zh) * 2021-09-27 2021-10-29 睿至科技集团有限公司 一种基于云计算的大数据处理方法及其系统
CN116792370A (zh) * 2023-08-29 2023-09-22 德州华海石油机械股份有限公司 Tpb智能安全报警方法和系统
CN116792370B (zh) * 2023-08-29 2023-11-21 德州华海石油机械股份有限公司 Tpb智能安全报警方法和系统

Similar Documents

Publication Publication Date Title
Dong et al. Task scheduling based on deep reinforcement learning in a cloud manufacturing environment
CN108182115B (zh) 一种云环境下的虚拟机负载均衡方法
CN112882815B (zh) 基于深度强化学习的多用户边缘计算优化调度方法
EP3560146B1 (en) Predictive asset optimization for computer resources
Chen et al. Self-adaptive prediction of cloud resource demands using ensemble model and subtractive-fuzzy clustering based fuzzy neural network
US20220414432A1 (en) Method and system for splitting and bit-width assignment of deep learning models for inference on distributed systems
CN113485826B (zh) 一种边缘服务器负载均衡方法、系统
CN112380006A (zh) 一种数据中心资源分配方法及装置
CN114585006B (zh) 基于深度学习的边缘计算任务卸载和资源分配方法
Pelikan et al. Sporadic model building for efficiency enhancement of hierarchical BOA
CN115686846B (zh) 边缘计算中融合图神经网络和强化学习的容器集群在线部署方法
CN111832817A (zh) 基于mcp罚函数的小世界回声状态网络时间序列预测方法
CN113139639B (zh) 一种基于mombi面向智慧城市应用多目标计算迁移方法和装置
Karthikeyan et al. COSCO2: AI‐augmented evolutionary algorithm based workload prediction framework for sustainable cloud data centers
WO2021038781A1 (ja) 学習装置、学習方法および学習プログラム
Zhou et al. Load balancing prediction method of cloud storage based on analytic hierarchy process and hybrid hierarchical genetic algorithm
CN116302481B (zh) 基于稀疏知识图谱链接预测的资源分配方法及系统
Kumar et al. HPCWMF: a hybrid predictive cloud workload management framework using improved LSTM neural network
CN116009990B (zh) 基于宽注意力机制的云边协同元强化学习计算卸载方法
Pushpalatha et al. Amalgamation of neural network and genetic algorithm for efficient workload prediction in data center
Zhao et al. Gradient-based adaptive particle swarm optimizer with improved extremal optimization
CN113747500A (zh) 移动边缘计算环境下基于生成对抗式网络的高能效低延迟任务卸载方法
CN114138416A (zh) 面向负载-时间窗口的基于dqn云软件资源自适应分配方法
Gowri et al. Fog-cloud enabled internet of things using extended classifier system (XCS)
CN114968402A (zh) 边缘计算任务处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination