CN105373432A - 一种基于虚拟资源状态预测的云计算资源调度方法 - Google Patents

一种基于虚拟资源状态预测的云计算资源调度方法 Download PDF

Info

Publication number
CN105373432A
CN105373432A CN201510753593.3A CN201510753593A CN105373432A CN 105373432 A CN105373432 A CN 105373432A CN 201510753593 A CN201510753593 A CN 201510753593A CN 105373432 A CN105373432 A CN 105373432A
Authority
CN
China
Prior art keywords
state
cloud computing
virtual resource
resource
computing virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510753593.3A
Other languages
English (en)
Other versions
CN105373432B (zh
Inventor
邓波
史云放
张玉超
林旺群
洪斌
胡亚洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing System Engineering Research Institute
Original Assignee
Beijing System Engineering Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing System Engineering Research Institute filed Critical Beijing System Engineering Research Institute
Priority to CN201510753593.3A priority Critical patent/CN105373432B/zh
Publication of CN105373432A publication Critical patent/CN105373432A/zh
Application granted granted Critical
Publication of CN105373432B publication Critical patent/CN105373432B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于虚拟资源状态预测的云计算资源调度方法,涉及云计算虚拟资源监测配置领域,解决了虚拟资源形式多样,难以形式化的问题、如果在量化的虚拟资源基础上对虚拟资源的状态进行预测的问题以及如何根据预测结果对云计算虚拟资源进行配置的问题,所述方法包括:根据云计算虚拟资源的网络度量差构建云计算虚拟资源形式化模型;结合马尔科夫链预测原理对云计算虚拟机的云计算虚拟资源下一时刻的状态进行预测;根据执行运算任务的重要程度,确定虚拟机的优先级;根据所述虚拟机的优先级和虚拟机的云计算虚拟资源下一刻的状态以及云环境的资源池对虚拟机进行资源分配。

Description

一种基于虚拟资源状态预测的云计算资源调度方法
技术领域
本发明涉及云计算虚拟资源监测配置领域,具体涉及一种基于虚拟资源状态预测的云计算资源调度方法。
背景技术
随着信息技术的快速发展,云计算在处理大规模、海量的数据中发挥了越来越重要的作用。云计算是在并行处理、网格计算的基础上,基于互联网计算的一种新的计算模式,它能够将各种计算、存储等资源进行虚拟整合,以服务的方式通过互联网交付给用户。随着云计算技术的增强,云计算可以提供的服务种类也越来越多样,如何对云计算中虚拟资源进行管理、调度,提高资源的利用效率,是云计算应用中需要解决的重要问题。
云计算为用户提供的服务是建立在虚拟资源的基础上的,通过为不同的虚拟机配置不同的虚拟资源,云计算环境可以提供不同功能的服务,因此云计算对服务的支持是以虚拟资源为核心的。由于虚拟资源是物理资源的一种逻辑划分和表示,因此虚拟资源的调度和配置实际是建立在物理资源的基础上,如何在云计算环境这种分布式环境中实施资源优化配置,是云计算中需要解决的问题。近年来,对云计算中虚拟资源的调度问题日趋深入,基本的解决思路是将资源调度问题看作一种多目标优化问题,采用多目标优化算法求解出最优的资源调度策略。由于以多目标优化为核心的解决方案往往需要在虚拟机运行之前将虚拟资源分配好,难以在虚拟机运行过程中动态配置资源,使得资源不能得到最优化配置,本发明是一种虚拟机资源状态预测式的动态资源调度解决方案,能够较好地解决在虚拟机运行过程中动态配置虚拟资源。
在云计算虚拟资源配置领域,关于资源的调度方法可以分为两类:被动式调度和主动式调度。
被动式调度主要将虚拟资源的配置问题作为多目标优化问题,在现有的多目标优化求解基础上解决虚拟资源的配置问题。但是由于虚拟资源在不同虚拟机中的利用情况会随着任务执行过程而变化,因此被动式调度难以根据虚拟资源的实时利用情况而进行变动,有一定的滞后性。
主动式调度在被动式调度的基础上进行了改进,主要目标是尽量能够在不浪费计算的资源的情况下满足计算任务在虚拟机中的执行条件,采用主动跟进的方式来实施虚拟资源的配置。但是目前现有的主动式调度方式不能精确预测不同虚拟资源的实时利用情况,因此难以达到较好的资源配置效果。
在实现本发明的过程中,发明人发现现有技术中至少存在如下技术问题:
现有的云计算虚拟资源调度中资源利用预测具有滞后性、资源的调度使得难以达到较好的资源配置效果。
发明内容
针对现有技术的不足,本发明提供一种基于虚拟资源状态预测的云计算资源调度方法,能够在云计算环境中对不同虚拟机进行资源调度。
本发明的目的是采用下述技术方案实现的:
一种基于虚拟资源状态预测的云计算资源调度方法,其改进之处在于,所述方法包括:
根据云计算虚拟资源的网络度量差构建云计算虚拟资源形式化模型;
结合马尔科夫链预测原理对云计算虚拟机的云计算虚拟资源下一时刻的状态进行预测;
根据执行运算任务的重要程度,确定虚拟机的优先级;
根据所述虚拟机的优先级和虚拟机的云计算虚拟资源下一刻的状态以及云环境的资源池对虚拟机进行资源分配。
优选的,所述根据云计算虚拟资源的网络度量差构建云计算虚拟资源形式化模型包括:
对所述云计算虚拟资源进行分类,包括:中央处理器CPU资源、图形处理器GPU资源、内存资源、外存资源、带宽资源和I/O资源;
对每一类云计算虚拟资源的初始时刻资源利用率和当前时刻状态资源利用率进行归一化处理;
获取每一类云计算虚拟资源的网络度量值差ΔH;
根据每一类云计算虚拟资源的网络度量值差ΔH获取云计算虚拟资源的状态向量S及状态集合state。
进一步的,所述云计算虚拟资源的网络度量值差ΔH的公式为:
ΔH=-log2V'-(-log2V)(1)
式(1)中,V为虚拟资源的初始时刻资源利用率的归一化参数,V'为虚拟资源的当前时刻资源利用率的归一化参数。
进一步的,所述根据每一类云计算虚拟资源的网络度量值差ΔH获取云计算虚拟资源的状态向量S及状态集合state包括:
将每一类云计算虚拟资源的网络度量值差ΔH作为所述状态向量S中元素,获取所述状态向量S;
根据每一类云计算虚拟资源的网络度量值差ΔH的值,获取所述状态集合state:所述状态集合state={h1,h2,h3,h4,h5},h1为无感态,h2为可感知态,h3为可信态,h4为可接受态,h5为不可信态;当ΔH<0.32时,ΔH对应的虚拟资源属于无感态h1;当0.32≤ΔH<1.23时,ΔH对应的虚拟资源属于可感知态h2;当1.23≤ΔH<2.41时,ΔH对应的虚拟资源属于可信态h3,当2.41≤ΔH<3.32时,ΔH对应的虚拟资源属于可接受态h4,当ΔH≥3.32时,ΔH对应的虚拟资源属于不可信态h5
优选的,所述结合马尔科夫链预测原理对云计算虚拟机的云计算虚拟资源下一刻的状态进行预测包括:
构建基于马尔科夫链的虚拟资源状态预测模型VRSPM,公式为:
VRSPM::=<S,state,[Pi]1×5,[Pij]5×5>(2)
式(2)中,S为状态向量,state={h1,h2,h3,h4,h5}为状态集合,h1为无感态,h2为可感知态,h3为可信态,h4为可接受态,h5为不可信态,[Pi]1×5为当前时刻状态概率向量,[Pij]5×5为当前时刻状态转移概率矩阵,i=1,2,3,4,5;j=1,2,3,4,5;
根据每一类云计算虚拟资源的当前状态hnow,now=1,2,3,4,5及当前时刻状态转移概率矩阵[Pij]5×5预测下一时刻每一类云计算虚拟资源的状态。
进一步的,所述当前时刻状态概率向量[Pi]1×5的获取方式为:根据云计算虚拟资源第1至n时刻的状态hx,x=1,2,3,4,5,分别获取n个时刻中属于h1、h2、h3、h4和h5的云计算虚拟资源个数M1、M2、M3、M4和M5,并分别计算当前时刻每个状态的状态概率 P 1 = P ( h 1 ) = M 1 n , P 2 = P ( h 2 ) = M 2 n , P 3 = P ( h 3 ) = M 3 n , P 4 = P ( h 4 ) = M 4 n , 则[Pi]1×5=[P1,P2,P3,P4,P5]T,其中第1时刻为初始时刻,第n时刻为当前时刻。
进一步的,所述当前时刻状态转移概率矩阵[Pij]5×5的获取方式为:获取云计算虚拟资源的由状态hi转移到状态hj的概率Pij=P(hj|hi),i=1,2,3,4,5;j=1,2,3,4,5;并根据Pij=P(hj|hi)构建当前时刻状态转移概率矩阵[Pij]5×5,公式为:
[ P i j ] 5 × 5 = Δ p 11 p 12 p 13 p 14 p 15 p 21 p 22 p 23 p 24 p 25 p 31 p 32 p 33 p 34 p 35 p 41 p 42 p 43 p 44 p 45 p 51 p 52 p 53 p 54 p 55 - - - ( 3 ) .
进一步的,根据每一类云计算虚拟资源的当前状态hnow,now=1,2,3,4,5及当前时刻状态转移概率矩阵[Pij]5×5预测下一时刻每一类云计算虚拟资源的状态包括:
获取所述当前时刻状态转移概率矩阵[Pij]5×5中第now行中最大的状态转移概率max{pnow1,pnow2,pnow3,pnow4,pnow5},所述第now行中最大的状态转移概率max{pnow1,pnow2,pnow3,pnow4,pnow5}对应的转移状态为下一时刻虚拟资源的状态,pnow1为当前状态hnow转移到状态hi的概率,pnow2为当前状态hnow转移到状态h2的概率,pnow3为当前状态hnow转移到状态h3的概率,pnow4为当前状态hnow转移到状态h4的概率,pnow5为当前状态hnow转移到状态h5的概率。
优选的,所述根据所述虚拟机的优先级和虚拟机的云计算虚拟资源下一刻的状态以及云环境的资源池对虚拟机进行资源分配包括:
当云计算虚拟资源下一刻的状态为无感态h1时,则下一刻对所述云计算虚拟资源分配的资源利用率范围为[0,20%);
当云计算虚拟资源下一刻的状态为可感知态h2时,则下一刻对所述云计算虚拟资源分配的资源利用率范围为[20%,43%);
当云计算虚拟资源下一刻的状态为可信态h3时,则下一刻对所述云计算虚拟资源分配的资源利用率范围为[43%,65%);
当云计算虚拟资源下一刻的状态为可接受态h4时,则下一刻对所述云计算虚拟资源分配的资源利用率范围为[65%,90%);
当云计算虚拟资源下一刻的状态为不可信态h5时,则下一刻对所述云计算虚拟资源分配的资源利用率范围为[90%,100%]。
进一步的,若所述虚拟机的云计算虚拟资源对应云环境的资源池无法满足虚拟机的云计算虚拟资源下一刻的状态所需资源利用率,则不对所述虚拟机的云计算虚拟资源进行资源分配。
与最接近的现有技术相比,本发明具有的有益效果:
与现有技术相比,本发明通过将虚拟机中的虚拟资源状态进行形式化,并在此基础上依据马尔科夫链预测原理对不同时刻的虚拟资源状态进行预测,最后根据预测结果实时对虚拟资源进行调度,从而达到较好的资源配置结果。
附图说明
图1是本发明提供的一种基于虚拟资源状态预测的云计算资源调度方法流程图;
图2是状态转移示意图;
图3是CPU资源的预测结果图;
图4是带宽资源的预测结果图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明提供了一种基于虚拟资源状态预测的云计算资源调度方法,如图1所示,包括:
S11、根据云计算虚拟资源的网络度量差构建云计算虚拟资源形式化模型;
S12、结合马尔科夫链预测原理对云计算虚拟机的云计算虚拟资源下一时刻的状态进行预测;
S13、根据执行运算任务的重要程度,确定虚拟机的优先级;
S14、根据所述虚拟机的优先级和虚拟机的云计算虚拟资源下一刻的状态以及云环境的资源池对虚拟机进行资源分配。
具体的,所述步骤S11包括:
S111对所述云计算虚拟资源进行分类,包括:中央处理器CPU资源、图形处理器GPU资源、内存资源、外存资源、带宽资源和I/O资源;
例如:相对于物理机操作系统来说,每一台虚拟机是一个独立的逻辑单元,这个逻辑单元中包含提供服务所必须的逻辑资源。由于虚拟机的逻辑资源是虚拟机软件通过对物理机各类资源进行逻辑划分而来,因此虚拟资源的分类可以按照物理资源功能进行划分,主要有三大类:计算资源、存储资源和网络资源。
计算资源主要用于对数据的运算,主要包括两种类型:中央处理器CPU,图形处理器GPU。存储资源负责对数据进行存储,常用的物理机设备主要包括两种类型的存储资源:随机存取存储器RAM,即内存,以及外存。由于云计算是以网络作为媒介想外提供服务,因此网络资源也是一种重要的虚拟资源。网络资源主要包括带宽资源以及系统I/O资源。
根据云计算提供服务的种类,不同的用户可能会使用不同类型的虚拟资源,因此云计算服务提供商需要根据用户对虚拟资源的使用情况来有针对性地对资源进行实时调度,从而使整体性能达到最优。为了能够更好地描述用户对虚拟资源的使用情况,需要对虚拟资源的状态进行刻画。
S112对每一类云计算虚拟资源的初始时刻资源利用率和当前时刻状态资源利用率进行归一化处理;
S113获取每一类云计算虚拟资源的网络度量值差ΔH;
其中,所述云计算虚拟资源的网络度量值差ΔH的公式为:
ΔH=-log2V'-(-log2V)(1)
式(1)中,V为虚拟资源的初始时刻资源利用率的归一化参数,V'为虚拟资源的当前时刻资源利用率的归一化参数。
S114根据每一类云计算虚拟资源的网络度量值差ΔH获取云计算虚拟资源的状态向量S及状态集合state,包括:
将每一类云计算虚拟资源的网络度量值差ΔH作为所述状态向量S中元素,获取所述状态向量S;
根据每一类云计算虚拟资源的网络度量值差ΔH的值,获取所述状态集合state:所述状态集合state={h1,h2,h3,h4,h5},h1为无感态,h2为可感知态,h3为可信态,h4为可接受态,h5为不可信态;当ΔH<0.32时,ΔH对应的虚拟资源属于无感态h1;当0.32≤ΔH<1.23时,ΔH对应的虚拟资源属于可感知态h2;当1.23≤ΔH<2.41时,ΔH对应的虚拟资源属于可信态h3,当2.41≤ΔH<3.32时,ΔH对应的虚拟资源属于可接受态h4,当ΔH≥3.32时,ΔH对应的虚拟资源属于不可信态h5
在用户运行服务之前,系统中的虚拟资源处于闲置状态,资源利用率比较低,因此网络度量值比较小。当用户使用了云计算提供的服务后,根据服务类型,其某一类型的虚拟资源使用率就会增高,反映到网络度量指标中即度量值增加。通过计算系统初始状态以及使用状态时不同指标的网络度量差,可以得到当前运行服务时指标的网络度量差情况,根据网络度量差情况可以对某一虚拟资源的状态进行刻画。
例如:(1)CPU使用率
CPU是虚拟服务主要的运算资源,在服务空闲时,CPU只负责虚拟机系统的运算开销,在提供服务的情况下虚拟机维持服务的运算开销。在刻画过程中,分别用c1和c2表示虚拟机空闲状态和提供服务状态时的CPU使用率,则归一化公式表示如下:
C1=1-c1,C2=1-c2
其中C1和C2分别表示提供服务前后CPU利用率的归一化值。则此指标的网络度量差可以表示为:
ΔHC=-log2C2-(-log2C1)=-log2(C2/C1)
(2)GPU使用率
GPU是虚拟服务的一种辅助运算资源,在服务空闲时,GPU只负责虚拟机图形处理以及显示的运算开销,在提供服务的情况下虚拟机维持服务的部分浮点运算开销。在刻画过程中,分别用g1和g2表示虚拟机空闲状态和提供服务状态时的GPU使用率,则归一化公式表示如下:
G1=1-g1,G2=1-g2
其中C1和C2分别表示提供服务前后GPU利用率的归一化值。则此指标的网络度量差可以表示为:
ΔHG=-log2G2-(-log2G1)=-log2(G2/G1)
(3)内存利用率
内存资源是虚拟服务主要的运行态存储资源,在服务空闲时,CPU只负责虚拟机系统的存储开销,在提供服务的情况下为运行服务提供存储空间。在刻画过程中,分别用r1和r2表示虚拟机空闲状态和提供服务状态时的内存使用率,则归一化公式表示如下:
R1=1-r1,R2=1-r2
其中R1和R2分别表示提供服务前后内存利用率的归一化值。则此指标的网络度量差可以表示为:
ΔHR=-log2R2-(-log2R1)=-log2(R2/R1)
(4)硬盘利用率
硬盘是虚拟服务主要的外部存储资源,在服务空闲时,硬盘只存储虚拟机系统的系统文件,在提供服务的情况下为服务提供外部存储资源。在刻画过程中,分别用d1和d2表示虚拟机空闲状态和提供服务状态时的硬盘使用率,则归一化公式表示如下:
D1=1-d1,D2=1-d2
其中D1和D2分别表示提供服务前后硬盘利用率的归一化值。则此指标的网络度量差可以表示为:
ΔHD=-log2D2-(-log2D1)=-log2(D2/D1)
(5)带宽占用率
带宽是虚拟服务主要的网络资源,在服务空闲时,不用为用户提供服务,因此虚拟服务占用很少量的带宽资源,在用户有服务需要的情况下,带宽资源作为提供服务的媒介。在刻画过程中,分别用b1和b2表示虚拟机空闲状态和提供服务状态时的带宽使用率,则归一化公式表示如下:
B1=1-b1,B2=1-b2
其中B1和B2分别表示提供服务前后带宽利用率的归一化值。则此指标的网络度量差可以表示为:
ΔHB=-log2B2-(-log2B1)=-log2(B2/B1)
(6)I/O占用率
I/O是虚拟机的输入输出功能,在服务空闲时,I/O只负责虚拟机系统的开销,在提供服务的情况下虚拟机运算服务会发出大量I/O,占用大量的I/O资源。在刻画过程中,分别用i1和i2表示虚拟机空闲状态和提供服务状态时的I/O使用率,则归一化公式表示如下:
I1=1-i1,I2=1-i2
其中I1和I2分别表示提供服务前后I/O利用率的归一化值。则此指标的网络度量差可以表示为:
ΔHI=-log2I2-(-log2I1)=-log2(I2/I1)
通过对各类虚拟资源进行网络度量差刻画,可以对服务运行时的资源状态的描述,在此,将虚拟资源的状态形式化描述如下:
S::=<ΔHC,ΔHG,ΔHR,ΔHD,ΔHB,ΔHI
其中,ΔHC,ΔHG,ΔHR,ΔHD,ΔHB,ΔHI分别表示CPU利用率、GPU利用率、内存利用率、硬盘利用率、带宽利用率以及I/O利用率;
再根据每一类云计算虚拟资源的网络度量值差ΔH的值,获取所述状态集合state:所述状态集合state={h1,h2,h3,h4,h5},h1为无感态,h2为可感知态,h3为可信态,h4为可接受态,h5为不可信态;当ΔH<0.32时,ΔH对应的虚拟资源属于无感态h1;当0.32≤ΔH<1.23时,ΔH对应的虚拟资源属于可感知态h2;当1.23≤ΔH<2.41时,ΔH对应的虚拟资源属于可信态h3,当2.41≤ΔH<3.32时,ΔH对应的虚拟资源属于可接受态h4,当ΔH≥3.32时,ΔH对应的虚拟资源属于不可信态h5
所述S12包括:
S121、构建基于马尔科夫链的虚拟资源状态预测模型VRSPM,公式为:
VRSPM::=<S,state,[Pi]1×5,[Pij]5×5>(2)
式(2)中,S为状态向量,state={h1,h2,h3,h4,h5}为状态集合,h1为无感态,h2为可感知态,h3为可信态,h4为可接受态,h5为不可信态,[Pi]1×5为当前时刻状态概率向量,[Pij]5×5为当前时刻状态转移概率矩阵,i=1,2,3,4,5;j=1,2,3,4,5;
根据状态集合的划分方式,对状态转移的可能性进行了筛选,简化了一些通常情况下不存在的状态转移情况,其状态转移示意图如图2所示。
S122、根据每一类云计算虚拟资源的当前状态hnow,now=1,2,3,4,5及当前时刻状态转移概率矩阵[Pij]5×5预测下一时刻每一类云计算虚拟资源的状态。
其中,所述当前时刻状态概率向量[Pi]1×5的获取方式为:根据云计算虚拟资源第1至n时刻的状态hx,x=1,2,3,4,5,分别获取n个时刻中属于h1、h2、h3、h4和h5的云计算虚拟资源个数M1、M2、M3、M4和M5,并分别计算当前时刻每个状态的状态概率 P 1 = P ( h 1 ) = M 1 n , P 2 = P ( h 2 ) = M 2 n , P 3 = P ( h 3 ) = M 3 n , P 4 = P ( h 4 ) = M 4 n , 则[Pi]1×5=[P1,P2,P3,P4,P5]T,其中第1时刻为初始时刻,第n时刻为当前时刻。
所述当前时刻状态转移概率矩阵[Pij]5×5的获取方式为:获取云计算虚拟资源的由状态hi转移到状态hj的概率Pij=P(hj|hi),i=1,2,3,4,5;j=1,2,3,4,5;并根据Pij=P(hj|hi)构建当前时刻状态转移概率矩阵[Pij]5×5,公式为:
[ P i j ] 5 × 5 = Δ p 11 p 12 p 13 p 14 p 15 p 21 p 22 p 23 p 24 p 25 p 31 p 32 p 33 p 34 p 35 p 41 p 42 p 43 p 44 p 45 p 51 p 52 p 53 p 54 p 55 - - - ( 3 ) .
S122、包括:
获取所述当前时刻状态转移概率矩阵[Pij]5×5中第now行中最大的状态转移概率max{pnow1,pnow2,pnow3,pnow4,pnow5},所述第now行中最大的状态转移概率max{pnow1,pnow2,pnow3,pnow4,pnow5}对应的转移状态为下一时刻虚拟资源的状态,pnow1为当前状态hnow转移到状态hi的概率,pnow2为当前状态hnow转移到状态h2的概率,pnow3为当前状态hnow转移到状态h3的概率,pnow4为当前状态hnow转移到状态h4的概率,pnow5为当前状态hnow转移到状态h5的概率。
所述S13包括:
根据云计算服务的等级,确定将虚拟机优先级;由于云计算环境可以对不同需求的用户提供不同规格的服务,其服务质量不尽相同,因此其服务的优先级也会有所差别。
将虚拟机按照优先级由高到低依次遍历,对于每一个虚拟机,根据资源状态可以得到下一时刻的虚拟资源的使用情况,进而可以得到所需的物理资源的占用情况,在云服务中,物理资源有限,将下一时刻的物理资源占用情况通知给调度服务,如果下一时刻云服务没法满足任何一类资源,那么可以认为下一时刻虚拟主机的任务无法执行,则可以不为其分配物理资源,等到各类资源都能够满足的情况时,再对虚拟主机进行资源分配,所述S14包括:
当云计算虚拟资源下一刻的状态为无感态h1时,则下一刻对所述云计算虚拟资源分配的资源利用率范围为[0,20%);
当云计算虚拟资源下一刻的状态为可感知态h2时,则下一刻对所述云计算虚拟资源分配的资源利用率范围为[20%,43%);
当云计算虚拟资源下一刻的状态为可信态h3时,则下一刻对所述云计算虚拟资源分配的资源利用率范围为[43%,65%);
当云计算虚拟资源下一刻的状态为可接受态h4时,则下一刻对所述云计算虚拟资源分配的资源利用率范围为[65%,90%);
当云计算虚拟资源下一刻的状态为不可信态h5时,则下一刻对所述云计算虚拟资源分配的资源利用率范围为[90%,100%]。
若所述虚拟机的云计算虚拟资源对应云环境的资源池无法满足虚拟机的云计算虚拟资源下一刻的状态所需资源利用率,则不对所述虚拟机的云计算虚拟资源进行资源分配。
本发明实施例提供的一种基于虚拟资源状态预测的云计算资源调度方法,以云计算虚拟资源的主动式调度为基础,通过对云计算虚拟机中的虚拟资源进行分类,进而利用网络度量差对不同种类的虚拟资源状态进行形式化,在此基础上,依据马尔科夫链预测原理,对不同时刻的资源状态进行预测。根据预测结果,结合虚拟机优先级对云计算资源进行动态调度。
通过执行相同类型的任务50次,收集每次产生的数据集并汇总,得到完整的实验数据集合。在数据处理中,取1-49组数据集作为先验数据集,完成模型的构建,取第50组数据集作为对比数据集,模拟虚拟主机执行特定计算任务的运算过程。图3和图4展示了CPU资源和带宽资源的预测结果。
图3、4中资源状态值0、1、2、3、4和5分别表示为无感态、可感知态、可信态、可接受态和不可信态,。由以上对比图可知,在计算任务执行的初始阶段资源的利用率比较低,到任务执行的中间阶段,资源利用率升高,模型的预测结果一定程度上反应了资源的利用情况。
综上所述,本发明有效解决了云计算虚拟资源调度所面临的诸多问题,实现了一个资源配置率高的资源调度方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于虚拟资源状态预测的云计算资源调度方法,其特征在于,所述方法包括:
根据云计算虚拟资源的网络度量差构建云计算虚拟资源形式化模型;
结合马尔科夫链预测原理对云计算虚拟机的云计算虚拟资源下一时刻的状态进行预测;
根据执行运算任务的重要程度,确定虚拟机的优先级;
根据所述虚拟机的优先级和虚拟机的云计算虚拟资源下一刻的状态以及云环境的资源池对虚拟机进行资源分配。
2.如权利要求1所述的方法,其特征在于,所述根据云计算虚拟资源的网络度量差构建云计算虚拟资源形式化模型包括:
对所述云计算虚拟资源进行分类,包括:中央处理器CPU资源、图形处理器GPU资源、内存资源、外存资源、带宽资源和I/O资源;
对每一类云计算虚拟资源的初始时刻资源利用率和当前时刻状态资源利用率进行归一化处理;
获取每一类云计算虚拟资源的网络度量值差ΔH;
根据每一类云计算虚拟资源的网络度量值差ΔH获取云计算虚拟资源的状态向量S及状态集合state。
3.如权利要求2所述的方法,其特征在于,所述云计算虚拟资源的网络度量值差ΔH的公式为:
ΔH=-log2V'-(-log2V)(1)
式(1)中,V为虚拟资源的初始时刻资源利用率的归一化参数,V'为虚拟资源的当前时刻资源利用率的归一化参数。
4.如权利要求2所述的方法,其特征在于,所述根据每一类云计算虚拟资源的网络度量值差ΔH获取云计算虚拟资源的状态向量S及状态集合state包括:
将每一类云计算虚拟资源的网络度量值差ΔH作为所述状态向量S中元素,获取所述状态向量S;
根据每一类云计算虚拟资源的网络度量值差ΔH的值,获取所述状态集合state:所述状态集合state={h1,h2,h3,h4,h5},h1为无感态,h2为可感知态,h3为可信态,h4为可接受态,h5为不可信态;当ΔH<0.32时,ΔH对应的虚拟资源属于无感态h1;当0.32≤ΔH<1.23时,ΔH对应的虚拟资源属于可感知态h2;当1.23≤ΔH<2.41时,ΔH对应的虚拟资源属于可信态h3,当2.41≤ΔH<3.32时,ΔH对应的虚拟资源属于可接受态h4,当ΔH≥3.32时,ΔH对应的虚拟资源属于不可信态h5
5.如权利要求1所述的方法,其特征在于,所述结合马尔科夫链预测原理对云计算虚拟机的云计算虚拟资源下一刻的状态进行预测包括:
构建基于马尔科夫链的虚拟资源状态预测模型VRSPM,公式为:
VRSPM::=<S,state,[Pi]1×5,[Pij]5×5>(2)
式(2)中,S为状态向量,state={h1,h2,h3,h4,h5}为状态集合,h1为无感态,h2为可感知态,h3为可信态,h4为可接受态,h5为不可信态,[Pi]1×5为当前时刻状态概率向量,[Pij]5×5为当前时刻状态转移概率矩阵,i=1,2,3,4,5;j=1,2,3,4,5;
根据每一类云计算虚拟资源的当前状态hnow,now=1,2,3,4,5及当前时刻状态转移概率矩阵[Pij]5×5预测下一时刻每一类云计算虚拟资源的状态。
6.如权利要求5所述的方法,其特征在于,所述当前时刻状态概率向量[Pi]1×5的获取方式为:根据云计算虚拟资源第1至n时刻的状态hx,x=1,2,3,4,5,分别获取n个时刻中属于h1、h2、h3、h4和h5的云计算虚拟资源个数M1、M2、M3、M4和M5,并分别计算当前时刻每个状态的状态概率 P 1 = P ( h 1 ) = M 1 n , P 2 = P ( h 2 ) = M 2 n , P 3 = P ( h 3 ) = M 3 n , P 4 = P ( h 4 ) = M 4 n , P 5 = P ( h 5 ) = M 5 n , 则[Pi]1×5=[P1,P2,P3,P4,P5]T,其中第1时刻为初始时刻,第n时刻为当前时刻。
7.如权利要求5所述的方法,其特征在于,所述当前时刻状态转移概率矩阵[Pij]5×5的获取方式为:获取云计算虚拟资源的由状态hi转移到状态hj的概率Pij=P(hj|hi),i=1,2,3,4,5;j=1,2,3,4,5;并根据Pij=P(hj|hi)构建当前时刻状态转移概率矩阵[Pij]5×5,公式为:
[ P i j ] 5 × 5 = Δ p 11 p 12 p 13 p 14 p 15 p 21 p 22 p 23 p 24 p 25 p 31 p 32 p 33 p 34 p 35 p 41 p 42 p 43 p 44 p 45 p 51 p 52 p 53 p 54 p 55 - - - ( 3 ) .
8.如权利要求5所述的方法,其特征在于,根据每一类云计算虚拟资源的当前状态hnow,now=1,2,3,4,5及当前时刻状态转移概率矩阵[Pij]5×5预测下一时刻每一类云计算虚拟资源的状态包括:
获取所述当前时刻状态转移概率矩阵[Pij]5×5中第now行中最大的状态转移概率max{pnow1,pnow2,pnow3,pnow4,pnow5},所述第now行中最大的状态转移概率max{pnow1,pnow2,pnow3,pnow4,pnow5}对应的转移状态为下一时刻虚拟资源的状态,pnow1为当前状态hnow转移到状态hi的概率,pnow2为当前状态hnow转移到状态h2的概率,pnow3为当前状态hnow转移到状态h3的概率,pnow4为当前状态hnow转移到状态h4的概率,pnow5为当前状态hnow转移到状态h5的概率。
9.如权利要求1所述的方法,其特征在于,所述根据所述虚拟机的优先级和虚拟机的云计算虚拟资源下一刻的状态以及云环境的资源池对虚拟机进行资源分配包括:
当云计算虚拟资源下一刻的状态为无感态h1时,则下一刻对所述云计算虚拟资源分配的资源利用率范围为[0,20%);
当云计算虚拟资源下一刻的状态为可感知态h2时,则下一刻对所述云计算虚拟资源分配的资源利用率范围为[20%,43%);
当云计算虚拟资源下一刻的状态为可信态h3时,则下一刻对所述云计算虚拟资源分配的资源利用率范围为[43%,65%);
当云计算虚拟资源下一刻的状态为可接受态h4时,则下一刻对所述云计算虚拟资源分配的资源利用率范围为[65%,90%);
当云计算虚拟资源下一刻的状态为不可信态h5时,则下一刻对所述云计算虚拟资源分配的资源利用率范围为[90%,100%]。
10.如权利要求9所述的方法,其特征在于,若所述虚拟机的云计算虚拟资源对应云环境的资源池无法满足虚拟机的云计算虚拟资源下一刻的状态所需资源利用率,则不对所述虚拟机的云计算虚拟资源进行资源分配。
CN201510753593.3A 2015-11-06 2015-11-06 一种基于虚拟资源状态预测的云计算资源调度方法 Expired - Fee Related CN105373432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510753593.3A CN105373432B (zh) 2015-11-06 2015-11-06 一种基于虚拟资源状态预测的云计算资源调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510753593.3A CN105373432B (zh) 2015-11-06 2015-11-06 一种基于虚拟资源状态预测的云计算资源调度方法

Publications (2)

Publication Number Publication Date
CN105373432A true CN105373432A (zh) 2016-03-02
CN105373432B CN105373432B (zh) 2019-05-14

Family

ID=55375657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510753593.3A Expired - Fee Related CN105373432B (zh) 2015-11-06 2015-11-06 一种基于虚拟资源状态预测的云计算资源调度方法

Country Status (1)

Country Link
CN (1) CN105373432B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106027685A (zh) * 2016-08-02 2016-10-12 合肥奇也信息科技有限公司 一种基于云计算机系统的高峰访问的方法
CN106230944A (zh) * 2016-08-02 2016-12-14 合肥奇也信息科技有限公司 一种基于云计算机系统的高峰访问的运行装置
CN107302464A (zh) * 2017-08-16 2017-10-27 郑州云海信息技术有限公司 一种服务编排方法和系统
CN109617939A (zh) * 2018-10-15 2019-04-12 西安理工大学 一种基于任务预调度的WebIDE云服务器资源分配方法
CN109753338A (zh) * 2017-11-06 2019-05-14 阿里巴巴集团控股有限公司 虚拟gpu使用率的检测方法和装置
CN111327456A (zh) * 2020-01-21 2020-06-23 山东汇贸电子口岸有限公司 一种基于lstm的云计算资源管理方法和系统
CN111475261A (zh) * 2020-05-22 2020-07-31 长沙学院 一种云平台弹性度量方法、系统和存储介质
CN112817726A (zh) * 2021-02-09 2021-05-18 南京邮电大学 一种云环境下基于优先级的虚拟机分组资源调度方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158535A (zh) * 2011-02-10 2011-08-17 浪潮(北京)电子信息产业有限公司 一种云计算操作系统
CN103365727A (zh) * 2013-07-09 2013-10-23 南京大学 一种云计算环境中的主机负载预测方法
CN104065745A (zh) * 2014-07-07 2014-09-24 电子科技大学 云计算动态资源调度系统和方法
CN104536803A (zh) * 2014-12-23 2015-04-22 西安电子科技大学 一种基于组合优化的虚拟机调度方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158535A (zh) * 2011-02-10 2011-08-17 浪潮(北京)电子信息产业有限公司 一种云计算操作系统
CN103365727A (zh) * 2013-07-09 2013-10-23 南京大学 一种云计算环境中的主机负载预测方法
CN104065745A (zh) * 2014-07-07 2014-09-24 电子科技大学 云计算动态资源调度系统和方法
CN104536803A (zh) * 2014-12-23 2015-04-22 西安电子科技大学 一种基于组合优化的虚拟机调度方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106027685A (zh) * 2016-08-02 2016-10-12 合肥奇也信息科技有限公司 一种基于云计算机系统的高峰访问的方法
CN106230944A (zh) * 2016-08-02 2016-12-14 合肥奇也信息科技有限公司 一种基于云计算机系统的高峰访问的运行装置
CN107302464A (zh) * 2017-08-16 2017-10-27 郑州云海信息技术有限公司 一种服务编排方法和系统
CN109753338A (zh) * 2017-11-06 2019-05-14 阿里巴巴集团控股有限公司 虚拟gpu使用率的检测方法和装置
CN109753338B (zh) * 2017-11-06 2023-03-21 阿里巴巴集团控股有限公司 虚拟gpu使用率的检测方法和装置
CN109617939A (zh) * 2018-10-15 2019-04-12 西安理工大学 一种基于任务预调度的WebIDE云服务器资源分配方法
CN109617939B (zh) * 2018-10-15 2021-10-26 西安理工大学 一种基于任务预调度的WebIDE云服务器资源分配方法
CN111327456A (zh) * 2020-01-21 2020-06-23 山东汇贸电子口岸有限公司 一种基于lstm的云计算资源管理方法和系统
CN111475261A (zh) * 2020-05-22 2020-07-31 长沙学院 一种云平台弹性度量方法、系统和存储介质
CN112817726A (zh) * 2021-02-09 2021-05-18 南京邮电大学 一种云环境下基于优先级的虚拟机分组资源调度方法
CN112817726B (zh) * 2021-02-09 2024-02-20 南京邮电大学 一种云环境下基于优先级的虚拟机分组资源调度方法

Also Published As

Publication number Publication date
CN105373432B (zh) 2019-05-14

Similar Documents

Publication Publication Date Title
CN105373432A (zh) 一种基于虚拟资源状态预测的云计算资源调度方法
CN110851529B (zh) 算力调度方法及相关设备
CN107122243B (zh) 用于cfd仿真计算的异构集群系统及计算cfd任务的方法
CN106020715B (zh) 存储池容量管理
CN103677958B (zh) 一种虚拟化集群的资源调度方法及装置
CN103885831B (zh) 虚拟机宿主机的选择方法与装置
CN107404523A (zh) 云平台自适应资源调度系统和方法
CN110389820B (zh) 一种基于v-TGRU模型进行资源预测的私有云任务调度方法
CN103401939B (zh) 一种采用混合调度策略的负载均衡方法
CN108804227A (zh) 基于移动云计算的计算密集型任务卸载和最佳资源配置的方法
CN106506657A (zh) 一种基于多目标的云计算虚拟机分配调整方法
CN111967656A (zh) 多灾点应急救援指挥控制组织资源调度方法及系统
Kumar T et al. Hybrid approach for resource allocation in cloud infrastructure using random forest and genetic algorithm
CN115543626A (zh) 采用异构计算资源负载均衡调度的电力缺陷图像仿真方法
CN117014389A (zh) 算网资源配置方法及系统、电子设备、存储介质
Durairaj et al. MOM-VMP: multi-objective mayfly optimization algorithm for VM placement supported by principal component analysis (PCA) in cloud data center
CN110069319A (zh) 一种面向朵云资源管理的多目标虚拟机调度方法及系统
Yu [Retracted] Research on Optimization Strategy of Task Scheduling Software Based on Genetic Algorithm in Cloud Computing Environment
Prado et al. On providing quality of service in grid computing through multi-objective swarm-based knowledge acquisition in fuzzy schedulers
CN115827225A (zh) 异构运算的分配方法、模型训练方法、装置、芯片、设备及介质
CN115577913A (zh) 主动型负荷可调度潜力的计算方法、终端及存储介质
Yin et al. Hyper-Heuristic Task Scheduling Algorithm Based on Reinforcement Learning in Cloud Computing.
CN106027685A (zh) 一种基于云计算机系统的高峰访问的方法
Du et al. OctopusKing: A TCT-aware task scheduling on spark platform
Sengupta et al. Collaborative learning-based schema for predicting resource usage and performance in F2C paradigm

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190514

Termination date: 20191106

CF01 Termination of patent right due to non-payment of annual fee