CN111897652A - 一种基于l-bfgs的云资源动态优化方法 - Google Patents

一种基于l-bfgs的云资源动态优化方法 Download PDF

Info

Publication number
CN111897652A
CN111897652A CN202010748980.9A CN202010748980A CN111897652A CN 111897652 A CN111897652 A CN 111897652A CN 202010748980 A CN202010748980 A CN 202010748980A CN 111897652 A CN111897652 A CN 111897652A
Authority
CN
China
Prior art keywords
virtual machine
cloud server
migration
cloud
migrated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010748980.9A
Other languages
English (en)
Other versions
CN111897652B (zh
Inventor
戴燎元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Yide Information Technology Co.,Ltd.
Original Assignee
Hunan Kuangchu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Kuangchu Technology Co ltd filed Critical Hunan Kuangchu Technology Co ltd
Priority to CN202010748980.9A priority Critical patent/CN111897652B/zh
Publication of CN111897652A publication Critical patent/CN111897652A/zh
Application granted granted Critical
Publication of CN111897652B publication Critical patent/CN111897652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5077Logical partitioning of resources; Management or configuration of virtualized resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1012Server selection for load balancing based on compliance of requirements or conditions with available server resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种网络资源优化的技术领域,揭露了一种基于L‑BFGS的云资源动态优化方法,包括:利用基于阈值的页面更改策略对云服务器中的内存进行管理;初始化云环境下云服务器资源及待分配场景虚拟机资源占用情况;利用AHP层次分析法评估云服务器中每台主机的资源占用比,确定需要迁移的虚拟机;制定以最佳云服务器资源平衡为目标的目标函数,并建立虚拟机通信迁移代价模型;利用L‑BFGS算法优化目标函数获取迁移虚拟机的目标云服务器,得到待迁移虚拟机的迁移策略;利用虚拟机通信迁移代价模型计算虚拟机的不同迁移策略的通信迁移代价,选取其中通信迁移代价最小的迁移策略作为最终虚拟机迁移策略进行迁移。本发明实现了云资源的动态优化。

Description

一种基于L-BFGS的云资源动态优化方法
技术领域
本发明涉及网络资源优化的技术领域,尤其涉及一种基于L-BFGS的云资源动态优化方法。
背景技术
云计算作为一种新型的绿色计算模式,极大程度上改变了传统的服务模式,通过与网络技术的紧密结合为用户提供了各种应用服务。但是,由于云数据中心基础设施规模的不断扩大,给云计算产业带来了高能耗问题;对于云计算环境下资源动态配置方面,还需要考虑在各种状态下资源分布的稳定性问题。因此,如何对云计算环境下的资源进行部署优化,成为当前研究人员所研究的热点问题。
现有云计算环境中的云服务器大多采用混合页的内存管理方式,其中混合页中的大页可以显著提升TLB命中率并提升内存访问性能。但是在混合页云服务器中使用现有的内存重删技术会导致大量大页被拆分,进而导致内存访问性能严重下降等问题。
同时,现有资源调度方面的研究不能很好的适应云环境下云服务器的应用场景。在虚拟机部署方面,现有技术无法精确划分虚拟机间的通信关系,因此对通信开销的优化效果不佳;此外,现有技术往往只针对单目标进行优化,缺少同时对资源利用率、负载均衡以及通信开销等多目标优化的研究。在虚拟机迁移方面,现有技术选择迁移虚拟机时往往只考虑虚拟机的规格,无法预知虚拟机剩余存在时间,也缺少对迁移后虚拟机通信开销变化的考虑。
鉴于此,在考虑提高云服务器内存访问性能的基础上,如何减少云环境中资源调度的通信开销,进行云资源的动态迁移优化,实现云服务器的负载均衡,成为本领域技术人员亟待解决的问题。
发明内容
本发明提供一种基于L-BFGS的云资源动态优化方法,在考虑提高云服务器内存访问性能的基础上,通过减少云环境中资源调度的通信开销,进行云资源的动态迁移优化,实现云服务器的负载均衡。
为实现上述目的,本发明提供的一种基于L-BFGS的云资源动态优化方法,包括:
利用基于阈值的页面更改策略对云服务器中的内存进行管理;
初始化云环境下云服务器资源及待分配场景虚拟机资源占用情况;
利用AHP层次分析法评估云服务器中每台主机的资源占用比,确定需要迁移的虚拟机;
制定以最佳云服务器资源平衡为目标的目标函数;
建立虚拟机通信迁移代价模型;
利用L-BFGS算法优化目标函数获取迁移虚拟机的目标云服务器,得到待迁移虚拟机的迁移策略;
利用虚拟机通信迁移代价模型计算虚拟机的不同迁移策略的通信迁移代价,选取其中通信迁移代价最小的迁移策略作为最终虚拟机迁移策略,根据所述最终虚拟机迁移策略,将待迁移的虚拟机迁移到指定的目标云服务器中。
可选地,所述基于阈值的页面更改策略的流程为:
1)获取实时情况下每个内存页的状态;
2)对于内存页面状态为冷页的内存页面,为其子页创建一个单独的副本,然后将冷页内存中所有的子页迁移到一个2MB的连续物理内存区域中,实现对冷页内存子页的聚合;
3)当所有的子页被聚合完毕时,更改页描述中相关描述信息,使得操作系统后续能够以大页的方式对其管理;
4)对冷页的大页页表项进行重构,即使用一个三级页表的页表项对整个冷页大页区域进行映射,并且将原来的每个子页的页表项进行删除处理,同时刷新TLB中缓存的映射信息使得后续访问会使用新的大页页表项。
可选地,所述初始化云环境下的资源占用情况,包括:
所述云环境下的资源包括待部署的云服务器以及虚拟器,其中云服务器的集合为
P={P1,P2,...Pm}
其中:
m代表云服务器的数量;
云服务器Pj所具备的资源为集合
Figure BDA0002609398600000031
其中
Figure BDA0002609398600000032
为云服务器Pj中资源z的总量;
待部署的虚拟机集合为:
Figure BDA0002609398600000033
其中:
Sn代表虚拟机的第n个场景;
n代表场景的数量,一个场景至少包括两个虚拟机:操作机和目标机;
场景Si待部署的虚拟机集合为
Figure BDA0002609398600000034
b代表该场景虚拟机的数量;
虚拟机
Figure BDA0002609398600000035
请求的资源集合为
Figure BDA0002609398600000036
其中
Figure BDA0002609398600000037
代表虚拟机
Figure BDA0002609398600000038
对资源z的需求量。
可选地,所述利用AHP层次分析法评估云服务器中每台主机的资源占用比,包括:
1)建立层次结构模型,其中目标层为云服务器中虚拟机的资源占用情况,准则层为虚拟机在整个云服务器中的CPU占用率,虚拟机在整个云服务器中的内存占用率,虚拟机在整个云服务器中的磁盘占用率,方案层为云服务器中所有的虚拟机;
2)构造成对比较矩阵,通过对准则层各指标对目标层结构的因素权重进行两两比较,将比较结果构成成对比较矩阵,成对比较矩阵中的元素aij表示的是第i个因素相对于第j个因素的比较结果,该值由1-9标度方法给出;
3)对每个成对比较矩阵计算最大特征值及其对应的特征向量,并利用一致性指标、随机一致性指标和一致性比率进行一致性检验;若检验通过,归一化后的特征向量即为准则层的权向量,若检验不通过,则需要重新构造成对比较矩阵;
4)计算总排序权向量并进行一致性检验,若检验通过,则按照准则层的总排序权向量对目标层进行表示,并根据表示结构对虚拟机的资源占用进行评估,否则需要重新构造一致性比率CR较大的成对比较矩阵,同一台云服务器上所有虚拟机的资源占用综合评估为该云服务器的资源使用情况。
可选地,所述以最佳云服务器资源平衡为目标的目标函数为:
f(Ai,xi,j)=std{Ai,xi,j}
其中:
Ai表示当前云服务器的资源占用情况;
xi,j表示当前迁移进入或者迁移出去该云服务器的虚拟机的资源占用情况;
当前面的符号为+时表示虚拟机迁入到当前云服务器,当符号为-时表示该虚拟机从当前服务器迁移出去,最终的目标是让迁移调整后的服务器占用资源情况方差最小。
可选地,所述虚拟机通信迁移代价模型为:
Figure BDA0002609398600000041
Figure BDA0002609398600000042
其中:
CP为虚拟机产生的通信代价;
v为虚拟机数量;
xi,j表示虚拟机i和虚拟机j之间是否有通信需求,当且仅当虚拟机同属一个场景时,才会产生通信;
Qcpu,Qmem,QNetB分别代表虚拟机CPU、内存、网络带宽的规格;
Rcpu,Rmem,RNetB分别代表云服务器CPU、内存、网络带宽的规格;
w1,w2,w3分别是CPU、内存、网络带宽三种资源的权值;
CPn为迁移后虚拟机的通信代价;
CPp为迁移前虚拟机的通信代价;
di,j表示虚拟机i和虚拟机j之间的通信距离,用它们是否部署到同一个云服务器上来量化通信代价,当两个虚拟机部署在同一个云服务器上,其距离为1,部署在不同的云服务器上,其距离为2。
可选地,所述利用L-BFGS算法优化目标函数获取迁移虚拟机的目标云服务器,包括:
1)对于目标函数f(Ai,xk),利用牛顿迭代法求解其驻点xk+1
Figure BDA0002609398600000043
k=0,1,…,表示当前云服务器Ai中,第k个虚拟机;
xk表示当前云服务器Ai中,第k个虚拟机迁移进入或者迁移出去该云服务器的虚拟机的资源占用情况;
gk为目标函数的导数;
Figure BDA0002609398600000044
为目标函数二阶导数的倒数;
2)通过迭代的方式,得到
Figure BDA0002609398600000045
的近似值Dk
Figure BDA0002609398600000051
其中:
I为单位矩阵;
sk=xk+1-xk
yk=gk+1-gk
gk为目标函数的导数;
xk表示当前云服务器Ai中,第k个虚拟机迁移进入或者迁移出去该云服务器的虚拟机的资源占用情况;
当k=0,D0为单位矩阵;
3)只简单存储最近的m个sk和yk,即(sk,sk-1,...,sk-m-1)和(yk,yk-1,...,yk-m-1),以此来近似计算
Figure BDA0002609398600000052
从而对xk进行迭代更新,迭代更新结果即为待迁移虚拟机的迁移策略。
可选地,所述根据所述最终虚拟机迁移策略,将待迁移的虚拟机迁移到指定的目标云服务器中,包括:
通过分别设置迭代次数为10,20,40,60,...,得到若干不同的迁移策略;
根据所得若干不同的迁移策略,利用虚拟机通信迁移代价模型计算不同迁移策略的通信迁移代价;
选取其中通信迁移代价最小的迁移策略作为最终虚拟机迁移策略,并根据所述最终虚拟机迁移策略,将待迁移的虚拟机迁移到指定的目标云服务器中。
相对于现有技术,本发明提出一种基于L-BFGS的云资源动态优化方法,该技术具有以下优势:
首先,由于现有云资源部署策略均未考虑虚拟机间的通信开销,本发明提出一种虚拟机通信迁移代价模型,本发明通过虚拟机是否部署到同一个云服务器上来量化虚拟机间的通信代价,当两个虚拟机部署在同一个云服务器上,其距离为1,部署在不同的云服务器上,其距离为2,同时通过判断虚拟机资源是否超载来进行虚拟机的迁移,若虚拟机占用资源都小于该云服务器超载的资源,则根据标记的超载资源类型,对负载最大的虚拟机进行迁移,迁移后按规则重新选择,直到云服务器不再超载,相较于现有技术,本发明所述虚拟机通信迁移代价模型通过计算各迁移策略中的通信迁移代价,选取其中通信迁移代价最少的迁移策略进行虚拟机的迁移。
其次,本发明以最佳云服务器资源平衡为目标构造目标函数,表达式如下所示:f(Ai,xi,j)=std{Ai,xi,j},其中,Ai表示当前云服务器的资源占用情况,xi,j表示当前迁移进入或者迁移出去该云服务器的虚拟机的资源占用情况,当前面的符号为+时表示虚拟机迁入到当前云服务器,当符号为-时表示该虚拟机从当前服务器迁移出去,最终的目标是让迁移调整后的服务器占用资源情况方差最小。
在传统迭代优化方式中,如牛顿法中,要想更新迭代xn得到xn+1,需要计算海森矩阵Hn,在实际应用中,由于输入参数的维度过大,计算海森矩阵就需要很大的存储空间和计算空间,甚至对许多函数而言,海森矩阵可能根本无法计算,更无法求逆,因此,必须要计算海森矩阵的牛顿法并不适合在大规模的数值优化计算中使用。本发明利用L-BFGS算法优化目标函数获取迁移虚拟机的目标云服务器,相较于牛顿法的更新迭代方式,本发明通过迭代的方式,得到
Figure BDA0002609398600000062
的近似值Dk,并只简单存储最近的m个sk和yk,即(sk,sk-1,...,sk-m-1)和(yk,yk-1,...,yk-m-1),以此来近似计算
Figure BDA0002609398600000061
减轻了系统内存的压力,并大大提高了算法求解的效率,由于求解效率高可以做到实时动态的资源调整,提高云服务器资源使用率。
附图说明
图1为本发明一实施例提供的一种基于L-BFGS的云资源动态优化方法的流程示意图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在考虑提高云服务器内存访问性能的基础上,通过减少云环境中资源调度的通信开销,进行云资源的动态迁移优化,实现云服务器的负载均衡,本发明提供一种基于L-BFGS的云资源动态优化方法。参照图1所示,为本发明一实施例提供的基于L-BFGS的云资源动态优化方法的流程示意图。
在本实施例中,基于L-BFGS的云资源动态优化方法包括:
S1、利用基于阈值的页面更改策略对云服务器中的内存进行管理。
首先,本发明利用页面检测装置获取云服务器内存中每个页的访问频率,并通过设置两个阈值Threscold和Threshot将内存页基于访问频率分为冷、热、暖三个页面状态,本发明通过实时地对内存页的访问频率进行监控,得到当前时刻每个内存页的状态;
对于实时监控下的内存页的状态,本发明利用基于阈值的页面更改策略进行云服务器中内存的管理,所述管理过程为:
1)获取实时情况下每个内存页的状态;
2)对于内存页面状态为冷页的内存页面,本发明为其子页创建一个单独的副本,然后将冷页内存中所有的子页迁移到一个2MB的连续物理内存区域中,实现对冷页内存子页的聚合;
3)当所有的子页被聚合完毕时,本发明更改页描述中相关描述信息,使得操作系统后续能够以大页的方式对其管理;
4)对冷页的大页页表项进行重构,即使用一个三级页表的页表项对整个冷页大页区域进行映射,并且将原来的每个子页的页表项进行删除处理,同时刷新TLB中缓存的映射信息使得后续访问会使用新的大页页表项。
S2、初始化云环境下云服务器资源及待分配场景虚拟机资源占用情况。
进一步地,本发明对云环境下的资源进行初始化,所述云环境下的资源包括待部署的云服务器以及虚拟器,其中云服务器的集合为
P={P1,P2,…Pm}
其中:
m代表云服务器的数量;
云服务器Pj所具备的资源为集合
Figure BDA0002609398600000071
其中
Figure BDA0002609398600000072
为云服务器Pj中资源z的总量;
待部署的虚拟机集合为:
Figure BDA0002609398600000073
其中:
Sn代表虚拟机的第n个场景;
n代表场景的数量,一个场景至少包括两个虚拟机:操作机和目标机;
场景Si待部署的虚拟机集合为
Figure BDA0002609398600000074
b代表该场景虚拟机的数量;
虚拟机
Figure BDA0002609398600000075
请求的资源集合为
Figure BDA0002609398600000076
其中
Figure BDA0002609398600000077
代表虚拟机
Figure BDA0002609398600000081
对资源z的需求量。
S3、利用AHP层次分析法评估云服务器中每台主机的资源占用比,确定需要迁移的虚拟机。
进一步地,本发明利用AHP层次分析法评估云环境下每台虚拟机的资源占用比,每台虚拟机的资源占用情况主要考虑如下三个指标:虚拟机在整个云服务器中的CPU占用率,虚拟机在整个云服务器中的内存占用率,虚拟机在整个云服务器中的磁盘占用率;
基于上述指标本发明利用AHP层次分析法对虚拟机的资源占用情况进行综合评估,所述利用AHP层次分析法对虚拟机的资源占用情况进行综合评估的评估流程为:
1)建立层次结构模型,其中目标层为云服务器中虚拟机的资源占用情况,准则层为虚拟机在整个云服务器中的CPU占用率,虚拟机在整个云服务器中的内存占用率,虚拟机在整个云服务器中的磁盘占用率,方案层为云服务器中所有的虚拟机;
2)构造成对比较矩阵,通过对准则层各指标对目标层结构的因素权重进行两两比较,将比较结果构成成对比较矩阵,成对比较矩阵中的元素aij表示的是第i个因素相对于第j个因素的比较结果,该值由1-9标度方法给出;
3)对每个成对比较矩阵计算最大特征值及其对应的特征向量,并利用一致性指标、随机一致性指标和一致性比率进行一致性检验;若检验通过,归一化后的特征向量即为准则层的权向量,若检验不通过,则需要重新构造成对比较矩阵;
4)计算总排序权向量并进行一致性检验,若检验通过,则按照准则层的总排序权向量对目标层进行表示,并根据表示结构对虚拟机的资源占用进行评估,否则需要重新构造一致性比率CR较大的成对比较矩阵,同一台云服务器上所有虚拟机的资源占用综合评估为该云服务器的资源使用情况。
进一步地,本发明设置云服务器资源阈值t,将云服务器资源占用超过阈值t的服务器作为为需要迁移虚拟机的服务器,将需要迁移虚拟机的服务器中虚拟机资源占用最高的虚拟机为需要迁移的虚拟机。
S4、制定以最佳云服务器资源平衡为目标的目标函数,并建立虚拟机通信迁移代价模型。
进一步地,根据上述所确定的需要迁移的虚拟机,本发明制定以最佳云服务器资源平衡为目标的目标函数,所述目标函数如下所示:
f(Ai,xi,j)=std{Ai,xi,j}
其中:
Ai表示当前云服务器的资源占用情况;
xi,j表示当前迁移进入或者迁移出去该云服务器的虚拟机的资源占用情况;
当前面的符号为+时表示虚拟机迁入到当前云服务器,当符号为-时表示该虚拟机从当前服务器迁移出去,最终的目标是让迁移调整后的服务器占用资源情况方差最小。
进一步地,本发明建立虚拟机通信迁移代价模型TP,用来计算虚拟机迁移过程中产生的通信迁移代价:
Figure BDA0002609398600000091
Figure BDA0002609398600000092
其中:
CP为虚拟机产生的通信代价;
v为虚拟机数量;
xi,j表示虚拟机i和虚拟机j之间是否有通信需求,当且仅当虚拟机同属一个场景时,才会产生通信;
Qcpu,Qmemm,QNetB分别代表虚拟机CPU、内存、网络带宽的规格;
Rcpu,Rmem,RNetB分别代表云服务器CPU、内存、网络带宽的规格;
w1,w2,w3分别是CPU、内存、网络带宽三种资源的权值;
CPn为迁移后虚拟机的通信代价;
CPp为迁移前虚拟机的通信代价;
di,j表示虚拟机i和虚拟机j之间的通信距离,本发明用它们是否部署到同一个云服务器上来量化通信代价,当两个虚拟机部署在同一个云服务器上,其距离为1,部署在不同的云服务器上,其距离为2。
S5、利用L-BFGS算法优化目标函数获取迁移虚拟机的目标云服务器,得到待迁移虚拟机的迁移策略,并利用虚拟机通信迁移代价模型计算虚拟机的不同迁移策略的通信迁移代价,选取其中通信迁移代价最小的迁移策略作为最终虚拟机迁移策略,根据所述最终虚拟机迁移策略,将待迁移的虚拟机迁移到指定的目标云服务器中。
进一步地,本发明利用L-BFGS算法对上述目标函数进行优化,所述利用L-BFGS算法对目标函数进行优化的流程为:
1)对于目标函数f(Ai,xk),利用牛顿迭代法求解其驻点xk+1
Figure BDA0002609398600000093
k=0,1,...,表示当前云服务器Ai中,第k个虚拟机;
xk表示当前云服务器Ai中,第k个虚拟机迁移进入或者迁移出去该云服务器的虚拟机的资源占用情况;
gk为目标函数的导数;
Figure BDA0002609398600000094
为目标函数二阶导数的倒数;
2)通过迭代的方式,得到
Figure BDA0002609398600000101
的近似值Dk
Figure BDA0002609398600000102
其中:
I为单位矩阵;
sk=xk+1-xk
yk=gk+1-gk
gk为目标函数的导数;
xk表示当前云服务器Ai中,第k个虚拟机迁移进入或者迁移出去该云服务器的虚拟机的资源占用情况;
当k=0,D0为单位矩阵;
3)只简单存储最近的m个sk和yk,即(sk,sk-1,...,sk-m-1)和(yk,yk-1,...,yk-m-1),以此来近似计算
Figure BDA0002609398600000103
从而对xk进行迭代更新,迭代更新结果即为待迁移虚拟机的迁移策略,在本发明一个具体实施例中,通过分别设置迭代次数为10,20,40,60,...,得到若干不同的迁移策略。
进一步地,本发明根据所得若干不同的迁移策略,本发明利用虚拟机通信迁移代价模型计算不同迁移策略的通信迁移代价,选取其中通信迁移代价最小的迁移策略作为最终虚拟机迁移策略,并根据所述最终虚拟机迁移策略,将待迁移的虚拟机迁移到指定的目标云服务器中。
下面通过一个仿真实验来说明本发明的具体实施方式,并对发明的算法进行测试。本发明算法使用Cloud Sim工具模拟云计算中的虚拟化环境,用Cloud Sim中的Datacenter类创建实例模拟云服务器;为了衡量虚拟机间通信代价,对VMmachine类进行扩展,添加了所属场景成员变量,在虚拟机初始化时为该变量从1~n中赋值,n代表场景个数;对VMMAllocation Policy、Vm Scheduler类进行扩展,编写了云资源动态优化算法进行实验。考虑到运行时间,本发明创建50个云服务器,150个虚拟机,设定40个场景。同时本发明也在Cloud Sim上实现了基于随机算法的云资源部署优化算法和基于最佳适应算法的云资源部署优化算法,以进行效果比较。
根据实验结果,基于随机算法的云资源部署优化算法在5小时完成了云资源的部署,整体负载失衡度为0.25,虚拟机通信代价为30;基于最佳适应算法的云资源部署优化算法在4.5小时完成了云资源的部署,整体负载失衡度为0.28,虚拟机通信代价为22,本发明所述动态优化方法在4.2小时完了了云资源的部署,整体负载失衡度为0.11,虚拟机通信代价为15,相较于对比算法,本发明所提出的动态优化方法在负载均衡和降低通信开销上具有较强的优越性。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于L-BFGS的云资源动态优化方法,其特征在于,所述方法包括:
利用基于阈值的页面更改策略对云服务器中的内存进行管理;
初始化云环境下云服务器资源及待分配场景虚拟机资源占用情况;
利用AHP层次分析法评估云服务器中每台主机的资源占用比,确定需要迁移的虚拟机;
制定以最佳云服务器资源平衡为目标的目标函数;
建立虚拟机通信迁移代价模型;
利用L-BFGS算法优化目标函数获取迁移虚拟机的目标云服务器,得到待迁移虚拟机的迁移策略;
利用虚拟机通信迁移代价模型计算虚拟机的不同迁移策略的通信迁移代价,选取其中通信迁移代价最小的迁移策略作为最终虚拟机迁移策略,根据所述最终虚拟机迁移策略,将待迁移的虚拟机迁移到指定的目标云服务器中。
2.如权利要求1所述的一种基于L-BFGS的云资源动态优化方法,其特征在于,所述基于阈值的页面更改策略的流程为:
1)获取实时情况下每个内存页的状态;
2)对于内存页面状态为冷页的内存页面,为其子页创建一个单独的副本,然后将冷页内存中所有的子页迁移到一个2MB的连续物理内存区域中,实现对冷页内存子页的聚合;
3)当所有的子页被聚合完毕时,更改页描述中相关描述信息,使得操作系统后续能够以大页的方式对其管理;
4)对冷页的大页页表项进行重构,即使用一个三级页表的页表项对整个冷页大页区域进行映射,并且将原来的每个子页的页表项进行删除处理,同时刷新TLB中缓存的映射信息使得后续访问会使用新的大页页表项。
3.如权利要求2所述的一种基于L-BFGS的云资源动态优化方法,其特征在于,所述初始化云环境下的资源占用情况,包括:
所述云环境下的资源包括待部署的云服务器以及虚拟器,其中云服务器的集合为
P={P1,P2,...Pm}
其中:
m代表云服务器的数量;
云服务器Pj所具备的资源为集合
Figure FDA0002609398590000021
其中
Figure FDA0002609398590000022
为云服务器Pj中资源z的总量;
待部署的虚拟机集合为:
Figure FDA0002609398590000023
其中:
Sn代表虚拟机的第n个场景;
n代表场景的数量,一个场景至少包括两个虚拟机:操作机和目标机;
场景Si待部署的虚拟机集合为
Figure FDA0002609398590000024
b代表该场景虚拟机的数量;
虚拟机
Figure FDA0002609398590000025
请求的资源集合为
Figure FDA0002609398590000026
其中
Figure FDA0002609398590000027
代表虚拟机
Figure FDA0002609398590000028
对资源z的需求量。
4.如权利要求3所述的一种基于L-BFGS的云资源动态优化方法,其特征在于,所述利用AHP层次分析法评估云服务器中每台主机的资源占用比,包括:
1)建立层次结构模型,其中目标层为云服务器中虚拟机的资源占用情况,准则层为虚拟机在整个云服务器中的CPU占用率,虚拟机在整个云服务器中的内存占用率,虚拟机在整个云服务器中的磁盘占用率,方案层为云服务器中所有的虚拟机;
2)构造成对比较矩阵,通过对准则层各指标对目标层结构的因素权重进行两两比较,将比较结果构成成对比较矩阵,成对比较矩阵中的元素aij表示的是第i个因素相对于第j个因素的比较结果,该值由1-9标度方法给出;
3)对每个成对比较矩阵计算最大特征值及其对应的特征向量,并利用一致性指标、随机一致性指标和一致性比率进行一致性检验;若检验通过,归一化后的特征向量即为准则层的权向量,若检验不通过,则需要重新构造成对比较矩阵;
4)计算总排序权向量并进行一致性检验,若检验通过,则按照准则层的总排序权向量对目标层进行表示,并根据表示结构对虚拟机的资源占用进行评估,否则需要重新构造一致性比率CR较大的成对比较矩阵,同一台云服务器上所有虚拟机的资源占用综合评估为该云服务器的资源使用情况。
5.如权利要求4所述的一种基于L-BFGS的云资源动态优化方法,其特征在于,所述以最佳云服务器资源平衡为目标的目标函数为:
f(Ai,xi,j)=std{Ai,xi,j}
其中:
Ai表示当前云服务器的资源占用情况;
xi,j表示当前迁移进入或者迁移出去该云服务器的虚拟机的资源占用情况;
当前面的符号为+时表示虚拟机迁入到当前云服务器,当符号为-时表示该虚拟机从当前服务器迁移出去,最终的目标是让迁移调整后的服务器占用资源情况方差最小。
6.如权利要求5所述的一种基于L-BFGS的云资源动态优化方法,其特征在于,所述虚拟机通信迁移代价模型为:
Figure FDA0002609398590000031
Figure FDA0002609398590000032
其中:
CP为虚拟机产生的通信代价;
v为虚拟机数量;
xi,j表示虚拟机i和虚拟机j之间是否有通信需求,当且仅当虚拟机同属一个场景时,才会产生通信;
Qcpu,Qmem,QNetB分别代表虚拟机CPU、内存、网络带宽的规格;
Rcpu,Rmem,RNetB分别代表云服务器CPU、内存、网络带宽的规格;
w1,w2,w3分别是CPU、内存、网络带宽三种资源的权值;
CPn为迁移后虚拟机的通信代价;
CPp为迁移前虚拟机的通信代价;
di,j表示虚拟机i和虚拟机j之间的通信距离,用它们是否部署到同一个云服务器上来量化通信代价,当两个虚拟机部署在同一个云服务器上,其距离为1,部署在不同的云服务器上,其距离为2。
7.如权利要求6所述基于L-BFGS的云资源动态优化方法,其特征在于,所述利用L-BFGS算法优化目标函数获取迁移虚拟机的目标云服务器,包括:
1)对于目标函数f(Ai,xk),利用牛顿迭代法求解其驻点xk+1
Figure FDA0002609398590000041
k=0,1,...,表示当前云服务器Ai中,第k个虚拟机;
xk表示当前云服务器Ai中,第k个虚拟机迁移进入或者迁移出去该云服务器的虚拟机的资源占用情况;
gk为目标函数的导数;
Figure FDA0002609398590000042
为目标函数二阶导数的倒数;
2)通过迭代的方式,得到
Figure FDA0002609398590000043
的近似值Dk
Figure FDA0002609398590000044
其中:
I为单位矩阵;
Sk=xk+1-xk
yk=gk+1-gk
gk为目标函数的导数;
xk表示当前云服务器Ai中,第k个虚拟机迁移进入或者迁移出去该云服务器的虚拟机的资源占用情况;
当k=0,D0为单位矩阵;
3)只简单存储最近的m个sk和yk,即(sk,sk-1,...,sk-m-1)和(yk,yk-1,...,yk-m-1),以此来近似计算
Figure FDA0002609398590000045
从而对xk进行迭代更新,迭代更新结果即为待迁移虚拟机的迁移策略。
8.如权利要求7所述的基于L-BFGS的云资源动态优化方法,其特征在于,所述根据所述最终虚拟机迁移策略,将待迁移的虚拟机迁移到指定的目标云服务器中,包括:
通过分别设置迭代次数为10,20,40,60,...,得到若干不同的迁移策略;
根据所得若干不同的迁移策略,利用虚拟机通信迁移代价模型计算不同迁移策略的通信迁移代价;
选取其中通信迁移代价最小的迁移策略作为最终虚拟机迁移策略,并根据所述最终虚拟机迁移策略,将待迁移的虚拟机迁移到指定的目标云服务器中。
CN202010748980.9A 2020-07-30 2020-07-30 一种基于l-bfgs的云资源动态优化方法 Active CN111897652B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010748980.9A CN111897652B (zh) 2020-07-30 2020-07-30 一种基于l-bfgs的云资源动态优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010748980.9A CN111897652B (zh) 2020-07-30 2020-07-30 一种基于l-bfgs的云资源动态优化方法

Publications (2)

Publication Number Publication Date
CN111897652A true CN111897652A (zh) 2020-11-06
CN111897652B CN111897652B (zh) 2021-07-30

Family

ID=73182561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010748980.9A Active CN111897652B (zh) 2020-07-30 2020-07-30 一种基于l-bfgs的云资源动态优化方法

Country Status (1)

Country Link
CN (1) CN111897652B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113761807A (zh) * 2021-09-28 2021-12-07 科瑞特空调集团有限公司 一种基于混合优化的快速空调风水系统优化方法
CN114296868A (zh) * 2021-12-17 2022-04-08 中电信数智科技有限公司 一种多云环境下基于用户体验的虚拟机自动迁移决策方法
CN115150402A (zh) * 2022-08-30 2022-10-04 京华信息科技股份有限公司 一种云资源分配方法及系统
CN116737320A (zh) * 2023-06-29 2023-09-12 河南大学 基于ahp方法的云数据中心资源平衡感知的虚拟机放置策略
CN117376403A (zh) * 2023-10-08 2024-01-09 无锡安鑫卓越智能科技有限公司 一种云端数据迁移方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102790793A (zh) * 2012-05-08 2012-11-21 北京邮电大学 一种面向云计算虚拟机迁移的决策方法及控制模块
US20130212578A1 (en) * 2012-02-14 2013-08-15 Vipin Garg Optimizing traffic load in a communications network
CN103412875A (zh) * 2013-07-11 2013-11-27 广东工业大学 基于ahp决策模型的cdn策略调整方法
CN104008018A (zh) * 2014-05-22 2014-08-27 南京邮电大学 云计算环境下虚拟机在线迁移方法
CN104050038A (zh) * 2014-06-27 2014-09-17 国家计算机网络与信息安全管理中心 一种基于策略感知的虚拟机迁移方法
CN110083435A (zh) * 2019-05-08 2019-08-02 扬州大学 基于联盟形成的虚拟机迁移设计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130212578A1 (en) * 2012-02-14 2013-08-15 Vipin Garg Optimizing traffic load in a communications network
CN102790793A (zh) * 2012-05-08 2012-11-21 北京邮电大学 一种面向云计算虚拟机迁移的决策方法及控制模块
CN103412875A (zh) * 2013-07-11 2013-11-27 广东工业大学 基于ahp决策模型的cdn策略调整方法
CN104008018A (zh) * 2014-05-22 2014-08-27 南京邮电大学 云计算环境下虚拟机在线迁移方法
CN104050038A (zh) * 2014-06-27 2014-09-17 国家计算机网络与信息安全管理中心 一种基于策略感知的虚拟机迁移方法
CN110083435A (zh) * 2019-05-08 2019-08-02 扬州大学 基于联盟形成的虚拟机迁移设计方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113761807A (zh) * 2021-09-28 2021-12-07 科瑞特空调集团有限公司 一种基于混合优化的快速空调风水系统优化方法
CN113761807B (zh) * 2021-09-28 2022-11-15 科瑞特空调集团有限公司 一种基于混合优化的快速空调风水系统优化方法
CN114296868A (zh) * 2021-12-17 2022-04-08 中电信数智科技有限公司 一种多云环境下基于用户体验的虚拟机自动迁移决策方法
CN115150402A (zh) * 2022-08-30 2022-10-04 京华信息科技股份有限公司 一种云资源分配方法及系统
CN116737320A (zh) * 2023-06-29 2023-09-12 河南大学 基于ahp方法的云数据中心资源平衡感知的虚拟机放置策略
CN117376403A (zh) * 2023-10-08 2024-01-09 无锡安鑫卓越智能科技有限公司 一种云端数据迁移方法及系统
CN117376403B (zh) * 2023-10-08 2024-05-14 上海知享家信息技术服务有限公司 一种云端数据迁移方法及系统

Also Published As

Publication number Publication date
CN111897652B (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN111897652B (zh) 一种基于l-bfgs的云资源动态优化方法
CN103595780B (zh) 基于消重的云计算资源调度方法
CN108416054B (zh) 基于文件访问热度的动态hdfs副本个数计算方法
CN111966495B (zh) 数据处理方法和装置
CN108881432A (zh) 基于ga算法的云计算集群负载调度方法
CN107220108B (zh) 一种实现云数据中心负载均衡的方法和系统
CN110502323B (zh) 一种云计算任务实时调度方法
CN112100185B (zh) 区块链数据平衡负载的索引系统及方法
Gopu et al. Optimal VM placement in distributed cloud environment using MOEA/D
CN105681052A (zh) 一种用于数据中心分布式文件存储的节能方法
Zhao et al. A dynamic optimal replication strategy in data grid environment
US20240037067A1 (en) File system provisioning for workload
CN112765177B (zh) 一种基于负载驱动的分布式图数据分割和复制方法
Jiao et al. Immune optimization of task scheduling on multidimensional QoS constraints
Poltronieri et al. Value of information based optimal service fabric management for fog computing
CN114741160A (zh) 一种基于平衡能耗与服务质量的动态虚拟机整合方法和系统
CN111598390B (zh) 服务器高可用性评估方法、装置、设备和可读存储介质
KR101479978B1 (ko) 적응적 평가를 반영한 클라우드 자원 분배 방법 및 장치
Liu et al. An ant colony optimization fuzzy clustering task scheduling algorithm in mobile edge computing
Tang et al. A classification-based virtual machine placement algorithm in mobile cloud computing
Peng et al. The realization of load balancing algorithm in cloud computing
CN106033434A (zh) 基于数据规模和流行程度的虚拟资产数据副本处理方法
Zheng et al. 5G Slice Allocation Algorithm Based on Mapping Relation
CN108052536A (zh) 一种IoT设备的文件系统
CN113407620B (zh) 基于异构Hadoop集群环境的数据块放置方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210708

Address after: 350000 unit 4-1-1, floor 4, building 2, SOGO Plaza, 245 Xiushan Road, Xindian Town, Jin'an District, Fuzhou City, Fujian Province

Applicant after: Fujian Yide Information Technology Co.,Ltd.

Address before: 401, venture building, Hunan University Science Park, 186 Guyuan Road, Changsha high tech Zone, Changsha City, Hunan Province, 410205

Applicant before: HUNAN KUANGCHU TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant