CN108595250A - 一种面向IaaS云平台的资源调度效率优化方法及系统 - Google Patents
一种面向IaaS云平台的资源调度效率优化方法及系统 Download PDFInfo
- Publication number
- CN108595250A CN108595250A CN201810409772.9A CN201810409772A CN108595250A CN 108595250 A CN108595250 A CN 108595250A CN 201810409772 A CN201810409772 A CN 201810409772A CN 108595250 A CN108595250 A CN 108595250A
- Authority
- CN
- China
- Prior art keywords
- virtual machine
- optimization method
- copy
- thermophoresis
- dirty pages
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 105
- 238000005457 optimization Methods 0.000 title claims abstract description 70
- 238000005516 engineering process Methods 0.000 claims abstract description 117
- 238000001089 thermophoresis Methods 0.000 claims abstract description 58
- 230000005012 migration Effects 0.000 claims abstract description 55
- 238000013508 migration Methods 0.000 claims abstract description 55
- 238000004458 analytical method Methods 0.000 claims abstract description 47
- 238000002474 experimental method Methods 0.000 claims abstract description 10
- 238000007906 compression Methods 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 9
- 238000013144 data compression Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 239000011800 void material Substances 0.000 claims description 6
- 230000007423 decrease Effects 0.000 claims description 5
- 238000012804 iterative process Methods 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 244000290333 Vanilla fragrans Species 0.000 description 1
- 235000009499 Vanilla fragrans Nutrition 0.000 description 1
- 235000012036 Vanilla tahitensis Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 230000001617 migratory effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 235000015170 shellfish Nutrition 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45562—Creating, deleting, cloning virtual machine instances
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种面向IaaS云平台的资源调度效率优化方法：对虚拟机热迁移预拷贝技术进行分析，构建热迁移性能分析模型；使用基准测试程序在计算集群中针对热迁移优化方法开展实验，获取优化方法适用的资源阈值范围；获取待迁移虚拟机的关键参数，使用热迁移性能分析模型对迁移性能进行预测；根据预测结果为待迁移虚拟机选择恰当的热迁移技术；获取宿主机计算资源使用状态，选择恰当的热迁移优化方法。本发明还公开一种面向IaaS云平台的资源调度效率优化系统。本发明从虚拟机热迁移技术及其优化方法两个角度出发，针对不同的迁移场景对热迁移性能进行有效分析预估，并作出迁移技术方案决策，可以有效提高IaaS云平台中资源调度的效率。
Description
技术领域
本技术涉及到云平台资源调度技术，具体设计到面向IaaS云平台的资源调度效率优化技术。
背景技术
云计算是一种基于互联网的计算方式，通过这种方式，云计算提供商可以将共享的软硬件资源按需求提供给计算机各种终端和移动设备等。云计算通常包括三种常见服务模型基础设施即服务(IaaS)，平台即服务(PaaS)和软件即服务(SaaS)。本技术的应用对象是一般的IaaS云平台，在IaaS服务模式下，计算资源的分配是以虚拟机的形式提供给用户，即IaaS云平台中的资源调度实际上是对虚拟机进行动态的迁移。
对于IaaS云平台中虚拟机的迁移，主要有离线迁移和热迁移技术，离线迁移是指在迁移之前将虚拟机暂停，拷贝系统状态到目的主机，最后在目的主机重建虚拟机状态，恢复虚拟机执行。该迁移方式简单易行，但缺点是从用户角度看，有明确的一段服务不可用的时间。目前使用比较广泛的是热迁移技术，即在保证虚拟机上服务正常运行的同时，虚拟机在不同的物理机上进行迁移。目前主流的迁移工具都要求IaaS云平台中物理机之间有集中式共享外村设备，如SAN、NAS等，因而在迁移时只需考虑虚拟机内存状态的迁移。目前常用的内存迁移技术有预拷贝技术和后拷贝技术。
预拷贝技术是一个迭代拷贝过程，每次迭代中需要拷贝上轮迭代中产生的脏页，拷贝过程中，虚拟机仍在源主机上运行；比较适用于内存读密集型虚拟机的迁移，对于内存写密集型虚拟机，可能会出现剩余脏页数目收敛过慢，导致迁移时间过长甚至失败的情况。后拷贝技术与预拷贝技术互补，其首先将处理器状态拷贝到目的主机，然后立刻在目的主机上运行虚拟机，而后根据需求通过网络将内存页从源主机上拉取过来，因此比较适合内存写密集型虚拟机的拷贝，但后拷贝技术的缺点是失败不可恢复。针对预拷贝技术的优化方法有：1)Page-skip技术，该技术是通过对内存页脏页频率的统计减少冗余的内存页拷贝；2)Delta Compression技术,该技术是通过拷贝内存脏页的增量部分的压缩形式来提高脏页拷贝吞吐率；3)Data Compression技术，该技术主要是通过常用的内存压缩技术来减少需要拷贝的数据量。针对后拷贝技术的优化方法主要是Active Pushing技术，即在源主机端主动的向目的主机拷贝内存页，从而有效减少目的主机端虚拟机的缺页率。然而以上方法均没有明确指出其适用的迁移场景，缺少对额外资源开销的分析，从而不能在实际使用过程中发挥真正的性能收益。
发明内容
针对上述技术问题，本发明目的在于解决现有技术中存在的问题，提供一种面向IaaS云平台的资源调度效率优化方法，本发明通过构建虚拟机热迁移性能分析模型，对IaaS云平台中虚拟机迁移场景里的重要影响因素进行充分考虑，决策出恰当的迁移技术方案，从而可以有效提高IaaS云平台中资源调度的效率。
为达到上述目的，本发明采用的技术方案为：本发明提出的面向IaaS云平台的资源调度效率优化方法，具体包括以下步骤：
步骤一：分析热迁移预拷贝技术，构建热迁移性能分析模型；
步骤二：针对热迁移技术优化方法，使用基准测试程序开展实验，获取各个优化方法适用的计算资源使用率阈值范围；
步骤三：获取待迁移虚拟机的关键参数，使用热迁移性能分析模型对其迁移性能进行预测；
步骤四：根据热迁移性能分析模型预测结果，决策出迁移技术的选择；
步骤五：获取宿主机计算资源使用状态，决策出迁移技术优化方法的选择。
步骤六：根据决策选择出的迁移技术及相应优化方法在IaaS云平台上对虚拟机进行迁移。
进一步的，所述步骤一中的热迁移技术即在保证虚拟机中应用服务不中断的前提下，将虚拟机从一个物理机迁移到其它物理机的技术。所述预拷贝技术是虚拟机热迁移中针对内存状态拷贝的技术。主要包含三个阶段：(1)初次拷贝：将虚拟机的全部内存页拷贝到目的主机上；(2)迭代拷贝：将上次迭代过程中产生的内存脏页拷贝到目的主机上；(3)停止拷贝：将源主机上虚拟机暂停，将处理器状态和剩余内存脏页拷贝到目的主机上。
步骤一中的热迁移性能分析模型的构建是基于对预拷贝技术迭代拷贝过程的分析，该热迁移性能分析模型的主要是对热迁移的两个性能参数进行建模预测，即总迁移时间(MT)和停机时间(DT)，热迁移性能分析模型的主要输入参数有以下几个：(1)虚拟机脏页率；(2)虚拟机内存大小；(3)脏页拷贝带宽速率。
进一步的，在确定热迁移性能分析模型的目标以及可用参数之后，热迁移性能分析模型的构建过程为：预拷贝技术是一个迭代过程，假设共有n轮迭代拷贝，对于每轮迭代，我们可以根据模型输入参数计算上轮迭代产生的内存脏页数，由于已知脏页拷贝带宽速率，所以可以获取每轮迭代拷贝时间。则总迁移时间(MT)是n轮迭代拷贝所需时间总和，停机时间是第n轮内存拷贝的时间。
用Si表示第i轮迭代中需要拷贝的内存脏页数，用ti表示第i轮迭代所需时间，则有ti＝Si/R；本轮新产生的内存脏页数为Si+1＝ti*D；根据以上计算方式对于预拷贝技术的所需的总迁移时间以及停机时间的计算方式如图3流程所示，具体步骤包括：
步骤11，判断迭代次数是否超出虚拟机管理器预定义的最大迭代次数N，若大于，则进入步骤15；否则，进入步骤12开始对每轮迭代时间进行计算；
步骤12，根据上轮迭代拷贝过程中产生的内存脏页数Si，计算本轮迭代时间ti＝Si/R；
步骤13，根据虚拟机脏页率D以及本轮迭代时间ti，计算本轮迭代产生的脏页数Si+1＝ti*D；
步骤14，判断本轮产生的脏页数Si+1是否小于虚拟机管理器预定义的阈值，即是否达到停机拷贝的条件，若小于，则热迁移性能分析模型对于迭代拷贝时间的循环统计结束，进入步骤15；否则，进入步骤11进行循环统计；
步骤15，结束循环统计，总迁移时间MT为每轮迭代时间ti之和，停机时间为最后一轮迭代所需时间。
进一步的，步骤二中所述热迁移优化方法是对预拷贝技术的优化，主要包含三种优化技术：(1)Page-Skip技术；(2)Delta Compression技术；(3)Data Compression技术。此三种优化技术均有额外的计算资源开销问题，步骤二实验目的是探究此三种优化技术在当前的IaaS云平台计算集群中适用的资源使用率阈值范围。
步骤二中，所述计算资源主要包括CPU和内存等资源。实验开展方法是针对特定的优化技术，探索其在宿主机的不同计算资源使用率下的性能表现，步骤二中所求阈值范围即指当某计算资源使用率超出该阈值后，优化方法对于原迁移技术性能无任何改进甚至导致性能的下降。
进一步的，步骤三中对所述待迁移虚拟机参数的获取中，虚拟机内存大小(M)和虚拟机脏页拷贝带宽速率(R)均可从虚拟机管理器中查询获取，虚拟机脏页率的获取分为两个阶段：
(1)对虚拟机管理器中关于热迁移内存迭代部分代码进行修改，从中获取对虚拟机脏页率的采样值。
(2)若数据库存储中虚拟机历史脏页率数据的个数不大于5，直接使用虚拟机脏页率采样值作为热迁移性能分析模型中虚拟机脏页率取值；若大于5，使用三次指数平滑法对虚拟机脏页率取值进行修正，具体为：IaaS云平台中虚拟机可能存在多次迁移活动，记录其每次迁移过程中每轮迭代虚拟机脏页率的加权平均值，基于此历史数据，使用三次指数平滑法获得对下次迁移中虚拟机脏页率的预测值，而后用虚拟机脏页率的采样值与预测值进行加权平均，得到的结果作为虚拟机脏页率的取值。
进一步的，步骤四中所述的性能预测结果即步骤三中根据热迁移性能分析模型计算得到的总迁移时间和停机时间。所述的迁移技术的选择是指在预拷贝技术以及后拷贝技术之间进行选择。后拷贝技术是与预拷贝技术互补的迁移技术，更适用于内存写密集型(虚拟机脏页率高)虚拟机的迁移。选择的依据是预测的总迁移时间或停机时间是否大于IaaS云平台预定义最大迁移时间或最大停机时间：若大于则使用后拷贝迁移技术，否则使用预拷贝迁移技术。
进一步的，所述步骤五首先对宿主机的计算资源使用状态进行获取，由于热迁移过程在目的主机端同样有计算活动，所以这里宿主机包括源主机以及目的主机；结合步骤二中分析实验获取的阈值范围，即可得出当前宿主机资源状态下迁移技术可以使用的优化方法。
进一步的，所述步骤六中的迁移技术方案即步骤四中选择出的迁移技术和步骤五中选择出的优化方法，所述IaaS云平台的底层虚拟机管理器需要对以上迁移技术和优化方法支持。
本发明还公开一种面向IaaS云平台的资源调度效率优化系统，其特征在于：包括迁移技术决策模块、迁移优化方法决策模块和资源调度执行模块；
迁移技术决策模块通过分析预拷贝技术，构建热迁移性能分析模型，使用基准测试程序开展实验，获取各个优化方法适用的计算资源使用率阈值范围，获取待迁移虚拟机的关键参数，使用热迁移性能分析模型对其迁移性能进行预测，根据性能分析模型预测结果，决策出迁移技术的选择；迁移优化方法决策模块获取宿主机计算资源使用状态，决策出迁移技术优化方法的选择；资源调度执行模块根据决策选择出的迁移技术方案在IaaS云平台上对虚拟机进行迁移。
与现有技术相比，本发明具有以下特点：
(1)本发明提出并构建了一个热迁移优化分析模型，该模型对于IaaS云平台中待迁移的虚拟机，综合考虑其迁移场景中的重要影响因素，给出具体迁移技术以及优化方法使用的决策指导，基于决策结果，可以最大限度的提高IaaS云平台中虚拟机迁移的性能，即提高IaaS云平台资源调度的效率。
(2)本发明使用三次指数平滑法对虚拟机脏页率的取值进行了修正，该方法可以根据历史数据来对虚拟机脏页率进行预测，预测值与采样值的结合，使得热迁移性能分析模型中虚拟机脏页率的取值更加合理，从而有效提高热迁移性能分析模型的准确率。
综上所述，本发明通过构建热迁移优化分析模型根据不同的迁移场景对IaaS云平台中虚拟机的迁移，即资源调度作出有效指导，大大提高了总体资源调度的效率，具有广阔的应用推广场景。
附图说明
图1为本发明实施例的逻辑架构图。
图2为本发明实施例的虚拟机脏页率取值计算流程图。
图3为本发明实施例的使用热迁移性能分析模型工作流程图。
图4为本发明实施例的优化方法在不同CPU使用状态下的性能表现。
图5为本发明实施例的优化方法在不同内存使用状态下的性能表现。
具体实施方式
以下结合附图，通过具体实施例对对本发明技术方案进行详细说明。
如图1所示，本发明在具体实施时是作用于IaaS云平台上，主要三个模块：迁移技术决策模块、迁移优化方法决策模块和资源调度执行模块。面向IaaS云平台的资源调度效率优化方法具体步骤如下：
步骤一：迁移技术决策模块通过分析预拷贝技术，构建热迁移性能分析模型。这里的热迁移性能分析模型主要是对预拷贝技术下热迁移的两个主要性能参数进行建模预测，即总迁移时间(MT)和停机时间(DT)。热迁移性能分析模型的主要输入参数有三个：虚拟机脏页率(D)、虚拟机内存大小(M)和脏页拷贝带宽速率(R)。预拷贝技术是一个迭代拷贝的过程，这里用Si表示第i轮迭代中需要拷贝的内存脏页数，用ti表示第i轮迭代所需时间，则有ti＝Si/R；本轮新产生的内存脏页数为Si+1＝ti*D；根据以上计算方式对于预拷贝技术的所需的总迁移时间以及停机时间的计算方式如图3流程所示，具体步骤包括：
(1)判断迭代次数是否超出虚拟机管理器预定义的最大迭代次数N。若大于，则进入步骤(5)；否则，进入步骤(2)开始对每轮迭代时间进行计算。
(2)根据上轮迭代拷贝过程中产生的内存脏页数Si，计算本轮迭代时间ti＝Si/R；
(3)根据虚拟机脏页率D以及本轮迭代时间ti，计算本轮迭代产生的脏页数Si+1＝ti*D；
(4)判断本轮产生的脏页数Si+1是否小于虚拟机管理器预定义的阈值，即是否达到停机拷贝的条件，若小于，则热迁移性能分析模型对于迭代拷贝时间的循环统计结束，进入步骤(5)；否则，进入步骤(1)进行循环统计。
(5)结束循环统计，总迁移时间(MT)为每轮迭代时间ti之和，停机时间为最后一轮迭代所需时间。
步骤二：迁移优化方法决策模块使用基准测试程序开展实验，获取各个优化方法适用的计算资源使用率阈值范围。所述热迁移优化方法指的是对预拷贝技术的优化，主要包含三种优化技术：(1)Page-Skip技术；(2)Delta Compression技术；(3)DataCompression技术。此三种技术均有额外的计算资源开销问题，步骤二实验目的是探究此三种优化技术在当前的IaaS云平台计算集群中所适用的场景，即计算宿主机的计算资源使用状态。所述基准测试程序主要是IaaS云平台中比较具有代表性的具有不同负载特性的应用程序：Dbench、TPC-C、Kernel Compile、Linpack和Memtester。
所述计算资源主要包括CPU和内存等资源。实验开展方法是针对特定的优化技术，探索其在宿主机的不同计算资源使用率下的性能表现，所求阈值范围即指当某计算资源使用率超出该阈值后，优化方法对于原迁移技术性能无任何改进甚至导致性能的下降。
如图4和图5所示，分别展示了上述三种优化技术在不同的CPU和内存状态下的总迁移时间表现。图中Vanilla表示的是未使用任何优化方法的预拷贝技术。通过对图4和图5分析，可作出以下总结：
(1)Page-Skip技术随着CPU和内存使用率变化与原生预拷贝技术变化幅度差别不大，即对于Page-Skip优化方法，可以将其作为预拷贝技术的基础优化技术，即不论计算资源是何种状态，均可使用Page-Skip优化方法。
(2)Data Compression技术CPU开销较大，根据图4可以看出在CPU使用率大于75％以后，该优化方法甚至会导致热迁移性能下降，故对于该优化方法可取阈值为75％，当满足条件：CPUsrc＜75％&&CPUdst＜75％时，才可使用Data Compression方法。这里CPUsrc和CPUdst分别是源主机和目的主机的CPU使用率。
(3)Delta Compression技术有一定的CPU开销和比较高的内存开销，从图4和图5可看出，在CPU使用率达到85％或内存使用率达到80％时，该优化方法会导致热迁移性能的下降，所以对于该优化方法，可取CPU阈值为85％，内存阈值为80％，当满足条件：CPUsrc＜85％&&CPUdst＜85％&&Memsrc＜85％时，才可使用Delta Compression方法。这里Memsrc是指源主机内存使用率。
步骤三：迁移技术决策模块获取待迁移虚拟机的关键参数，使用热迁移性能分析模型对其迁移性能进行预测；所述虚拟机参数的获取中，虚拟机大小(M)和虚拟机脏页脏页拷贝带宽速率(R)均可从虚拟机管理器中查询获取，虚拟机脏页率的获取分为两个阶段：首先，对虚拟机管理器，如Qemu-KVM中关于热迁移内存迭代部分代码进行修改，从中获取对虚拟机脏页率的采样值。其次，使用三次指数平滑法(CES)对虚拟机脏页率取值进行修正，如图2流程所示，具体步骤如下：
(1)从数据库中获取虚拟机历史脏页数据，这里脏页数据是在虚拟机实际迁移时，通过对其每一轮迭代拷贝过程中的虚拟机脏页率的进行加权平均计算得到，并存储到数据库中。
(2)判断虚拟机脏页率数据个数是否大于5，若不大于则使用CES方法意义不大，直接使用虚拟机脏页率采样值作为热迁移性能分析模型中虚拟机脏页率取值；若大于5，则进入步骤(3)。
(3)使用CES方法根据虚拟机历史虚拟机脏页率数据对下一次虚拟机迁移中的虚拟机脏页率进行预测。
(4)使用上一步骤中的预测值与采样值的加权平均作为热迁移性能分析模型中虚拟机脏页率的取值。
经过以上计算过程，待迁移虚拟机的关键参数即可全部获取，将参数输入到步骤一中的热迁移性能分析模型，即获得对虚拟机迁移的总迁移时间和停机时间的预估值。
步骤四：迁移技术决策模块根据热迁移性能分析模型预测结果，决策出迁移技术的选择；所述的迁移技术的选择是指在预拷贝技术以及后拷贝技术之间进行选择。后拷贝技术是与预拷贝技术互补的迁移技术，更适用于内存写密集型(虚拟机脏页率高)虚拟机的迁移，但缺点是迁移失败后不可恢复。选择的依据是预测的总迁移时间或停机时间是否大于IaaS云平台预定义最大迁移时间或最大停机时间；若大于则使用后拷贝迁移技术，否则使用预拷贝迁移技术。
步骤五：迁移优化方法决策模块获取宿主机计算资源使用状态，决策出迁移技术优化方法的选择。这里宿主机包含源主机和目的主机，计算资源使用状态的获取方式众多，对于CPU和内存使用率的获取可以通过对系统文件“/proc/stat”和“/proc/meminfo”分析即可获得。基于获取的宿主机资源使用率和步骤二中计算得到的优化方法的适用阈值，即可决策出是否可以使用Delta Compression或Data Compression优化方法。
步骤六：资源调度执行模块根据决策选择出的迁移技术方案在IaaS云平台上对虚拟机进行迁移。所述迁移技术方案即步骤四中决策出的迁移技术以及步骤五中决策出的优化方法，所述IaaS云平台的底层虚拟机管理器需要对以上迁移技术和优化方法支持。
虽然本发明已以较佳实施例公开如上，但它们并不是用来限定本发明，任何熟习此技艺者，在不脱离本发明之精神和范围内，自当可作各种变化或润饰，但同样在本发明的保护范围之内。
Claims (11)
1.一种面向IaaS云平台的资源调度效率优化方法，其特征在于，包括以下步骤：
步骤一：分析热迁移预拷贝技术，构建热迁移性能分析模型；
步骤二：针对热迁移技术优化方法，使用基准测试程序开展实验，获取各个优化方法适用的计算资源使用率阈值范围；
步骤三：获取待迁移虚拟机的关键参数，使用热迁移性能分析模型对其迁移性能进行预测；
步骤四：根据热迁移性能分析模型预测结果，决策出迁移技术的选择；
步骤五：获取宿主机计算资源使用状态，决策出迁移技术优化方法的选择；
步骤六：根据决策选择出的迁移技术及相应优化方法在IaaS云平台上对虚拟机进行迁移。
2.根据权利要求1所述的面向IaaS云平台的资源调度效率优化方法，其特征在于：
步骤一中预拷贝技术包括：初次拷贝：将虚拟机的全部内存页拷贝到目的主机上；迭代拷贝：将上次迭代过程中产生的内存脏页拷贝到目的主机上；停止拷贝：将源主机上虚拟机暂停，将处理器状态和剩余内存脏页拷贝到目的主机上；
热迁移性能分析模型是基于对预拷贝技术迭代拷贝过程的分析，包括对热迁移的总迁移时间MT和停机时间DT进行建模预测，热迁移性能分析模型的输入参数包括：虚拟机脏页率D；虚拟机内存大小M；脏页拷贝带宽速率R。
3.根据权利要求2所述的面向IaaS云平台的资源调度效率优化方法，其特征在于：热迁移性能分析模型的构建过程为：预拷贝技术是一个迭代过程，假设共有n轮迭代拷贝，对于每轮迭代，根据热迁移性能分析模型输入参数计算上轮迭代产生的内存脏页数，根据脏页拷贝带宽速率，获取每轮迭代拷贝时间；总迁移时间MT是n轮迭代拷贝所需时间总和，停机时间是第n轮内存拷贝的时间。
4.根据权利要求3所述的面向IaaS云平台的资源调度效率优化方法，其特征在于，
预拷贝技术的所需的总迁移时间以及停机时间的计算包括如下步骤：
步骤11，判断迭代次数是否超出虚拟机管理器预定义的最大迭代次数N，若大于，则进入步骤15；否则，进入步骤12开始对每轮迭代时间进行计算；
步骤12，根据上轮迭代拷贝过程中产生的内存脏页数Si，计算本轮迭代时间ti＝Si/R；
步骤13，根据虚拟机脏页率D以及本轮迭代时间ti，计算本轮迭代产生的脏页数Si+1＝ti*D：
步骤14，判断本轮产生的脏页数Si+1是否小于虚拟机管理器预定义的阈值，即是否达到停机拷贝的条件，若小于，则热迁移性能分析模型对于迭代拷贝时间的循环统计结束，进入步骤15；否则，进入步骤11进行循环统计；
步骤15，结束循环统计，总迁移时间MT为每轮迭代时间ti之和，停机时间为最后一轮迭代所需时间。
5.根据权利要求1所述的面向IaaS云平台的资源调度效率优化方法，其特征在于：
步骤二中所述热迁移优化方法包括：Page-Skip技术、Delta Compression技术、DataCompression技术；
所述基准测试程序包括IaaS云平台中的具有不同负载特性的应用程序；
开展实验的方法为针对特定的优化技术，探索其在宿主机的不同计算资源使用率下的性能表现；
所述计算资源包括CPU和内存资源；
所述阈值范围指当某计算资源使用率超出该阈值后，优化方法对于原迁移技术性能无任何改进甚至导致性能的下降。
6.根据权利要求5所述的面向IaaS云平台的资源调度效率优化方法，其特征在于，
所述阈值范围：
不论计算资源是何种状态，均可使用Page-Skip优化方法；
当满足条件：CPUsrc＜75％&&CPUdst＜75％时，使用Data Compression方法；CPUsrc指源主机的CPU使用率，CPUdst指目的主机的CPU使用率；
当满足条件：CPUsrc＜85％&&CPUdst＜85％&&Memsrc＜85％时，使用Delta Compression方法；Memsrc是指源主机内存使用率。
7.根据权利要求1所述的面向IaaS云平台的资源调度效率优化方法，其特征在于：
步骤三中所述待迁移虚拟机参数的获取中，虚拟机内存大小M和脏页拷贝带宽速率R均可从虚拟机管理器中查询获取，虚拟机脏页率D的获取分为两个阶段：
首先，从虚拟机管理器中获取对虚拟机脏页率的采样值；
其次，若数据库存储中虚拟机历史脏页率数据的个数不大于5，直接使用虚拟机脏页率采样值作为热迁移性能分析模型中虚拟机脏页率取值；若大于5，使用三次指数平滑法对虚拟机脏页率取值进行修正。
8.根据权利要求7所述的面向IaaS云平台的资源调度效率优化方法，其特征在于，
使用三次指数平滑法对虚拟机脏页率取值进行修正包括如下步骤：记录IaaS云平台中虚拟机每次迁移过程中每轮迭代虚拟机脏页率的加权平均值，使用三次指数平滑法获得对下次迁移中虚拟机脏页率的预测值，而后用虚拟机脏页率的采样值与虚拟机脏页率的预测值进行加权平均，得到的结果作为虚拟机脏页率的取值。
9.根据权利要求1所述的面向IaaS云平台的资源调度效率优化方法，其特征在于：
步骤四中所述性能预测结果为步骤三中根据热迁移性能分析模型计算得到的总迁移时间和停机时间；
所述的迁移技术的选择是指依据预测的总迁移时间或停机时间是否大于IaaS云平台预定义最大迁移时间或最大停机时间，在预拷贝技术以及后拷贝技术之间进行选择：若大于则使用后拷贝迁移技术，否则使用预拷贝迁移技术。
10.根据权利要求1所述的面向IaaS云平台的资源调度效率优化方法，其特征在于：
步骤五首先对宿主机的计算资源使用状态进行获取；结合步骤二中分析实验获取的阈值范围，得出当前宿主机资源状态下迁移技术可使用的优化方法。
11.一种面向IaaS云平台的资源调度效率优化系统，其特征在于：包括迁移技术决策模块、迁移优化方法决策模块和资源调度执行模块；
迁移技术决策模块通过分析预拷贝技术，构建热迁移性能分析模型，
使用基准测试程序开展实验，获取各个优化方法适用的计算资源使用率阈值范围，
获取待迁移虚拟机的关键参数，使用热迁移性能分析模型对其迁移性能进行预测，
根据性能分析模型预测结果，决策出迁移技术的选择；
迁移优化方法决策模块获取宿主机计算资源使用状态，决策出迁移技术优化方法的选择；
资源调度执行模块根据决策选择出的迁移技术方案在IaaS云平台上对虚拟机进行迁移。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810409772.9A CN108595250B (zh) | 2018-05-02 | 2018-05-02 | 一种面向IaaS云平台的资源调度效率优化方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810409772.9A CN108595250B (zh) | 2018-05-02 | 2018-05-02 | 一种面向IaaS云平台的资源调度效率优化方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108595250A true CN108595250A (zh) | 2018-09-28 |
| CN108595250B CN108595250B (zh) | 2021-05-28 |
Family
ID=63619539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810409772.9A Active CN108595250B (zh) | 2018-05-02 | 2018-05-02 | 一种面向IaaS云平台的资源调度效率优化方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108595250B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109586951A (zh) * | 2018-11-07 | 2019-04-05 | 北京达佳互联信息技术有限公司 | 实施故障转移的方法、装置、电子设备及可读存储介质 |
| CN111580933A (zh) * | 2020-05-12 | 2020-08-25 | 西安交通大学 | 一种基于硬件加速的虚拟机在线迁移方法 |
| WO2020220436A1 (zh) * | 2019-04-29 | 2020-11-05 | 东北大学 | 面向不同老化场景的虚拟机工作队列和冗余队列更新方法 |
| CN112181594A (zh) * | 2020-09-27 | 2021-01-05 | 北京浪潮数据技术有限公司 | 一种虚拟机热迁移方法、装置、设备及存储介质 |
| CN112433812A (zh) * | 2020-11-19 | 2021-03-02 | 北京浪潮数据技术有限公司 | 一种虚拟机跨集群迁移方法、系统、设备及计算机介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103955399A (zh) * | 2014-04-30 | 2014-07-30 | 华为技术有限公司 | 一种虚拟机迁移方法和装置及物理主机 |
| CN104516767A (zh) * | 2013-09-27 | 2015-04-15 | 国际商业机器公司 | 设置虚拟机迁移过程中应用客户端的重传时间的方法和系统 |
| US20160274934A1 (en) * | 2002-12-12 | 2016-09-22 | Vmware, Inc. | Virtual machine migration |
| US20170024246A1 (en) * | 2013-01-09 | 2017-01-26 | The Research Foundation For The State University Of New York | Gang migration of virtual machines using cluster-wide deduplication |
| CN106469085A (zh) * | 2016-08-31 | 2017-03-01 | 北京航空航天大学 | 虚拟机在线迁移方法、装置及系统 |
| CN107291527A (zh) * | 2017-05-23 | 2017-10-24 | 华为技术有限公司 | 预拷贝迁移停止预判方法及装置 |
| US20170357527A1 (en) * | 2016-06-10 | 2017-12-14 | Google Inc. | Post-copy based live virtual machine migration via speculative execution and pre-paging |
| US20180101395A1 (en) * | 2016-10-06 | 2018-04-12 | Vmware, Inc. | Configuration of a cluster of hosts in virtualized computing environments |
-
2018
- 2018-05-02 CN CN201810409772.9A patent/CN108595250B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160274934A1 (en) * | 2002-12-12 | 2016-09-22 | Vmware, Inc. | Virtual machine migration |
| US20170024246A1 (en) * | 2013-01-09 | 2017-01-26 | The Research Foundation For The State University Of New York | Gang migration of virtual machines using cluster-wide deduplication |
| CN104516767A (zh) * | 2013-09-27 | 2015-04-15 | 国际商业机器公司 | 设置虚拟机迁移过程中应用客户端的重传时间的方法和系统 |
| CN103955399A (zh) * | 2014-04-30 | 2014-07-30 | 华为技术有限公司 | 一种虚拟机迁移方法和装置及物理主机 |
| US20170357527A1 (en) * | 2016-06-10 | 2017-12-14 | Google Inc. | Post-copy based live virtual machine migration via speculative execution and pre-paging |
| CN106469085A (zh) * | 2016-08-31 | 2017-03-01 | 北京航空航天大学 | 虚拟机在线迁移方法、装置及系统 |
| US20180101395A1 (en) * | 2016-10-06 | 2018-04-12 | Vmware, Inc. | Configuration of a cluster of hosts in virtualized computing environments |
| CN107291527A (zh) * | 2017-05-23 | 2017-10-24 | 华为技术有限公司 | 预拷贝迁移停止预判方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| SENTHIL NATHAN: "On Selecting the Right Optimizations for Virtual Machine Migration", 《VEE ’16》 * |
| ZHONG WANG: "Ada-copy: An Adaptive Memory Copy Strategy for Virtual Machine Live Migration", 《IEEE》 * |
| 刘海坤: "虚拟机在线迁移性能优化关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109586951A (zh) * | 2018-11-07 | 2019-04-05 | 北京达佳互联信息技术有限公司 | 实施故障转移的方法、装置、电子设备及可读存储介质 |
| WO2020220436A1 (zh) * | 2019-04-29 | 2020-11-05 | 东北大学 | 面向不同老化场景的虚拟机工作队列和冗余队列更新方法 |
| CN111580933A (zh) * | 2020-05-12 | 2020-08-25 | 西安交通大学 | 一种基于硬件加速的虚拟机在线迁移方法 |
| CN112181594A (zh) * | 2020-09-27 | 2021-01-05 | 北京浪潮数据技术有限公司 | 一种虚拟机热迁移方法、装置、设备及存储介质 |
| CN112433812A (zh) * | 2020-11-19 | 2021-03-02 | 北京浪潮数据技术有限公司 | 一种虚拟机跨集群迁移方法、系统、设备及计算机介质 |
| CN112433812B (zh) * | 2020-11-19 | 2024-07-02 | 北京浪潮数据技术有限公司 | 一种虚拟机跨集群迁移方法、系统、设备及计算机介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108595250B (zh) | 2021-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108595250A (zh) | 一种面向IaaS云平台的资源调度效率优化方法及系统 | |
| US11748230B2 (en) | Exponential decay real-time capacity planning | |
| US8131519B2 (en) | Accuracy in a prediction of resource usage of an application in a virtual environment | |
| CN103955399B (zh) | 一种虚拟机迁移方法和装置及物理主机 | |
| Gmach et al. | Capacity management and demand prediction for next generation data centers | |
| US8145456B2 (en) | Optimizing a prediction of resource usage of an application in a virtual environment | |
| US8260603B2 (en) | Scaling a prediction model of resource usage of an application in a virtual environment | |
| US8880477B2 (en) | Latency-aware live migration for multitenant database platforms | |
| US20100083248A1 (en) | Optimizing a prediction of resource usage of multiple applications in a virtual environment | |
| US8145455B2 (en) | Predicting resource usage of an application in a virtual environment | |
| US7818145B2 (en) | Detecting an error in a prediction of resource usage of an application in a virtual environment | |
| US20140215471A1 (en) | Creating a model relating to execution of a job on platforms | |
| US20120060142A1 (en) | System and method of cost oriented software profiling | |
| NO20200858A1 (en) | Methods And Systems To Determine And Optimize Reservoir Simulator Performance In A Cloud Computing Environment | |
| US11269541B2 (en) | Efficient utilization of storage resources on data recovery sites using machine learning | |
| CN110083518B (zh) | 一种基于AdaBoost-Elman的虚拟机软件老化预测方法 | |
| Shukla et al. | A multiphase pre-copy strategy for the virtual machine migration in cloud | |
| US20080298276A1 (en) | Analytical Framework for Multinode Storage Reliability Analysis | |
| Nguyen et al. | A black-box fork-join latency prediction model for data-intensive applications | |
| Huang et al. | Cümülön: Matrix-based data analytics in the cloud with spot instances | |
| Li et al. | Optimizing VM live migration strategy based on migration time cost modeling | |
| CN109976879B (zh) | 一种基于资源使用曲线互补的云计算虚拟机放置方法 | |
| Jiang et al. | Effective data management strategy and RDD weight cache replacement strategy in Spark | |
| CN104866375B (zh) | 一种迁移虚拟机的方法及装置 | |
| EP3826233B1 (en) | Enhanced selection of cloud architecture profiles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |