CN112379966B - 一种云数据中心虚拟机实时整合方法及系统 - Google Patents

Abstract

本发明公开了一种云数据中心虚拟机实时整合方法及系统，方法包括下述步骤：实时监控云数据中心资源，并计算云数据中心资源利用率，当云数据中心资源利用率低于设定的第一阈值T₁时，启动虚拟机整合决策；所述的虚拟机整合决策，用于生成一个虚拟机从源服务器到目的服务器的映射表，所述映射表是通过一种均衡开启服务器数量以及迁移次数的启发式算法确定；通过所述的映射表将表中的虚拟机按设定规则迁移至目的服务器。本发明通过一种云数据中心虚拟机实时整合方法及系统，能够有效地减少虚拟机迁移次数同时尽量减少开启服务器，降低了云数据中心能耗。

Description

一种云数据中心虚拟机实时整合方法及系统

技术领域

本发明涉及云计算技术领域以及云数据中心虚拟机整合技术领域，特别涉及一种云数据中心虚拟机实时整合方法及系统。

背景技术

随着云计算技术的发展，云数据中心的规模也在不断的增长，同时云数据中心的能耗也随之增长。虚拟化技术的提出，可以多台虚拟机独立地、安全地放置在同一台服务器，进而提高服务器的利用率以及降低能耗。然而在云数据中心运行时，会存在虚拟机创建、关闭或者动态增长减少的情况，因此云数据中心往往会出现大量空闲资源碎片没被利用上，这导致云数据中心大量能量被浪费。因此如何实现一种有效的资源管理，提高资源利用率是目前云数据中心的一个重要研究热点。

而虚拟机整合技术被提出用于解决这个问题，虚拟机整合技术主要通过将一些开启服务器上的虚拟机迁移到其他开启的服务器上，然后将迁出虚拟机的服务器设置为睡眠模式或者关闭状态来减少能耗。通过虚拟机整合技术，可以有效管理云数据中心的碎片化资源，提高云数据中心的资源利用率，降低云数据中心的能耗，提升云运营商的经济效益。

尽管目前的虚拟机迁移技术大多采用了动态迁移的方法来减少迁移过程中对用户的影响，但是虚拟机迁移通常伴随着大量数据的复制传输以及网络带宽消耗，此外，动态迁移技术也会存在短时暂停或者挂起用户虚拟机，使得虚拟机无法正常运行。因此，在虚拟机整合过程必须考虑到虚拟机迁移次数，避免为了降低服务器开启的数量而大量迁移虚拟机的情况出现。

目前虚拟机整合技术往往采用启发式算法或者元启发式算法。元启发式算法主要包括蚁群算法(ACO)、遗传算法(GA)、粒子群优化算法(PSO)以及差分进化算法(DE)等，这些算法尽管可以在解空间中搜索更多更好的可行解，但是这些算法在大规模云数据中心的场景下，所需要的时间往往也会更加多，实时性能较差，无法满足云数据中心实时整合调度的需求。

而启发式算法往往能在较短的时间内获得一个较好的可行解，能满足云数据中心实时整合调度的需求。而常见的启发式算法，如random算法、FirstFit算法、BestFit算法、WorstFit算法、Best FitDecreasing算法和Worst FitDecreasing算法等算法往往只是考虑了某种资源利用率的提升，而没有考虑资源之间的均衡以及虚拟机迁移的次数。因此，Anton Beloglazov等人提出了一种修正过的Best FitDecreasing算法(MBFD)，通过对服务器能耗建模来选择放置虚拟机后云数据中心能耗增加最少的服务器，同时通过上下阈值来确定迁移的虚拟机来尽量减少虚拟机迁移的次数；Huining Yan等人提出了一种改进的WorstFit算法，该算法设计了一个表示虚拟机放置后剩余资源容量的适应度函数，通过该适应度函数，选择虚拟机放置后服务器剩余资源最大的服务器作为虚拟机的目的服务器。这些改进的算法都没有完全考虑资源利用率、资源均衡以及迁移次数，只是考虑了其中的一种或两种，不易获得减少服务器开启的数量以及虚拟机迁移次数之间的平衡。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提出了一种云数据中心虚拟机实时整合方法及系统，通过对云数据中心进行实时监控，采用了一种均衡开启服务器数量以及迁移次数的启发式算法来对云数据中心的虚拟机进行有效整合，在减少服务器开启的数量前提下尽量减少虚拟机迁移次数；该算法通过融合放置虚拟机后服务器的剩余可用资源平均利用率H¹、放置虚拟机后各资源的剩余利用率与服务器的剩余可用资源平均利用率的方差和H²、以及虚拟机是否存在迁移行为H³这三种启发因子，能有效地降低云数据中心能耗同时可以减少虚拟机迁移对用户的影响，从而提高云运营商的经济效益。

为了达到上述目的，本发明采用以下技术方案：

本发明提供了一种云数据中心虚拟机实时整合方法，包括下述步骤：

实时监控云数据中心资源，并计算云数据中心资源利用率，当云数据中心资源利用率低于设定的第一阈值T₁时，启动虚拟机整合决策；

所述的虚拟机整合决策，用于生成一个虚拟机从源服务器到目的服务器的映射表，所述映射表是通过一种均衡开启服务器数量以及迁移次数的启发式算法确定；

通过所述的映射表将表中的虚拟机按设定规则迁移至目的服务器。

优选的，所述云数据中心资源利用率是通过开启的服务器资源利用率求和取平均计算出来的，用如下公式表示：

其中，I是开启服务器数量，L是云服务器资源个数，R_i,l是服务器i资源l已被占用的大小，C_i,l是服务器i资源l的容量大小。

优选的，所述映射表是通过一种均衡开启服务器数量以及迁移次数的启发式算法确定，具体为：

S1.确定待迁移虚拟机个数，设定一个释放系数EF∈(0,1]用于确定释放虚拟机个数，虚拟机释放个数是通过释放系数EF乘以当前云数据中心虚拟机总数J向上取整得到的，计算公式如下：

S2.确定需要迁移的虚拟机，对于平均资源利用率小于设定的第一阈值T₁服务器i中所有虚拟机进行释放，移入待调度虚拟机队列waitList中，并标记该服务器i为关闭状态；当待调度虚拟机队列waitList中虚拟机个数小于N_releasedVm时，对当前尚未释放的虚拟机按照其平均占用资源大小进行升序排序，对排序后虚拟机依次释放移入待调度虚拟机队列waitList直至待调度虚拟机队列waitList中虚拟机个数等于设定待迁移虚拟机的个数N_releasedVm；

S3.依次弹出所述待调度虚拟机队列waitList中虚拟机j，遍历当前开启的服务器，通过一种融合三种启发因子的启发式算法计算虚拟机j放置在服务器i上的融合启发指标，从中选择融合启发指标值最小的服务器i作为目的服务器；如果当前开启的服务器都没有足够资源可以放置虚拟机j时，则遍历S2步骤中标记为关闭状态服务器i，通过一种融合三种启发因子的启发式算法计算虚拟机j放置在服务器i上的融合启发指标，从中选择融合启发指标值最小的服务器i作为目的服务器。

S4.将S3步骤得到的虚拟机j从源服务器到目的服务器的映射关系添加到映射表MappingTable，并不断重复S3和S4步骤直至待调度虚拟机队列waitList为空。

优选的，虚拟机平均占用资源，通过下述公式计算：

其中，L是虚拟机请求资源个数，是虚拟机j请求的资源l大小，/>是所有虚拟机中/>值最大的资源l大小。

优选的，虚拟机平均占用资源，所述三种启发因子是根据虚拟机j放置在主机i后资源变化情况来计算的；

三种启发因子分别为：放置虚拟机j后服务器i的剩余可用资源平均利用率放置虚拟机j后各资源的剩余利用率与剩余可用资源平均利用率的方差和/>以及虚拟机j是否存在迁移行为/>三种启发因子计算公式如下所示：

其中，R_i,l是服务器i资源l已被占用的大小，是虚拟机j请求的资源l大小，G是一个给定的常数。

优选的，融合启发指标是通过所述的三种启发因子线性组合而成的，可通过以下公式表示：

当服务器i没有足够资源可以放置虚拟机j时，设置对应融合启发指标H_i,j为系统最大整型值

通过判断增加虚拟机j资源后服务器i资源已被占用的大小是否小于等于服务器i资源容量大小来决定，可通过以下约束条件来判断是否存在足够资源：

l＝1,2,...L。

优选的，设定规则为每台服务器迁移虚拟机最多只能同时动态迁移M台虚拟机。

优选的，每台服务器根据映射表MappingTable创建迁出虚拟机表以及迁入虚拟机表，服务器在动态迁移虚拟机过程中对各自的迁出虚拟机表以及迁入虚拟机表进行维护；

按照每次迁出虚拟机和迁入虚拟机总数不超过M台的规则，确定需要迁出或迁入的虚拟机后，根据映射表MappingTable中对应虚拟机的映射关系，删除源服务器迁出虚拟机表和目的服务器中的迁入虚拟机表中对应的虚拟机；

完成某台虚拟机的迁移后需删除映射表MappingTable中对应的映射关系，虚拟机整合完成标志为映射表MappingTable为空。

本发明还提供了一种云数据中心虚拟机实时整合系统，包括实时监控模块、虚拟机整合决策模块以及虚拟机整合执行模块；

所述的实时监控模块，用于实时监控云数据中心资源，并计算云数据中心资源利用率，当云数据中心资源利用率低于设定的第一阈值T₁时，给虚拟机整合决策模块发送启动指令，启动虚拟机整合决策模块；

所述的虚拟机整合决策模块，用于生成一个虚拟机从源服务器到目的服务器的映射表，该映射表是通过一种均衡开启服务器数量以及迁移次数的启发式算法来确定。

所述的虚拟机整合执行模块通过所述的虚拟机整合决策模块生成的映射表将表中的虚拟机按设定规则迁移至目的服务器。

优选的，所述云数据中心资源包括服务器CPU、内存、网卡口、磁盘中的一种或多种。

本发明与现有技术相比，具有如下优点和有益效果：

(1)本发明通过设定的第一阈值T₁来启动虚拟机整合，可以较为动态地整合虚拟机，更加有效地管理云数据中心的资源。

(2)本发明提出的三种启发因子，放置虚拟机j后服务器i的剩余可用资源平均利用率放置虚拟机j后各资源的剩余利用率与剩余可用资源平均利用率的方差和/>以及虚拟机j是否存在迁移行为/>能够有效提高资源利用率，使得放置虚拟机后资源利用情况更加均衡，同时也能减少虚拟机的迁移次数。

(3)本发明的使用三种启发因子融合启发指标可以为虚拟机选择一个当前最优的放置目的服务器，最终使得调度结果能在迁移次数尽量少的情况下关闭更多的空闲服务器，获得一种开启服务器数量和虚拟机迁移次数之间的平衡。

(4)本发明的虚拟机调度执行模块通过限定虚拟机同时迁入迁出的数量，降低了虚拟机迁移对服务器性能的影响，保证了不迁移虚拟机的正常运行，降低对用户服务质量的影响。

附图说明

图1为本发明云数据中心虚拟机实时整合方法的流程图。

图2为本发明云数据中心虚拟机实时整合系统模块关系图。

图3为实时监控模块设计结构图。

图4为虚拟机整合实例中服务器的迁出虚拟机表以及迁入虚拟机表更新情况图。

图5为虚拟机整合实例中某次调度中服务器的迁出虚拟机表以及迁入虚拟机表更新过程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本实施例一种云数据中心虚拟机实时整合方法，包括下述步骤：

实时监控云数据中心资源，并计算云数据中心资源利用率，当云数据中心资源利用率低于设定的第一阈值T₁时，启动虚拟机整合决策；

所述的虚拟机整合决策，用于生成一个虚拟机从源服务器到目的服务器的映射表，所述映射表是通过一种均衡开启服务器数量以及迁移次数的启发式算法确定；

通过所述的映射表将表中的虚拟机按设定规则迁移至目的服务器。

下面，对本实施例的技术方案做进一步的说明：

如图3所示，每一个服务器中资源监控器收集自身的资源利用情况，并将相关信息通过网络传输到实时监控模块管理中心平台上，利用下列公式计算云数据中心资源利用率：

计算出计算云数据中心资源利用率后，与设定的第一阈值T₁比较，若计算云数据中心资源利用率大于第一阈值T₁，则继续监控服务器资源利用情况，否则传递执行整合虚拟机的命令给虚拟机整合决策模块，启动虚拟机整合程序。

虚拟机整合决策模块收到整合命令后，向管理中心平台请求云数据中当前服务器与虚拟机之间的映射关系以及服务器、虚拟机的配置信息。然后利用释放系数EF以及当前虚拟机总数J计算待迁移虚拟机个数N_releasedVm：

在确定好待迁移虚拟机个数N_releasedVm后，首先筛选出平均资源利用率小于设定的第一阈值T₁服务器i，释放这些服务器中所有的虚拟机，并移入待调度虚拟机队列waitList中，同时将这些释放的主机标记为关闭状态。判断释放的移虚拟机个数是否小于待迁移虚拟机个数N_releasedVm，如果释放的移虚拟机个数小于待迁移虚拟机个数N_releasedVm，则对当前尚未释放的虚拟机按照其平均占用资源大小进行升序排序，并依次释放移入待调度虚拟机队列waitList直至待调度虚拟机队列waitList中虚拟机个数大于等于设定待迁移虚拟机的个数N_releasedVm。

虚拟机整合决策模块获得待调度虚拟机队列waitList后，将利用三种启发因子组合启发的启发式算法计算得到待调度虚拟机队列waitList中虚拟机的目的服务器，获取虚拟机与目的服务器映射关系，并添加到映射表MappingTable上，具体步骤如下：

1)从待调度虚拟机队列waitList中弹出一个待调度虚拟机j，并初始化当前最小融合启发指标变量HI值为最大整型数，以及目的服务器Des为-1；

2)对于某一台的服务器i，通过下列式子计算放置待调度虚拟机j后的三种启发因子:

3)利用步骤2中得到的启发因子，通过以下式子计算得到融合启发指标H_i,j：

特别地，当主机i没有足够资源可以放置虚拟机j时，设置对应融合启发指标H_i,j为系统最大整型值。

4)比较当前最小融合启发指标变量HI和融合启发指标H_i,j之间大小，如果H_i,j＜HI，则更新当前最小融合启发指标变量HI＝H_i,j以及目的服务器Des＝i；

5)如果当前开启服务器尚未遍历完毕，则转到步骤2；如果遍历完当前开启主机尚未找到目的服务器Des，则从标记为关闭的主机中选取一个服务器作为目的服务器Des，并将删除其关闭状态的标记。

6)根据目的服务器Des生成待调度虚拟机j两者之间的映射关系，并将映射关系添加到映射表MappingTable中。如果待调度虚拟机队列waitList不为空，则转到步骤1，否则结束调度决策算法，并将映射表MappingTable传递给虚拟机整合执行模块。

进一步的，虚拟机整合执行模块收到映射表MappingTable后按照每台服务器每次迁出虚拟机和迁入虚拟机总数不超过M台的规则来整合虚拟机，其具体可以使用下列步骤来实现：

1)根据映射表MappingTable生成每一个台服务器的迁出虚拟机表以及迁入虚拟机表，并且使用集合I来表示云数据中心中服务器的集合；

2)初始化迁出虚拟机表以及迁入虚拟机表不为空的服务器可迁移虚拟机个数为M_t＝M,初始化一个调度队列Q为空。

3)对于某一台待调度的服务器i，从迁出虚拟机表以及迁入虚拟机表交错地选择一个调度虚拟机j，将其加入集合J；

4)对于集合J某个调度虚拟机j，确定其迁入目的服务器或者迁出源服务器的M_t是否为0，如果M_t不等于0，则将该调度虚拟机移入调度队列Q，同时将迁入目的服务器或者迁出源服务器、以及当前服务器i中M_t的数量减一，并更新迁入目的服务器或者迁出源服务器、以及当前服务器i中的迁出虚拟机表以及迁入虚拟机表；否则，不做任何操作；

5)选取集合J中下一个虚拟机j重复步骤4直至完全遍历过或者当前服务器i中M_t数量为0时执行步骤6；

6)选取集合I中下一个服务器i重复步骤3直至完全遍历集合I一遍。

7)根据映射表MappingTable，将调度队列Q中虚拟机进行迁移直至调度队列Q为空，同时，删除映射表MappingTable中对应的映射关系；

8)如果映射表MappingTable不为空，转到步骤2；否则，结束虚拟机整合程序。

为了更好说明这个整合过程，假定设定服务器可迁移虚拟机个数为M＝2，每一个服务器中存在迁出虚拟机表以及迁入虚拟机表，左边为迁出虚拟机表，右边为迁入虚拟机表。图4展示了服务器的迁出虚拟机表以及迁入虚拟机表更新情况。图5展示了第一轮调度中服务器的迁出虚拟机表以及迁入虚拟机表更新过程，首先在服务器1中选择虚拟机e和a作为的迁移虚拟机，而对应服务器2和3的可迁移虚拟机个数M和迁出虚拟机表以及迁入虚拟机表进行更新，然后在服务器2中选择虚拟机b作为迁移虚拟机，对应更新服务器3的可迁移虚拟机个数M和迁出虚拟机表以及迁入虚拟机表，至此所有服务器可迁移虚拟机个数M为0，完成该轮调度虚拟机(e,a,b)的选择，并对调度虚拟机进行调度迁移。同理，在第二轮选择的调度虚拟机为(f,d)；第三轮为虚拟机(c)。经历三轮调度迁移后，虚拟机整合执行模块完成对映射表MappingTable的迁移。

如图2所示，本实施例一种云数据中心虚拟机实时整合系统，在运行过程中，其主要通过图2中实时监控模块、虚拟机整合决策模块以及虚拟机整合执行模块的组合来实现实时整合虚拟机；

所述的实时监控模块，用于实时监控云数据中心资源，并计算云数据中心资源利用率，当云数据中心资源利用率低于设定的第一阈值T₁时，给虚拟机整合决策模块发送启动指令，启动虚拟机整合决策模块；

所述的虚拟机整合决策模块，用于生成一个虚拟机从源服务器到目的服务器的映射表，该映射表是通过一种均衡开启服务器数量以及迁移次数的启发式算法来确定。

所述的虚拟机整合执行模块通过所述的虚拟机整合决策模块生成的映射表将表中的虚拟机按设定规则迁移至目的服务器。

在本实施例中，所述云数据中心资源包括服务器CPU、内存、网卡口、磁盘中的一种或多种。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种云数据中心虚拟机实时整合方法，其特征在于，包括下述步骤：

实时监控云数据中心资源，并计算云数据中心资源利用率，当云数据中心资源利用率低于设定的第一阈值T₁时，启动虚拟机整合决策；

所述的虚拟机整合决策，用于生成一个虚拟机从源服务器到目的服务器的映射表，所述映射表是通过一种均衡开启服务器数量以及迁移次数的启发式算法确定，具体为：

S1.确定待迁移虚拟机个数，设定一个释放系数EF∈(0,1]用于确定释放虚拟机个数，虚拟机释放个数是通过释放系数EF乘以当前云数据中心虚拟机总数J向上取整得到的，计算公式如下：

S2.确定需要迁移的虚拟机，对于平均资源利用率小于设定的第一阈值T₁服务器i中所有虚拟机进行释放，移入待调度虚拟机队列waitList中，并标记该服务器i为关闭状态；当待调度虚拟机队列waitList中虚拟机个数小于N_releasedVm时，对当前尚未释放的虚拟机按照其平均占用资源大小进行升序排序，对排序后虚拟机依次释放移入待调度虚拟机队列waitList直至待调度虚拟机队列waitList中虚拟机个数等于设定待迁移虚拟机的个数N_releasedVm；

S3.依次弹出所述待调度虚拟机队列waitList中虚拟机j，遍历当前开启的服务器，通过一种融合三种启发因子的启发式算法计算虚拟机j放置在服务器i上的融合启发指标，从中选择融合启发指标值最小的服务器i作为目的服务器；如果当前开启的服务器都没有足够资源可以放置虚拟机j时，则遍历S2步骤中标记为关闭状态服务器i，通过一种融合三种启发因子的启发式算法计算虚拟机j放置在服务器i上的融合启发指标，从中选择融合启发指标值最小的服务器i作为目的服务器；

S4.将S3步骤得到的虚拟机j从源服务器到目的服务器的映射关系添加到映射表MappingTable，并不断重复S3和S4步骤直至待调度虚拟机队列waitList为空；

通过所述的映射表将表中的虚拟机按设定规则迁移至目的服务器。

2.根据权利要求1所述云数据中心虚拟机实时整合方法，其特征在于，所述云数据中心资源利用率是通过开启的服务器资源利用率求和取平均计算出来的，用如下公式表示：

其中，U_datacenter表示云数据中心的资源利用率，表示开启的服务器资源利用率，I是开启服务器数量，L是云服务器资源个数，R_i,l是服务器i资源l已被占用的大小，C_i,l是服务器i资源l的容量大小。

3.根据权利要求1所述云数据中心虚拟机实时整合方法，其特征在于，虚拟机平均占用资源，通过下述公式计算：

其中，L是云服务器资源个数，是虚拟机j请求的资源l大小，/>是所有虚拟机中/>值最大的资源l大小。

4.根据权利要求1所述云数据中心虚拟机实时整合方法，其特征在于，虚拟机平均占用资源，所述三种启发因子是根据虚拟机j放置在主机i后资源变化情况来计算的；

三种启发因子分别为：放置虚拟机j后服务器i的剩余可用资源平均利用率放置虚拟机j后各资源的剩余利用率与剩余可用资源平均利用率的方差和/>以及虚拟机j是否存在迁移行为/>三种启发因子计算公式如下所示：

其中，R_i,l是服务器i资源l已被占用的大小，是虚拟机j请求的资源l大小，C_i,l是服务器i资源l的容量大小，G是一个给定的常数，L是云服务器资源个数。

5.根据权利要求4所述云数据中心虚拟机实时整合方法，其特征在于，融合启发指标是通过所述的三种启发因子线性组合而成的，通过以下公式表示：

当服务器i没有足够资源可以放置虚拟机j时，设置对应融合启发指标H_i,j为系统最大整型值通过判断增加虚拟机j资源后服务器i资源已被占用的大小是否小于等于服务器i资源容量大小来决定，通过以下约束条件来判断是否存在足够资源：

l＝1,2,...L。

6.根据权利要求4所述云数据中心虚拟机实时整合方法，其特征在于，设定规则为每台服务器迁移虚拟机最多只能同时动态迁移M台虚拟机。

7.根据权利要求1所述云数据中心虚拟机实时整合方法，其特征在于，每台服务器根据映射表MappingTable创建迁出虚拟机表以及迁入虚拟机表，服务器在动态迁移虚拟机过程中对各自的迁出虚拟机表以及迁入虚拟机表进行维护；

按照每次迁出虚拟机和迁入虚拟机总数不超过M台的规则，确定需要迁出或迁入的虚拟机后，根据映射表MappingTable中对应虚拟机的映射关系，删除源服务器迁出虚拟机表和目的服务器中的迁入虚拟机表中对应的虚拟机；

完成某台虚拟机的迁移后删除映射表MappingTable中对应的映射关系，虚拟机整合完成标志为映射表MappingTable为空。

8.一种云数据中心虚拟机实时整合系统，其特征在于，包括实时监控模块、虚拟机整合决策模块以及虚拟机整合执行模块；

所述的实时监控模块，用于实时监控云数据中心资源，并计算云数据中心资源利用率，当云数据中心资源利用率低于设定的第一阈值T₁时，给虚拟机整合决策模块发送启动指令，启动虚拟机整合决策模块；

所述的虚拟机整合决策模块，用于生成一个虚拟机从源服务器到目的服务器的映射表，该映射表是通过一种均衡开启服务器数量以及迁移次数的启发式算法来确定，，具体为：

S1.确定待迁移虚拟机个数，设定一个释放系数EF∈(0,1]用于确定释放虚拟机个数，虚拟机释放个数是通过释放系数EF乘以当前云数据中心虚拟机总数J向上取整得到的，计算公式如下：

S2.确定需要迁移的虚拟机，对于平均资源利用率小于设定的第一阈值T₁服务器i中所有虚拟机进行释放，移入待调度虚拟机队列waitList中，并标记该服务器i为关闭状态；当待调度虚拟机队列waitList中虚拟机个数小于N_releasedVm时，对当前尚未释放的虚拟机按照其平均占用资源大小进行升序排序，对排序后虚拟机依次释放移入待调度虚拟机队列waitList直至待调度虚拟机队列waitList中虚拟机个数等于设定待迁移虚拟机的个数N_releasedVm；

S3.依次弹出所述待调度虚拟机队列waitList中虚拟机j，遍历当前开启的服务器，通过一种融合三种启发因子的启发式算法计算虚拟机j放置在服务器i上的融合启发指标，从中选择融合启发指标值最小的服务器i作为目的服务器；如果当前开启的服务器都没有足够资源可以放置虚拟机j时，则遍历S2步骤中标记为关闭状态服务器i，通过一种融合三种启发因子的启发式算法计算虚拟机j放置在服务器i上的融合启发指标，从中选择融合启发指标值最小的服务器i作为目的服务器；

S4.将S3步骤得到的虚拟机j从源服务器到目的服务器的映射关系添加到映射表MappingTable，并不断重复S3和S4步骤直至待调度虚拟机队列waitList为空；

所述的虚拟机整合执行模块通过所述的虚拟机整合决策模块生成的映射表将表中的虚拟机按设定规则迁移至目的服务器。

9.根据权利要求8所述的云数据中心虚拟机实时整合系统，其特征在于，所述云数据中心资源包括服务器CPU、内存、网卡口、磁盘中的一种或多种。