CN102866915A - 虚拟化集群整合方法、装置及虚拟化集群系统 - Google Patents

虚拟化集群整合方法、装置及虚拟化集群系统 Download PDF

Info

Publication number
CN102866915A
CN102866915A CN2012102988736A CN201210298873A CN102866915A CN 102866915 A CN102866915 A CN 102866915A CN 2012102988736 A CN2012102988736 A CN 2012102988736A CN 201210298873 A CN201210298873 A CN 201210298873A CN 102866915 A CN102866915 A CN 102866915A
Authority
CN
China
Prior art keywords
migration
physical machine
integrated
virtual machine
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012102988736A
Other languages
English (en)
Other versions
CN102866915B (zh
Inventor
赵雁斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Haohan Information Technology Co ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201210298873.6A priority Critical patent/CN102866915B/zh
Publication of CN102866915A publication Critical patent/CN102866915A/zh
Priority to PCT/CN2013/074704 priority patent/WO2014029219A1/zh
Priority to EP13782928.9A priority patent/EP2717158A4/en
Priority to US14/081,176 priority patent/US20140082202A1/en
Application granted granted Critical
Publication of CN102866915B publication Critical patent/CN102866915B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种虚拟化集群整合方法、装置及虚拟化集群系统，属于计算机技术领域。所述方法包括：根据集群负载选择待整合物理机；确定迁移所述待整合物理机上的每个虚拟机所用的迁移时间及中断时间；根据所述迁移时间及中断时间确定迁移所述待整合物理机上的每个虚拟机的迁移代价；按照所述迁移代价选择待迁移虚拟机；根据集群负载选择目标物理机；将选择出的待迁移虚拟机迁移至选择出的目标物理机上。本发明通过确定迁移虚拟机所用的迁移时间及中断时间，根据迁移时间及中断时间确定迁移虚拟机的迁移代价，以根据迁移代价实现对虚拟化集群整合进行优化，可在保证虚拟化集群整合性能的前提下，提升虚拟化集群服务级别，进而提升用户体验。

Description

虚拟化集群整合方法、装置及虚拟化集群系统
技术领域
本发明涉及计算机技术领域，特别涉及一种虚拟化集群整合方法、装置及虚拟化集群系统。
背景技术
随着计算机技术的飞速发展，越来越多的公司和研究机构开始关注计算机的能耗和资源利用率，而云计算则是其中关键的计算模式。服务器虚拟化技术作为云计算中基于基础设施层的关键技术，通过对物理机进行虚拟化，实现在单台物理机上部署多台虚拟机，形成虚拟化集群，以此来提高物理机的资源利用率。为了更加有效地利用能源，虚拟化集群还加入了集群整合这一特性。
现有技术采取的虚拟化集群整合方式是：当整个集群的负载低于阈值一段时间后，根据资源分布情况，首先确定最小物理机数目，然后根据当前集群物理机的虚拟机分布情况，给出虚拟机迁移指令和物理机下电指令；根据迁移指令，选择将负载比较低的物理机上的虚拟机进行迁移，并在执行完毕所有的虚拟机迁移指令后，再执行物理机下电指令。
在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
现有技术中的虚拟化集群整合方式在选择下电的物理机时，通常都是尽量选择负载比较低的物理机，这样可能会在迁移虚拟机时对集群整体服务级别造成影响；另外，迁移的虚拟机数量通常会比较大，由于迁移虚拟机时，需要占用网络传输等操作，不仅会对集群整体服务级别造成一定影响，还将降低用户体验。
发明内容
有鉴于此，本发明实施例提供了一种虚拟化集群整合方法、装置及虚拟化集群系统，以解决集群整合时影响集群的服务级别，降低用户体验的问题。所述技术方案如下：
一方面，提供了一种虚拟化集群整合方法，所述方法包括：
根据集群负载选择待整合物理机；
确定迁移所述待整合物理机上的每个虚拟机所用的迁移时间及中断时间；
根据所述迁移时间及中断时间确定迁移所述待整合物理机上的每个虚拟机的迁移代价；
按照所述迁移代价选择待迁移虚拟机；
根据集群负载选择目标物理机；
将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机上。
可选地，所述确定迁移所述待整合物理机上的每个虚拟机所用的迁移时间，具体包括：
确定所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度；
根据所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定迁移所述待整合物理机上的每个虚拟机所用的迁移时间。
可选地，所述确定所述待整合物理机上的每个虚拟机迁移时的平均内存改变率，具体包括：
将所述待整合物理机上的每个虚拟机按照特性划分为不同类型，并估算同一类型虚拟机迁移时的内存改变率；
记录所述待整合物理机上的每个虚拟机上一次迁移时的内存改变率；
根据所述待整合物理机上的每个虚拟机的类型、估算出的内存改变率及上一次迁移时的内存改变率确定所述待整合物理机上的每个虚拟机迁移时的平均内存改变率。
可选地，所述确定迁移所述待整合物理机上的每个虚拟机所用的中断时间，具体包括：
确定所述待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间，以及在目标物理机上的恢复时间；
根据所述传输时间及恢复时间确定迁移所述待整合物理机上的每个虚拟机所用的中断时间。
可选地，所述确定所述待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间，具体包括：
确定所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度；
根据所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定所述待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间。
可选地，所述按照所述迁移代价选择待迁移虚拟机，具体包括：
在所述待整合物理机上的虚拟机中选择迁移代价达到第一阈值的虚拟机作为待迁移虚拟机。
可选地，所述将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机上之前，还包括：
判断将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机之后的集群负载是否均衡；
如果是，则执行将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机上的步骤；
如果否，则重新执行所述根据集群负载选择待整合物理机，确定迁移所述待整合物理机上的每个虚拟机所用的迁移时间及中断时间，根据所述迁移时间及中断时间确定迁移所述待整合物理机上的每个虚拟机的迁移代价，按照所述迁移代价选择待迁移虚拟机以及根据集群负载选择目标物理机的步骤。
可选地，所述按照所述迁移代价选择待迁移虚拟机，具体包括：
根据所述待整合物理机上的所有虚拟机的所述迁移代价确定所述待整合物理机的下电代价；
在所述待整合物理机中选择下电代价达到第二阈值的待整合物理机，并将所述下电代价达到所述第二阈值的待整合物理机上的所有虚拟机确定为待迁移虚拟机。
可选地，所述将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机上之后，还包括：
控制所述下电代价达到所述第二阈值的待整合物理机进行下电。
另一方面，还提供了一种虚拟化集群整合装置，所述装置包括：
第一选择模块，用于根据集群负载选择待整合物理机；
第一确定模块，用于确定迁移所述第一选择模块选择出的待整合物理机上的每个虚拟机所用的迁移时间；
第二确定模块，用于确定迁移所述第一选择模块选择出的待整合物理机上的每个虚拟机所用的中断时间；
第三确定模块，用于根据所述第一确定模块确定的迁移时间及所述第二确定模块确定的中断时间确定迁移所述待整合物理机上的每个虚拟机的迁移代价；
第二选择模块，用于按照所述第三确定模块确定的迁移代价选择待迁移虚拟机；
第三选择模块，用于根据集群负载选择目标物理机；
迁移模块，用于将所述第二选择模块选择出的所述待迁移虚拟机迁移至所述第三选择模块选择出的所述目标物理机上。
可选地，所述第一确定模块，具体用于确定所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度；根据所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定迁移所述待整合物理机上的每个虚拟机所用的迁移时间。
可选地，所述第一确定模块，具体用于将所述待整合物理机上的每个虚拟机按照特性划分为不同类型，并估算同一类型虚拟机迁移时的内存改变率；记录所述待整合物理机上的每个虚拟机上一次迁移时的内存改变率；根据所述待整合物理机上的每个虚拟机的类型、估算出的内存改变率及上一次迁移时的内存改变率确定所述待整合物理机上的每个虚拟机迁移时的平均内存改变率。
可选地，所述第二确定模块，具体用于确定所述待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间，以及在目标物理机上的恢复时间；根据所述传输时间及恢复时间确定迁移所述待整合物理机上的每个虚拟机所用的中断时间。
可选地，所述第二确定模块，具体用于确定所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度；根据所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定所述待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间。
可选地，所述第二选择模块，具体用于在所述待整合物理机上的虚拟机中选择迁移代价达到第一阈值的虚拟机作为待迁移虚拟机。
可选地，所述装置，还包括：
判断模块，用于判断将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机之后的集群负载是否均衡；
所述迁移模块，用于在所述判断模块判断出将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机之后的集群负载均衡时，执行将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机上的步骤；
在所述判断模块判断出将选择出的待迁移虚拟机迁移至选择出的目标物理机之后的集群负载不均衡时，所述第一选择模块、第一确定模块、第二确定模块、第三确定模块、第二选择模块和第三选择模块重新执行各自执行的步骤。
可选地，所述第二选择模块，具体用于根据所述待整合物理机上的所有虚拟机的所述迁移代价确定所述待整合物理机的下电代价；在所述待整合物理机中选择下电代价达到第二阈值的待整合物理机，并将所述下电代价达到所述第二阈值的待整合物理机上的所有虚拟机确定为待迁移虚拟机。
可选地，所述装置，还包括：
控制模块，用于控制所述下电代价达到第二阈值的待整合物理机进行下电。
再一方面，还提供了一种虚拟化集群系统，所述系统包括多台具有通信连接的物理机，所述每个物理机上部署有至少一个虚拟机，所述多台物理机中的一台物理机上部署有虚拟化集群整合装置；
其中，所述虚拟化集群整合装置如上述虚拟化集群整合装置。
本发明实施例提供的技术方案带来的有益效果是：
通过确定迁移虚拟机所用的迁移时间及中断时间，根据迁移时间及中断时间确定迁移虚拟机的迁移代价，以根据迁移代价实现对虚拟化集群整合进行优化，可在保证虚拟化集群整合性能的前提下，提升虚拟化集群服务级别，进而提升用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种虚拟化集群整合方法流程图；
图2是本发明实施例二提供的一种虚拟化集群整合方法流程图；
图3是本发明实施例三提供的一种虚拟化集群整合方法流程图；
图4是本发明实施例四提供的一种虚拟化集群整合装置的结构示意图；
图5是本发明实施例四提供的另一种虚拟化集群整合装置的结构示意图；
图6是本发明实施例四提供的又一种虚拟化集群整合装置的结构示意图；
图7为本发明实施例五提供的一种虚拟化集群系统的物理部署示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一
本实施例提供了一种虚拟化集群整合方法，参见图1，本实施例提供的方法流程具体如下：
101：根据集群负载选择待整合物理机；
102：确定迁移待整合物理机上的每个虚拟机所用的迁移时间及中断时间；
其中，确定迁移待整合物理机上的每个虚拟机所用的迁移时间，包括但不限于：
确定待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度；
根据待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定迁移待整合物理机上的每个虚拟机所用的迁移时间。
进一步地，确定待整合物理机上的每个虚拟机迁移时的平均内存改变率，包括但不限于：
将待整合物理机上的每个虚拟机按照特性划分为不同类型，并估算同一类型虚拟机迁移时的内存改变率；
记录待整合物理机上的每个虚拟机上一次迁移时的内存改变率；
根据待整合物理机上的每个虚拟机的类型、估算出的内存改变率及上一次迁移时的内存改变率确定待整合物理机上的每个虚拟机迁移时的平均内存改变率。
其中，确定迁移待整合物理机上的每个虚拟机所用的中断时间，包括但不限于：
确定待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间，以及在目标物理机上的恢复时间；
根据传输时间及恢复时间确定迁移待整合物理机上的每个虚拟机所用的中断时间。
进一步地，确定待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间，包括但不限于：
确定待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度；
根据待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间。
103：根据迁移时间及中断时间确定迁移待整合物理机上的每个虚拟机的迁移代价；
104：按照迁移代价选择待迁移虚拟机；
其中，按照迁移代价选择待迁移虚拟机，包括但不限于：
在待整合物理机上的虚拟机中选择迁移代价达到第一阈值的虚拟机作为待迁移虚拟机。
可选地，按照迁移代价选择待迁移虚拟机，包括但不限于：
根据待整合物理机上的所有虚拟机的迁移代价确定待整合物理机的下电代价；
在待整合物理机中选择下电代价达到第二阈值的待整合物理机，并将下电代价达到第二阈值的待整合物理机上的所有虚拟机确定为待迁移虚拟机。
105：根据集群负载选择目标物理机；
106：将选择出的待迁移虚拟机迁移至选择出的目标物理机上。
进一步地，将选择出的待迁移虚拟机迁移至选择出的目标物理机上之前，还包括：
判断将选择出的待迁移虚拟机迁移至选择出的目标物理机之后的集群负载是否均衡；
如果是，则执行将选择出的待迁移虚拟机迁移至选择出的目标物理机上的步骤；
如果否，则重新执行根据集群负载选择待整合物理机，确定迁移待整合物理机上的每个虚拟机所用的迁移时间及中断时间，根据迁移时间及中断时间确定迁移待整合物理机上的每个虚拟机的迁移代价，按照迁移代价选择待迁移虚拟机以及根据集群负载选择目标物理机的步骤。
进一步地，将选择出的待迁移虚拟机迁移至选择出的目标物理机上之后，还包括：
控制下电代价达到第二阈值的待整合物理机进行下电。
本实施例提供的方法，通过确定迁移虚拟机所用的迁移时间及中断时间，根据迁移时间及中断时间确定迁移虚拟机的迁移代价，以根据迁移代价实现对虚拟化集群整合进行优化，可在保证虚拟化集群整合性能的前提下，提升集群服务级别，进而提升用户体验。
为了更加清楚地阐述上述实施例提供的虚拟化集群整合方法，结合上述实施例的内容，以如下实施例二和实施例三为例，对虚拟化集群整合方法进行举例说明，详见如下实施例二和实施例三：
实施例二
本实施例提供了一种虚拟化集群整合方法，该方法结合上述实施例一的内容，针对虚拟化集群资源需求减少的情况，以在虚拟化集群整合过程中将工作的虚拟机整合到少数几台物理机之后，控制负载为空的物理机进行下电为例，对虚拟化集群整合方法进行举例说明。参见图2，本实施例提供的方法流程具体如下：
201：根据集群负载选择待整合物理机；
针对该步骤，由于后续控制下电的物理机将从该步骤选择的待整合物理机中进行选择，因而该步骤在根据集群负载选择待整合物理机时，可将集群中的所有物理机均作为待整合物理机，待后续步骤确定每个物理机的迁移代价后，再按照迁移代价选择将哪些物理机进行下电。
除此之外，为了节省因需要确定每个物理机的迁移代价而使用的时间，该步骤在根据集群负载选择待整合物理机时，还可根据集群负载从集群中选择预设个数的物理机作为待整合物理机。关于选择出的待整合物理机的预设个数，本实施例不作具体限定。具体实施时，可先根据当前集群的总体负载，使用装箱算法判断容纳当前所有虚拟机的物理机数目，根据当前物理机数目，给出需要下电的物理机数目N（N为大于0的整数），并从集群中选出大于N的预设个数的物理机作为待整合物理机。需要说明的是，为了保证整合后的集群中的虚拟机能够高效地运行，该步骤在判断容纳当前所有虚拟机的物理机数目时，可为每台物理机预留一定的资源。
202：确定迁移待整合物理机上的每个虚拟机所用的迁移时间；
针对该步骤，由于虚拟机迁移时会对虚拟机的性能和网络都造成额外的开销，所以迁移虚拟机所用的时间越小，其迁移代价也越小。该步骤在确定迁移待整合物理机上的每个虚拟机所用的迁移时间时，可先确定待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度，之后再根据待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定迁移待整合物理机上的每个虚拟机所用的迁移时间。由于不同迁移方式所用的迁移时间也会有所不同，针对第一次将虚拟机的所有内存先拷贝至目标物理机，之后再经过多次迭代将虚拟机修改的内存拷贝至物理机的迁移方式，以虚拟机迁移前的内存为M，其迁移时的平均内存改变率为D，迁移时的网络传输速度为R为例，则迁移待整合物理机上的每个虚拟机所用的迁移时间T可通过如下公式得到：
T = Σ i = 0 n T i = M R - D * ( 1 - ( D R ) n + 1 ) T i = M / R i = 0 ( D * T i - 1 ) / R i > 0
其中，n为迭代次数，从上面的公式可以看出，迁移时间主要包括两个部分：当i=0时，为第一次传输虚拟机的所有内存的时间T0；当i>0时，为后续多次迭代将虚拟机修改的内存拷贝至物理机的时间Ti。虚拟机迁移前的内存M和迁移时的网络传输速度R都可以通过资源收集得到。对于虚拟机迁移时的平均内存改变率D的获取方式，本实施例采取了一种基于学习的估算方法来估算虚拟机在迁移时的平均内存改变率D，包括但不限于如下步骤：
步骤a：将待整合物理机上的每个虚拟机按照特性划分为不同类型，并估算同一类型虚拟机迁移时的内存改变率；
步骤b：记录待整合物理机上的每个虚拟机上一次迁移时的内存改变率；
步骤c：根据待整合物理机上的每个虚拟机的类型、估算出的内存改变率及上一次迁移时的内存改变率确定待整合物理机上的每个虚拟机的平均内存改变率。
具体实施时，对于上述步骤a，其中的特性包括但不限于虚拟机运行业务时的CPU（Central Processing Unit，中央处理单元）使用率、内存使用率或IO（Input Output，输入输出）使用率。将待整合物理机上的每个虚拟机按照特性划分为不同类型时，可先对待整合物理机上的每个虚拟机进行CPU使用率的采样、内存使用率的采样或IO使用率的采样，并根据采样结果将待整合物理机上的每个虚拟机划分为不同类型，该类型包括但不限于CPU密集型虚拟机，内存密集型虚拟机或IO密集型虚拟机。且由于在面向数据中心的集群中，其虚拟机大部分都是运行特定的业务的，所以同一类型的虚拟机的业务逻辑也是相似的，因而可以对同一类虚拟机迁移时的信息进行估算，以估算得到同一类型虚拟机迁移时的内存改变率Dh。对于上述步骤b，在集群管理每次迁移虚拟机的时候，可记录下虚拟机上一次迁移时的内存改变率Di。上述步骤c在根据待整合物理机上的每个虚拟机的类型、估算出的内存改变率及上一次迁移时的内存改变率确定待整合物理机上的每个虚拟机的平均内存改变率D时，具体可通过如下公式得到：
D=λDh+(1-λ)Di
其中，Dh是该类虚拟机当前估算的内存改变率，Di是该类虚拟机上一次迁移时的内存改变率，λ是权重系数，不同的虚拟机类型其值各不相同，具体值将根据具体虚拟机的业务进行设置，本实施例对此不作具体限定。
除按照上述方式确定迁移待整合物理机上的每个虚拟机所用的迁移时间外，还可以选择其他确定方式，本实施例对此不做具体限定。
203：确定迁移待整合物理机上的每个虚拟机所用的中断时间；
具体地，由于虚拟机迁移时进行的最后一次迭代，会中断虚拟机，然后将所有的剩余内存一次性的传输到目标物理机上。在这段时间里，虚拟机是无法提供相应服务的，因而会影响到集群的服务级别，所以虚拟机迁移时的中断时间也要越小越好。对此，该步骤在确定迁移待整合物理机上的每个虚拟机所用的中断时间时，采取了包括但不限于如下方式：
确定待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间，以及在目标物理机上的恢复时间；
根据传输时间及恢复时间确定迁移待整合物理机上的每个虚拟机所用的中断时间。
具体实施时，根据传输时间及恢复时间确定迁移待整合物理机上的每个虚拟机所用的中断时间t可通过如下公式计算得到：
t=Tn+Tr
其中，n为迭代次数，Tn为最后一次迭代的传输时间，Tr是在目标物理机上恢复虚拟机的时间，该Tr通常是一个常量。确定待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间Tn时，包括但不限于如下方式：
确定待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度；
根据待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间。
上述确定待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度的方式可参见上述步骤202的确定过程，本实施例可直接使用上述步骤202得到的结果。根据待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间时，包括但不限于采用如下公式实现：
T n = M * D n R n + 1
根据上述计算每个虚拟机上一次迁移时最后一次迭代的传输时间表达方式，则虚拟机迁移的中断时间t为：
Figure BDA00002040179100102
由上面的分析可以看出，不论是迁移虚拟机所用的迁移时间，还是迁移虚拟机时的中断时间，都主要由虚拟机迁移前的内存M，迁移时的平均内存改变率D和迁移时的网络传输速率R决定。
204：根据迁移待整合物理机上的每个虚拟机所用的迁移时间及中断时间确定迁移待整合物理机上的每个虚拟机的迁移代价；
针对该步骤，在上述步骤202确定迁移待整合物理机上的每个虚拟机所用的迁移时间，上述步骤203确定迁移待整合物理机上的每个虚拟机所用的中断时间后，该步骤在确定迁移待整合物理机上的每个虚拟机的迁移代价时，主要考虑以虚拟机迁移时所用的迁移时间和中断时间作为迁移代价，且采用分配权重的方式最终量化迁移代价，包括但不限于通过如下公式确定迁移待整合物理机上的每个虚拟机的迁移代价c：
c=aT+bt
其中，a和b分别是虚拟机迁移时所用的迁移时间和中断时间的权重，可以根据具体集群的业务特性来分配。例如，如果对性能要求比较高的集群，如高性能计算集群，其a的值就会比较大，来保证集群性能；如果是实时要求比较高的集群，其b的值就会比较大，以保证集群的实时性要求。除此之外，还可以选择其他确定方式，本实施例不对a和b的具体值进行限定。
205：根据待整合物理机上的所有虚拟机的迁移代价确定待整合物理机的下电代价，并在待整合物理机中选择下电代价达到第二阈值的待整合物理机；
具体地，本实施例不对第二阈值的具体大小进行限定，具体实施时，可依据实际情况进行设定。按照上述步骤202至步骤204的方式确定得到待整合物理机上的每个虚拟机的迁移代价后，该步骤根据待整合物理机上的所有虚拟机的迁移代价确定待整合物理机的下电代价时，可将待整合物理机上的所有虚拟机的迁移代价总和作为该待整合物理机的下电代价，并在得到所有待整合物理机的下电代价之后，由于上述步骤201中根据当前集群的总体负载，使用装箱算法判断容纳当前所有虚拟机的物理机数目，根据当前物理机数目，给出需要下电的物理机数目N，因而可选择下电代价小的N台物理机作为下电代价达到第二阈值的待整合物理机。
206：将下电代价达到第二阈值的待整合物理机上的所有虚拟机确定为待迁移虚拟机，并根据集群负载选择目标物理机；
针对该步骤，上述步骤205选出下电代价下的N台物理机作为下电代价达到第二阈值的待整合物理机后，该步骤可直接将下电代价达到第二阈值的待整合物理机上的所有虚拟机确定为待迁移虚拟机，以通过后续步骤对待迁移虚拟机进行迁移操作。在根据集群负载选择目标物理机时，仍然可以采用装箱算法，依据集群负载选择负载相对较小的物理机作为目标物理机。或是采用其他选择方式，本实施例对此不作具体限定。
207：将选择出的待迁移虚拟机迁移至选择出的目标物理机上，并控制下电代价达到第二阈值的待整合物理机进行下电。
具体地，将选择出的待迁移虚拟机迁移至选择出的目标物理机上时，可采用通过多次迭代的方式将待迁移的虚拟机内存拷贝到目标物理机上，且为了保证虚拟机迁移时能继续提供服务，第一次迭代会将虚拟机的所有内存先拷贝过去，同时，为了能得到虚拟机修改的内存，会将虚拟机所有内存设置为只读状态；第二次迭代再将第一次迭代时虚拟机修改的内存拷贝过去，如此往复，直至上一次迭代时虚拟机修改的内存低于第二阈值，才中断该虚拟机的运行，将所有修改过的内存拷贝到目标物理机上，最终完成迁移；并在执行完毕所有的虚拟机迁移后，再控制下电代价达到第二阈值的待整合物理机进行下电，以削减用电成本和散热成本，节省资源。
进一步地，为了防止集群整合后，某些物理机出现热点，本实施例提供的方法在将选择出的待迁移虚拟机迁移至选择出的目标物理机上，并控制下电代价达到第二阈值的待整合物理机进行下电后，还包括模拟集群整合之后的集群状态，如果发现待整合物理机出现热点，则额外将该待整合物理机上的虚拟机迁移到其他负载较低的目标物理机上，以保证整合后的服务级别。此外，在资源处于高利用率的情况下，随着负载资源需求的增加，本实施例提供的方法还支持将以下电的物理机重新上电的过程，以确保符合服务级别。
本实施例提供的方法，通过确定迁移虚拟机所用的迁移时间及中断时间，根据迁移时间及中断时间确定迁移虚拟机的迁移代价，以根据迁移代价实现对虚拟化集群整合进行优化，可在保证虚拟化集群整合性能的前提下，提升虚拟化集群服务级别，进而提升用户体验。
实施例三
本实施例提供了一种虚拟化集群整合方法，结合上述实施例一的内容，本实施例以在虚拟化集群整合过程中实现负载均衡为例，对虚拟化集群整合方法进行举例说明。参见图3，本实施例提供的方法流程具体如下：
301：根据集群负载选择待整合物理机；
具体地，为了实现负载均衡，该步骤在根据集群负载选择待整合物理机时，可从集群中选择负载偏差较大的物理机作为待整合物理机，例如，从集群中选择负载比较大的N台物理机作为待整合物理机，以通过后续步骤将其上的虚拟机迁移至其他负载较小的物理机上，以均衡各个物理机的负载。选择出的待整合物理机的数量N，可依据实际情况设定，本实施例对此不作具体限定。
302：确定迁移待整合物理机上的每个虚拟机所用的迁移时间；
该步骤的具体实现方式同上述实施例二中步骤202的实现方式，具体参见上述实施例二中步骤202的相关描述，此处不再赘述。
303：确定迁移待整合物理机上的每个虚拟机所用的中断时间；
该步骤的具体实现方式同上述实施例二中步骤203的实现方式，具体参见上述实施例二中步骤203的相关描述，此处不再赘述。
304：根据迁移待整合物理机上的每个虚拟机所用的迁移时间及中断时间确定迁移待整合物理机上的每个虚拟机的迁移代价；
该步骤的具体实现方式同上述实施例二中步骤204的实现方式，具体参见上述实施例二中步骤204的相关描述，此处不再赘述。
305：在待整合物理机上的虚拟机中选择迁移代价达到第一阈值的虚拟机作为待迁移虚拟机，并根据集群负载选择目标物理机；
针对该步骤，本实施例不对第一阈值的具体大小进行限定，具体实施时，可根据实际情况设置第一阈值的大小。为了平衡各个物理机之间的负载，在选择待整合物理机，并确定该待整合物理机上的每个虚拟机的迁移代价后，可按照迁移代价选择待迁移虚拟机，以在保证整个集群的物理机负载相对平均的基础上，保证集群能更加稳定的运行。例如，按照迁移代价由小到大的顺序在待整合物理机上选择迁移代价达到第一阈值的N个虚拟机作为待迁移虚拟机。且为了将负载较重的物理机上的虚拟机迁移至负载相对较轻的物理机上，在根据集群负载选择目标物理机时，可依据集群负载选择负载相对较小的物理机作为目标物理机，除此之外，还可以依据其他方式进行选择，本实施例对此不作具体限定。
306：判断将选择出的待迁移虚拟机迁移至选择出的目标物理机之后的集群负载是否均衡，如果是，则执行步骤307，否则，返回步骤301；
针对该步骤，判断将选择出的待迁移虚拟机迁移至选择出的目标物理机之后的集群负载是否均衡时，可先模拟将选择出的待迁移虚拟机迁移至选择出的目标物理机，之后计算得到各个物理机之间的负载方差，如果该方差值小于第一预设阈值，则判断负载均衡度满足要求，即集群负载达到均衡，如果该方差值大于第一预设阈值，则判断负载均衡度不满足要求，即集群负载未达到均衡，需要返回步骤301重新执行选择待整合物理机、确定迁移待整合物理机上的每个虚拟机的迁移代价，按照迁移代价选择待迁移虚拟机以及根据集群负载选择目标物理机等过程。关于第一预设阈值的具体大小，可依据实际情况进行设定，本实施例对此不做具体限定。
307：将选择出的待迁移虚拟机迁移至选择出的目标物理机上，流程结束。
具体地，将选择出的待迁移虚拟机迁移至选择出的目标物理机上时，同样可采用通过多次迭代将待迁移的虚拟机内存拷贝到目标物理机上，且为了保证虚拟机迁移时能继续提供服务，第一次迭代会将虚拟机的所有内存先拷贝过去，同时，为了能得到虚拟机修改的内存，会将虚拟机所有内存设置为只读状态；第二次迭代再将第一次迭代时虚拟机修改的内存拷贝过去，如此往复，直至上一次迭代时虚拟机修改的内存低于第二预设阈值，才中断该虚拟机的运行，将所有修改过的内存拷贝到目标物理机上，最终完成迁移，从而实现集群范围内的负载均衡，提高各物理机的资源使用效率的同时，保证各物理机都承担适当的负载。其中，本实施例不对第二预设阈值的具体大小进行限定，具体实施时，可根据实际情况设定该第二预设阈值的大小，以降低因中断虚拟机的运行而对运行的业务造成的影响。
本实施例提供的方法，通过确定迁移虚拟机所用的迁移时间及中断时间，根据迁移时间及中断时间确定迁移虚拟机的迁移代价，以根据迁移代价实现对集群整合进行优化，可在保证集群整合性能的前提下，提升集群服务级别，进而提升用户体验。
实施例四
本实施例提供了一种虚拟化集群整合装置，该装置用于执行上述实施例一至实施例三所提供的虚拟化集群整合方法。参见图4，该装置包括：
第一选择模块41，用于根据集群负载选择待整合物理机；
第一确定模块42，用于确定迁移第一选择模块41选择出的待整合物理机上的每个虚拟机所用的迁移时间；
第二确定模块43，用于确定迁移第一选择模块41选择出的待整合物理机上的每个虚拟机所用的中断时间；
第三确定模块44，用于根据第一确定模块42确定的迁移时间及第二确定模块43确定的中断时间确定迁移待整合物理机上的每个虚拟机的迁移代价；
第二选择模块45，用于按照第三确定模块44确定的迁移代价选择待迁移虚拟机；
第三选择模块46，用于根据集群负载选择目标物理机；
迁移模块47，用于将第二选择模块45选择出的待迁移虚拟机迁移至第三选择模块46选择出的目标物理机上。
其中，第一选择模块41选择待整合物理机的方式详见上述实施例二中步骤201及实施例三中步骤301的相关描述，此处不再赘述。
结合上述实施例二中步骤202的相关描述，第一确定模块42，具体用于确定待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度；根据待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定迁移待整合物理机上的每个虚拟机所用的迁移时间。
其中，第一确定模块42，具体用于将待整合物理机上的每个虚拟机按照特性划分为不同类型，并估算同一类型虚拟机迁移时的内存改变率；记录待整合物理机上的每个虚拟机上一次迁移时的内存改变率；根据待整合物理机上的每个虚拟机的类型、估算出的内存改变率及上一次迁移时的内存改变率确定待整合物理机上的每个虚拟机迁移时的平均内存改变率。
结合上述实施例二中步骤203的相关描述，第二确定模块43，具体用于确定待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间，以及在目标物理机上的恢复时间；根据传输时间及恢复时间确定迁移待整合物理机上的每个虚拟机所用的中断时间。
其中，第二确定模块43，具体用于确定待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度；根据待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间。
进一步地，结合上述实施例三种步骤305的相关描述，第二选择模块45，具体用于在待整合物理机上的虚拟机中选择迁移代价达到第一阈值的虚拟机作为待迁移虚拟机。
结合上述实施例二中步骤306的相关描述，参见图5，该装置，还包括：
判断模块48，用于判断将选择出的待迁移虚拟机迁移至选择出的目标物理机之后的集群负载是否均衡；
迁移模块47，用于在判断模块48判断出将选择出的待迁移虚拟机迁移至选择出的目标物理机之后的集群负载均衡时，执行将选择出的待迁移虚拟机迁移至选择出的目标物理机上的步骤；
在判断模块48判断出将选择出的待迁移虚拟机迁移至选择出的目标物理机之后的集群负载不均衡时，第一选择模块41、第一确定模块42、第二确定模块43、第三确定模块44和第二选择模块45、第三选择模块46重新执行各自执行的步骤。
结合上述实施例二中步骤205和步骤206的相关描述，第二选择模块45，具体用于根据待整合物理机上的所有虚拟机的迁移代价确定待整合物理机的下电代价；在待整合物理机中选择下电代价达到第二阈值的待整合物理机，并将下电代价达到第二阈值的待整合物理机上的所有虚拟机确定为待迁移虚拟机。
结合上述实施例二中步骤206的相关描述，参见图6，该装置，还包括：
控制模块49，用于控制下电代价达到第二阈值的待整合物理机进行下电。
本实施例提供的装置，通过确定迁移虚拟机所用的迁移时间及中断时间，根据迁移时间及中断时间确定迁移虚拟机的迁移代价，以根据迁移代价实现对虚拟化集群整合进行优化，可在保证虚拟化集群整合性能的前提下，提升虚拟化集群服务级别，进而提升用户体验。
实施例五
本实施例提供了一种虚拟化集群系统，该系统包括多台具有通信连接的物理机，每个物理机上部署有至少一个虚拟机，多台物理机中的至少一台物理机上部署有虚拟化集群整合装置；其中，虚拟化集群整合装置如本发明上述实施例提供的虚拟化集群整合装置。其具体实现方法和模块可以参考上述实施例，但不以此为限。
请参阅图7，为本发明实施例提供的一种虚拟化集群系统的物理部署示意图，如图7所示，该虚拟化集群系统包括五台物理机（物理机51、52、53、54、55）和宿主在这些物理主机上的多台虚拟机（VM1、VM2、VM3、VM4）。需说明的是，图7中每台物理主机上宿主的虚拟机在数量上可以相同也可以不同，在类型上可以相同也可以不同，并不以图示为限。其中可以将本发明实施例提供的虚拟化集群整合装置部署在其中一台物理主机上，从而根据本发明实施例提供的虚拟化集群整合方法实现对这个虚拟化集群系统的整合。
本实施例提供的虚拟化集群系统，通过虚拟化集群整合装置确定迁移虚拟机所用的迁移时间及中断时间，根据迁移时间及中断时间确定迁移虚拟机的迁移代价，以根据迁移代价实现对虚拟化集群整合进行优化，可在保证虚拟化集群整合性能的前提下，提升虚拟化集群服务级别，进而提升用户体验。
需要说明的是：上述实施例提供的虚拟化集群整合装置在进行虚拟化集群整合时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的虚拟化集群整合装置、虚拟化集群系统与虚拟化集群整合方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (19)

1.一种虚拟化集群整合方法，其特征在于，所述方法包括：
根据集群负载选择待整合物理机；
确定迁移所述待整合物理机上的每个虚拟机所用的迁移时间及中断时间；
根据所述迁移时间及中断时间确定迁移所述待整合物理机上的每个虚拟机的迁移代价；
按照所述迁移代价选择待迁移虚拟机；
根据集群负载选择目标物理机；
将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机上。
2.根据权利要求1所述的方法，其特征在于，所述确定迁移所述待整合物理机上的每个虚拟机所用的迁移时间，具体包括：
确定所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度；
根据所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定迁移所述待整合物理机上的每个虚拟机所用的迁移时间。
3.根据权利要求2所述的方法，其特征在于，所述确定所述待整合物理机上的每个虚拟机迁移时的平均内存改变率，具体包括：
将所述待整合物理机上的每个虚拟机按照特性划分为不同类型，并估算同一类型虚拟机迁移时的内存改变率；
记录所述待整合物理机上的每个虚拟机上一次迁移时的内存改变率；
根据所述待整合物理机上的每个虚拟机的类型、估算出的内存改变率及上一次迁移时的内存改变率确定所述待整合物理机上的每个虚拟机迁移时的平均内存改变率。
4.根据权利要求1所述的方法，其特征在于，所述确定迁移所述待整合物理机上的每个虚拟机所用的中断时间，具体包括：
确定所述待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间，以及在目标物理机上的恢复时间；
根据所述传输时间及恢复时间确定迁移所述待整合物理机上的每个虚拟机所用的中断时间。
5.根据权利要求4所述的方法，其特征在于，所述确定所述待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间，具体包括：
确定所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度；
根据所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定所述待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间。
6.根据权利要求1所述的方法，其特征在于，所述按照所述迁移代价选择待迁移虚拟机，具体包括：
在所述待整合物理机上的虚拟机中选择迁移代价达到第一阈值的虚拟机作为待迁移虚拟机。
7.根据权利要求6所述的方法，其特征在于，所述将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机上之前，还包括：
判断将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机之后的集群负载是否均衡；
如果是，则执行将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机上的步骤；
如果否，则重新执行所述根据集群负载选择待整合物理机，确定迁移所述待整合物理机上的每个虚拟机所用的迁移时间及中断时间，根据所述迁移时间及中断时间确定迁移所述待整合物理机上的每个虚拟机的迁移代价，按照所述迁移代价选择待迁移虚拟机以及根据集群负载选择目标物理机的步骤。
8.根据权利要求1所述的方法，其特征在于，所述按照所述迁移代价选择待迁移虚拟机，具体包括：
根据所述待整合物理机上的所有虚拟机的所述迁移代价确定所述待整合物理机的下电代价；
在所述待整合物理机中选择下电代价达到第二阈值的待整合物理机，并将所述下电代价达到所述第二阈值的待整合物理机上的所有虚拟机确定为待迁移虚拟机。
9.根据权利要求8所述的方法，其特征在于，所述将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机上之后，还包括：
控制所述下电代价达到所述第二阈值的待整合物理机进行下电。
10.一种虚拟化集群整合装置，其特征在于，所述装置包括：
第一选择模块，用于根据集群负载选择待整合物理机；
第一确定模块，用于确定迁移所述第一选择模块选择出的待整合物理机上的每个虚拟机所用的迁移时间；
第二确定模块，用于确定迁移所述第一选择模块选择出的待整合物理机上的每个虚拟机所用的中断时间；
第三确定模块，用于根据所述第一确定模块确定的迁移时间及所述第二确定模块确定的中断时间确定迁移所述待整合物理机上的每个虚拟机的迁移代价；
第二选择模块，用于按照所述第三确定模块确定的迁移代价选择待迁移虚拟机；
第三选择模块，用于根据集群负载选择目标物理机；
迁移模块，用于将所述第二选择模块选择出的所述待迁移虚拟机迁移至所述第三选择模块选择出的所述目标物理机上。
11.根据权利要求10所述的装置，其特征在于，所述第一确定模块，具体用于确定所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度；根据所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定迁移所述待整合物理机上的每个虚拟机所用的迁移时间。
12.根据权利要求11所述的装置，其特征在于，所述第一确定模块，具体用于将所述待整合物理机上的每个虚拟机按照特性划分为不同类型，并估算同一类型虚拟机迁移时的内存改变率；记录所述待整合物理机上的每个虚拟机上一次迁移时的内存改变率；根据所述待整合物理机上的每个虚拟机的类型、估算出的内存改变率及上一次迁移时的内存改变率确定所述待整合物理机上的每个虚拟机迁移时的平均内存改变率。
13.根据权利要求10所述的装置，其特征在于，所述第二确定模块，具体用于确定所述待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间，以及在目标物理机上的恢复时间；根据所述传输时间及恢复时间确定迁移所述待整合物理机上的每个虚拟机所用的中断时间。
14.根据权利要求13所述的装置，其特征在于，所述第二确定模块，具体用于确定所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度；根据所述待整合物理机上的每个虚拟机迁移前的内存、迁移时的平均内存改变率及迁移时的网络传输速度确定所述待整合物理机上的每个虚拟机上一次迁移时最后一次迭代的传输时间。
15.根据权利要求10所述的装置，其特征在于，所述第二选择模块，具体用于在所述待整合物理机上的虚拟机中选择迁移代价达到第一阈值的虚拟机作为待迁移虚拟机。
16.根据权利要求15所述的装置，其特征在于，所述装置，还包括：
判断模块，用于判断将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机之后的集群负载是否均衡；
所述迁移模块，用于在所述判断模块判断出将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机之后的集群负载均衡时，执行将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机上的步骤；
在所述判断模块判断出将选择出的所述待迁移虚拟机迁移至选择出的所述目标物理机之后的集群负载不均衡时，所述第一选择模块、第一确定模块、第二确定模块、第三确定模块、第二选择模块和第三选择模块重新执行各自执行的步骤。
17.根据权利要求10所述的装置，其特征在于，所述第二选择模块，具体用于根据所述待整合物理机上的所有虚拟机的所述迁移代价确定所述待整合物理机的下电代价；在所述待整合物理机中选择下电代价达到第二阈值的待整合物理机，并将所述下电代价达到所述第二阈值的待整合物理机上的所有虚拟机确定为待迁移虚拟机。
18.根据权利要求17所述的装置，其特征在于，所述装置，还包括：
控制模块，用于控制所述下电代价达到第二阈值的待整合物理机进行下电。
19.一种虚拟化集群系统，其特征在于，所述系统包括多台具有通信连接的物理机，所述每个物理机上部署有至少一个虚拟机，所述多台物理机中的至少一台物理机上部署有所述权利要求10至权利要求18中任一权利要求所述的虚拟化集群整合装置。
CN201210298873.6A 2012-08-21 2012-08-21 虚拟化集群整合方法、装置及虚拟化集群系统 Active CN102866915B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201210298873.6A CN102866915B (zh) 2012-08-21 2012-08-21 虚拟化集群整合方法、装置及虚拟化集群系统
PCT/CN2013/074704 WO2014029219A1 (zh) 2012-08-21 2013-04-25 虚拟化集群整合方法、装置及虚拟化集群系统
EP13782928.9A EP2717158A4 (en) 2012-08-21 2013-04-25 METHOD AND BINDING DEVICE FOR INTEGRATING VIRTUAL CLUSTER AND VIRTUAL CLUSTER SYSTEM
US14/081,176 US20140082202A1 (en) 2012-08-21 2013-11-15 Method and Apparatus for Integration of Virtual Cluster and Virtual Cluster System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210298873.6A CN102866915B (zh) 2012-08-21 2012-08-21 虚拟化集群整合方法、装置及虚拟化集群系统

Publications (2)

Publication Number Publication Date
CN102866915A true CN102866915A (zh) 2013-01-09
CN102866915B CN102866915B (zh) 2015-08-26

Family

ID=47445794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210298873.6A Active CN102866915B (zh) 2012-08-21 2012-08-21 虚拟化集群整合方法、装置及虚拟化集群系统

Country Status (4)

Country Link
US (1) US20140082202A1 (zh)
EP (1) EP2717158A4 (zh)
CN (1) CN102866915B (zh)
WO (1) WO2014029219A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440158A (zh) * 2013-07-29 2013-12-11 西北工业大学 面向云资源调度的热点移除方法
WO2014029219A1 (zh) * 2012-08-21 2014-02-27 华为技术有限公司 虚拟化集群整合方法、装置及虚拟化集群系统
CN103685256A (zh) * 2013-12-06 2014-03-26 华为技术有限公司 一种虚拟机迁移管理方法、装置及系统
CN104080192A (zh) * 2013-03-31 2014-10-01 上海贝尔股份有限公司 一种对连接进行重定向的方法、装置和系统
CN104461673A (zh) * 2013-09-18 2015-03-25 华为技术有限公司 一种虚拟机迁移判定方法及装置
CN105025541A (zh) * 2014-04-29 2015-11-04 上海贝尔股份有限公司 用于基带池中虚拟基站迁移的方法及装置
CN105359489A (zh) * 2013-08-08 2016-02-24 华为技术有限公司 一种资源调度方法、装置及系统
CN106445629A (zh) * 2016-07-22 2017-02-22 平安科技（深圳）有限公司 一种负载均衡的方法及其装置
CN106909462A (zh) * 2017-02-27 2017-06-30 郑州云海信息技术有限公司 一种云资源调度方法及装置
US9720728B2 (en) 2013-12-06 2017-08-01 Huawei Technologies Co., Ltd. Migrating a VM when the available migration duration times of a source and destination node are greater than the VM's migration duration time
CN107872402A (zh) * 2017-11-15 2018-04-03 北京奇艺世纪科技有限公司 全局流量调度的方法、装置及电子设备
CN107967168A (zh) * 2017-12-08 2018-04-27 中南大学 一种云数据中心里基于共享内存页面的虚拟机整合方法
CN110083434A (zh) * 2019-05-05 2019-08-02 重庆大学 云虚拟机批量整合的方法、装置和服务器
CN110389813A (zh) * 2019-06-17 2019-10-29 东南大学 一种面向网络靶场的虚拟机动态迁移方法
CN112416530A (zh) * 2020-12-08 2021-02-26 西藏宁算科技集团有限公司 弹性管理集群物理机节点的方法、装置及电子设备
WO2023274049A1 (zh) * 2021-06-30 2023-01-05 华为技术有限公司 一种虚拟机迁移方法以及相关装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9183034B2 (en) * 2013-05-16 2015-11-10 Vmware, Inc. Managing availability of virtual machines in cloud computing services
US10044795B2 (en) 2014-07-11 2018-08-07 Vmware Inc. Methods and apparatus for rack deployments for virtual computing environments
CN104184813B (zh) * 2014-08-20 2018-03-09 杭州华为数字技术有限公司 虚拟机的负载均衡方法和相关设备及集群系统
US9606826B2 (en) * 2014-08-21 2017-03-28 International Business Machines Corporation Selecting virtual machines to be migrated to public cloud during cloud bursting based on resource usage and scaling policies
US10491667B1 (en) * 2015-03-16 2019-11-26 Amazon Technologies, Inc. Customized memory modules in multi-tenant service provider systems
US9727366B2 (en) 2015-04-23 2017-08-08 International Business Machines Corporation Machine learning for virtual machine migration plan generation
US10740081B2 (en) 2015-06-30 2020-08-11 Vmware, Inc. Methods and apparatus for software lifecycle management of a virtual computing environment
US20180246751A1 (en) * 2015-09-25 2018-08-30 Intel Corporation Techniques to select virtual machines for migration
US10361919B2 (en) * 2015-11-09 2019-07-23 At&T Intellectual Property I, L.P. Self-healing and dynamic optimization of VM server cluster management in multi-cloud platform
CN106227578A (zh) * 2016-07-12 2016-12-14 腾讯科技（深圳）有限公司 一种虚拟机热迁移的方法、设备及系统
CN108009016B (zh) 2016-10-31 2021-10-22 华为技术有限公司 一种资源负载均衡控制方法及集群调度器
CN106775944A (zh) * 2016-12-12 2017-05-31 天津工业大学 云平台下基于文化‑多蚁群算法虚拟机整合的方法
US10375169B1 (en) * 2017-05-24 2019-08-06 United States Of America As Represented By The Secretary Of The Navy System and method for automatically triggering the live migration of cloud services and automatically performing the triggered migration
US10725885B1 (en) 2017-11-17 2020-07-28 Amazon Technologies, Inc. Methods and apparatus for virtual machine load monitoring
CN110119301A (zh) * 2018-02-07 2019-08-13 卓望数码技术（深圳）有限公司 一种虚拟机迁移方法及系统
CN109032760A (zh) * 2018-08-01 2018-12-18 北京百度网讯科技有限公司 用于部署应用的方法和装置
US10901721B2 (en) 2018-09-20 2021-01-26 Vmware, Inc. Methods and apparatus for version aliasing mechanisms and cumulative upgrades for software lifecycle management
US11593160B2 (en) * 2019-09-23 2023-02-28 Hiveio Inc. Virtual computing cluster resource scheduler
CN111538559B (zh) * 2020-03-09 2023-06-02 西安电子科技大学 一种虚拟机迁移方法、装置、电子设备及其存储介质
CN111651866B (zh) * 2020-05-12 2023-03-17 北京华如科技股份有限公司 一种基于动态负载迁移及时间同步的仿真执行方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7203944B1 (en) * 2003-07-09 2007-04-10 Veritas Operating Corporation Migrating virtual machines among computer systems to balance load caused by virtual machines
CN102096601A (zh) * 2011-02-11 2011-06-15 浪潮(北京)电子信息产业有限公司 一种虚拟机迁移的管理方法和系统
US8095929B1 (en) * 2007-04-16 2012-01-10 Vmware, Inc. Method and system for determining a cost-benefit metric for potential virtual machine migrations
WO2012067431A2 (en) * 2010-11-18 2012-05-24 Wisetodd Pte. Ltd. Resource distribution apparatus and method in cloud computing

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8745234B2 (en) * 2010-12-23 2014-06-03 Industrial Technology Research Institute Method and manager physical machine for virtual machine consolidation
CN102866915B (zh) * 2012-08-21 2015-08-26 华为技术有限公司 虚拟化集群整合方法、装置及虚拟化集群系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7203944B1 (en) * 2003-07-09 2007-04-10 Veritas Operating Corporation Migrating virtual machines among computer systems to balance load caused by virtual machines
US8095929B1 (en) * 2007-04-16 2012-01-10 Vmware, Inc. Method and system for determining a cost-benefit metric for potential virtual machine migrations
WO2012067431A2 (en) * 2010-11-18 2012-05-24 Wisetodd Pte. Ltd. Resource distribution apparatus and method in cloud computing
CN102096601A (zh) * 2011-02-11 2011-06-15 浪潮(北京)电子信息产业有限公司 一种虚拟机迁移的管理方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAIKUN LIU ET AL: "《Performance and energy modeling for live migration of virtual machines》", 《HIGH PERFORMANCE DISTRIBUTED COMPUTING》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014029219A1 (zh) * 2012-08-21 2014-02-27 华为技术有限公司 虚拟化集群整合方法、装置及虚拟化集群系统
CN104080192A (zh) * 2013-03-31 2014-10-01 上海贝尔股份有限公司 一种对连接进行重定向的方法、装置和系统
CN104080192B (zh) * 2013-03-31 2018-05-08 上海诺基亚贝尔股份有限公司 一种对连接进行重定向的方法、装置和系统
CN103440158A (zh) * 2013-07-29 2013-12-11 西北工业大学 面向云资源调度的热点移除方法
CN103440158B (zh) * 2013-07-29 2016-03-30 西北工业大学 面向云资源调度的热点移除方法
CN105359489A (zh) * 2013-08-08 2016-02-24 华为技术有限公司 一种资源调度方法、装置及系统
CN104461673A (zh) * 2013-09-18 2015-03-25 华为技术有限公司 一种虚拟机迁移判定方法及装置
CN104461673B (zh) * 2013-09-18 2018-10-30 华为技术有限公司 一种虚拟机迁移判定方法及装置
CN103685256B (zh) * 2013-12-06 2017-08-04 华为技术有限公司 一种虚拟机迁移管理方法、装置及系统
CN103685256A (zh) * 2013-12-06 2014-03-26 华为技术有限公司 一种虚拟机迁移管理方法、装置及系统
WO2015081717A1 (zh) * 2013-12-06 2015-06-11 华为技术有限公司 一种虚拟机迁移管理方法、装置及系统
US9720728B2 (en) 2013-12-06 2017-08-01 Huawei Technologies Co., Ltd. Migrating a VM when the available migration duration times of a source and destination node are greater than the VM's migration duration time
CN105025541A (zh) * 2014-04-29 2015-11-04 上海贝尔股份有限公司 用于基带池中虚拟基站迁移的方法及装置
CN105025541B (zh) * 2014-04-29 2019-09-03 上海诺基亚贝尔股份有限公司 用于基带池中虚拟基站迁移的方法及装置
CN106445629A (zh) * 2016-07-22 2017-02-22 平安科技（深圳）有限公司 一种负载均衡的方法及其装置
CN106445629B (zh) * 2016-07-22 2019-05-21 平安科技（深圳）有限公司 一种负载均衡的方法及其装置
CN106909462A (zh) * 2017-02-27 2017-06-30 郑州云海信息技术有限公司 一种云资源调度方法及装置
CN107872402A (zh) * 2017-11-15 2018-04-03 北京奇艺世纪科技有限公司 全局流量调度的方法、装置及电子设备
CN107967168A (zh) * 2017-12-08 2018-04-27 中南大学 一种云数据中心里基于共享内存页面的虚拟机整合方法
CN107967168B (zh) * 2017-12-08 2021-11-12 中南大学 一种云数据中心里基于共享内存页面的虚拟机整合方法
CN110083434A (zh) * 2019-05-05 2019-08-02 重庆大学 云虚拟机批量整合的方法、装置和服务器
CN110083434B (zh) * 2019-05-05 2021-06-04 重庆大学 云虚拟机批量整合的方法、装置和服务器
CN110389813A (zh) * 2019-06-17 2019-10-29 东南大学 一种面向网络靶场的虚拟机动态迁移方法
CN110389813B (zh) * 2019-06-17 2023-07-28 东南大学 一种面向网络靶场的虚拟机动态迁移方法
CN112416530A (zh) * 2020-12-08 2021-02-26 西藏宁算科技集团有限公司 弹性管理集群物理机节点的方法、装置及电子设备
CN112416530B (zh) * 2020-12-08 2023-12-22 西藏宁算科技集团有限公司 弹性管理集群物理机节点的方法、装置及电子设备
WO2023274049A1 (zh) * 2021-06-30 2023-01-05 华为技术有限公司 一种虚拟机迁移方法以及相关装置

Also Published As

Publication number Publication date
US20140082202A1 (en) 2014-03-20
EP2717158A4 (en) 2014-06-18
CN102866915B (zh) 2015-08-26
EP2717158A1 (en) 2014-04-09
WO2014029219A1 (zh) 2014-02-27

Similar Documents

Publication Publication Date Title
CN102866915A (zh) 虚拟化集群整合方法、装置及虚拟化集群系统
CN104270416B (zh) 负载均衡控制方法及管理节点
CN102236582B (zh) 虚拟化集群负载在多台物理机中均衡分配的方法
US10908938B2 (en) Methods and systems to determine application license costs in a virtualized data center for use in virtual machine consolidation
Duggan et al. A network aware approach for the scheduling of virtual machine migration during peak loads
Duggan et al. A reinforcement learning approach for the scheduling of live migration from under utilised hosts
CN109684074A (zh) 物理机资源分配方法及终端设备
CN106125888B (zh) 云数据中心中基于虚拟机迁移的资源利用高效的节能方法
CN104461673B (zh) 一种虚拟机迁移判定方法及装置
CN107992353A (zh) 一种基于最小迁移量的容器动态迁移方法及系统
CN103514046A (zh) 一种虚拟机放置方法及集群管理服务器
Supreeth et al. An Efficient Policy‐Based Scheduling and Allocation of Virtual Machines in Cloud Computing Environment
CN106775949A (zh) 一种感知复合应用特征与网络带宽的虚拟机在线迁移优化方法
Wang et al. Research on virtual machine consolidation strategy based on combined prediction and energy-aware in cloud computing platform
CN106686039A (zh) 一种云计算系统中的资源调度方法及装置
Shi et al. MapReduce short jobs optimization based on resource reuse
CN108874508A (zh) 一种云计算虚拟服务器系统负载均衡调度方法
Rawas et al. LECC: Location, energy, carbon and cost-aware VM placement model in geo-distributed DCs
Zhao et al. VM performance-aware virtual machine migration method based on ant colony optimization in cloud environment
Zhang et al. A two-stage container management in the cloud for optimizing the load balancing and migration cost
Kommeri et al. Energy efficiency of dynamic management of virtual cluster with heterogeneous hardware
WO2024021475A1 (zh) 一种容器调度方法及装置
Samanta et al. No dnn left behind: Improving inference in the cloud with multi-tenancy
Sun et al. An energy efficient and runtime-aware framework for distributed stream computing systems
CN109062669A (zh) 一种随机负载下的虚拟机迁移方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20191225

Address after: No.1, floor 3, No.319, zhanggongshan Road, Yuhui District, Bengbu City, Anhui Province

Patentee after: Bengbu guijiu Intellectual Property Service Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right

Effective date of registration: 20201019

Address after: 226300 Jianghai Yuanmeng Valley, No. 998, Century Avenue, high tech Zone, Nantong City, Jiangsu Province

Patentee after: JIANGSU HAOHAN INFORMATION TECHNOLOGY Co.,Ltd.

Address before: No.1, floor 3, No.319, zhanggongshan Road, Yuhui District, Bengbu City, Anhui Province

Patentee before: Bengbu guijiu Intellectual Property Service Co.,Ltd.

TR01 Transfer of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Virtual cluster integration method, device and virtual cluster system

Effective date of registration: 20211207

Granted publication date: 20150826

Pledgee: Nantong Jiangsu rural commercial bank Limited by Share Ltd.

Pledgor: JIANGSU HAOHAN INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2021980014300

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20221102

Granted publication date: 20150826

Pledgee: Nantong Jiangsu rural commercial bank Limited by Share Ltd.

Pledgor: JIANGSU HAOHAN INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2021980014300

PC01 Cancellation of the registration of the contract for pledge of patent right