JP2014035661A - Virtual machine system and high-speed live migration method thereof - Google Patents
Virtual machine system and high-speed live migration method thereof Download PDFInfo
- Publication number
- JP2014035661A JP2014035661A JP2012176811A JP2012176811A JP2014035661A JP 2014035661 A JP2014035661 A JP 2014035661A JP 2012176811 A JP2012176811 A JP 2012176811A JP 2012176811 A JP2012176811 A JP 2012176811A JP 2014035661 A JP2014035661 A JP 2014035661A
- Authority
- JP
- Japan
- Prior art keywords
- bandwidth
- virtual machine
- traffic
- physical host
- migration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、仮想マシン技術に関し、特に、複数の物理ホストを有して仮想マシンの動作を停止させることなく物理ホスト間で仮想マシンの移動を行うライブマイグレーションを可能にした仮想マシンシステムと、そのライブマイグレーション方法とに関する。 The present invention relates to a virtual machine technology, and in particular, a virtual machine system that has a plurality of physical hosts and enables live migration that moves a virtual machine between physical hosts without stopping the operation of the virtual machine, and its Related to live migration method.
負荷の最適配置や省電力化などを目的として、仮想マシン技術が注目されている。仮想マシン（ＶＭ：Virtual Machine）は、コンピュータの動作をエミュレートするソフトウェアによって実現されるものであり、仮想マシン技術を用いることによって、１台の物理ホスト（物理的な実体としてのコンピュータ）上で、異なるオペレーティングシステム（ＯＳ：Operating System）を動作させてそのＯＳ上で各種のアプリケーションソフトウェア（ＡＰＬ）を実行させたり、あるいは、本来ならば異なるコンピュータアーキテクチャ環境で動作するソフトウェアを実行させたりすることができる。仮想マシン技術は、例えば、データセンタなどで広く用いられている。 Virtual machine technology is attracting attention for the purpose of optimal load arrangement and power saving. A virtual machine (VM) is realized by software that emulates the operation of a computer, and on a single physical host (computer as a physical entity) by using virtual machine technology. A different operating system (OS) may be operated to execute various application software (APL) on the OS, or software that originally operates in a different computer architecture environment may be executed. it can. Virtual machine technology is widely used in data centers, for example.
また、ネットワークに接続された異なる物理ホスト間で、仮想マシンの動作を止めずにＯＳごとその仮想マシンを移動させる「ライブマイグレーション技術」がある。ライブマイグレーションは、ネットワークを介して、仮想マシンのメモリ情報のコピーを移行先の物理ホストに送信することで実現している。このライブマイグレーション技術により、例えばある物理ホストが高負荷になった際に、当該物理ホスト上で動作している仮想マシンを他の物理ホストに移動させることによって、高負荷状態を解消することができる。 In addition, there is a “live migration technology” that moves a virtual machine for each OS between different physical hosts connected to a network without stopping the operation of the virtual machine. Live migration is realized by sending a copy of memory information of a virtual machine to a migration destination physical host via a network. With this live migration technology, for example, when a physical host is heavily loaded, the virtual machine running on the physical host can be moved to another physical host to eliminate the high load state. .
図１は、仮想マシンのライブマイグレーションを説明する図である。移行元の物理ホスト１１と移行先の物理ホスト１２とは、ネットワーク１３で接続しており、また共有ストレージ１４を共有している。各物理ホスト１１，１２では、それぞれ、仮想化ソフトウェア１５が動作しており、仮想化ソフトウェア１５によって物理ホスト１１，１２上に仮想マシンＶＭが実現されている。仮想マシンＶＭでは、オペレーティングシステムＯＳとアプリケーションソフトウェアＡＰＬが実行されている。ライブマイグレーションは、移行元の物理ホスト１１から移行先の物理ホスト１２へのネットワーク１３を介したメモリコピーによって達成される。
FIG. 1 is a diagram for explaining live migration of a virtual machine. The migration source
非特許文献１には、仮想マシンを管理するＶＭ管理サーバを物理ホストとは別個に設け、物理ホスト上で動作している仮想マシンに対し、ＶＭ管理サーバがライブマイグレーションの実行指示を与えると、仮想マシンの動作を継続したまま、移行元の物理ホストと移行先の物理ホストとの間のネットワークを通じて、メモリ情報の送信を行うことが開示されている。送信中に発生するメモリ差分情報が決められた量まで少なくなると、移行元の物理ホストの仮想マシンを一旦停止し、移行先の物理ホストで、仮想マシンを立ち上げる。これによって、仮想マシンのライブマイグレーションを実現している。図２は、ライブマイグレーションに要する時間を説明する図である。ライブマイグレーションのためにメモリコピーを行う場合、メモリコピーを行っている間においても移行元の物理ホスト上の仮想マシンではメモリ情報が変化する。そこで、移行元の物理ホストでの仮想マシンの全メモリ領域に相当するメモリコピーを実行したのち、そのメモリコピーの間に変化したメモリ情報に関する差分をコピーして移行先の物理ホストに送信する必要がある。この差分コピーの間にもメモリ状態は変化するから、さらにその間の差分をコピーする必要がある。このように、メモリコピーと何回かの差分コピーを実行してメモリ差分情報が上記の量にまで小さくなると（ここまでに要する時間をマイグレーション時間と呼ぶ）、移行元で仮想マシン（ＶＭ）を停止し、最後に残った差分をコピーし、その後、移行先で仮想マシンを立ち上げ、仮想マシンによる処理を再開する。ここでの移行元での仮想マシンの停止から移行先での仮想マシンの再開までに要する時間をダウンタイムと呼ぶ。ライブマイグレーションの全体の要する時間（総マイグレーション時間）は、マイグレーション時間とダウンタイムとの和で表される。
In
ところで、仮想マシン環境を構成するネットワークには、仮想マシンのライブマイグレーション用のネットワークの他にも、共有ストレージアクセスのためのＳＡＮ（ストレージエリアネットワーク：Storage Area Network）、予備系の仮想マシンとの同期をとるためのフォールトトレランス(fault tolerance)用ネットワーク、ＶＭ管理サーバとの通信のためのネットワーク、ＷＡＮ（広域ネットワーク：Wide Area Network）と接続するネットワークなど、さまざまなネットワークが必要である。図３は、仮想マシンとネットワーク環境の一例を示している。インタフェース数の制限やコストの面などから全てのネットワークを物理的に分離することは非効率であり、物理リンクをこれらのネットワークで共用し仮想ローカルエリアネットワーク（ＶＬＡＮ：Virtual Local Area Network）技術などにより論理的にネットワークを分けることで、効率よくリソースを使用することができる。ただし、仮想マシンのライブマイグレーションの実行時において、移行元の物理ホストと移行先の物理ホストの間のネットワークには、仮想マシンのライブマイグレーション用のメモリ情報以外にも、さまざまなトラフィックが流れている可能性がある。 By the way, in addition to a network for live migration of virtual machines, the network constituting the virtual machine environment includes a SAN (Storage Area Network) for shared storage access and synchronization with a standby virtual machine. Various networks are required, such as a network for fault tolerance, a network for communication with the VM management server, and a network connected to a WAN (Wide Area Network). FIG. 3 shows an example of a virtual machine and a network environment. It is inefficient to physically separate all networks due to the limitation of the number of interfaces and cost, etc., and physical links are shared by these networks and virtual local area network (VLAN) technology is used. By dividing the network logically, resources can be used efficiently. However, when performing virtual machine live migration, various traffic flows through the network between the migration source physical host and the migration destination physical host, in addition to the memory information for virtual machine live migration. there is a possibility.
図４は、ライブマイグレーションの実行時に想定されるネットワークトラフィックの一例を示す図である。図４では、複数の物理ホストがネットワークで接続されている仮想マシンシステムが示されており、ここでは、それぞれ物理ホストであるホスト＃１〜ホスト＃３がスイッチ（ＳＷ）＃１に接続し、同様に、ホスト＃４〜ホスト＃６がスイッチ＃２に接続している。スイッチ＃１及びスイッチ＃２は、さらに、ルータを介してパケット転送網にも接続している。スイッチ＃１には、さらに、共有ストレージ１４と、ＶＭ管理サーバ１６も接続している。ここで、ホスト＃３は、予備系の仮想マシン（ＶＭ）のためのものであるとし、ホスト＃１からホスト＃２に仮想マシンＶＭ１をライブマイグレーションする場合を考える。このとき、ホスト＃１と共有ストレージ１４の間には共有ストレージアクセスのトラフィックが発生し、ホスト＃１とパケット転送網の間にはユーザトラフィックが発生し、ホスト＃１とホスト＃３との間にはフォールトトレランス同期情報のトラフィックが発生しており、これらのトラフィックによって、ホスト＃１とスイッチ＃１との間の物理リンクの帯域が消費されて、ホスト＃１とホスト＃２との間でのライブマイグレーションのためのメモリコピー用帯域が小さくなる。ライブマイグレーションのために使用できる帯域が十分に確保できないと、メモリコピーに時間がかかってライブマイグレーション完了までに時間がかかるようになったり、メモリ差分情報がなかなか小さくならずにマイグレーション失敗となったりする可能性がある。
FIG. 4 is a diagram illustrating an example of network traffic assumed when live migration is executed. FIG. 4 shows a virtual machine system in which a plurality of physical hosts are connected via a network. Here,
上述したように、従来のネットワーク環境において仮想マシンのライブマイグレーションを行おうとする場合、ネットワークでの他のトラフィックの影響によりメモリコピー用に十分な帯域が確保できなくなり、ライブマイグレーションに時間がかかったりライブマイグレーションの失敗などが起きたりする。 As described above, when performing live migration of a virtual machine in a conventional network environment, sufficient bandwidth for memory copy cannot be secured due to the influence of other traffic on the network, and it takes time for live migration. A migration failure may occur.
本発明の目的は、ライブマイグレーションのメモリコピーに必要な帯域を十分に確保できて高速でライブマイグレーションを行うことができる仮想マシンシステムと、そのような仮想マシンシステムにおけるライブマイグレーション方法とを提供することにある。 An object of the present invention is to provide a virtual machine system capable of sufficiently securing a bandwidth necessary for memory copy of live migration and performing live migration at high speed, and a live migration method in such a virtual machine system. It is in.
本発明の仮想マシンシステムは、複数の物理ホストと物理ホスト間を接続するネットワークと仮想マシンを管理するＶＭ管理サーバとを有し、各物理ホスト上で仮想マシンが動作可能な仮想マシンシステムであって、物理ホストまたはネットワークに組み込まれてトラフィックを特定して監視するトラフィック監視手段と、物理ホストまたはネットワークに組み込まれてトラフィックの帯域制御を行う帯域制御手段と、物理ホストまたはＶＭ管理サーバに組み込まれて仮想マシンの状態に関する情報を収集するＶＭ状態監視手段と、ＶＭ管理サーバが移行元の物理ホストから移行先の物理ホストへの仮想マシンのライブマイグレーションの実施を決定したときに、トラフィック監視手段及びＶＭ状態監視手段から情報を収集し、収集した情報に基づいてライブマイグレーションの実施に必要な帯域を求め、移行元の物理ホストから移行先の物理ホストまでのリンクの空き帯域が必要な帯域を上回っているかを判定し、空き帯域が不足する場合に帯域制御方法を決定して帯域制御方法に基づいて帯域制御手段にリンクにおけるトラフィックの帯域制御を設定する管理装置と、を有する。 The virtual machine system of the present invention is a virtual machine system having a network connecting a plurality of physical hosts and a physical host and a VM management server for managing the virtual machines and capable of operating virtual machines on each physical host. Built in a physical host or network to identify and monitor traffic, a bandwidth control means incorporated in a physical host or network to control traffic bandwidth, and incorporated in a physical host or VM management server. A VM status monitoring unit that collects information on the status of the virtual machine, and a traffic monitoring unit when the VM management server determines to perform live migration of the virtual machine from the migration source physical host to the migration destination physical host; Information collected from VM status monitoring means Based on this, the bandwidth required for performing live migration is determined, and it is determined whether the available bandwidth of the link from the migration source physical host to the migration destination physical host exceeds the required bandwidth. And a management device that determines a control method and sets bandwidth control of traffic on the link in the bandwidth control unit based on the bandwidth control method.
本発明のライブマイグレーション方法は、複数の物理ホストと物理ホスト間を接続するネットワークと仮想マシンを管理するＶＭ管理サーバとを有し各物理ホスト上で仮想マシンが動作可能な仮想マシンシステムにおける、移行元の物理ホストから移行先の物理ホストへの仮想マシンのライブマイグレーションを行う方法であって、ＶＭ管理サーバがライブマイグレーションの実施を決定したときに、移行元の物理ホストから移行先の物理ホストまでのリンクにおけるトラフィックの状態に関する情報を収集する段階と、仮想マシンの状態に関する情報を収集する段階と、トラフィックの状態に関する情報と仮想マシンの状態に関する情報とに基づいてライブマイグレーションの実施に必要な帯域を求める段階と、リンクの空き帯域が必要な帯域を上回っているかを判定して空き帯域が不足する場合に帯域制御方法を決定する段階と、帯域制御方法に基づいてリンクにおけるトラフィックの帯域制御を物理ホストまたはネットワークに組み込まれた帯域制御手段に設定する段階と、を有する。 The live migration method of the present invention provides a migration in a virtual machine system having a network connecting a plurality of physical hosts and a physical host and a VM management server for managing the virtual machine and capable of operating the virtual machine on each physical host. A method for live migration of a virtual machine from an original physical host to a migration destination physical host, from the migration source physical host to the migration destination physical host when the VM management server decides to perform live migration. The amount of bandwidth required to perform live migration based on the stage of collecting information about the traffic state on the link, the stage of collecting information about the virtual machine state, and the information about the traffic state and the virtual machine state. And a free link bandwidth is required. Determining the bandwidth control method when there is a shortage of available bandwidth by judging whether the bandwidth exceeds the bandwidth, and bandwidth control of traffic on the link based on the bandwidth control method to the bandwidth control means incorporated in the physical host or network Setting.
本発明では、ライブマイグレーションの実施を決定したときに、トラフィックの状態や仮想マシンの状態に応じてトラフィックの帯域制御が必要かどうかを判定し、必要である場合には帯域制御を行うことにより、ライブマイグレーションのメモリコピーに必要な帯域を確保する。したがって本発明によれば、メモリコピーに必要な帯域が確保されるので、高速ライブマイグレーションを実現でき、これによって、例えば、物理ホストの過負荷状態解消のためにライブマイグレーションを実施する場合には、過負荷状態を素早く解消することが可能となる。また、メモリコピー用の帯域が狭いことによるライブマイグレーション失敗を防ぐことが可能となる。 In the present invention, when it is decided to perform live migration, it is determined whether traffic bandwidth control is necessary according to the traffic state or virtual machine state, and if necessary, by performing bandwidth control, Secure the bandwidth required for live migration memory copy. Therefore, according to the present invention, the bandwidth necessary for memory copy is ensured, so that high-speed live migration can be realized. For example, when performing live migration to eliminate an overload state of a physical host, It is possible to quickly eliminate the overload condition. In addition, it is possible to prevent live migration failure due to a narrow band for memory copy.
次に、本発明を実施するための形態について、図面を参照して説明する。図５は、本発明の実施の一形態の仮想マシンシステムにおけるライブマイグレーションを説明する図である。 Next, modes for carrying out the present invention will be described with reference to the drawings. FIG. 5 is a diagram illustrating live migration in the virtual machine system according to the embodiment of this invention.
図５に示した仮想マシンシステムは、図４に示したものと同様に、複数の物理ホスト（ここではホスト＃１〜ホスト＃６）がネットワークによって接続された構成を有している。ホスト＃１〜ホスト＃３がスイッチ（ＳＷ）＃１に接続し、同様に、ホスト＃４〜ホスト＃６がスイッチ＃２に接続している。スイッチ＃１及びスイッチ＃２は、さらに、ルータを介してパケット転送網にも接続している。スイッチ＃１には、共有ストレージ１４と、仮想マシンの管理を行うＶＭ管理サーバ１６も接続している。さらにこの仮想マシンシステムでは、ライブマイグレーションの実行時にネットワーク内の各トラフィックの帯域を制限するために、管理装置２０が設けられている。管理装置２０は、ライブマイグレーションを実行する同一グループの物理ホスト及びＶＭ管理サーバ１６に接続する。管理装置２０からの接続は直接接続である必要はなく、ネットワーク上の到達性があればよい。したがって図示したものでは、管理装置２０は、ＶＭ管理サーバ１６とスイッチ＃１とスイッチ＃２とに対して直接接続している。
The virtual machine system shown in FIG. 5 has a configuration in which a plurality of physical hosts (here,
本実施形態では、各物理ホストまたは複数の物理ホストを束ねるスイッチに、トラフィック監視機能と帯域制御機能とが実装されている。トラフィック監視機能は、仮想マシンのライブマイグレーションを実行する物理ホスト間を流れるトラフィックを特定する機能、具体的にはライブマイグレーションを実行する物理ホスト間のリンクを流れるトラフィックの種別や帯域を監視する機能である。帯域制御機能は、管理装置２０から指示された通りにトラフィックの帯域制御を行う機能である。また、各物理ホストまたはＶＭ管理サーバ１６に、物理ホストの負荷状況、各仮想マシンのＣＰＵ使用率やメモリ利用率、アプリケーションの動作状態などを監視してそれらに関する情報を収集するＶＭ状態監視機能が実装されている。本実施形態では、ＶＭ管理サーバ１６がある物理ホスト上の仮想マシンを他の物理ホストにライブマイグレーションすることを決定すると、ＶＭ管理サーバ１６はその旨を管理装置２０に伝え、管理装置２０は、トラフィック監視機能やＶＭ状態監視機能から、移行元の物理ホストと移行先の物理ホストとの間のリンクを流れるトラフィック量や仮想マシンの動作状況等を取得し、帯域制御方法を決定し、その結果を帯域制御機能に対して設定する。ここでいう帯域制御方法とは、どのようなタイプの帯域制御（例えば、単に転送速度を制限するのか、シェーピングを行うのか、仮想マシンからの出力の停止を行うのか、など）を行うのかを示している。
In this embodiment, a traffic monitoring function and a bandwidth control function are implemented in a switch that bundles each physical host or a plurality of physical hosts. The traffic monitoring function is a function that identifies the traffic that flows between physical hosts that perform live migration of virtual machines, specifically, the function that monitors the type and bandwidth of traffic that flows through the link between physical hosts that perform live migration. is there. The bandwidth control function is a function for performing traffic bandwidth control as instructed by the
このような帯域制御を行うことより、本実施形態では、ライブマイグレーションのメモリコピーに必要な帯域を確保することが可能となって高速ライブマイグレーションを実現できる。これによって、例えば、物理ホストの過負荷状態解消のためにライブマイグレーションを実施する場合には、過負荷状態を素早く解消することが可能となる。また、メモリコピー用の帯域が狭いことによるライブマイグレーション失敗を防ぐことが可能となる。 By performing such bandwidth control, according to the present embodiment, it is possible to secure a bandwidth required for live migration memory copy, thereby realizing high-speed live migration. As a result, for example, when live migration is performed to eliminate an overload condition of a physical host, the overload condition can be quickly resolved. In addition, it is possible to prevent live migration failure due to a narrow band for memory copy.
以下、図５に示した仮想マシンシステムでのライブマイグレーションの実行例を説明する。 Hereinafter, an example of performing live migration in the virtual machine system illustrated in FIG. 5 will be described.
例えば、ホスト＃３は、フォールトトレランス構成における予備系として用意されているものとし、ホスト＃１上で仮想マシンＶＭ１が稼働しているものとし、図５（ａ）において［１］に示すように、ＶＭ管理サーバ１６が、仮想マシンＶＭ１をホスト＃１からホスト＃２へマイグレーションすることを決定したものとする。マイグレーション開始前の状態において、ホスト＃１と共有ストレージ１４との間にはスイッチ＃１を介して共有ストレージアクセスのトラフィックが存在し、ホスト＃１とパケット転送網との間にはスイッチ＃１とルータとを介してユーザトラフィックが存在し、ホスト＃１とホスト＃３をの間にはスイッチ＃１を介してフォールトトレランス同期情報のトラフィックが存在する。ライブマイグレーションの開始が決定されると、管理装置２０は、ライブマイグレーションでのメモリコピーによって使用されることになるリンクについて、そのリンク上でのトラフィックを制限する。このトラフィックの制限においては、図５（ｂ）において［２］に示すように、管理装置２０は、トラフィック監視機能やＶＭ状態監視機能から情報を収集し、帯域制御方法を決定し、決定された方法と帯域値とを物理ホストあるいはスイッチの帯域制御機能に設定する。これにより、図５に示した例では、［３］に示すように、ホスト＃１とホスト＃２との間の経路を通過する他のトラフィックの帯域が制限されて、ライブマイグレーションのメモリコピーの十分な帯域が確保され、高速ライブマイグレーションが実現することになる。
For example, it is assumed that the host # 3 is prepared as a standby system in the fault tolerance configuration, the virtual machine VM1 is operating on the
ここでは、１つの仮想マシンをライブマイグレーションする場合を説明したが、本実施形態に基づく方法は、同時に複数の仮想マシンをライブマイグレーションする際にも適用することができる。また、本実施形態に基づく方法が適用されるネットワークの構成も図５などに示したものに限定されるものではない。 Although the case of live migration of one virtual machine has been described here, the method based on this embodiment can also be applied to live migration of a plurality of virtual machines at the same time. Further, the network configuration to which the method according to the present embodiment is applied is not limited to that shown in FIG.
次に、本実施形態の仮想マシンシステムの具体的な構成例と帯域制御の方法について説明する。以下では、説明を簡単にするために、単一の仮想マシンのライブマイグレーションを行う場合を取り上げる。 Next, a specific configuration example and a bandwidth control method of the virtual machine system of this embodiment will be described. In the following, for the sake of simplicity, the case of live migration of a single virtual machine will be taken up.
まず、管理装置２０の構成について説明する。図６は、管理装置２０の構成の一例を示している。
First, the configuration of the
管理装置２０は、ネットワークとのインタフェースとしてパケットを受信するパケット受信部２１と、ネットワークとのインタフェースとしてパケットを送信するパケット送信部２２と、必要なデータを格納するデータ保存部２３と、ＶＭ管理サーバ１６との通信を行うＶＭ管理サーバ通信部２４と、帯域制御に必要となる情報を収集する情報収集部２５と、情報収集部２５で取得した情報を用いて、定められた時間内に仮想マシンのライブマイグレーションを完了させるための帯域を計算する必要帯域計算部２６と、ＶＭ管理サーバ通信部２４及び情報収集部２５で得た情報と必要帯域計算部２６で計算された帯域とに基づいて、帯域制御方法を決定し各リンクにおける各トラフィックの帯域を決定する帯域制御決定部２７と、帯域制御決定部２７で決定された結果に基づき、各物理ホストや仮想マシン、スイッチに対して帯域制御設定を行う帯域制御設定部２８と、を備えている。ここでＶＭ管理サーバ通信部２４は、ＶＭ管理サーバ１６との間で、仮想マシンのライブマイグレーションの対象となる仮想マシンの情報や、ライブマイグレーションの開始タイミング、帯域制御設定完了通知等の通信を行う。また、情報収集部２５は、スイッチまたは物理ホストに設けられて上述したトラフィック監視機能を実行するトラフィック監視部から、仮想マシンのライブマイグレーションを行う物理ホスト間のリンクを流れるトラフィックの情報を収集し、ＶＭ管理サーバ１６または物理ホストに設けられて上述したＶＭ状態監視機能を実行するＶＭ状態監視部から、物理ホストの負荷状況、各仮想マシンのＣＰＵ使用率やメモリ利用率、アプリケーションの動作状況などを収集する。
The
本実施形態の仮想マシンシステムでは、上述したトラフィック監視機能を実行するトラフィック監視部を各物理ホストに設けるかスイッチに設けるか、上述した帯域制御機能を実行する帯域制御部を各物理ホストに設けるかスイッチに設けるか、そして、上述したＶＭ状態監視機能を実行するＶＭ状態監視部を各物理ホストに設けるかＶＭ管理サーバ１６に設けるか、に応じて、複数の機能構成パターンを考えることができる。以下では、１つのスイッチにホスト＃１〜ホスト＃３とＶＭ管理サーバ１６と管理装置２０とが接続しており、ホスト＃１が仮想マシンの移行元であり、ホスト＃２が仮想マシンの移行先であり、ホスト＃３は予備系の仮想マシンのものであるとする。スイッチはさらにパケット転送網にも接続している。
In the virtual machine system of this embodiment, whether the traffic monitoring unit that executes the above-described traffic monitoring function is provided in each physical host or switch, or whether the bandwidth control unit that executes the above-described bandwidth control function is provided in each physical host. A plurality of functional configuration patterns can be considered depending on whether the switch is provided and the VM state monitoring unit that executes the above-described VM state monitoring function is provided in each physical host or the
機能構成Ａ：
図７は、仮想マシンシステムの機能構成パターンの１つとして、機能構成Ａを示している。機能構成Ａでは、トラフィック監視部３１をスイッチに設け、帯域制御部３２もスイッチに設け、各物理ホストには、当該物理ホストの負荷状態と、当該物理ホスト上で動作する各仮想マシンのＣＰＵ使用率、メモリ使用率及びアプリケーションの動作状態とを監視するようにＶＭ状態監視部３３が設けられている。
Functional configuration A:
FIG. 7 shows a functional configuration A as one of the functional configuration patterns of the virtual machine system. In the functional configuration A, the
機能構成Ｂ：
図８は、仮想マシンシステムの機能構成パターンの１つとして、機能構成Ｂを示している。機能構成Ｂでは、トラフィック監視部３１をスイッチに設け、帯域制御部３２もスイッチに設け、ＶＭ状態監視部３３をＶＭ管理サーバ１６に設けている。この場合、ＶＭ状態監視部３３は、ＶＭ管理サーバ１６に設けられているので、各物理ホストの負荷状態と、各物理ホスト上で動作する各仮想マシンのＣＰＵ使用率、メモリ使用率及びアプリケーションの動作状態とを監視する。
Functional configuration B:
FIG. 8 shows a functional configuration B as one of the functional configuration patterns of the virtual machine system. In the functional configuration B, the
機能構成Ｃ：
図９は、仮想マシンシステムの機能構成パターンの１つとして、機能構成Ｃを示している。機能構成Ｃでは、トラフィック監視部３１を各物理ホストに設け、帯域制御部３２をスイッチに設け、ＶＭ状態監視部３３を各物理ホストに設けている。ＶＭ状態監視部３３は、該当する物理ホストの負荷状態と、その物理ホスト上で動作する各仮想マシンのＣＰＵ使用率、メモリ使用率及びアプリケーションの動作状態とを監視する。
Functional configuration C:
FIG. 9 shows a functional configuration C as one of the functional configuration patterns of the virtual machine system. In the functional configuration C, the
機能構成Ｄ：
図１０は、仮想マシンシステムの機能構成パターンの１つとして、機能構成Ｄを示している。機能構成Ｄでは、各物理ホストごとに、トラフィック監視部３１と帯域制御部３２とＶＭ状態監視部３３とを設けている。ＶＭ状態監視部３３は、該当する物理ホストの負荷状態と、その物理ホスト上で動作する各仮想マシンのＣＰＵ使用率、メモリ使用率及びアプリケーションの動作状態とを監視する。
Functional configuration D:
FIG. 10 shows a functional configuration D as one of the functional configuration patterns of the virtual machine system. In the functional configuration D, a
機能構成Ｅ：
図１１は、仮想マシンシステムの機能構成パターンの１つとして、機能構成Ｅを示している。機能構成Ｅでは、トラフィック監視部３１を各物理ホストに設け、帯域制御部３２をスイッチに設け、ＶＭ状態監視部３３をＶＭ管理サーバ１６に設けている。この場合、ＶＭ状態監視部３３は、ＶＭ管理サーバ１６に設けられているので、各物理ホストの負荷状態と、各物理ホスト上で動作する各仮想マシンのＣＰＵ使用率、メモリ使用率及びアプリケーションの動作状態とを監視する。
Functional configuration E:
FIG. 11 shows a functional configuration E as one of the functional configuration patterns of the virtual machine system. In the functional configuration E, the
機能構成Ｆ：
図１２は、仮想マシンシステムの機能構成パターンの１つとして、機能構成Ｆを示している。機能構成Ｆでは、トラフィック監視部３１を各物理ホストに設け、帯域制御部３２も各物理ホストに設け、ＶＭ状態監視部３３をＶＭ管理サーバ１６に設けている。この場合、ＶＭ状態監視部３３は、ＶＭ管理サーバ１６に設けられているので、各物理ホストの負荷状態と、各物理ホスト上で動作する各仮想マシンのＣＰＵ使用率、メモリ使用率及びアプリケーションの動作状態とを監視する。
Functional configuration F:
FIG. 12 shows a functional configuration F as one of the functional configuration patterns of the virtual machine system. In the functional configuration F, the
次に、管理装置２０の必要帯域計算部２６における必要帯域の計算について説明する。ここでいう必要帯域とは、定められた時間内に仮想マシンのライブマイグレーションを完了させるために、移行元の物理ホストと移行先の物理ホストとの間のリンクに要求される帯域のことである。
Next, calculation of the required bandwidth in the required
必要帯域計算部２６は、情報収集部２５がトラフィック監視部３１及びＶＭ状態監視部３３から取得した情報に基づいて必要帯域を計算するが、迅速に計算を行うために、例えば、データ保存部２３内に予めグラフデータ、数式またはテーブルなどを格納しておき、ＶＭ状態監視部３３から得られた、マイグレーション対象の仮想マシンのメモリ容量とメモリ利用率とから、予め設定された時間ｔ以内にライブマイグレーションが終了するための必要帯域を計算する。例えば、必要帯域をＢとし、Ｂが、メモリ量ｍ、メモリ利用率ｕ、メモリ書き込み速度Ｗ及びメモリコピー時間ｔの関数で表される場合、数式：Ｂ＝ｆ（ｍ，ｕ，ｗ，ｔ）がデータ保存部２３に格納されている。当該数式に、ＶＭ状態監視部３３から取得した、メモリ量ｍ、メモリ利用率ｕ及びメモリ書き込み速度ｗの３つのパラメータと、メモリコピー時間として設定された値ｔとを代入することで、必要帯域Ｂを得ることができる。
The necessary
ここで説明した必要帯域の計算方法は一例であって、他の方法によって必要帯域を計算するようにしてもよい。 The necessary bandwidth calculation method described here is an example, and the necessary bandwidth may be calculated by other methods.
次に、管理装置２０の帯域制御決定部２７における帯域制御決定方法について説明する。帯域制御の対象とするトラフィックをどのように定めるかによって、異なる帯域制御決定方法を考えることができる。以下、それぞれの帯域制御決定方法について説明する。
Next, a bandwidth control determination method in the bandwidth
帯域制御決定方法（１）：
マイグレーションの対象となる仮想マシンに関係するトラフィックだけを考慮して、その仮想マシンに関係するトラフィックのみを帯域制御の対象とする方法が考えられる。これを帯域制御決定方法（１）とする。この帯域制御決定方法は、各物理ホストに帯域制御部３２が設けられている場合に適した方法である。図１３は、帯域制御決定方法（１）での処理を示している。
Band control determination method (1):
A method can be considered in which only traffic related to a virtual machine to be migrated is considered, and only traffic related to the virtual machine is subjected to bandwidth control. This is the band control determination method (1). This bandwidth control determination method is a method suitable when the
帯域制御決定方法（１）では、まず、ステップ１１１において、必要帯域計算部２６から、メモリコピー時間ｔおよび必要帯域値を取得し、情報収集部２５から、ＶＭ１（マイグレーション対象の仮想マシン）のトラフィック情報と、この仮想マシンＶＭ１で動作中のアプリケーションの情報と、マイグレーションの移行元の物理ホストと移行先の物理ホストとの間の空き帯域を取得する。次に、ステップ１１２において、空き帯域が必要帯域を上回っているかどうかを判断する。上回っている場合には、帯域制御を実施する必要がないので、ステップ１１３において、ＶＭ管理サーバ１６に対して仮想マシンのライブマイグレーションの開始を依頼して、帯域制御決定処理を終了する。これに対し、ステップ１１２において空き帯域が必要帯域を上回っていない場合には、ステップ１１４において制御方法を決定し、その決定結果に基づき、ステップ１１５において制御方法と制御先（どの物理ホストあるいはスイッチで帯域制御を行うか）を帯域制御設定部２８に通知して、帯域制御決定処理を終了する。
In the bandwidth control determination method (1), first, in
ここで、ステップ１１４の制御方法の決定では、どのような制御方法を選択するかによって、以下のようなバリエーション（１）−１〜（１）−５がある。これらのバリエーションのうちからどれか一つを選んで用いてもよいし、あるいは、複数を選択して優先順位を設定した上で制御可能なバリエーションを選択してもよい。
Here, in the determination of the control method in
バリエーション（１）−１では、仮想マシンＶＭ１で動作中のアプリケーションの情報から、ユーザトラフィックの入力を一時的に（設定したメモリコピー時間ｔの間）遮断してよいと判断され、かつ、入力を遮断したことにより生じるホスト間の空き帯域が必要帯域よりも大きい場合に、制御方法として「仮想マシンＶＭ１のユーザトラフィックの入力を時間ｔだけ遮断する」ことを選択し、制御先として、移行元の物理ホストを選択する。 In variation (1) -1, it is determined from the information of the application running on the virtual machine VM1 that the user traffic input may be temporarily blocked (for the set memory copy time t), and the input is When the free bandwidth between the hosts caused by the blocking is larger than the required bandwidth, select “block the user traffic input of the virtual machine VM1 only for time t” as the control method, and use the migration source as the control destination. Select a physical host.
バリエーション（１）−２では、仮想マシンＶＭ１で動作中のアプリケーションの情報から、ユーザトラフィックの出力を一時的に（設定したメモリコピー時間ｔの間）停止してよいと判断され、かつ、出力を停止したことにより生じるホスト間の空き帯域が必要帯域よりも大きい場合に、制御方法として「仮想マシンＶＭ１のユーザトラフィックの出力を時間ｔだけ停止する」ことを選択し、制御先として、移行元の物理ホストを選択する。バリエーション（１）−２では、ユーザトラフィック以外のトラフィックについても同様に帯域制御を行うことが可能である。 In the variation (1) -2, it is determined from the information of the application running on the virtual machine VM1 that the output of the user traffic may be temporarily stopped (for the set memory copy time t), and the output is When the free bandwidth between the hosts caused by the stop is larger than the required bandwidth, the control method is selected to stop the output of the user traffic of the virtual machine VM1 for the time t, and the control destination is the migration source Select a physical host. In variation (1) -2, bandwidth control can be performed in the same manner for traffic other than user traffic.
バリエーション（１）−３では、仮想マシンＶＭ１で動作中のアプリケーションの情報から、ユーザトラフィックの出力を一時的に（設定したメモリコピー時間ｔの間）、ある帯域値ｘまでシェーピングしてよいと判断され、かつ、出力を帯域ｘにシェーピングしたことにより生じるホスト間の空き帯域が必要帯域よりも大きい場合に、制御方法として「仮想マシンＶＭ１のユーザトラフィックの出力の帯域を時間ｔにわたって値ｘにシェーピングする」を選択し、制御先として、移行元の物理ホストを選択する。バリエーション（１）−３では、ユーザトラフィック以外のトラフィックについても同様に帯域制御を行うことが可能である。 In variation (1) -3, it is determined from the information of the application running on the virtual machine VM1 that the user traffic output may be temporarily shaped (during the set memory copy time t) to a certain bandwidth value x. If the free bandwidth between hosts generated by shaping the output into the band x is larger than the necessary bandwidth, the control method is to shape the bandwidth of the user traffic output of the virtual machine VM1 into the value x over time t. Select "Yes", and select the migration source physical host as the control destination. In variation (1) -3, it is possible to perform bandwidth control similarly for traffic other than user traffic.
バリエーション（１）−４では、仮想マシンＶＭ１で動作中のアプリケーションの情報から、ユーザトラフィックの出力が、時間ｔ’後に、一時的に（設定したメモリコピー時間ｔの間）必要帯域分だけ空くと判断され、かつ、ｔ’の間はマイグレーションを待機することが可能であると判断された場合に、制御方法として「仮想マシンのライブマイグレーションを時間ｔ’の経過後に実施する」を選択し、制御先としてＶＭ管理サーバ１６を選択する。バリエーション（１）−４は、ライブマイグレーションのメモリコピーと競合するトラフィックの帯域を制御するものであるというよりも、競合するトラフィックの影響が少ない期間にライブマイグレーションの実行をタイムシフトしようとするものである。
In the variation (1) -4, when the output of the user traffic temporarily becomes empty (during the set memory copy time t) after the time t ′, based on the information of the application running on the virtual machine VM1. If it is determined and it is determined that it is possible to wait for migration during t ′, the control method is selected to “perform live migration of virtual machine after time t ′” and control The
バリエーション（１）−５では、仮想マシンＶＭ１で動作中のアプリケーションの情報から、その仮想マシンＶＭ１のユーザに対して出力制限依頼を行うことが可能であると判断され、かつ、ユーザが帯域値ｘに出力制限することにより生じるホスト間の空き帯域が必要帯域よりも大きい場合に、制御方法として「ユーザに、仮想マシンＶＭ１の出力を帯域値ｘに制限するよう依頼する」を選択し、制御先として移行元の物理ホストを選択する。 In the variation (1) -5, it is determined from the information of the application running on the virtual machine VM1 that it is possible to make an output restriction request to the user of the virtual machine VM1, and the user sets the bandwidth value x When the available bandwidth between the hosts generated by restricting the output to is larger than the required bandwidth, the control method is selected to "request the user to limit the output of the virtual machine VM1 to the bandwidth value x" Select the migration source physical host.
帯域制御決定方法（２）：
マイグレーションの対象となる仮想マシンＶＭ１に関係するトラフィックだけでなく、移動元の物理ホストで動作している他の１または複数の仮想マシンを考慮して、帯域制御方法を決定することが考えられる。この場合、帯域制御の対象としても、仮想マシンＶＭ１だけでなく、移動元の物理ホストで動作している他の仮想マシンが含まれることになる。この帯域制御決定方法を帯域制御決定方法（２）とする。この帯域制御決定方法は、各物理ホストに帯域制御部３２が設けられている場合に適した方法である。また、上記の帯域制御決定方法（１）の各バリエーションを用いてもメモリコピー帯域を確保できない場合に、この帯域制御決定方法（２）を用いるようにしてもよい。図１４は、帯域制御決定方法（２）での処理を示している。
Band control determination method (2):
It is conceivable to determine the bandwidth control method in consideration of not only traffic related to the virtual machine VM1 to be migrated but also one or more other virtual machines operating on the migration source physical host. In this case, the bandwidth control target includes not only the virtual machine VM1 but also other virtual machines operating on the migration source physical host. This bandwidth control determination method is referred to as a bandwidth control determination method (2). This bandwidth control determination method is a method suitable when the
帯域制御決定方法（２）では、まず、ステップ１２１において、必要帯域計算部２６から、メモリコピー時間ｔおよび必要帯域値を取得し、情報収集部２５から、ＶＭ１（マイグレーション対象の仮想マシン）と他の仮想マシンとについてのトラフィック情報と、この仮想マシンＶＭ１と他の仮想マシンとで動作中のアプリケーションの情報と、マイグレーションの移行元の物理ホストと移行先の物理ホストとの間の空き帯域を取得する。次に、ステップ１２２において、空き帯域が必要帯域を上回っているかどうかを判断する。上回っている場合には、帯域制御を実施する必要がないので、ステップ１２３において、ＶＭ管理サーバ１６に対して仮想マシンのライブマイグレーションの開始を依頼して、帯域制御決定処理を終了する。これに対し、ステップ１２２において空き帯域が必要帯域を上回っていない場合には、ステップ１２４において制御方法を決定し、その決定結果に基づき、ステップ１２５において制御方法と制御先（どの物理ホストあるいはスイッチで帯域制御を行うか）を帯域制御設定部２８に通知して、帯域制御決定処理を終了する。
In the bandwidth control determination method (2), first, in step 121, the memory copy time t and the required bandwidth value are acquired from the required
ここで、ステップ１２４の制御方法の決定では、どのような制御方法を選択するかによって、以下のようなバリエーション（２）−１〜（２）−５がある。これらのバリエーションのうちからどれか一つを選んで用いてもよいし、あるいは、複数を選択して優先順位を設定した上で制御可能なバリエーションを選択してもよい。
Here, the determination of the control method in
バリエーション（２）−１では、仮想マシンＶＭ１および他の仮想マシンで動作中のアプリケーションの情報から、ユーザトラフィックの入力を一時的に（設定したメモリコピー時間ｔの間）遮断してよいと判断される仮想マシンがあり、かつ、それらの入力を遮断したことにより生じるホスト間の空き帯域が必要帯域よりも大きい場合に、制御方法として「遮断可の仮想マシンのユーザトラフィックの入力を時間ｔだけ遮断する」を選択し、制御先として移行元の物理ホストを選択する。 In variation (2) -1, it is determined from the information of applications running on the virtual machine VM1 and other virtual machines that user traffic input may be temporarily blocked (for the set memory copy time t). If the available bandwidth between hosts is larger than the required bandwidth, and the control method is to block the user traffic input of the virtual machine that can be blocked for the time t. Select "Yes", and select the migration source physical host as the control destination.
バリエーション（２）−２では仮想マシンＶＭ１および他の仮想マシンで動作中のアプリケーションの情報から、ユーザトラフィックの出力を一時的に（設定したメモリコピー時間ｔの間）停止してよいと判断される仮想マシンがあり、かつ、それらの出力を停止したことにより生じるホスト間の空き帯域が必要帯域よりも大きい場合に、制御方法として「出力の停止が可能な仮想マシンのユーザトラフィックの出力を時間ｔだけ停止する」を選択し、制御先として、移行元の物理ホストを選択する。バリエーション（２）−２では、ユーザトラフィック以外のトラフィックについても同様に帯域制御を行うことが可能である。 In variation (2) -2, it is determined from the information of applications running on the virtual machine VM1 and other virtual machines that the output of user traffic may be temporarily stopped (for the set memory copy time t). When there is a virtual machine and the free bandwidth between the hosts caused by stopping the output of the virtual machine is larger than the required bandwidth, the control method is “output the user traffic of the virtual machine whose output can be stopped for the time t. Select "Stop only", and select the migration source physical host as the control destination. In variation (2) -2, it is possible to perform bandwidth control similarly for traffic other than user traffic.
バリエーション（２）−３では、仮想マシンＶＭ１および他の仮想マシンで動作中のアプリケーションの情報から、ユーザトラフィックの出力を一時的に（設定したメモリコピー時間ｔの間）、ある帯域値ｘまでシェーピングしてよいと判断される仮想マシンがあり、かつ、それらの出力を帯域ｘにシェーピングしたことにより生じるホスト間の空き帯域が必要帯域よりも大きい場合に、制御方法として、「シェーピングが可能な仮想マシンのユーザトラフィックの出力の帯域を時間ｔにわたって値ｘにシェーピングする」を選択し、制御先として、移行元の物理ホストを選択する。バリエーション（２）−３では、ユーザトラフィック以外のトラフィックについても同様に帯域制御を行うことが可能である。また、帯域のシェーピング値は仮想マシンごとに異なっていてもよい。 In variation (2) -3, the user traffic output is temporarily shaped (for the set memory copy time t) from the information of the application running on the virtual machine VM1 and other virtual machines to a certain band value x. If there is a virtual machine that is determined to be acceptable and the available bandwidth between the hosts resulting from shaping their output into the bandwidth x is larger than the required bandwidth, the control method is “Shape output bandwidth of user traffic of machine to value x over time t” is selected, and the migration source physical host is selected as the control destination. In variation (2) -3, it is possible to perform bandwidth control similarly for traffic other than user traffic. Further, the bandwidth shaping value may be different for each virtual machine.
バリエーション（２）−４では、仮想マシンＶＭ１および他の仮想マシンで動作中のアプリケーションの情報から、それらの仮想マシンのユーザトラフィックの出力の合計が、時間ｔ’後に、一時的に（設定したメモリコピー時間ｔの間）必要帯域分だけ空くと判断され、かつ、ｔ’の間はマイグレーションを待機することが可能であると判断された場合に、制御方法として「仮想マシンＶＭ１のライブマイグレーションを時間ｔ’の経過後に実施する」を選択し、制御先としてＶＭ管理サーバ１６を選択する。バリエーション（２）−４は、ライブマイグレーションのメモリコピーと競合するトラフィックの帯域を制御するものであるというよりも、競合するトラフィックの影響が少ない期間にライブマイグレーションの実行をタイムシフトしようとするものである。
In the variation (2) -4, the total of user traffic outputs of the virtual machines VM1 and other virtual machines running on the virtual machine VM1 and other virtual machines is temporarily (set memory) after time t ′. When it is determined that the necessary bandwidth is freed during the copy time t), and it is determined that the migration can be waited during t ′, the control method “live live migration of virtual machine VM1” “Execute after elapse of t ′” is selected, and the
バリエーション（２）−５では、仮想マシンＶＭ１および他の仮想マシンで動作中のアプリケーションの情報から、ユーザに対して出力制限依頼を行うことが可能であると判断される仮想マシンがあり、かつ、ユーザがその仮想マシンを帯域値ｘに出力制限することにより生じるホスト間の空き帯域が必要帯域も大きい場合に、制御方法として「出力制限が可能な仮想マシンに対し、ユーザに当該仮想マシンへの出力を帯域値ｘに制限するよう依頼する」を選択し、制御先として移行元の物理ホストを選択する。 In variation (2) -5, there is a virtual machine that is determined to be able to make an output restriction request to the user from the information of applications running on the virtual machine VM1 and other virtual machines, and When the available bandwidth between hosts that is generated by the user restricting the output of the virtual machine to the bandwidth value x is also large, the control method is as follows. “Request to limit output to bandwidth value x” is selected, and the migration source physical host is selected as the control destination.
帯域制御決定方法（３）：
トラフィックを仮想マシンで区別することなく、マイグレーションの移行元の物理ホストと移行先との物理ホストの間のトラフィックをまとめて制御することが考えられる。この場合、トラフィック種別（ユーザトラフィックであるか、共有ストレージアクセスのトラフィックであるか、フォールトトレランス同期機能のトラフィックであるか、など）ごとの制御は可能であるとする。この帯域制御決定方法を帯域制御決定方法（３）とする。この帯域制御決定方法は、帯域制御部３２が各物理ホストに設けられている場合とスイッチに設けられている場合とのいずれの場合であっても適用可能である。図１５は、帯域制御決定方法（３）での処理を示している。
Band control determination method (3):
It is conceivable to collectively control traffic between a migration source physical host and a migration destination physical host without distinguishing the traffic by virtual machines. In this case, it is assumed that control for each traffic type (whether user traffic, shared storage access traffic, fault tolerance synchronization function traffic, or the like) is possible. This bandwidth control determination method is referred to as bandwidth control determination method (3). This bandwidth control determination method is applicable regardless of whether the
帯域制御決定方法（３）では、まず、ステップ１３１において、必要帯域計算部２６から、メモリコピー時間ｔおよび必要帯域値を取得し、情報収集部２５から、マイグレーションの移行元の物理ホストと移行先の物理ホストとの間のトラフィック情報と空き帯域とを取得する。次に、ステップ１３２において、空き帯域が必要帯域を上回っているかどうかを判断する。上回っている場合には、帯域制御を実施する必要がないので、ステップ１３３において、ＶＭ管理サーバ１６に対して仮想マシンのライブマイグレーションの開始を依頼して、帯域制御決定処理を終了する。これに対し、ステップ１３２において空き帯域が必要帯域を上回っていない場合には、ステップ１３４において制御方法を決定し、その決定結果に基づき、ステップ１３５において制御方法と制御先（どの物理ホストあるいはスイッチで帯域制御を行うか）を帯域制御設定部２８に通知して、帯域制御決定処理を終了する。
In the bandwidth control determination method (3), first, in
ここで、ステップ１３４の制御方法の決定では、どのような制御方法を選択するかによって、以下のようなバリエーション（３）−１，（３）−２がある。これらのバリエーションのうちから一つを選んで用いてもよいし、あるいは、優先順位を設定した上で制御可能なバリエーションを選択してもよい。
Here, in the determination of the control method in
バリエーション（３）−１では、トラフィック情報から、移行元の物理ホストの出力ユーザトラフィックを一時的に（設定したメモリコピー時間ｔの間）遮断してよいと判断され、かつ、出力を停止したことにより生じるホスト間の空き帯域が必要帯域よりも大きい場合に、制御方法として「移行元の物理ホストのユーザトラフィックの出力を時間ｔだけ停止する」を選択し、制御先として、移行元の物理ホストまたはスイッチを選択する。バリエーション（３）−１では、ユーザトラフィック以外のトラフィックについても同様に帯域制御を行うことが可能である。 In variation (3) -1, it is determined from the traffic information that the output user traffic of the migration source physical host may be temporarily blocked (for the set memory copy time t), and the output is stopped. When the free bandwidth between hosts caused by the above is larger than the required bandwidth, select “Stop the output of user traffic from the migration source physical host for time t” as the control method, and use the migration source physical host as the control destination. Or select a switch. In variation (3) -1, it is possible to perform bandwidth control similarly for traffic other than user traffic.
バリエーション（３）−２では、トラフィック情報から、移行元の物理ホストの出力ユーザトラフィックを一時的に（設定したメモリコピー時間ｔの間）、ある帯域値ｘまでシェーピングしてよいと判断され、かつ、出力を帯域ｘにシェーピングしたことにより生じるホスト間の空き帯域が必要帯域よりも大きい場合に、制御方法として「移行元の物理ホストのユーザトラフィックの出力帯域を時間ｔにわたって値ｘにシェーピングする」を選択し、制御先として、移行元の物理ホストまたはスイッチを選択する。バリエーション（３）−２では、ユーザトラフィック以外のトラフィックについても同様に帯域制御を行うことが可能である。 In variation (3) -2, it is determined from the traffic information that the output user traffic of the migration source physical host may be temporarily shaped (during the set memory copy time t) to a certain bandwidth value x, and When the free bandwidth between hosts generated by shaping the output into the bandwidth x is larger than the necessary bandwidth, the control method is “shape the output bandwidth of the user traffic of the migration source physical host to the value x over time t” And select the migration source physical host or switch as the control destination. In variation (3) -2, bandwidth control can be similarly performed for traffic other than user traffic.
以上、本実施形態の仮想マシンシステムにおける機能構成パターンの例と帯域制御決定方法の例とを説明したが、これらの機能構成パターンと帯域制御決定方法との組み合わせのうち特に有効なものは、以下の表１に示すものである。 As described above, the example of the functional configuration pattern and the example of the bandwidth control determination method in the virtual machine system according to the present embodiment have been described. Among the combinations of the functional configuration pattern and the bandwidth control determination method, particularly effective ones are as follows: It shows in Table 1.
次に、表１に示した組み合わせのうちのいくつかをさらに詳しく説明する。 Next, some of the combinations shown in Table 1 will be described in more detail.
［実施例１］
機能構成パターンとして機能構成Ａを選択し、帯域制御決定方法として帯域制御決定方法（３）を選択し、制御方法のバリエーションとしてバリエーション（３）−１を選択した場合を説明する。図１６は、この場合の仮想マシンシステムを構成を示している。スイッチにはトラフィック監視部３１と帯域制御部３２が設けられ、各物理ホストにはＶＭ状態監視部３３が設けられる。ネットワークはＶＬＡＮとして構成されており、トラフィックはＶＬＡＮによって識別でき、また、ＶＬＡＮごとに帯域制御を実施できるものとする。
[Example 1]
A case will be described in which the functional configuration A is selected as the functional configuration pattern, the bandwidth control determination method (3) is selected as the bandwidth control determination method, and the variation (3) -1 is selected as a variation of the control method. FIG. 16 shows the configuration of the virtual machine system in this case. A
何らかの理由により、ホスト＃１で動作中の仮想マシンＶＭ１をホスト＃１からホスト＃２へライブマイグレーションすることが決定し、また、ライブマイグレーションのメモリコピーに要すことのできる時間がｔであるものとする。図１７はこの場合の処理の流れを示している。
For some reason, the virtual machine VM1 running on the
ステップ２０１においてＶＭ管理サーバ１６が仮想マシンＶＭ１のライブマイグレーションの実施を決定すると、その旨がＶＭ管理サーバ１６から管理装置２０のＶＭ管理サーバ通信部２４に通知され（ステップ２０２）、さらに、ＶＭ管理サーバ通信部２４から情報収集部２５に通知される（ステップ２０３）。情報収集部２５は、スイッチのトラフィック監視部３１からトラフィック情報を収集し（ステップ２０４）、収集した情報を必要帯域計算部２６に通知し（ステップ２０５）、ホスト＃１のＶＭ状態監視部３３から仮想マシン（ＶＭ）情報を収集し（ステップ２０６）、収集した情報を必要帯域計算部２６に通知する（ステップ２０７）。すると必要帯域計算部２６は、ステップ２０８において必要帯域を計算する。ここでは、必要帯域がＹ［ｂｐｓ］になったものとする。必要帯域計算部２６は、必要帯域の情報を帯域制御決定部２７に通知し（ステップ２０９）、帯域制御決定部２７はステップ２１０において帯域制御方法を決定する。ここでは、空き帯域が必要帯域Ｙ［ｂｐｓ］を上回っておらず、ユーザトラフィックの遮断が可能であり、その遮断可能なユーザトラフィックの帯域が必要帯域（Ｙ［ｂｐｓ］）を上回っているので、制御方法として、スイッチに対してユーザトラフィックの遮断を指示することが選択される。この決定された帯域制御方法は、帯域制御決定部２７から帯域制御設定部２８に通知され（ステップ２１１）、帯域制御設定部２８は、ステップ２１２において、スイッチにユーザトラフィックの遮断を設定し、ステップ２１３において、設定したことをＶＭ管理サーバ通信部２４に通知する。ＶＭ管理サーバ通信部２４は、ＶＭ管理サーバ１６に対してライブマイグレーションを依頼し（ステップ２１４）、ＶＭ管理サーバ１６は、ホスト＃１に対してライブマイグレーションを指示する（ステップ２１５）。すると、ステップ２１６において、ホスト＃１からホスト＃２へのメモリコピーが行われ、ステップ２１７において、ホスト＃１上の仮想マシンを停止してホスト＃２上で仮想マシンを立ち上げる仮想マシン（ＶＭ）切替が実施される。その結果、ホスト＃２上で仮想マシンＶＭ１が動作することになる。ホスト＃２からＶＭ管理サーバ１６に対して切り替えの完了通知がなされ（ステップ２１８）、ＶＭ管理サーバ１６はＶＭ管理サーバ通信部２４に対してライブマイグレーションの完了を通知し（ステップ２１９）、これを受けてＶＭ管理サーバ通信部２４は帯域制御設定部２８に通知を行う（ステップ２２０）。帯域制御設定部２８は、通知を受けて、ステップ２２１において、スイッチに対し、ユーザトラフィックの遮断の解除を設定する。
When the
［実施例２］
機能構成パターンとして機能構成Ｄを選択し、帯域制御決定方法として帯域制御決定方法（１）を選択し、制御方法のバリエーションとしてバリエーション（１）−１及び（１）−３を選択した場合を説明する。図１８は、この場合の仮想マシンシステムを構成を示している。各物理ホストごとに、トラフィック監視部３１と帯域制御部３２とＶＭ状態監視部３３とが設けられている。トラフィックは仮想マシンごとに識別でき、仮想マシンごとに帯域制御を行うことができるものとする。
[Example 2]
The case where the functional configuration D is selected as the functional configuration pattern, the bandwidth control determination method (1) is selected as the bandwidth control determination method, and the variations (1) -1 and (1) -3 are selected as variations of the control method will be described. To do. FIG. 18 shows the configuration of the virtual machine system in this case. A
何らかの理由により、ホスト＃１で動作中の仮想マシンＶＭ１をホスト＃１からホスト＃２へライブマイグレーションすることが決定し、また、ライブマイグレーションのメモリコピーに要すことのできる時間がｔであるものとする。図１９はこの場合の処理の流れを示している。
For some reason, the virtual machine VM1 running on the
ステップ２５１においてＶＭ管理サーバ１６が仮想マシンＶＭ１のライブマイグレーションの実施を決定すると、その旨がＶＭ管理サーバ１６から管理装置２０のＶＭ管理サーバ通信部２４に通知され（ステップ２５２）、さらに、ＶＭ管理サーバ通信部２４から情報収集部２５に通知される（ステップ２５３）。情報収集部２５は、ホスト＃１のトラフィック監視部３１からトラフィック情報を収集し（ステップ２５４）、収集した情報を必要帯域計算部２６に通知し（ステップ２５５）、ホスト＃１のＶＭ状態監視部３３から仮想マシン（ＶＭ）情報を収集し（ステップ２５６）、収集した情報を必要帯域計算部２６に通知する（ステップ２５７）。すると必要帯域計算部２６は、ステップ２５８において必要帯域を計算する。ここでは、必要帯域がＹ［ｂｐｓ］になったものとする。必要帯域計算部２６は、必要帯域の情報を帯域制御決定部２７に通知し（ステップ２５９）、帯域制御決定部２７はステップ２６０において帯域制御方法を決定する。ここでは、空き帯域が必要帯域Ｙ［ｂｐｓ］を上回っておらず、ユーザトラフィックの遮断は不可であるがユーザトラフィックの帯域をＸ［ｂｐｓ］にシェーピングすることが可能であるので、制御方法として、ホスト＃１に対して仮想マシンＶＭ１のユーザトラフィックのＸ［ｂｐｓ］へのシェーピング実行を指示することが選択される。この決定された帯域制御方法は、帯域制御決定部２７から帯域制御設定部２８に通知され（ステップ２６１）、帯域制御設定部２８は、ステップ２６２において、ホスト＃１に対し、仮想マシンＶＭ１のユーザトラフィックのＸ［ｂｐｓ］へのシェーピングを設定し、ステップ２６３において、設定したことをＶＭ管理サーバ通信部２４に通知する。ＶＭ管理サーバ通信部２４は、ＶＭ管理サーバ１６に対してライブマイグレーションを依頼し（ステップ２６４）、ＶＭ管理サーバ１６は、ホスト＃１に対してライブマイグレーションを指示する（ステップ２６５）。すると、ステップ２６６において、ホスト＃１からホスト＃２へのメモリコピーが行われ、ステップ２６７において、ホスト＃１上の仮想マシンを停止してホスト＃２上で仮想マシンを立ち上げる仮想マシン（ＶＭ）切替が実施される。その結果、ホスト＃２上で仮想マシンＶＭ１が動作することになる。ホスト＃２からＶＭ管理サーバ１６に対して切り替えの完了通知がなされ（ステップ２６８）、ＶＭ管理サーバ１６はＶＭ管理サーバ通信部２４に対してライブマイグレーションの完了を通知し（ステップ２６９）、これを受けてＶＭ管理サーバ通信部２４は帯域制御設定部２８に通知を行う（ステップ２７０）。帯域制御設定部２８は、通知を受けて、ステップ２７１において、ホスト＃２に対し、仮想マシンＶＭ１のユーザトラフィックのシェーピングの解除を設定する。
When the
１１，１２ 物理ホスト
１３ ネットワーク
１４ 共有ストレージ
１５ 仮想化ソフトウェア
１６ ＶＭ管理サーバ
２０ 管理装置
２１ パケット受信部
２２ パケット送信部
２３ データ保存部
２４ ＶＭ管理サーバ通信部
２５ 情報収集部
２６ 必要帯域計算部
２７ 帯域制御決定部
２８ 帯域制御設定部
３１ トラフィック監視部
３２ 帯域制御部
３３ ＶＭ状態監視部
DESCRIPTION OF
Claims (8)
前記物理ホストまたは前記ネットワークに組み込まれてトラフィックを特定して監視するトラフィック監視手段と、
前記物理ホストまたは前記ネットワークに組み込まれて前記トラフィックの帯域制御を行う帯域制御手段と、
前記物理ホストまたは前記ＶＭ管理サーバに組み込まれて前記仮想マシンの状態に関する情報を収集するＶＭ状態監視手段と、
前記ＶＭ管理サーバが移行元の物理ホストから移行先の物理ホストへの前記仮想マシンのライブマイグレーションの実施を決定したときに、前記トラフィック監視手段及び前記ＶＭ状態監視手段から情報を収集し、収集した前記情報に基づいて前記ライブマイグレーションの実施に必要な帯域を求め、前記移行元の物理ホストから前記移行先の物理ホストまでのリンクの空き帯域が前記必要な帯域を上回っているかを判定し、前記空き帯域が不足する場合に帯域制御方法を決定して該帯域制御方法に基づいて前記帯域制御手段に前記リンクにおけるトラフィックの帯域制御を設定する管理装置と、
を有する、仮想マシンシステム。 A virtual machine system comprising a plurality of physical hosts, a network connecting the physical hosts, and a VM management server for managing virtual machines, wherein the virtual machines can operate on the physical hosts,
Traffic monitoring means incorporated in the physical host or the network to identify and monitor traffic;
Band control means for controlling the bandwidth of the traffic incorporated in the physical host or the network;
VM status monitoring means for collecting information relating to the status of the virtual machine incorporated in the physical host or the VM management server;
When the VM management server decided to perform live migration of the virtual machine from the migration source physical host to the migration destination physical host, information was collected from the traffic monitoring unit and the VM state monitoring unit Obtaining a bandwidth necessary for performing the live migration based on the information, determining whether a free bandwidth of a link from the migration source physical host to the migration destination physical host exceeds the necessary bandwidth, A management device that determines a bandwidth control method when the available bandwidth is insufficient and sets bandwidth control of traffic in the link in the bandwidth control means based on the bandwidth control method;
A virtual machine system.
前記トラフィック監視手段及び前記ＶＭ状態監視手段から情報を収集する情報収集手段と、
前記情報収集手段で取得した情報を用いて、定められた時間内に前記ライブマイグレーションを完了させるために必要な帯域を計算する必要帯域計算手段と、
前記ＶＭ管理サーバと前記情報収集手段とから得た情報と前記必要帯域計算手段で計算された帯域とに基づいて帯域制御方法を決定し前記リンクにおける前記トラフィックの帯域を決定する帯域制御決定手段と、
前記帯域制御決定手段で決定した結果に基づき、前記帯域制御手段に帯域制御を設定する帯域制御設定手段と、
を有する、請求項１に記載の仮想マシンシステム。 The management device
Information collecting means for collecting information from the traffic monitoring means and the VM state monitoring means;
Using the information acquired by the information collecting means, necessary bandwidth calculating means for calculating a bandwidth necessary for completing the live migration within a predetermined time;
Bandwidth control determining means for determining a bandwidth control method based on information obtained from the VM management server and the information collecting means and a bandwidth calculated by the required bandwidth calculating means and determining a bandwidth of the traffic in the link; ,
Based on the result determined by the bandwidth control determining means, bandwidth control setting means for setting bandwidth control to the bandwidth control means,
The virtual machine system according to claim 1, comprising:
前記ＶＭ管理サーバが前記ライブマイグレーションの実施を決定したときに、移行元の物理ホストから移行先の物理ホストまでのリンクにおけるトラフィックの状態に関する情報を収集する段階と、
前記仮想マシンの状態に関する情報を収集する段階と、
前記トラフィックの状態に関する情報と前記仮想マシンの状態に関する情報とに基づいて前記ライブマイグレーションの実施に必要な帯域を求める段階と、
前記リンクの空き帯域が前記必要な帯域を上回っているかを判定して前記空き帯域が不足する場合に帯域制御方法を決定する段階と、
該帯域制御方法に基づいて前記リンクにおけるトラフィックの帯域制御を前記物理ホストまたは前記ネットワークに組み込まれた帯域制御手段に設定する段階と、
を有する方法。 Migrating from a migration source physical host in a virtual machine system having a plurality of physical hosts, a network connecting the physical hosts, and a VM management server for managing virtual machines and capable of operating virtual machines on each physical host A method for live migration of a virtual machine to a destination physical host,
When the VM management server decides to perform the live migration, collecting information regarding the traffic state in the link from the migration source physical host to the migration destination physical host;
Collecting information about the state of the virtual machine;
Obtaining a bandwidth required for performing the live migration based on information on the traffic state and information on the state of the virtual machine;
Determining whether a free bandwidth of the link exceeds the required bandwidth and determining a bandwidth control method when the free bandwidth is insufficient;
Setting bandwidth control of traffic on the link to the physical host or bandwidth control means incorporated in the network based on the bandwidth control method;
Having a method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012176811A JP5758358B2 (en) | 2012-08-09 | 2012-08-09 | Virtual machine system and high-speed live migration method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012176811A JP5758358B2 (en) | 2012-08-09 | 2012-08-09 | Virtual machine system and high-speed live migration method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014035661A true JP2014035661A (en) | 2014-02-24 |
| JP5758358B2 JP5758358B2 (en) | 2015-08-05 |
Family
ID=50284622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012176811A Expired - Fee Related JP5758358B2 (en) | 2012-08-09 | 2012-08-09 | Virtual machine system and high-speed live migration method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5758358B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105025067A (en) * | 2014-04-30 | 2015-11-04 | 中国银联股份有限公司 | Information security technology research platform |
| CN108337179A (en) * | 2017-01-19 | 2018-07-27 | 华为技术有限公司 | Link flow control method and device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011180889A (en) * | 2010-03-02 | 2011-09-15 | Nec Corp | Network resource management system, device, method and program |
| JP2011186821A (en) * | 2010-03-09 | 2011-09-22 | Nec Corp | Virtual-environment management system, device, method, and program |
| JP2011198299A (en) * | 2010-03-23 | 2011-10-06 | Fujitsu Ltd | Program, computer, communicating device, and communication control system |
-
2012
- 2012-08-09 JP JP2012176811A patent/JP5758358B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011180889A (en) * | 2010-03-02 | 2011-09-15 | Nec Corp | Network resource management system, device, method and program |
| JP2011186821A (en) * | 2010-03-09 | 2011-09-22 | Nec Corp | Virtual-environment management system, device, method, and program |
| JP2011198299A (en) * | 2010-03-23 | 2011-10-06 | Fujitsu Ltd | Program, computer, communicating device, and communication control system |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105025067A (en) * | 2014-04-30 | 2015-11-04 | 中国银联股份有限公司 | Information security technology research platform |
| CN105025067B (en) * | 2014-04-30 | 2018-12-25 | 中国银联股份有限公司 | A kind of information security technology research platform |
| CN108337179A (en) * | 2017-01-19 | 2018-07-27 | 华为技术有限公司 | Link flow control method and device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5758358B2 (en) | 2015-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2629490B1 (en) | Optimizing traffic load in a communications network | |
| Mann et al. | Remedy: Network-aware steady state VM management for data centers | |
| EP3201761B1 (en) | Load balancing | |
| EP2972855B1 (en) | Automatic configuration of external services based upon network activity | |
| KR101781063B1 (en) | Two-level resource management method and appratus for dynamic resource management | |
| US9395786B2 (en) | Cross-layer power management in a multi-layer system | |
| EP2867772B1 (en) | Dynamic resource allocation for virtual machines | |
| US9600319B2 (en) | Computer-readable medium, apparatus, and method for offloading processing from a virtual switch to a physical switch | |
| JP2010244524A (en) | Determining method of method for moving virtual server, and management server thereof | |
| CN106681839B (en) | Elastic calculation dynamic allocation method | |
| US20200409755A1 (en) | Mechanism to automatically prioritize i/o for nfv workloads at platform overload | |
| JP2011180889A (en) | Network resource management system, device, method and program | |
| Farahnakian et al. | Hierarchical vm management architecture for cloud data centers | |
| Han et al. | SAVE: Energy-aware virtual data center embedding and traffic engineering using SDN | |
| Babu et al. | Interference aware prediction mechanism for auto scaling in cloud | |
| JP5758358B2 (en) | Virtual machine system and high-speed live migration method thereof | |
| JP5257709B2 (en) | Virtual computer migration method, virtual computer system, and management server | |
| CN109739634A (en) | A kind of atomic task execution method and device | |
| JP5876425B2 (en) | Virtual machine live migration scheduling method and virtual machine system | |
| Luo et al. | Network-aware re-scheduling: Towards improving network performance of virtual machines in a data center | |
| US8139477B2 (en) | Network element bypass in computing computer architecture | |
| JP6186287B2 (en) | System management server and control method | |
| WO2019176606A1 (en) | Vm performance guaranteeing system and vm performance guaranteeing method | |
| CN105335234A (en) | Method for immediately migrating virtual machine | |
| JP2010231601A (en) | Grid computing system, method and program for controlling resource |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140729 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20141027 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20141031 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150318 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150324 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150513 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150602 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150603 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5758358 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |