JP2012088808A - 仮想マシン制御装置、仮想マシン制御プログラムおよび仮想マシン制御方法 - Google Patents

仮想マシン制御装置、仮想マシン制御プログラムおよび仮想マシン制御方法 Download PDF

Info

Publication number
JP2012088808A
JP2012088808A JP2010233020A JP2010233020A JP2012088808A JP 2012088808 A JP2012088808 A JP 2012088808A JP 2010233020 A JP2010233020 A JP 2010233020A JP 2010233020 A JP2010233020 A JP 2010233020A JP 2012088808 A JP2012088808 A JP 2012088808A
Authority
JP
Japan
Prior art keywords
virtual machine
live migration
started
processing status
correlation coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010233020A
Other languages
English (en)
Other versions
JP5614226B2 (ja
Inventor
Atsuji Sekiguchi
敦二 関口
Masazumi Matsubara
正純 松原
Yuji Wada
裕二 和田
Yasuhide Matsumoto
安英 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2010233020A priority Critical patent/JP5614226B2/ja
Priority to US13/229,796 priority patent/US8701108B2/en
Publication of JP2012088808A publication Critical patent/JP2012088808A/ja
Application granted granted Critical
Publication of JP5614226B2 publication Critical patent/JP5614226B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
    • G06F9/4856—Task life-cycle, e.g. stopping, restarting, resuming execution resumption being on a different machine, e.g. task migration, virtual machine migration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Hardware Redundancy (AREA)
  • Debugging And Monitoring (AREA)

Abstract

【課題】ライブマイグレーションを効率的に実行する。
【解決手段】仮想マシン制御装置２０は、仮想マシン１（ＶＭ１）のライブマイグレーションが開始された場合に、仮想マシン１および他に動作している仮想マシン２（ＶＭ２）の処理状況を取得する。そして、仮想マシン制御装置２０は、取得された各仮想マシンの処理状況を用いて、ライブマイグレーションが開始された仮想マシン１の処理状況と他の仮想マシン２の処理状況との相関係数を算出する。その後、仮想マシン制御装置２０は、算出された相関係数が正の値である仮想マシン２のライブマイグレーションを、開始された仮想マシン１のライブマイグレーションと並行して実行する。
【選択図】図２

Description

本発明は、仮想マシン制御装置、仮想マシン制御プログラムおよび仮想マシン制御方法に関する。
従来、サーバなどの物理マシン（ＰＭ：Physical Machine）上で、仮想マシン（ＶＭ：Virtual Machine）を動作させる仮想化技術が利用されている。仮想化技術としては、ハードウェアの機能により論理的に分割するＬＰＡＲ（Logical PARtitioning）やソフトウェアにより論理的に分割する仮想化ＯＳ（Operating System）などがある。
物理マシンでは、ＬＰＡＲや仮想化ＯＳを用いて、ＣＰＵ（Central Processing Unit）や記憶装置などのリソースを仮想化し、仮想化したリソースでＯＳを動作させて、仮想マシンを実現する。例えば、複数の仮想マシンに仮想化したリソースを割り当てる手法としては、各ＬＰＡＲのリソース利用状況を収集して相関係数を算出し、収集したリソース利用状況と相関係数とに基づいて、各ＬＰＡＲのリソースを配置する手法が知られている。
近年、インターネット上のサービスとして、情報処理システムに用いるＣＰＵ、記憶装置、ソフトウェアなどを提供するＩａａＳ（Infrastructure as a Service）において、仮想化技術が利用されている。
ＩａａＳを提供する提供者側では、仮想マシンを動作させている物理マシンの保守や仮想マシン管理基盤の更新などを行う場合でも、仮想マシンの利用者との間で締結したＳＬＡ（Service Level Agreement）により、仮想マシンの停止が制限される。この場合、物理マシン上で動作する仮想マシンのメモリ内容を別の物理マシンにネットワーク経由でコピーし、別の物理マシンに仮想マシンを動的に移動させるライブマイグレーションを実行した上で、物理マシンの保守等を実施する。
特開２００４−１９９５６１号公報
しかしながら、従来のライブマイグレーションは、効率的でないという課題があった。例えば、複数の仮想マシンをライブマイグレーションする場合について説明する。物理マシンは、ライブマイグレーションを実行する場合、ＣＰＵ、メモリ、ネットワーク帯域などリソースを使用するので、同時に複数のライブマイグレーションを実行すると、リソースを多く消費して他の処理に支障をきたす。また、仮想マシンを１つずつライブマイグレーションした場合には、ライブマイグレーションで使用するリソースの消費を抑えることができるが、時間がかかる。すなわち、いずれの手法であっても、効率的なライブマイグレーションとは言えない。
１つの側面では、ライブマイグレーションを効率的に実行できる仮想マシン制御装置、仮想マシン制御プログラムおよび仮想マシン制御方法を提供することを目的とする。
第１の案では、仮想マシンのライブマイグレーションが開始された場合に、仮想マシンおよび他に動作している仮想マシンの処理状況を取得する取得部を有する。取得部によって取得された各仮想マシンの処理状況を用いて、ライブマイグレーションが開始された仮想マシンの処理状況と他の仮想マシンの処理状況との相関係数を算出する算出部を有する。算出部によって算出された相関係数が正の値である仮想マシンのライブマイグレーションを、開始されたライブマイグレーションと並行して実行する実行部を有する。
ライブマイグレーションを効率的に実行できる。
図１は、実施例１に係るシステムの全体構成を示す図である。 図２は、実施例２に係る仮想マシン制御装置とサーバの構成を示すブロック図である。 図３は、処理件数テーブルに記憶される情報の例を示す図である。 図４は、相関係数テーブルに記憶される情報の例を示す図である。 図５は、ＶＭの依存関係例を示す図である。 図６は、ＶＭ１のライブマイグレーション開始後のＶＭ２の処理件数の変化例を示す図である。 図７は、ＶＭ１のライブマイグレーション開始後のＶＭ２以外の各ＶＭの処理件数の変化例を示す図である。 図８は、各ＶＭの処理件数の変化を表す図である。 図９は、実施例２に係る仮想マシン制御装置における処理の流れを示すフローチャートである。 図１０は、実施例３に係る仮想マシン制御装置における処理の流れを示すフローチャートである。 図１１は、仮想マシン制御プログラムを実行するコンピュータシステムの例を示す図である。
以下に、開示する仮想マシン制御装置、仮想マシン制御プログラムおよび仮想マシン制御方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図１は、実施例１に係るシステムの全体構成を示す図である。図１に示すように、このシステムは、サーバ１と、サーバ２と、サーバ３と、サーバ４と、仮想マシン制御装置１０とがネットワークを介して相互に通信可能に接続される。
サーバ１は、仮想マシンＶＭ（Virtual Machine）１、ＶＭ２、ＶＭ３を動作させる物理マシンであり、サーバ２は、仮想マシンＶＭ４、ＶＭ５、ＶＭ６を動作させている物理マシンである。サーバ３とサーバ４は、仮想マシンを動作させていない物理マシンである。これらのサーバは、ＶＭを用いてＷｅｂサービス等を提供し、例えばＩａａＳ（Infrastructure as a Service）などを実現するサーバである。
仮想マシン制御装置１０は、取得部１０ａと算出部１０ｂと実行部１０ｃとを有し、各サーバで動作しているＶＭの移動制御を実施するコンピュータである。ここでは、ＶＭの利用者との間で締結したＳＬＡ（Service Level Agreement）により、例えば一ヶ月あたり５分以上は停止することができないなどＶＭの停止が制限されているものとする。
このような状態において、サーバ１およびサーバ２を保守作業等のために停止させる場合について説明する。まず、仮想マシン制御装置１０は、サーバ１で動作するＶＭ１をサーバ３にライブマイグレーションする指示を管理者等から受け付ける。続いて、仮想マシン制御装置１０は、ライブマイグレーションの開始指示をサーバ１に送信する。この結果、サーバ１は、ＶＭ１のライブマイグレーションを実行する。
次に、仮想マシン制御装置１０の取得部１０ａは、ＶＭ１のライブマイグレーションが開始された場合に、ＶＭ１および他に動作しているＶＭ２〜ＶＭ６の処理状況を取得する。そして、算出部１０ｂは、取得部１０ａによって取得された各ＶＭ１〜ＶＭ６の処理状況を用いて、ライブマイグレーションが開始されたＶＭ１の処理状況との相関係数を算出する。その後、実行部１０ｃは、算出部１０ｂによって算出された相関係数が正の値であるＶＭ２を、開始されたライブマイグレーションと並行してライブマイグレーションを実行させるＶＭ２と決定し、決定したＶＭ２をサーバ３に移動させるライブマイグレーションを実行する。この結果、サーバ１は、先にライブマイグレーションを実行したＶＭ１と相関の強いＶＭ２についても、ＶＭ１と並行してライブマイグレーションを実行する。
つまり、仮想マシン制御装置１０は、ＶＭ１のリクエスト処理件数がライブマイグレーションによって減少したのと同様に、リクエスト処理件数が減少したＶＭ２を特定する。このＶＭ２は、ＶＭ１がボトルネックとなってリクエスト処理件数が減少しているため、リソースの使用状況に余裕がある。このことを利用して、仮想マシン制御装置１０は、ライブマイグレーション対象であるＶＭ２のライブマイグレーションをＶＭ１のライブマイグレーションの完了を待たずに実行する。
その後、仮想マシン制御装置１０は、ＶＭ１とＶＭ２のライブマイグレーションが完了すると、ＶＭ３をサーバ３にライブマイグレーションさせる指示をサーバ１に送信する。そして、仮想マシン制御装置１０は、上述した手法によって、ＶＭ３と並行してＶＭ４のライブマイグレーションを実行する。さらに、仮想マシン制御装置１０は、ＶＭ３とＶＭ４のライブマイグレーションが完了すると、ＶＭ５をサーバ３にライブマイグレーションさせる指示をサーバ２に送信する。そして、仮想マシン制御装置１０は、上述した手法によって、ＶＭ５と並行してＶＭ６のライブマイグレーションを実行する。
したがって、ＶＭ１〜ＶＭ６を１つずつライブマイグレーションする場合に比べて、ライブマイグレーション回数を削減できるとともに、ボトルネックを利用しているので、サーバのリソースを有効的に利用できる。この結果、ライブマイグレーションを効率的に実行できる。
次に、仮想マシン制御装置および各サーバについて説明する。実施例２に係る仮想マシン制御装置２０と各サーバとの接続関係は図１と同様とする。ここでは、各装置の構成、仮想マシン制御装置における処理の流れ、実施例２による効果を順に説明する。
［サーバの構成］
実施例２に係るシステムを仮想マシン制御装置と各サーバの構成について説明する。図２は、実施例２に係る仮想マシン制御装置とサーバの構成を示すブロック図である。なお、図１に示した各サーバは同様の構成を有するので、ここでは、サーバ１について説明する。
図２に示すように、サーバ１は、通信制御Ｉ／Ｆ部１ａと、記憶部１ｂと、仮想マシン領域１ｃと、制御部１ｄとを有する。なお、ここで示した各機能部はあくまで例であり、これに限定されるものではなく、例えば、キーボード、マウス、ディスプレイ等を有していてもよい。
通信制御Ｉ／Ｆ部１ａは、他の装置との間の通信を制御するインタフェースである。例えば、通信制御Ｉ／Ｆ部１ａは、ライブマイグレーションに伴ってＶＭのメモリ内容を送受信し、仮想マシン制御装置２０からライブマイグレーションの実行指示等を受信する。
記憶部１ｂは、後述する制御部１ｄによる各種処理に必要なデータおよびプログラムを格納する半導体メモリ素子、または、ハードディスクなどの記憶装置である。例えば、ＶＭの識別番号、ＶＭのコンテキスト、ＶＭのマシンイメージ等のＶＭに関する情報を記憶する。仮想マシン領域１ｃは、制御部１ｄによって作成された複数のＶＭを起動する領域であり、任意に数のＶＭを起動することができる。ここでは、仮想マシン領域１ｃでは、ＶＭ１とＶＭ２が動作している。
制御部１ｄは、例えばＣＰＵ（Central Processing Unit）などの電子回路である。この制御部１ｄは、ＯＳなどの制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有するとともに、仮想マシン管理部１ｅを有し、これらによって各種処理を実行する。
仮想マシン管理部１ｅは、ＶＭの作成、削除、起動、停止などＶＭに関する各種制御を実施する制御部であり、計測部１ｆを有する。例えば、仮想マシン管理部１ｅは、ＶＭ作成指示を受け付けた場合には、仮想マシン領域１ｃにＶＭを作成して起動し、ＶＭ削除指示を受け付けた場合には、該当ＶＭを仮想マシン領域１ｃから削除する。また、仮想マシン管理部１ｅは、仮想マシン制御装置２０からライブマイグレーション実行指示を受信した場合には、該当するＶＭのライブマイグレーションを実行する。
ここで、ライブマイグレーションについて簡単に説明する。仮想マシン管理部１ｅは、記憶部１ｂに記憶される該当ＶＭに関する情報から、使用されていないコンテキストなどのメモリ情報をライブマイグレーション先にコピーする。そして、仮想マシン管理部１ｅは、ＶＭに使用されていたメモリ情報が解放されると、解放されたメモリ情報をライブマイグレーション先にコピーする。このように、仮想マシン管理部１ｅは、対象ＶＭに使用されていたメモリ情報を順次ライブマイグレーション先にコピーし、未コピーの容量が所定値未満になると、対象ＶＭを一時的に停止して、未コピーのメモリ情報をライブマイグレーション先にコピーする。そして、仮想マシン管理部１ｅは、ライブマイグレーション先にコピーされたＶＭの実行指示を送信する。このような手法で、仮想マシン管理部１ｅは、ＶＭをライブマイグレーションする。なお、ここで記載した手法はあくまで例示であり、これに限定されるものではない。
計測部１ｆは、仮想マシン領域１ｃ内で動作する各ＶＭの処理状況を収集して、仮想マシン制御装置２０に送信する。例えば、計測部１ｆは、ＶＭ１とＶＭ２のそれぞれについて、単位時間当たりのリクエスト処理件数、ＶＭに割り当てられた仮想ＣＰＵの使用率等を収集する。そして、計測部１ｆは、収集したＶＭごとの処理状況を仮想マシン制御装置２０に送信する。
例えば、計測部１ｆは、ＶＭが動作を開始すると常時、処理状況を収集してもよい。また、計測部１ｆは、ライブマイグレーションの実行指示を受信してから収集するようにしてもよい。また、計測部１ｆは、収集したＶＭごとの処理状況を仮想マシン制御装置２０に定期的に送信してもよく、ライブマイグレーションの実行指示を受信してから送信するようにしてもよい。また、計測部１ｆは、仮想マシン制御装置２０から取得要求を受信した後は、処理状況を収集するたびに送信することとしてもよい。
［仮想マシン制御装置の構成］
図２に示すように、仮想マシン制御装置２０は、通信制御Ｉ／Ｆ部２１と、入力部２２と、表示部２３と、記憶部２４と、制御部２５とを有する。なお、ここで示した各機能部は例であり、これに限定されるものではなく、他の制御部等を有していてもよい。
通信制御Ｉ／Ｆ部２１は、他の装置との間の通信を制御するインタフェースである。例えば、通信制御Ｉ／Ｆ部２１は、各サーバからＶＭの処理状況を受信し、各サーバにライブマイグレーションの実行指示を送信する。
入力部２２は、例えばキーボードやマウスなどであり、ライブマイグレーションの開始指示などを管理者等から受け付けて、制御部２５に出力する。表示部２３は、例えばモニタやスピーカーなどであり、制御部２５によって算出された相関係数やライブマイグレーション結果などを表示する。
記憶部２４は、制御部２５による各種処理に必要なデータおよびプログラムを格納するとともに、処理件数テーブル２４ａと相関係数テーブル２４ｂとを有する半導体メモリ素子、または、ハードディスクなどの記憶装置である。例えば、記憶部２４は、仮想マシン制御装置２０が制御対象とするサーバのＩＰ（Internet Protocol）アドレスとサーバで実行されるＶＭとを対応付けて記憶する。
処理件数テーブル２４ａは、制御部２５の取得部２５ｂによって取得されたＶＭごとの処理件数を記憶する。図３は、処理件数テーブルに記憶される情報の例を示す図である。図３に示すように、処理件数テーブル２４ａは、「時刻、ＶＭ１、ＶＭ２、ＶＭ３、ＶＭ４、ＶＭ５、ＶＭ６」を対応付けて記憶する。
ここで記憶される「時刻」は、各サーバがＶＭのリクエスト処理件数の収集を開始してからの経過時間であり、「各ＶＭ」は、処理状況が収集されたＶＭのリクエスト処理件数を示す。なお、ここでは、図１に示したＶＭ１〜ＶＭ６が実行されている例について説明しているため、「ＶＭ１〜ＶＭ６」を対応付けて記憶している例を示したが、ＶＭ１〜ＶＭ１０が実行されている場合には、「ＶＭ１〜ＶＭ１０」を対応付けて記憶する。
図３の場合、各サーバがＶＭのリクエスト処理件数の収集を開始した時刻「０」では、ＶＭ１の処理件数が「５５」、ＶＭ２の処理件数が「５０」、ＶＭ３の処理件数が「７６」である。また、ＶＭ４の処理件数が「６５」、ＶＭ５の処理件数が「５９」、ＶＭ６の処理件数が「３２」であることを示す。
また、各サーバがＶＭのリクエスト処理件数の収集を開始してから１秒後の時刻「１」では、ＶＭ１の処理件数が「６２」、ＶＭ２の処理件数が「５６」、ＶＭ３の処理件数が「７７」である。また、ＶＭ４の処理件数が「５６」、ＶＭ５の処理件数が「６４」、ＶＭ６の処理件数が「３８」であることを示す。
また、各サーバがＶＭのリクエスト処理件数の収集を開始してから７秒後の時刻「７」では、ＶＭ１の処理件数が「２２」、ＶＭ２の処理件数が「１８」、ＶＭ３の処理件数が「８１」である。また、ＶＭ４の処理件数が「９４」、ＶＭ５の処理件数が「９７」、ＶＭ６の処理件数が「４１」であることを示す。
図２に戻り、相関係数テーブル２４ｂは、制御部２５の算出部２５ｃによって算出された相関係数を記憶する。図４は、相関係数テーブルに記憶される情報の例を示す図である。図４に示すように、相関係数テーブル２４ｂは、「実行ＶＭ」と「対象ＶＭ」とを対応付けて記憶する。「実行ＶＭ」は、先にライブマイグレーションが実行されたＶＭを示し、「対象ＶＭ」は、ライブマイグレーションが未実行であり並行実行の候補とするＶＭを示す。なお、図４では、ＶＭ４までを図示しているが、動作している各ＶＭについて記憶される。
図４の場合、ＶＭ１のライブマイグレーションが実行された場合、ＶＭ１のリクエスト処理件数とＶＭ２のリクエスト処理件数との相関係数が「０．８４」であることを示す。また、ＶＭ１のリクエスト処理件数とＶＭ３のリクエスト処理件数との相関係数が「−０．３１」であり、ＶＭ１のリクエスト処理件数とＶＭ４のリクエスト処理件数との相関係数が「−０．９９」であることを示す。
同様に、ＶＭ２のライブマイグレーションが実行された場合、ＶＭ２のリクエスト処理件数とＶＭ１のリクエスト処理件数との相関係数が「０．８５」であることを示す。また、ＶＭ２のリクエスト処理件数とＶＭ３のリクエスト処理件数との相関係数が「−０．３４」であり、ＶＭ２のリクエスト処理件数とＶＭ４のリクエスト処理件数との相関係数が「−０．９５」であることを示す。
制御部２５は、例えばＣＰＵなどの電子回路であり、ＯＳなどの制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有する。制御部２５は、実行開始部２５ａと、取得部２５ｂと、算出部２５ｃと、実行制御部２５ｄとを有し、これらによって各種処理を実行する。
実行開始部２５ａは、ＶＭのライブマイグレーションを開始する。例えば、実行開始部２５ａは、入力部２２によって、ＶＭ１のライブマイグレーション開始指示が受け付けられた場合、ＶＭ１を実行するサーバ１に対して、ＶＭ１のライブマイグレーション開始指示を送信する。なお、実行開始部２５ａは、ライブマイグレーションのスケジューリング等を行うことで、管理者等から開始指示を受信せずに、自動的に開始時期を判定して開始指示を送信することもできる。
取得部２５ｂは、実行開始部２５ａによってＶＭのライブマイグレーションが開始された場合に、ライブマイグレーションが開始されたＶＭおよび他に動作しているＶＭのリクエスト処理件数を取得して、処理件数テーブル２４ａに格納する。例えば、取得部２５ｂは、ＶＭのライブマイグレーションが開始された場合、記憶部２４に記憶される各サーバのＩＰアドレスを用いて、各サーバに処理件数取得要求を送信し、各ＶＭのリクエスト処理件数を取得する。
図１の場合、取得部２５ｂは、ＶＭ１のライブマイグレーションが開始された場合、サーバ１〜サーバ４に対して処理件数取得要求を送信し、ＶＭ１〜ＶＭ６のリクエスト処理件数を受信する。このとき、例えば、取得部２５ｂは、ＶＭ１のライブマイグレーション開始前後５分間の処理件数を要求することもできる。つまり、取得部２５ｂは、ＶＭ１のライブマイグレーションが「１２：００」に開始された場合に、「１１：５５〜１２：０５」までに収集されたリクエスト処理件数を取得することもできる。そして、取得部２５ｂは、受信したＶＭ１〜ＶＭ６のリクエスト処理件数を処理件数テーブル２４ａに格納するとともに、リクエスト処理件数を受信したことを算出部２５ｃに出力する。
算出部２５ｃは、取得部２５ｂによって取得された各ＶＭの処理状況を用いて、先にライブマイグレーションが開始されたＶＭの処理状況と他のＶＭの処理状況との相関係数を算出する。そして、算出部２５ｃは、算出した相関係数を相関係数テーブル２４ｂに格納するとともに、算出したことを実行制御部２５ｄに出力する。
例えば、算出部２５ｃは、ＶＭ１のライブマイグレーションが開始された場合、ＶＭ１の処理件数とＶＭ２の処理件数との相関係数、ＶＭ１の処理件数とＶＭ３の処理件数との相関係数を算出する。また、算出部２５ｃは、ＶＭ１の処理件数とＶＭ４の処理件数との相関係数、ＶＭ１の処理件数とＶＭ５の処理件数との相関係数、ＶＭ１の処理件数とＶＭ３の処理件数との相関係数を算出する。
具体的な算出手法の例として、算出部２５ｃは、式（１）と式（２）を用いて、相関係数「Ｃｃ」を算出する。式（１）および式（２）における「Ｘ」は、先にライブマイグレーションが開始されたＶＭにおけるｎ個の時系列データであり、「Ｙ」は、相関係数を求めるＶＭにおけるｎ個の時系列データである。式（２）における「ｘｊ」は、Ｘのｎ個の時系列データのうちｊ番目のデータを示し、「ｙｊ」は、Ｙのｎ個の時系列データのうちｊ番目のデータを示す。
また、「Ｃｏｖ（Ｘ、Ｙ）」は、ＸとＹの共分散を示し、「δｘ」は、Ｘの標準偏差を示し、「δｙ」は、Ｙの標準偏差を示し、「ｕｘ」は、Ｘの相加平均を示し、「ｕｙ」は、Ｙの相加平均を示す。
Figure 2012088808
Figure 2012088808
例えば、ＶＭ１のライブマイグレーションが開始された前後５分間のリクエスト処理数を用いて、ＶＭ１とＶＭ２の相関係数を求める場合について説明する。この場合、「ｎ」は、ＶＭ１のライブマイグレーションが開始された前後５分間で取得された処理件数の数「１０」である。「Ｘ」は、ＶＭ１のライブマイグレーションが開始された前後５分間のリクエスト処理数の各データであり、「Ｙ」は、ＶＭ１のライブマイグレーションが開始された前後５分間のＶＭのリクエスト処理数の各データである。
一例として、図３における時刻「５」でＶＭ１のライブマイグレーションが開始された場合に、ＶＭ１の処理件数とＶＭ２の処理件数との相関係数を算出する例について説明する。この場合、ＶＭ１のライブマイグレーションが開始された前後５分間は、時刻「０」〜「１０」に該当するので、「ｎ」＝「１０」となる。「Ｘ」は、ＶＭ１のリクエスト処理件数である「５５、６２、５１、５４、５３、２４、１８、２２、２１、２３、３０」となり、「Ｙ」は、ＶＭ２のリクエスト処理件数である「５０、５６、６１、５１、５４、５０、２３、１８、２２、２１、２４」となる。
また、「ｘ３」は、「５１」となり、「ｙ５」は、「５４」となる。「ｕｘ」は、「５５、６２、５１、５４、５３、２４、１８、２２、２１、２３、３０」の平均である。「ｕｙ」は、「５０、５６、６１、５１、５４、５０、２３、１８、２２、２１、２４」の平均となる。なお、相加平均や標準偏差の算出手法は、一般的に利用される公知の手法を用いるので、ここでの説明は省略する。
実行制御部２５ｄは、算出部２５ｃによって算出された相関係数が正の相関であるＶＭを、開始されたライブマイグレーションと並行してライブマイグレーションを実行させるＶＭと決定し、決定したＶＭのライブマイグレーションを実行する。
例えば、ＶＭ１のライブマイグレーションが開始され、算出部２５ｃが算出したＶＭ１のリクエスト処理件数と他のＶＭのリクエスト処理件数との相関係数が図４の１行目であったとする。この場合、実行制御部２５ｄは、図４の１行目に記憶される相関係数のうち、最も１に近い相関係数である「ＶＭ２」を特定する。そして、実行制御部２５ｄは、先に実行されているＶＭ１のライブマイグレーションと並行してライブマイグレーションさせるＶＭを「ＶＭ２」と決定する。その後、実行制御部２５ｄは、「ＶＭ２」を実行するサーバ１およびサーバ１のＩＰアドレスを記憶部２４から特定し、サーバ１に対して、ＶＭ２をサーバ３に移動させるライブマイグレーションの実行指示を送信する。
この結果、サーバ１は、ＶＭ１をライブマイグレーション中ではあるが、並行して、ＶＭ２をサーバ３に移動させるライブマイグレーションを実行する。なお、実行制御部２５ｄは、移動先のサーバについては、任意に決定することができ、また、ＣＰＵ使用率などのリソース使用率が小さいサーバを移動先としてもよい。
［具体例］
次に、各ＶＭの依存関係の具体例を挙げて相関関係について説明する。図５は、ＶＭの依存関係例を示す図であり、図６は、ＶＭ１のライブマイグレーション開始後のＶＭ２の処理件数の変化例を示す図である。図７は、ＶＭ１のライブマイグレーション開始後のＶＭ２以外の各ＶＭの処理件数の変化例を示す図であり、図８は、各ＶＭの処理件数の変化を表す図である。
ここでは、図５に示すように、ＶＭ１〜ＶＭ５は、Ｗｅｂ−ＡＰ（Application）−ＤＢ（Database）３層システムを形成している例で説明する。ＶＭ１とＶＭ４は、Ｗｅｂサービスを提供する仮想マシンである。ＶＭ２は、ＶＭ１からリクエストを受け付けて、ＶＭ３から各種データを取得し、ＶＭ１に応答するＡＰサーバを実現する仮想マシンである。同様に、ＶＭ５は、ＶＭ４からリクエストを受け付けて、ＶＭ３から各種データを取得し、ＶＭ４に応答するＡＰサーバを実現する仮想マシンである。ＶＭ３は、このシステムで利用される各種情報を格納するデータベースサーバを実現する仮想マシンである。
また、仮想マシン制御装置は、図示していないが上記各ＶＭが実行されているサーバそれぞれ接続されているものとする。なお、各ＶＭは、１つの筐体で実現されていてもよく、別々の筐体で実現されていてもよい。また、ＶＭ１とＶＭ２が同じ筐体などで実現されるなど、ＶＭを動作させる物理マシンの数は任意に設定できる。
このシステムでは、例えば、クライアントからのＨＴＴＰ（Hypertext Transfer Protocol）リクエストは、ロードバランサによってＶＭ１又はＶＭ４に振り分けられる。リクエストを受信したＶＭ１又はＶＭ４は、ＶＭ２又はＶＭ５が有するアプリケーション等を実行してＶＭ３に接続する。そして、ＶＭ１又はＶＭ４は、ＶＭ３から各種データを取得し、取得したデータをリクエスト応答として、クライアントに送信する。
そして、このシステムでは、各ＶＭの使用契約として、利用者との間でＳＬＡが締結されており、このＳＬＡが遵守されている。例えば、ＳＬＡの取り決めとしては、各ＶＭにおける単位時間当たりの処理件数を所定値以上とするなどがあり、処理件数が所定値未満となった場合にはＳＬＡ違反となる。したがって、図５のシステムを管理する企業等は、ＳＬＡ違反が発生しないように、ＶＭや物理マシンの管理を実施している。
このような状況において、ＶＭ１〜ＶＭ５をライブマイグレーションする例について説明する。ここでは、各ＶＭのライブマイグレーション先は、図示しない別のサーバであるものとする。まず、仮想マシン制御装置２０は、管理者等からＶＭ１のライブマイグレーションの開始指示を受け付ける。そして、仮想マシン制御装置２０は、ＶＭ１のライブマイグレーションの開始を、ＶＭ１を実行するサーバに送信する。その後、ＶＭ１のライブマイグレーションが開始される。このＶＭ１のライブマイグレーションが開始された時刻を「ｔ０」とする。
ＶＭ１のライブマイグレーションが開始されると、図６に示すように、ＶＭ１では、ライブマイグレーションにリソースを奪われるために、サービスそのものの利用するリソースが低下する（図６のＡ参照）。すると、ＶＭ１が処理できるクライアントからのリクエスト量は減るので、ＶＭ１の後段に位置するＶＭ２の処理件数も減少する（図６のＢ参照）。具体的には、ＶＭ２は、ＶＭ１から受信した要求を処理する仮想マシンであるので、ＶＭ１から受信する処理件数が減少すれば、ＶＭ２自体で処理する処理件数も減少する。つまり、ＶＭ２は、ＶＭ１の処理件数の減少がボトルネックとなって、自身の処理件数も減少することとなる。
一方、ＶＭ１のライブマイグレーションが開始された後もクライアントからのリクエスト量が減らないとすると、ロードバランサは、処理できる件数が減っているＶＭ１ではなく、ＶＭ４に対してリクエストを多く振り分ける。したがって、図７に示すように、ＶＭ４の処理件数は、ＶＭ１のライブマイグレーションが開始された時刻「ｔ０」以降、増加する（図７のＣ参照）。同様に、ＶＭ４が処理するクライアントからのリクエスト量が増加するので、ＶＭ４の後段に位置するＶＭ５の処理件数も増加する（図７のＤ参照）。なお、ＶＭ１のライブマイグレーションが開始された後もクライアントからのリクエスト量が減らないので、ＶＭ３の処理件数は、大きく変化しない（図７のＥ参照）。
したがって、図８に示すように、ＶＭ１のライブマイグレーションが開始された時刻「ｔ０＝５」前までは、ＶＭ１とＶＭ４の処理件数に大きな差はなく、同様に、ＶＭ２とＶＭ５の処理件数にも大きな差はない。ところが、ＶＭ１のライブマイグレーションが開始された時刻「ｔ０＝５」以降では、ＶＭ１の処理件数減少に伴ってＶＭ２の処理件数も減少する。一方、ＶＭ１の処理件数減少に伴って、ＶＭ４の処理件数は増加するとともに、ＶＭ５の処理件数も増加する。
上述したことを利用すると、仮想マシン制御装置は、ＶＭ１のライブマイグレーション開始前後の各ＶＭの処理件数を用いた場合、ＶＭ１の処理件数とＶＭ２処理件数との相関係数として正の値を算出する。一方、仮想マシン制御装置は、ＶＭ１のライブマイグレーション開始前後の各ＶＭの処理件数を用いた場合、ＶＭ１の処理件数とＶＭ４処理件数との相関係数として負の値を算出する。同様に、仮想マシン制御装置は、ＶＭ１のライブマイグレーション開始前後では、ＶＭ１の処理件数とＶＭ５処理件数との相関係数として負の値を算出し、ＶＭ１の処理件数とＶＭ３処理件数との相関係数として負の値を算出する。
つまり、仮想マシン制御装置は、相関係数を算出して、ＶＭ１の処理件数減少と同様に処理件数が減少したＶＭ２を特定できる。そして、仮想マシン制御装置は、ＶＭ１のライブマイグレーションと並行して、ＶＭ２のライブマイグレーションを実行する。すなわち、仮想マシン制御装置は、ＶＭ１の処理件数減少がボトルネックとなって処理件数が減少しており、リソース使用率に余裕のあるＶＭのライブマイグレーションを実行する。
［処理の流れ］
次に、仮想マシン制御装置における処理の流れについて説明する。図９は、実施例２に係る仮想マシン制御装置における処理の流れを示すフローチャートである。
図９に示すように、仮想マシン制御装置２０の実行開始部２５ａは、ＶＭのライブマイグレーションの開始指示を受信すると（ステップＳ１０１Ｙｅｓ）、指示されたＶＭのライブマイグレーションを開始する（ステップＳ１０２）。
続いて、取得部２５ｂは、他にライブマイグレーション対象のＶＭが存在すると判定した場合（ステップＳ１０３Ｙｅｓ）、物理サーバから各ＶＭの処理件数を取得する（ステップＳ１０４）。例えば、取得部２５ｂは、各サーバからＶＭの実行状況等を取得することで、ライブマイグレーション対象のＶＭが存在するか否かを判定する。このとき、取得部２５ｂは、先に開始されたライブマイグレーション開始前後５分間の処理件数を要求することもできる。なお、取得部２５ｂは、他にライブマイグレーション対象のＶＭが存在しないと判定した場合（ステップＳ１０３Ｎｏ）、処理を終了する。
その後、算出部２５ｃは、取得部２５ｂによって取得された各ＶＭの処理件数を用いて、先にライブマイグレーションが開始されたＶＭの処理状況と他のＶＭの処理状況各々との相関係数を算出する（ステップＳ１０５）。
そして、実行制御部２５ｄは、正の相関係数のうち最も相関の高いＶＭを、先に開始されたライブマイグレーションと並行してライブマイグレーションを実行させるＶＭと決定し、決定したＶＭのライブマイグレーションの実行を指示する（ステップＳ１０６）。
その後、仮想マシン制御装置２０は、現在実行されている２つのライブマイグレーションが終了するまで処理を待機してもよく、ステップＳ１０３以降の処理を繰り返して実行してもよい。
［実施例２による効果］
実施例２によれば、仮想マシン制御装置２０は、ＶＭ１のライブマイグレーションが開始された場合に、ＶＭ１および他に動作しているＶＭ２〜ＶＭ６の処理状況を取得する。仮想マシン制御装置２０は、取得された各ＶＭの処理状況を用いて、ライブマイグレーションが開始されたＶＭ１の処理状況とＶＭ２〜ＶＭ６各々の処理状況との相関係数を算出する。仮想マシン制御装置２０は、算出された相関係数が正の値であるＶＭ２のライブマイグレーションを、開始されたＶＭ１のライブマイグレーションと並行して実行する。この結果、ライブマイグレーションを効率的に実行できる。
また、実施例２によれば、先にライブマイグレーションが実行されたＶＭがボトルネックとなってリクエスト処理件数が減少したことにより、リソース利用率が減少した分をライブマイグレーションに使用する。この結果、サービスレベルを低下させることなく、複数のＶＭのライブマイグレーションを実行できる。
上述した例の場合、ＶＭ１がボトルネックとなってＶＭ２のＳＬＡ違反が発生するが、開示する手法を用いることで、ＶＭ２の処理件数が低下した分をライブマイグレーションで使用するので、ＳＬＡ違反の可能性が小さくできる。また、複数ＶＭを同時に転送するので、総転送時間を短くでき、全体のＳＬＡ違反を低減できる。
従来、運用管理者は、ユーザ仮想マシンのＳＬＡ低下を避けるために、早朝などリソース利用の少ない時間にライブマイグレーションを計画していた。ところが、開示した手法を用いることで、運用管理者の複数ＶＭのライブマイグレーション計画立案が容易になるので、運用管理者の工数削減効果やコストメリットも大きい。
また、実施例２によれば、先に開始されたライブマイグレーション前後の処理件数の変化から相関係数を算出する。したがって、ライブマイグレーションを契機にした処理件数の変化から相関係数を算出でき、より精度の高い相関係数を算出することができる。
つまり、上述した例で説明すると、ＶＭ１のライブマイグレーション開始後だけの処理件数では、システムダウンやハードウェア故障等によって処理件数が減少しているＶＭに対して正の高い相関となる場合がある。ところが、ＶＭ１のライブマイグレーション開始前後の処理件数を用いることで、ＶＭ１のライブマイグレーションを契機とする処理件数の変化から相関係数を算出できる。したがって、システムダウンやハードウェア故障等によって処理件数が減少しているＶＭが正の高い相関となることを防止できる。
ところで、開示する仮想マシン制御装置は、相関係数が高いＶＭのうち、先に開始されたライブマイグレーションが終了するまでに、ライブマイグレーションが完了するＶＭを特定することもできる。そこで、実施例３では、相関係数が高いＶＭのうち、先に開始されたライブマイグレーションが終了するまでに、完了するライブマイグレーションを実行する例について説明する。
例えば、仮想マシン制御装置２０の算出部２５ｃは、各ＶＭにおける単位時間あたりのメモリ書き換え割合を用いて、各ＶＭの転送時間を算出する。そして、算出部２５ｃは、算出した転送時間に基づいて、先に開始されたライブマイグレーションの終了までにマイグレーションが終了するＶＭを特定する。
一例を挙げると、算出部２５ｃは、式（３）を用いて各ＶＭの転送時間を算出する。式（３）に示す「ＶＭメモリ量」は、ＶＭが使用しているメモリ容量を示す。また、「ＬＭ帯域幅」は、ライブマイグレーションで使用する帯域幅を示す。また、「ダーティ率」は、各ＶＭの単位時間あたりのメモリ書き換え割合を示す。
また、「ＶＭメモリ量」は、各ＶＭを実行する物理サーバで管理される情報であり、物理サーバから取得することができる。「ＬＭ帯域幅」は、仮想マシン制御装置２０等に予め設定された情報であり、各ＶＭに対して一定値とする。「ダーティ率」は、各物理サーバで計測することができる。
Figure 2012088808
つまり、図１の場合で説明すると、算出部２５ｃは、ＶＭ１〜ＶＭ６各々の転送時間を算出する。そして、算出部２５ｃは、ＶＭ１の転送時間よりも短い転送時間であるＶＭを特定する。その後、算出部２５ｃは、特定したＶＭの処理件数とＶＭ１との処理件数との相関係数を算出する。そして、実行制御部２５ｄは、算出部２５ｃが算出した相関係数が正の相関であるＶＭのライブマイグレーションを開始する。
なお、転送時間の算出と相関係数の算出とは順番が入れ替わってもよい。例えば、算出部２５ｃは、先に、ＶＭ１との相関係数が正の相関であるＶＭを特定し、特定したＶＭとＶＭ１について転送時間を算出する。そして、実行制御部２５ｄは、ＶＭ１の転送時間よりも短い転送時間であるＶＭのライブマイグレーションを開始するようにしてもよい。
次に、実施例３に係る処理の流れを説明する。図１０は、実施例３に係る仮想マシン制御装置における処理の流れを示すフローチャートである。
図１０に示すように、仮想マシン制御装置２０の実行開始部２５ａは、ＶＭのライブマイグレーションの開始指示を受信すると（ステップＳ２０１Ｙｅｓ）、指示されたＶＭのライブマイグレーションを開始する（ステップＳ２０２）。
続いて、取得部２５ｂは、他にライブマイグレーション対象のＶＭが存在すると判定した場合（ステップＳ２０３Ｙｅｓ）、物理サーバから各ＶＭの処理件数を取得する（ステップＳ２０４）。このとき、取得部２５ｂは、各物理サーバから「ＶＭメモリ量」およびＶＭの「ダーティ率」を取得する。さらに、取得部２５ｂは、仮想マシン制御装置２０の記憶部等から予め設定されている「ＬＭ帯域幅」を取得する。なお、取得部２５ｂは、他にライブマイグレーション対象のＶＭが存在しないと判定した場合（ステップＳ２０３Ｎｏ）、処理を終了する。
その後、算出部２５ｃは、取得部２５ｂによって取得された各ＶＭの処理件数を用いて、先にライブマイグレーションが開始されたＶＭの処理状況と他のＶＭの処理状況各々との相関係数を算出する（ステップＳ２０５）。
続いて、算出部２５ｃは、「ＶＭメモリ量」、「ダーティ率」、「ＬＭ帯域幅」を式（３）に代入して、各ＶＭの転送時間を算出する（ステップＳ２０６）。このとき、算出部２５ｃは、正の相関があるＶＭについてのみ転送時間を算出してもよく、全ＶＭについて転送時間を算出することもできる。
その後、算出部２５ｃは、算出した転送時間に基づいて、先に開始されたライブマイグレーションの終了までにライブマイグレーションが終了する、ライブマイグレーション未実行のＶＭあるか否かを判定する（ステップＳ２０７）。
そして、実行制御部２５ｄは、算出部２５ｃによって実行可能なライブマイグレーション未実行のＶＭがあると判定された場合（ステップＳ２０７Ｙｅｓ）、当該ＶＭのライブマイグレーションの実行を指示する（ステップＳ２０８）。一方、実行制御部２５ｄは、算出部２５ｃによって実行可能なライブマイグレーション未実行のＶＭがないと判定された場合（ステップＳ２０７Ｎｏ）、実行中のライブマイグレーションが終了するまで待機する（ステップＳ２０９）。
その後、仮想マシン制御装置２０は、現在実行されているライブマイグレーションが終了するまで処理を待機してもよく、ステップＳ２０３以降の処理を繰り返して実行してもよい。
実施例３によれば、仮想マシン制御装置２０は、各ＶＭにおける単位時間あたりのメモリ書き換え割合を用いて各ＶＭの転送時間を算出する。仮想マシン制御装置２０は、算出した転送時間に基づいて、開始されたＶＭ１のライブマイグレーションの終了までにライブマイグレーションが終了するＶＭを特定する。仮想マシン制御装置２０は、特定されたＶＭのうち相関係数が正の値であるＶＭのライブマイグレーションを実行する。したがって、１つ目のＶＭのライブマイグレーション終了後に、同時に実施したライブマイグレーションが完了していないことによるサービスレベル低下を低減することができる。
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に異なる実施例を説明する。
（ＶＭの依存関係）
例えば、図５〜図９を用いてＶＭの依存関係例について説明したが、これに限定されるものではない。つまり、開示する仮想マシン制御装置は、Ｗｅｂ−ＡＰ−ＤＢ３層システム以外のシステム構成についても同様に適用することができる。
（ネットワーク形態）
実施例１〜３では、仮想マシン制御装置２０と各サーバと同様のネットワークに属する例について説明したが、これに限定されるものではない。例えば、ＶＭが動作するサーバと仮想マシン制御装置２０は、別のネットワークに属していてもよい。一例としては、仮想マシン制御装置２０と各サーバとは別のＬＡＮ（Local Area Network）に属しており、ＬＡＮとは異なるネットワークで接続されていてもよい。
（既算出の相関係数を利用）
例えば、仮想マシン制御装置２０は、過去に算出した相関係数を相関係数テーブル２４ｂに格納しておき、２回目以降のライブマイグレーションでは、相関係数を算出することなく、相関係数テーブル２４ｂの情報を使用する。例えば、仮想マシン制御装置２０は、各サーバから構成情報を確認するなどして、ＶＭの処理内容やＶＭ間関係が変わらないと判定した場合に相関係数テーブル２４ｂの情報を使用する。この結果、相関係数算出までにかかる時間を省き、複数ＶＭのライブマイグレーションを高速化できる。
（システム）
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともできる。あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、例えば図３、図４、図８等に示した各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、例えば取得部２５ｂと算出部２５ｃとを統合するなど各装置の分散・統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
（プログラム）
ところで、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。
図１１は、仮想マシン制御プログラムを実行するコンピュータシステムの例を示す図である。図１１に示すように、コンピュータシステム１００は、バス１００ａにＣＰＵ１０５、ＲＯＭ（Read Only Memory）１０４、ＲＡＭ（Random Access Memory）１０１が接続される。また、コンピュータシステム１００は、バス１００ａにＮＩＣ（Network Interface Card）１０２、ＨＤＤ（Hard Disk Drive）１０３が接続されている。
また、ＨＤＤ１０３には、図２に示した処理件数テーブル２４ａに対応する処理件数テーブル１０３ａが設けられる。同様に、ＨＤＤ１０３には、相関係数テーブル２４ｂに対応する相関係数テーブル１０３ｂが設けられる。
ＲＯＭ１０４は、実行開始プログラム１０４ａ、取得プログラム１０４ｂ、算出プログラム１０４ｃ、実行制御プログラム１０４ｄを保持する。タンジブル（tangible）な記録媒体の例としてＲＯＭ１０３を例に挙げたが、ＨＤＤ、ＲＡＭ、ＣＤＲＯＭ等の他のタンジブルなコンピュータ読み取り可能な記録媒体に各種プログラムを格納しておき、コンピュータに読み取らせることとしてもよい。なお、タンジブルな記憶媒体を遠隔地に配置し、コンピュータが、そのタンジブルな記憶媒体にアクセスすることでプログラムを取得して利用してもよい。また、その際、取得したプログラムをそのコンピュータ自身のタンジブルな記録媒体に格納して用いてもよい。
ＣＰＵ１０５は、実行開始プログラム１０４ａを読み出して実行することで、実行開始部２５ａと同様の動作を実行開始プロセス１０５ａとして実現する。また、ＣＰＵ１０５は、取得プログラム１０４ｂを読み出して実行することで、取得部２５ｂと同様の動作を取得プロセス１０５ｂとして実現する。ＣＰＵ１０５は、算出プログラム１０４ｃを読み出して実行することで、算出部２５ｃと同様の動作を算出プロセス１０５ｃとして実現する。ＣＰＵ１０５は、実行制御プログラム１０４ｄを読み出して実行することで、実行制御部２５ｄと同様の動作を実行制御プロセス１０５ｄとして実現する。このようにＲＯＭ１０４に保持した各種プログラムは、仮想マシン制御プログラムの一部として機能し、コンピュータ１００は、ＲＯＭ１０４から各種プログラムを読み出して実行することで仮想マシン制御方法を実行する仮想マシン制御装置として動作する。
１ サーバ
１ａ 通信制御Ｉ／Ｆ部
１ｂ 記憶部
１ｃ 仮想マシン領域
１ｄ 制御部
１ｅ 仮想マシン管理部
１ｆ 計測部
２０ 仮想マシン制御装置
２１ 通信制御Ｉ／Ｆ部
２２ 入力部
２３ 表示部
２４ 記憶部
２４ａ 処理件数テーブル
２４ｂ 相関係数テーブル
２５ 制御部
２５ａ 実行開始部
２５ｂ 取得部
２５ｃ 算出部
２５ｄ 実行制御部

Claims (7)

  1. 仮想マシンのライブマイグレーションが開始された場合に、前記仮想マシンおよび他に動作している仮想マシンの処理状況を取得する取得部と、
    前記取得部によって取得された各仮想マシンの処理状況を用いて、前記ライブマイグレーションが開始された仮想マシンの処理状況と前記他の仮想マシンの処理状況との相関係数を算出する算出部と、
    前記算出部によって算出された相関係数が正の値である仮想マシンのライブマイグレーションを、前記開始されたライブマイグレーションと並行して実行する実行部と
    を有することを特徴とする仮想マシン制御装置。
  2. 前記取得部は、前記仮想マシンのライブマイグレーションが開始された場合に、開始された時刻の前後所定時間内における、前記仮想マシンおよび他に動作している仮想マシンの処理状況を取得し、
    前記算出部は、前記仮想マシンのライブマイグレーションが開始された時刻の前後所定時間における各仮想マシンの処理状況を用いて、前記ライブマイグレーションが開始された仮想マシンの処理状況と前記他の仮想マシンの処理状況との相関係数を算出することを特徴とする請求項１に記載の仮想マシン制御装置。
  3. 前記各仮想マシンにおける単位時間あたりのメモリ書き換え割合を用いて前記各仮想マシンの転送時間を算出し、算出した転送時間に基づいて、前記開始されたライブマイグレーションの終了までにライブマイグレーションが終了する仮想マシンを特定する特定部をさらに有し、
    前記実行部は、前記特定部によって特定された仮想マシンのうち、前記算出部によって算出された相関係数が正の値である仮想マシンのライブマイグレーションを実行することを特徴とする請求項１または２に記載の仮想マシン制御装置。
  4. 前記算出部によって算出された各仮想マシン間の相関係数を記憶する記憶部をさらに有し、
    前記実行部は、前記仮想マシンのライブマイグレーションが開始された場合に、前記記憶部に記憶される当該仮想マシンの処理状況と他の仮想マシンの処理状況との相関関係が正の値である仮想マシンのライブマイグレーションを、前記開始されたライブマイグレーションと並行して実行することを特徴とする請求項１または２に記載の仮想マシン制御装置。
  5. 前記仮想マシンは前記仮想マシン制御装置とは別の物理マシンで動作し、前記仮想マシンが動作する物理マシンと前記仮想マシン制御装置は、別のネットワークに属することを特徴とする請求項１〜４のいずれか一つに記載の仮想マシン制御装置。
  6. コンピュータに、
    仮想マシンのライブマイグレーションが開始された場合に、前記仮想マシンおよび他に動作している仮想マシンの処理状況を取得し、
    前記取得した各仮想マシンの処理状況を用いて、前記ライブマイグレーションが開始された仮想マシンの処理状況と前記他の仮想マシンの処理状況との相関係数を算出し、
    前記算出した相関係数が正の値である仮想マシンのライブマイグレーションを、前記開始されたライブマイグレーションと並行して実行する
    処理を実行させることを特徴とする仮想マシン制御プログラム。
  7. コンピュータが実行する制御方法であって、
    仮想マシンのライブマイグレーションが開始された場合に、前記仮想マシンおよび他に動作している仮想マシンの処理状況を取得し、
    前記取得した各仮想マシンの処理状況を用いて、前記ライブマイグレーションが開始された仮想マシンの処理状況と前記他の仮想マシンの処理状況との相関係数を算出し、
    前記算出した相関係数が正の値である仮想マシンのライブマイグレーションを、前記開始されたライブマイグレーションと並行して実行することを特徴とする仮想マシン制御方法。
JP2010233020A 2010-10-15 2010-10-15 仮想マシン制御装置、仮想マシン制御プログラムおよび仮想マシン制御方法 Expired - Fee Related JP5614226B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010233020A JP5614226B2 (ja) 2010-10-15 2010-10-15 仮想マシン制御装置、仮想マシン制御プログラムおよび仮想マシン制御方法
US13/229,796 US8701108B2 (en) 2010-10-15 2011-09-12 Apparatus and method for controlling live-migrations of a plurality of virtual machines

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010233020A JP5614226B2 (ja) 2010-10-15 2010-10-15 仮想マシン制御装置、仮想マシン制御プログラムおよび仮想マシン制御方法

Publications (2)

Publication Number Publication Date
JP2012088808A true JP2012088808A (ja) 2012-05-10
JP5614226B2 JP5614226B2 (ja) 2014-10-29

Family

ID=45935256

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010233020A Expired - Fee Related JP5614226B2 (ja) 2010-10-15 2010-10-15 仮想マシン制御装置、仮想マシン制御プログラムおよび仮想マシン制御方法

Country Status (2)

Country Link
US (1) US8701108B2 (ja)
JP (1) JP5614226B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013191021A1 (ja) * 2012-06-22 2013-12-27 日本電気株式会社 仮想マシンのマイグレーション方法、マイグレーション装置及びプログラム
WO2014010213A1 (ja) * 2012-07-11 2014-01-16 日本電気株式会社 マイグレーションシステム、マイグレーション方法及び制御プログラムを格納した非一時的なコンピュータ可読媒体
WO2014030221A1 (ja) * 2012-08-22 2014-02-27 株式会社日立製作所 仮想計算機システム、管理計算機及び仮想計算機管理方法
WO2014041664A1 (ja) * 2012-09-13 2014-03-20 富士通株式会社 情報処理システム、情報処理装置、移行制御プログラム、及び移行制御方法
JP2014191752A (ja) * 2013-03-28 2014-10-06 Fujitsu Ltd マイグレーション処理プログラム，マイグレーション方法及びクラウドシステム
JP2015156150A (ja) * 2014-02-20 2015-08-27 日本電信電話株式会社 ネットワーク制御装置、通信システム、ネットワーク制御方法、および、ネットワーク制御プログラム
JP2017138739A (ja) * 2016-02-02 2017-08-10 富士通株式会社 管理装置、管理システム、及びスケーリング方法
JP2017146675A (ja) * 2016-02-15 2017-08-24 日本電信電話株式会社 仮想マシン管理システムおよび仮想マシン管理方法

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10042656B2 (en) 2011-08-01 2018-08-07 Avocent Corporation System and method for providing migrateable virtual serial port services
US9489222B2 (en) 2011-08-24 2016-11-08 Radware, Ltd. Techniques for workload balancing among a plurality of physical machines
US9104529B1 (en) 2011-12-30 2015-08-11 Emc Corporation System and method for copying a cache system
US9158578B1 (en) * 2011-12-30 2015-10-13 Emc Corporation System and method for migrating virtual machines
US9235524B1 (en) 2011-12-30 2016-01-12 Emc Corporation System and method for improving cache performance
US8930947B1 (en) 2011-12-30 2015-01-06 Emc Corporation System and method for live migration of a virtual machine with dedicated cache
US9053033B1 (en) 2011-12-30 2015-06-09 Emc Corporation System and method for cache content sharing
US9009416B1 (en) 2011-12-30 2015-04-14 Emc Corporation System and method for managing cache system content directories
US9195512B2 (en) * 2012-01-06 2015-11-24 International Business Machines Corporation Relocating related resource partitions
US8839447B2 (en) * 2012-02-27 2014-09-16 Ca, Inc. System and method for virtual image security in a cloud environment
KR101859115B1 (ko) * 2012-06-18 2018-05-17 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 클라우드 패브릭 내 가상 머신 이동
JP2014078160A (ja) * 2012-10-11 2014-05-01 International Business Maschines Corporation 仮想リソースの組み合わせの決定を支援する装置及び方法
CN103812823B (zh) 2012-11-07 2017-10-10 华为技术有限公司 虚拟机热迁移时配置信息迁移的方法、设备及系统
CN103049308B (zh) 2012-11-30 2016-01-20 华为技术有限公司 实现虚拟机热迁移的方法、装置及系统
US9344465B2 (en) 2012-12-04 2016-05-17 International Business Machines Corporation Correlating computing network events
JP6098167B2 (ja) * 2013-01-09 2017-03-22 富士通株式会社 仮想マシン管理プログラム及びその方法
JP2014142720A (ja) * 2013-01-22 2014-08-07 Fujitsu Ltd 仮想マシン移動方法、情報処理装置及びプログラム
US9817728B2 (en) 2013-02-01 2017-11-14 Symbolic Io Corporation Fast system state cloning
FR3002807A1 (fr) * 2013-03-01 2014-09-05 France Telecom Procede de detection d'attaques
US9454400B2 (en) 2013-08-16 2016-09-27 Red Hat Israel, Ltd. Memory duplication by origin host in virtual machine live migration
US9459902B2 (en) * 2013-08-16 2016-10-04 Red Hat Israel, Ltd. Memory duplication by destination host in virtual machine live migration
US9411626B2 (en) * 2014-06-18 2016-08-09 International Business Machines Corporation Optimizing runtime performance of an application workload by minimizing network input/output communications between virtual machines on different clouds in a hybrid cloud topology during cloud bursting
US9471362B2 (en) * 2014-09-23 2016-10-18 Splunk Inc. Correlating hypervisor data for a virtual machine with associated operating system data
US10061514B2 (en) 2015-04-15 2018-08-28 Formulus Black Corporation Method and apparatus for dense hyper IO digital retention
JP2016224582A (ja) * 2015-05-28 2016-12-28 富士通株式会社 制御方法、制御装置、及び制御プログラム
JP6550945B2 (ja) * 2015-06-10 2019-07-31 富士通株式会社 判定制御プログラム、判定制御方法及び仮想マシン管理装置
US9582333B2 (en) * 2015-06-22 2017-02-28 International Business Machines Corporation Managing a set of assets of a shared pool of configurable computing resources
US10228969B1 (en) * 2015-06-25 2019-03-12 Amazon Technologies, Inc. Optimistic locking in virtual machine instance migration
US10970110B1 (en) 2015-06-25 2021-04-06 Amazon Technologies, Inc. Managed orchestration of virtual machine instance migration
US10395219B1 (en) * 2015-12-18 2019-08-27 Amazon Technologies, Inc. Location policies for reserved virtual machine instances
US10834226B2 (en) * 2016-07-15 2020-11-10 International Business Machines Corporation Live migration of containers based on geo-location
US10545777B2 (en) * 2016-11-08 2020-01-28 International Business Machines Corporation Generating a virtual machines relocation protocol
US10459753B2 (en) * 2017-05-26 2019-10-29 Cognizant Technology Solutions India Pvt. Ltd. System and method for agent based centralized and efficient transaction recordings for service virtualization
EP3435270B1 (de) * 2017-07-27 2020-09-23 Siemens Aktiengesellschaft Vorrichtung und verfahren zum kryptographisch geschützten betrieb einer virtuellen maschine
WO2019126072A1 (en) 2017-12-18 2019-06-27 Formulus Black Corporation Random access memory (ram)-based computer systems, devices, and methods
WO2020142431A1 (en) 2019-01-02 2020-07-09 Formulus Black Corporation Systems and methods for memory failure prevention, management, and mitigation
CN110515701B (zh) * 2019-08-28 2020-11-06 杭州数梦工场科技有限公司 一种虚拟机的热迁移方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007136021A1 (ja) * 2006-05-24 2007-11-29 Nec Corporation 仮想マシン管理装置、仮想マシン管理方法およびプログラム
JP2010140134A (ja) * 2008-12-10 2010-06-24 Hitachi Ltd 仮想マシン管理方法、プログラムおよび管理サーバ
JP2010211546A (ja) * 2009-03-11 2010-09-24 Nec Corp 仮想マシン管理システム、仮想マシン管理方法、仮想マシン管理装置及び仮想マシン管理プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4119239B2 (ja) * 2002-12-20 2008-07-16 株式会社日立製作所 計算機資源割当方法、それを実行するための資源管理サーバおよび計算機システム
US7953574B2 (en) * 2007-09-18 2011-05-31 Hitachi, Ltd. Methods and apparatuses for heat management in information systems
US20100115509A1 (en) * 2008-10-31 2010-05-06 International Business Machines Corporation Power optimization via virtualization opportunity
US8595737B2 (en) * 2009-03-17 2013-11-26 Hitachi, Ltd. Method for migrating a virtual server to physical server according to a variation ratio, a reference execution time, a predetermined occupied resource amount and a occupancy amount
JP4990322B2 (ja) * 2009-05-13 2012-08-01 株式会社日立製作所 データ移動管理装置及び情報処理システム
US8694638B2 (en) * 2009-06-29 2014-04-08 Red Hat Israel Selecting a host from a host cluster to run a virtual machine

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007136021A1 (ja) * 2006-05-24 2007-11-29 Nec Corporation 仮想マシン管理装置、仮想マシン管理方法およびプログラム
JP2010140134A (ja) * 2008-12-10 2010-06-24 Hitachi Ltd 仮想マシン管理方法、プログラムおよび管理サーバ
JP2010211546A (ja) * 2009-03-11 2010-09-24 Nec Corp 仮想マシン管理システム、仮想マシン管理方法、仮想マシン管理装置及び仮想マシン管理プログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013191021A1 (ja) * 2012-06-22 2013-12-27 日本電気株式会社 仮想マシンのマイグレーション方法、マイグレーション装置及びプログラム
WO2014010213A1 (ja) * 2012-07-11 2014-01-16 日本電気株式会社 マイグレーションシステム、マイグレーション方法及び制御プログラムを格納した非一時的なコンピュータ可読媒体
US9519516B2 (en) 2012-07-11 2016-12-13 Nec Corporation Migration system, migration method and non-transitory computer-readable medium storing control program
WO2014030221A1 (ja) * 2012-08-22 2014-02-27 株式会社日立製作所 仮想計算機システム、管理計算機及び仮想計算機管理方法
WO2014041664A1 (ja) * 2012-09-13 2014-03-20 富士通株式会社 情報処理システム、情報処理装置、移行制御プログラム、及び移行制御方法
JP2014191752A (ja) * 2013-03-28 2014-10-06 Fujitsu Ltd マイグレーション処理プログラム，マイグレーション方法及びクラウドシステム
JP2015156150A (ja) * 2014-02-20 2015-08-27 日本電信電話株式会社 ネットワーク制御装置、通信システム、ネットワーク制御方法、および、ネットワーク制御プログラム
JP2017138739A (ja) * 2016-02-02 2017-08-10 富士通株式会社 管理装置、管理システム、及びスケーリング方法
JP2017146675A (ja) * 2016-02-15 2017-08-24 日本電信電話株式会社 仮想マシン管理システムおよび仮想マシン管理方法

Also Published As

Publication number Publication date
JP5614226B2 (ja) 2014-10-29
US20120096460A1 (en) 2012-04-19
US8701108B2 (en) 2014-04-15

Similar Documents

Publication Publication Date Title
JP5614226B2 (ja) 仮想マシン制御装置、仮想マシン制御プログラムおよび仮想マシン制御方法
CN110865867B (zh) 应用拓扑关系发现的方法、装置和系统
US8595722B2 (en) Preprovisioning virtual machines based on request frequency and current network configuration
US9588789B2 (en) Management apparatus and workload distribution management method
US8423646B2 (en) Network-aware virtual machine migration in datacenters
US8631403B2 (en) Method and system for managing tasks by dynamically scaling centralized virtual center in virtual infrastructure
Vakilinia et al. Modeling of the resource allocation in cloud computing centers
US8260840B1 (en) Dynamic scaling of a cluster of computing nodes used for distributed execution of a program
US11570937B2 (en) Methods and apparatus to control power delivery based on predicted power utilization in a data center
US20200034171A1 (en) Methods and apparatus to adjust energy requirements in a data center
JP5708937B2 (ja) 構成情報管理システム、構成情報管理方法、及び構成情報管理用プログラム
Dargie Estimation of the cost of VM migration
US9244737B2 (en) Data transfer control method of parallel distributed processing system, parallel distributed processing system, and recording medium
US20160156567A1 (en) Allocation method of a computer resource and computer system
US20210004000A1 (en) Automated maintenance window predictions for datacenters
JP2006285316A (ja) サーバ性能計測方法及びサーバ性能計測システム並びにこれらに用いるコンピュータプログラム
Hasan et al. Heuristic based energy-aware resource allocation by dynamic consolidation of virtual machines in cloud data center
US20210216557A1 (en) Continuous query scheduling and splitting in a cluster-based data storage system
CN103488538B (zh) 云计算系统中的应用扩展装置和应用扩展方法
Wang et al. Research on virtual machine consolidation strategy based on combined prediction and energy-aware in cloud computing platform
CN109960579B (zh) 一种调整业务容器的方法及装置
López-Huguet et al. A self-managed Mesos cluster for data analytics with QoS guarantees
CN114546587A (zh) 一种在线图像识别服务的扩缩容方法及相关装置
JP2011170679A (ja) 仮想計算機システムおよびその資源配分制御方法
Hlavacs et al. Predicting web service levels during vm live migrations

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140812

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140825

R150 Certificate of patent or registration of utility model

Ref document number: 5614226

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees