JP2014232468A - 仮想機械管理装置、仮想機械管理方法及び情報処理システム - Google Patents

Abstract

【課題】仮想機械の遠距離ホットマイグレーションを実現する。
【解決手段】仮想機械管理装置２１は、仮想機械１４を管理する複数の管理部１３間の遅延時間を計測させて記憶する遅延記憶部２２と、遅延記憶部２２に記憶されている各管理部１３間の遅延時間に基づいて、移動元管理部１３から移動先管理部１３まで、各管理部１３間の遅延時間が閾値以下となる移動経路を抽出する経路抽出部２３と、仮想機械１４の動作を停止させることなく、仮想機械１４を、移動元管理部１３から移動経路に沿って移動先管理部１３へ順次移動させる移動制御部２４と、をそなえる。
【選択図】図２

Description

本件は、仮想機械管理装置、仮想機械管理方法及び情報処理システムに関する。

近年、ＶＭｗａｒｅ（登録商標）社のｖＳｐｈｅｒｅ（登録商標）やＭｉｃｒｏｓｏｆｔ（登録商標）社のＨｙｐｅｒ−Ｖ（登録商標）など、仮想化基盤（hyper visor：ＨＶ）を使用したホットマイグレーション技術が普及しつつある。
ここで、ホットマイグレーションとは、ある仮想化基盤で動作している仮想マシン（virtual machine：ＶＭ）を、当該仮想マシンのサービス等の動作を停止させることなく、他の仮想化基盤に移動させる技術である。

例えば、従来、メモリの転送によりホットマイグレーションが実現される。このような場合、移動元の仮想マシンのメモリのデータ内容を移動先の仮想化基盤に転送し（これを「メモリ転送」と呼ぶ）、切り替え可能となった瞬間に、移動元の仮想マシンと移動先の仮想マシンとの間でサービス等の切り替えを行なう。なお、このメモリ転送はＩＰルーティングを用いて行なわれる。

現在、ホットマイグレーションは、ハードウェアのメンテナンスなどのため、仮想マシンを停止することなく同一データセンタ（data center：ＤＣ）内にマイグレーションする際に利用されることが多い。
しかし、クラウドの普及により、今後、北海道−九州間のホットマイグレーションや海外へのホットマイグレーションなど、ノード間の距離が長距離化することが予想される。

クラウド環境間での接続の機会が増加し、ＤＣ間での負荷分散をさせるために、複数のクラウド環境やＤＣをまたがる仮想マシンのホットマイグレーションが必要となることが予想される。

特開２０１１−１０３５６７号公報

このようなケースを想定し、例えば、ｖＳｐｈｅｒｅには、Ｍｅｔｒｏ ｖＭｏｔｉｏｎ（登録商標）と呼ばれる長距離ホットマイグレーション用ソリューションが存在する。
ＶＭｗａｒｅ Ｍｅｔｒｏ ｖＭｏｔｉｏｎは、仮想化基盤間の往復遅延時間が５ｍｓを超える場合でも、仮想マシンを停止させることなく仮想マシンを移動させることができる。

図２３は、従来の情報処理システム２０１の構成図である。
情報処理システム２０１は、データセンタ（data center：ＤＣ）２１１−１〜２１１−３をそなえる。
ＤＣ２１１−１は、ゲートウェイ（ＧＷ）２１２−１、仮想化基盤２１３−１及び仮想マシン２１４−１をそなえる。

ＤＣ２１１−２は、ＧＷ２１２−２及び仮想化基盤２１３−２をそなえる。
ＤＣ２１１−３は、ＧＷ２１２−３及び仮想化基盤２１３−３をそなえる。
なお、以下、ＤＣを示す符号としては、複数のＤＣのうち１つを特定する必要があるときには符号２１１−１〜２１１−３を用いるが、任意のＤＣを指すときには符号２１１を用いる。

又、以下、ＧＷを示す符号としては、複数のＧＷのうち１つを特定する必要があるときには符号２１２−１〜２１２−３を用いるが、任意のＧＷを指すときには符号２１２を用いる。
又、以下、仮想化基盤を示す符号としては、複数の仮想化基盤のうち１つを特定する必要があるときには符号２１３−１〜２１３−３を用いるが、任意の仮想化基盤を指すときには符号２１３を用いる。

ＤＣ２１１は、仮想化環境に対応したデータセンタであり、不図示の各種コンピュータやデータ通信用の装置をそなえている。
ＧＷ２１２は、ＤＣ２１１を各種ネットワークに接続するゲートウェイである。ＧＷ２１２は、例えば、ＤＣ２１１の代表となる一般的なルータである。
仮想化基盤２１３は、仮想マシン２１４を実現するための制御プログラムである。

仮想化基盤２１３としては、例えば、Ｍｉｃｒｏｓｏｆｔ Ｈｙｐｅｒ−Ｖ、ＶＭｗａｒｅ ｖＳｐｈｅｒｅなどがあるが、他の仮想化基盤を使用することができる。
仮想マシン２１４−１は、コンピュータ内に構築された疑似的なコンピュータシステムである。仮想マシン２１４は、仮想化基盤２１３上で動作するOperating System（ＯＳ）及びアプリケーションであり、後述するように別の仮想化基盤２１３にホットマイグレーションされる。

図２４は、情報処理システム２０１における一般的なホットマイグレーション処理を示すフローチャートである。
ステップＳ２０１において、管理者等から、仮想化基盤２１３−１に対してマイグレーション指示が発行される。
ステップＳ２０２において、仮想化基盤２１３−１，２１３−２間の接続が確立される。

ステップＳ２０３において、移動（マイグレーション）先の仮想マシン２１４−２の構成情報が設定される。
ステップＳ２０４において、ホットマイグレーションが実行される。このとき、仮想マシン２１４−１のメモリのデータ内容が、仮想化基盤２１３−１から仮想化基盤２１３−２に転送される。

ステップＳ２０５において、仮想マシン２１４−１のメモリが変更されているか、又は、仮想マシン２１４−１のメモリを、仮想化基盤２１３−１から仮想化基盤２１３−２に、所定の閾値（例として１ｍｓ）以内に転送可能であるかどうかが判定される。
仮想マシン２１４−１のメモリが変更されておらず、且つメモリを１ｍｓ以内に転送可能でない場合（ステップＳ２０５のＮＯルート参照）、処理がステップＳ２０４に戻る。

一方、仮想マシン２１４−１のメモリが変更されているか、又は、仮想マシン２１４−１のメモリを１ｍｓ以内に転送可能である場合（ステップＳ２０５のＹＥＳルート参照）、ステップＳ２０６において、仮想化基盤２１３−１から仮想化基盤２１３−２への最後のメモリ転送が実行される。その後、仮想マシン２１４−１で実行されているプロセス（サービス）が停止され、仮想マシン２１４−１が不図示の共有ストレージから切断される。

ステップＳ２０７において、移動先の仮想マシン２１４−２においてプロセス（サービス）が開始され、共有ストレージが仮想マシン２１４−２にマウントされる。
ステップＳ２０８において、仮想マシン２１４−２がReverse Address Resolution Protocol（ＲＡＲＰ）リクエストを送出し、不図示のスイッチ（ＳＷ）が持つテーブルの書き換えを要求する。

ところで、ｖＭｏｔｉｏｎでは、仮想マシンを移動可能な仮想化基盤間の最大往復遅延時間が、所定の閾値（例えば１０ｍｓ）に制約される。このため、遅延時間が１０ｍｓを超えるような長距離でのホットマイグレーションを行なうことができない。
例えば、図２３に示す例では、ＤＣ２１１−１とＤＣ２１１−２とはレイテンシが小さい（距離が近い）ため、ＤＣ２１１−１の仮想マシン２１４−１をＤＣ２１１−２に、仮想マシン２１４−２としてホットマイグレーションすることが可能である。

しかし、ＤＣ２１１−１とＤＣ２１１−３とは、距離が遠いなどの理由によりレイテンシが１０ｍｓを超えるため、ＤＣ２１１−１の仮想マシン２１４−１をＤＣ２１１−３にホットマイグレーションすることはできない。
１つの側面では、本発明は、仮想機械の遠距離ホットマイグレーションを実現することを目的とする。

なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来技術によっては得られない作用効果を奏することも本発明の他の目的の１つとして位置付けることができる。

このため、本開示の仮想機械管理装置は、仮想機械を管理する複数の管理部間の遅延時間を計測させて記憶する遅延記憶部と、前記遅延記憶部に記憶されている各管理部間の遅延時間に基づいて、移動元管理部から移動先管理部まで、各管理部間の遅延時間が閾値以下となる移動経路を抽出する経路抽出部と、前記仮想機械の動作を停止させることなく、前記仮想機械を、前記移動元管理部から前記移動経路に沿って前記移動先管理部へ順次移動させる移動制御部と、をそなえる。

又、本開示の仮想機械管理方法は、仮想機械を管理する複数の管理部間の遅延時間を計測させて記憶し、前記遅延記憶部に記憶されている各管理部間の遅延時間に基づいて、移動元管理部から移動先管理部まで、各管理部間の遅延時間が閾値以下となる移動経路を抽出し、前記仮想機械の動作を停止させることなく、前記仮想機械を、前記移動元管理部から前記移動経路に沿って前記移動先管理部へ順次移動させる。

更に、本開示の情報処理システムは、仮想機械を管理する複数の管理部と、前記複数の管理部間の遅延時間を計測させて記憶する遅延記憶部と、前記遅延記憶部に記憶されている各管理部間の遅延時間に基づいて、移動元管理部から移動先管理部まで、各管理部間の遅延時間が閾値以下となる移動経路を抽出する経路抽出部と、前記仮想機械の動作を停止させることなく、前記仮想機械を、前記移動元管理部から前記移動経路に沿って前記移動先管理部へ順次移動させる移動制御部と、をそなえる仮想機械管理装置と、をそなえる。

本発明によれば、仮想機械の遠距離ホットマイグレーションを実現することができる。

実施形態の一例としての情報処理システムの概略構成を示す図である。 実施形態の一例としての情報処理システムの機能構成を示す図である。 実施形態の一例としてのゲートウェイのハードウェア構成を示す図である。 実施形態の一例としての仮想化基盤が実行されているサーバ及び管理サーバのハードウェア構成を示す図である。 実施形態の一例としての情報処理システムにおけるサイトテーブルを例示する図である。 実施形態の一例としての情報処理システムにおける仮想化基盤テーブルを例示する図である。 実施形態の一例としての情報処理システムにおける仮想マシンテーブルを例示する図である。 実施形態の一例としての情報処理システムにおけるサイト間テーブルを例示する図である。 実施形態の一例としての情報処理システムにおける仮想化基盤稼働率情報テーブルを例示する図である。 実施形態の一例としての情報処理システムの概略動作を示す図である。 実施形態の一例としての情報処理システムの概略動作を示す図である。 実施形態の一例としての情報処理システムの概略動作を示す図である。 実施形態の一例としての情報処理システムにおけるレイテンシ計測処理を示す図である。 実施形態の一例としての情報処理システムにおけるレイテンシ計測処理を示すフローチャートである。 実施形態の一例としての情報処理システムにおける情報収集処理を示すフローチャートである。 （ａ）〜（ｃ）は、実施形態の一例としての情報処理システムにおける経由地特定処理を例示する図である。 実施形態の一例としての情報処理システムにおける経由地特定処理を例示するフローチャートである。 実施形態の一例としての情報処理システムにおける経由地特定処理を例示するフローチャートである。 実施形態の一例としての情報処理システムにおけるホットマイグレーション処理を示す図である。 実施形態の一例としての情報処理システムにおけるホットマイグレーション処理を示す図である。 実施形態の一例としての情報処理システムにおけるホットマイグレーション処理を示す図である。 実施形態の一例としての情報処理システムにおけるホットマイグレーション処理を示すフローチャートである。 従来の情報処理システムの概略構成を示す図である。 従来の情報処理システムにおけるホットマイグレーション処理を示すフローチャートである。

以下、図面を参照しながら本実施形態の一例を説明する。
（Ａ）構成
まず、本実施形態の一例の情報処理システム１の構成について説明する。
図１は、実施形態の一例としての情報処理システム１の概略構成を示す図である。
情報処理システム１には、ＤＣ１１−１〜１１−３、管理サーバ（仮想機械管理装置）２１−１、端末装置３１及び管理ネットワーク（ＮＷ）４１−１をそなえる。

以下の説明並びに図面において、ＤＣ１１−１をＤＣ＃１、ＤＣ１１−２をＤＣ＃２、ＤＣ１１−３をＤＣ＃３と記載することがある。
ＤＣ１１−１は、ＧＷ１２−１、仮想化基盤（管理部）１３−１及び仮想マシン（仮想機械）１４−１をそなえる。
ＤＣ１１−２は、ＧＷ１２−２及び仮想化基盤１３−２をそなえる。

ＤＣ１１−３は、ＧＷ１２−３及び仮想化基盤１３−３をそなえる。
なお、以下、ＤＣを示す符号としては、複数のＤＣのうち１つを特定する必要があるときには符号１１−１〜１１−３を用いるが、任意のＤＣを指すときには符号１１を用いる。
又、以下、ＧＷを示す符号としては、複数のＧＷのうち１つを特定する必要があるときには符号１２−１〜１２−３を用いるが、任意のＧＷを指すときには符号１２を用いる。

又、以下、仮想化基盤を示す符号としては、複数の仮想化基盤のうち１つを特定する必要があるときには符号１３−１〜１３−３を用いるが、任意の仮想化基盤を指すときには符号１３を用いる。
ＤＣ１１は、仮想化環境に対応したＤＣであり、不図示の各種コンピュータやデータ通信用の装置をそなえている。

ＧＷ１２は、ＤＣ１１を後述する管理ネットワーク４１−１に接続するゲートウェイである。ＧＷ１２は、例えば、ＤＣ１１の代表となる一般的なルータである。
仮想化基盤１３は、仮想マシン１４を実現するための制御プログラムである。
仮想化基盤１３としては、例えば、Ｍｉｃｒｏｓｏｆｔ Ｈｙｐｅｒ−Ｖ、ＶＭｗａｒｅ ｖＳｐｈｅｒｅなどがあるが、他の仮想化基盤を使用することができる。

仮想マシン１４は、コンピュータ内に構築された疑似的なコンピュータシステムである。仮想マシン１４は、仮想化基盤１３上で動作するＯＳ及びアプリケーションであり、後述するように管理サーバ２１−１の指示により、別の仮想化基盤１３にホットマイグレーションされる。
端末装置３１は、情報処理システム１の管理者又はオペレータが管理作業に使用する情報処理装置であり、例えば、一般的なパーソナルコンピュータ（ＰＣ）である。

管理サーバ２１−１は、各ＧＷ１２、仮想化基盤１３及び仮想マシン１４（以下、これらをまとめて「ノード」とも呼ぶ）を管理する情報処理装置であり、例えば、サーバ機能をそなえたコンピュータである。管理サーバ２１−１は、端末装置３１経由で管理者（又はオペレータ）からの指示を受け取る。
管理ネットワーク４１−１は、ＤＣ１１−１〜１１−３、管理サーバ２１−１間を接続する管理用のネットワークであり、通常業務に使用されるネットワークとは別個に設けられる。

図１に示す例では、ＤＣ１１−１とＤＣ１１−２とはレイテンシが小さい（ｖＳｐｈｅｒｅに代表されるソリューションの閾値未満）ため、ＤＣ１１−１の仮想マシン１４−１をＤＣ１１−２に、仮想マシン１４−２として直接ホットマイグレーションすることが可能である。しかし、ＤＣ１１−１とＤＣ１１−３とは距離が遠いなどの理由によりレイテンシが閾値を超えるため、ＤＣ１１−１の仮想マシン１４−１をＤＣ１１−３に一度でホットマイグレーションすることはできない。なお、以下の説明において、「距離が遠い」、「距離が近い」という表現を、それぞれ、ネットワーク上の「レイテンシが大きい」、「レイテンシが小さい」と同義で用いる。

そこで、実施形態の一例においては、ＤＣ１１−１の仮想マシン１４−１をＤＣ１１−２に、仮想マシン１４−２として一旦ホットマイグレーションしたのち、仮想マシン１４−２をＤＣ１１−３にホットマイグレーションする。つまり、仮想マシン１４をホットマイグレーションする際に、一度で目的の仮想化基盤１３にマイグレーションするのではなく、複数の仮想化基盤１３を経由して目的の仮想化基盤１３に段階的にマイグレーションを行なう。ここで、中継される仮想化基盤１３を「経由地」と呼ぶ。

このため、ホットマイグレーションに必要となる各ＤＣ１１や仮想化基盤１３、仮想マシン１４などの情報を管理サーバ２１に予め記憶させておき、ホットマイグレーション時に、管理サーバ２１の経由地特定部２３（図２参照；詳細は後述）が最適なホットマイグレーション先を決定する。
詳細には、まず、図１のステップ（Ｉ）において、管理サーバ２１−１が、各ノード（ＧＷ１２、仮想化基盤１３及び仮想マシン１４）から情報を収集し、その情報を、後述する管理テーブル５１〜５５に記憶する。

次に、ステップ（ＩＩ）において、管理サーバ２１−１は、仮想化基盤１３−１に対して、ＤＣ１１−１の仮想マシン１４−１を、ＤＣ１１−３にホットマイグレーションするように指示する。
次に、ステップ（ＩＩＩ）において、管理サーバ２１−１は、仮想化基盤１３−２に対して、ＤＣ１１−１から仮想マシン１４の受け入れ準備を行なうように指示する。仮想マシン１４の受け入れ準備には、例えば、Central Processing Unit（ＣＰＵ）やメモリ等のリソースの確保などがある。

ステップ（ＩＶ）において、管理サーバ２１−１は、ＤＣ１１−１の仮想マシン１４−１に対し、ホットマイグレーションの経由地としてＤＣ１１−２を指示する。
ステップ（Ｖ）において、ＤＣ１１−１の仮想マシン１４−１が、ＤＣ１１−２に仮想マシン１４−２としてホットマイグレーションされる。
次に、ステップ（ＶＩ）において、管理サーバ２１−１は、仮想化基盤１３−３に対して、ＤＣ１１−２から仮想マシン１４の受け入れ準備を行なうように指示する。

ステップ（ＶＩＩ）において、管理サーバ２１−１は、ＤＣ１１−２の仮想マシン１４−２に対し、ホットマイグレーションの経由地（この場合は最終目的地である目的地）としてＤＣ１１−３を指示する。
ステップ（ＶＩＩＩ）において、ＤＣ１１−２の仮想マシン１４−２が、ＤＣ１１−３に仮想マシン１４−３としてホットマイグレーションされる。

このように、実施形態の一例としての情報処理システム１においては、ＤＣ１１−１からＤＣ１１−２へ、ＤＣ１１−２を経由して仮想マシン１４を段階的に移動させることで、ＤＣ１１−１からＤＣ１１−２へのマイグレーション（長距離ホットマイグレーション）を実現する。以下にその詳細を説明する。
図２は、実施形態の一例としての情報処理システム１の機能構成を示す図である。

管理サーバ２１−１は、情報収集・管理部（遅延記憶部）２２、経由地特定部（経路抽出部）２３、マイグレーション通知部（移動制御部）２４、ＧＷインタフェース２５、仮想化基盤インタフェース２６、及び管理サーバ間インタフェース（連携部）２７をそなえる。
情報収集・管理部２２は、各ノードの情報、ノード間の遅延時間（レイテンシ）等を収集して、後述する管理テーブル５１〜５５（図５〜図９参照）に格納する。

経由地特定部２３は、長距離ホットマイグレーションを行なう前に、図１６（ａ）〜（ｃ）を用いて後述する経由地特定処理（経由地特定アルゴリズムとも呼ぶ）を実行して、経由地を求める。
マイグレーション通知部２４は、仮想化基盤１３に対してホットマイグレーションの実行を指示する。

ＧＷインタフェース２５は、ＧＷ１２との情報の仲介を行なう。
仮想化基盤インタフェース２６は、仮想化基盤１３との情報の仲介を行なう。
管理サーバ間インタフェース２７は、他の管理サーバ（例えば管理サーバ２１−２）とインタフェースして、管理サーバ２１間を連携させる。管理サーバ間インタフェース２７による連携により、例えば、Ａｍａｚｏｎ社のＡｍａｚｏｎクラウドとＧｏｏｇｌｅ社のＧｏｏｇｌｅクラウド間のホットマイグレーションなど、クラウド間のマイグレーションが可能となる。

なお、図２には管理サーバ２１−１の構成のみが図示されているが、管理サーバ２１−２も管理サーバ２１−１と同様の機能構成をそなえる。このため、管理サーバ２１−２の機能構成については説明及び図示を省略する。
なお、以下、管理サーバを示す符号としては、複数の管理サーバのうち１つを特定する必要があるときには符号２１−１〜２１−２を用いるが、任意の管理サーバを指すときには符号２１を用いる。

ＧＷ１２−１は、ＧＷ・ルータ部１２１、インタフェース部１２２、及び情報計測部１２３をそなえる。
ＧＷ・ルータ部１２１は、ＧＷ・ルータとしての一般的な機能を実現する。
インタフェース部１２２は、管理サーバ２１−１との情報の仲介を行なう。
情報計測部１２３は、管理サーバ２１−１からの指示により、他ノードとのレイテンシを計測する。例えば、情報計測部１２３は、他のノードにコマンド等を発行し、その応答が返される時間を測定することによりレイテンシを計測する。

なお、図２にはＧＷ１２−１の構成のみが図示されているが、ＧＷ１２−２〜１２−４もＧＷ１２−１と同様の機能構成をそなえる。このため、ＧＷ１２−２〜１２−４の機能構成については説明及び図示を省略する。
仮想化基盤１３−１は、ＨＶ部１３１、仮想マシン情報管理部１３２、インタフェース部１３３、ホットマイグレーション部１３４、ＮＷ管理部１３５、及びイベント通知部１３６をそなえる。

ＨＶ部１３１は、仮想マシン１４−１の実行、リソース割り当てや管理など、仮想化基盤としての一般的な機能を実現する。
仮想マシン情報管理部１３２は、仮想化基盤１３−１の配下の仮想マシン１４−１に関する各種情報を管理する。
インタフェース部１３３は、管理サーバ２１−１との情報の仲介を行なう。

ホットマイグレーション部１３４は、他の仮想化基盤１３への仮想マシン１４のホットマイグレーションを実行する。
ＮＷ管理部１３５は、仮想化基盤１３−１のネットワーク接続を管理する。
イベント通知部１３６は、ホットマイグレーション等のイベントの発生時に、そのイベントに関する情報を管理サーバ２１−１に通知する。

なお、図２には仮想化基盤１３−１の構成のみが図示されているが、仮想化基盤１３−２〜１３−４も仮想化基盤１３−１と同様の機能構成をそなえる。このため、仮想化基盤１３−２〜１３−４の機能構成については説明及び図示を省略する。
仮想マシン１４−１は、仮想マシン部１４１、ホットマイグレーション部１４２、及び情報収集部１４３をそなえる。

仮想マシン部１４１は、仮想マシン１４−１としての一般的な機能を実現する。
ホットマイグレーション部１４２は、他の仮想化基盤１３に仮想マシン１４−１自身をホットマイグレーションさせる。
情報収集部１４３は、仮想マシン１４−１に関する各種情報を収集する。
なお、図２には仮想マシン１４−１の構成のみが図示されているが、仮想マシン１４−２〜１４−４も仮想マシン１４−１と同様の機能構成をそなえる。このため、仮想マシン１４−２〜１４−４の機能構成については説明及び図示を省略する。

なお、図２に示す例では、自社網内のＤＣ１１−１，１１−２が、ＧＷ４２−１，４２−２及びネットワーク４３を介して、他社網内のＤＣ１１−３，ＤＣ１１−４に接続されている。しかし、本構成は例示に過ぎず、ＤＣ１１−１〜１１−４の全てが１つのネットワークに接続されていても、自社網内のＤＣ１１−１が、他社網内のＤＣ１１−２〜１１−４に接続されているなど、他の構成も可能である。

図３は、実施形態の一例としてのＧＷ１２のハードウェア構成を示す図である。
ＧＷ１２は、ＣＰＵ６１、Random Access Memory（ＲＡＭ）６２、インタフェース部６３、パケット転送エンジン６４、ルーティングテーブル６５、フォワーディングテーブル６６、及びフローテーブル６７をそなえる。
ＣＰＵ６１は、後述するＲＡＭ６２等に格納されているプログラムを実行することにより、各種処理を実行する処理装置である。ＣＰＵ６１としては、公知のＣＰＵを用いることができる。

ＲＡＭ６２は、ＣＰＵ６１が実行するプログラムや種々のデータや、ＣＰＵ６１の動作により得られたデータ等を格納する。
インタフェース部６３は、ＧＷ１２をネットワークに接続するためのインタフェースである。
パケット転送エンジン６４は、ＧＷ１２が受信したパケットを他の装置に転送する。

ルーティングテーブル６５は、パケットの転送先を記憶しているテーブルである。
フォワーディングテーブル６６は、パケットの次の転送先を記憶しているテーブルである。
フローテーブル６７は、パケットのフローに関する情報を記憶しているテーブルである。

なお、ＧＷ１２において、情報計測部１２３としての機能を実現するためのプログラムは、例えばフレキシブルディスク，ＣＤ（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ等），ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−ＲＡＭ，ＤＶＤ−Ｒ，ＤＶＤ＋Ｒ，ＤＶＤ−ＲＷ，ＤＶＤ＋ＲＷ，ＨＤ ＤＶＤ等），ブルーレイディスク，磁気ディスク，光ディスク，光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供される。そして、コンピュータはその記録媒体から図示しない読み取り装置を介してプログラムを読み取って内部記憶装置又は外部記憶装置に転送し格納して用いる。又、そのプログラムを、例えば磁気ディスク，光ディスク，光磁気ディスク等の記憶装置（記録媒体）に記録しておき、その記憶装置から通信経路を介してコンピュータに提供するようにしてもよい。

情報計測部１２３としての機能を実現する際には、内部記憶装置（本実施形態ではＲＡＭ６２）に格納されたプログラムがコンピュータのマイクロプロセッサ（本実施形態ではＣＰＵ６１）によって実行される。このとき、記録媒体に記録されたプログラムをコンピュータが読み取って実行するようにしてもよい。
図４は、実施形態の一例としての仮想化基盤１３が実行されているサーバ及び管理サーバ２１のハードウェア構成を示す図である。

仮想化基盤１３が実行されているサーバ及び管理サーバ２１は、ＣＰＵ７１、主記憶部７２、補助記憶部７３、通信制御部７４、インタフェース部７５、及び媒体リーダ７６をそなえる。
ＣＰＵ７１は、仮想化基盤１３や管理サーバ２１の基本機能を実現するシステムソフトウェアである不図示のＯＳ等を実行する処理装置である。後述する主記憶部７２等に格納されているプログラムを実行することにより、各種処理を実行する。ＣＰＵ７１としては、公知のＣＰＵを用いることができる。

主記憶部７２は、ＣＰＵ７１が実行するプログラムや種々のデータや、ＣＰＵ７１の動作により得られたデータ等を格納する。主記憶部７２としては、例えば、Hard Disk Drive（ＨＤＤ）を使用することができる。
補助記憶部７３は、ＣＰＵ７１がプログラムを実行する際に、データを一時的に記憶する記憶域である。補助記憶部７３としては、例えば、ＲＡＭを使用することができる。

通信制御部７４は、インタフェース部７５を制御して、外部ネットワークとの通信の制御を行なう。
インタフェース部７５は、仮想化基盤１３や管理サーバ２１を外部のネットワークに接続するためのアダプタであり、例えば、Local Area Network（ＬＡＮ）カードである。
媒体リーダ７６は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体７７を読み出すドライブであり、例えば、ＣＤ−ＲＯＭドライブやＤＶＤ−ＲＯＭドライブである。

又、情報収集・管理部２２、経由地特定部２３、管理サーバ間インタフェース２７、及びイベント通知部１３６としての機能を実現するためのプログラムは、例えばフレキシブルディスク，ＣＤ（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ等），ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−ＲＡＭ，ＤＶＤ−Ｒ，ＤＶＤ＋Ｒ，ＤＶＤ−ＲＷ，ＤＶＤ＋ＲＷ，ＨＤ ＤＶＤ等），ブルーレイディスク，磁気ディスク，光ディスク，光磁気ディスク等の、コンピュータ読取可能な記録媒体７７に記録された形態で提供される。そして、コンピュータはその記録媒体７７から媒体リーダ７６を介してプログラムを読み取って内部記憶装置又は外部記憶装置に転送し格納して用いる。又、そのプログラムを、例えば磁気ディスク，光ディスク，光磁気ディスク等の記憶装置（記録媒体７７）に記録しておき、その記憶装置から通信経路を介してコンピュータに提供するようにしてもよい。

又、情報収集・管理部２２、経由地特定部２３、管理サーバ間インタフェース２７、及びイベント通知部１３６としての機能を実現する際には、内部記憶装置（本実施形態では主記憶部７２）に格納されたプログラムがコンピュータのマイクロプロセッサ（本実施形態ではＣＰＵ７１）によって実行される。このとき、記録媒体７７に記録されたプログラムをコンピュータが読み取って実行するようにしてもよい。

なお、本実施形態において、コンピュータとは、ハードウェアとＯＳとを含む概念であり、ＯＳの制御の下で動作するハードウェアを意味している。又、ＯＳが不要でアプリケーションプログラム単独でハードウェアを動作させるような場合には、そのハードウェア自体がコンピュータに相当する。ハードウェアは、少なくとも、ＣＰＵ等のマイクロプロセッサと、記録媒体７７に記録されたコンピュータプログラムを読み取るための手段とをそなえており、本実施形態においては、仮想化基盤１３及び管理サーバ２１がコンピュータとしての機能を有しているのである。

次に、図５〜図９を用いて、実施形態の一例としての情報処理システム１において使用される各種管理テーブル５１〜５５について説明する。
図５は、実施形態の一例としての情報処理システム１におけるサイトテーブル５１を例示する図である。
サイトテーブル５１は、各サイト（ＤＣ１１）の情報、並びにＤＣ１１のＧＷ１２のＩＰを保持するテーブルである。

図５に示すように、サイトテーブル５１は、サイトＩＤ（Site ID）５１１、サイト名（Site Name）５１２、及びＧＷ ＩＰ５１３の各フィールドを有する。
サイトＩＤ５１１は、各サイト（ＤＣ１１）を一意に識別するサイトの識別子（ＩＤ）を格納している。
サイト名５１２は、サイトの名前を格納している。

ＧＷ ＩＰ５１３は、サイトの代表ＧＷ１２のＩＰアドレスを格納している。
サイトテーブル５１に格納される情報は、管理サーバ２１の要求に応じて、ＧＷ１２によって収集される。
図６は、実施形態の一例としての情報処理システム１における仮想化基盤テーブル５２を例示する図である。

仮想化基盤テーブル５２は、仮想化基盤１３の情報を格納するテーブルである。
仮想化基盤テーブル５２は、ＨＶ ＩＤ５２１、ＨＶ名（HV Name）５２２、ＨＶ ＩＰ５２３、サイトＩＤ（Site ID）５２４、レイテンシ（Latency）５２５、及び最終更新日（Latest）５２６の各フィールドを有する。
ＨＶ ＩＤ５２１は、各仮想化基盤１２を一意に識別する仮想化基盤１２の識別子を格納している。

ＨＶ名５２２は、仮想化基盤１２の名前を格納している。
ＨＶ ＩＰ５２３は、仮想化基盤１２のＩＰアドレスを格納している。
サイトＩＤ５２４は、仮想化基盤１２が存在するサイト（ＤＣ１１）のＩＤを格納している。
レイテンシ５２５は、ＧＷ１２と仮想化基盤１２との間のレイテンシ（遅延時間）を格納している。前述のように、レイテンシの値は、例えば、コマンドの往復応答時間を測定することによって計測される。

最終更新日５２６は、各フィールド５２１〜５２５の情報の最終更新日を保持している。
仮想化基盤テーブル５２に格納される情報は、管理サーバ２１の要求に応じて、ＧＷ１２の情報計測部１２３によって収集される。
図７は、実施形態の一例としての情報処理システム１における仮想マシンテーブル５３を例示する図である。

仮想マシンテーブル５３は、仮想マシン１４の情報、並びに仮想マシン１４のリソース情報を保持するテーブルである。
仮想マシンテーブル５３は、ＶＭ ＩＤ５３１、ＶＭ名（VM Name）５３２、ＣＰＵ使用率（CPU）５３３、メモリ使用量（Mem）５３４、ＨＤＤ使用量（HDD）５３５、ＮＩＣ５３６、ＮＷ名（NW-Name）５３７、及びＨＶ ＩＤ５３８等リソース使用量の各フィールドを有する。

ＶＭ ＩＤ５３１は、各仮想マシン１４を一意に識別する仮想マシン１４の識別子を格納している。
ＶＭ名５３２は、仮想マシン１４の名前を格納している。
ＣＰＵ使用率５３３は、各仮想マシン１４に割り当てられているＣＰＵの使用率（％）を格納している。

メモリ使用量５３４は、各仮想マシン１４に割り当てられているメモリの使用量（例えば、ＧＢ）を格納している。
ＨＤＤ使用量５３５は、各仮想マシン１４に割り当てられているＨＤＤの使用量（例えば、ＧＢ）を格納している。
ＮＩＣ５３６は、各仮想マシン１４に割り当てられているNetwork Interface Card（ＮＩＣ）の識別子を格納している。

ＮＷ名５３７は、仮想マシン１４が接続しているネットワーク（ＮＷ）のネットワーク名を格納している。
ＨＶ ＩＤ５３８は、仮想マシン１４が存在する仮想化基盤１３のＩＤを格納している。
仮想マシンテーブル５３に格納される情報は、管理サーバ２１の要求に応じて、ＧＷ１２によって収集される。

図８は、実施形態の一例としての情報処理システム１におけるサイト間テーブル５４を例示する図である。
サイト間テーブル５４は、ＤＣ１１間のレイテンシ（遅延時間）を格納しているテーブルであり、ＤＣ１１毎にテーブルが作成される。
サイト間テーブル５４は、各サイト（ＤＣ１１）毎に、ＤＳＴサイトＩＤ（DST Site ID）５４１、レイテンシ（Latency）５４２、及び最終更新日（Latest）５４３の各フィールドを有する。

ＤＳＴサイトＩＤ５４１は、接続先のサイト（ＤＣ１１）のＩＤを格納している。
レイテンシ５４２は、サイト間のレイテンシ（遅延時間）を格納している。前述のように、レイテンシの値は、例えば、コマンドの往復応答時間を測定することによって計測される。
最終更新日５４３は、レイテンシ５４１の情報が収集された日時を保持している。

サイト間テーブル５４に格納される情報は、管理サーバ２１の要求に応じて、ＧＷ１２の情報計測部１２３によって収集される。
図９は、実施形態の一例としての情報処理システム１における仮想化基盤稼働率情報テーブル５５を例示する図である。
仮想化基盤稼働率情報テーブル５５は、仮想化基盤１３のハードウェア情報を保持するテーブルである。

仮想化基盤稼働率情報テーブル５５は、ＨＶ ＩＤ５５１、ＣＰＵ使用率（CPU）５５２、メモリ使用量（Mem）５５３、ＨＤＤ使用量（HDD）５５４、ＮＩＣ５５５、及び最終更新日（Latest）５５６の各フィールドを有する。
ＨＶ ＩＤ５５１は、各仮想化基盤１２を一意に識別する仮想化基盤１２の識別子を格納している。

ＣＰＵ使用率５５２は、各仮想マシン１４に割り当てられているＣＰＵの使用率（％）を格納している。
メモリ使用量５５３は、各仮想マシン１４に割り当てられているメモリの使用量（例えば、ＧＢ）を格納している。
ＨＤＤ使用量５５４は、各仮想マシン１４に割り当てられているＨＤＤの使用量（例えば、ＴＧ）を格納している。

ＮＩＣ５５５は、各仮想マシン１４に割り当てられているＮＩＣの識別子を格納している。
最終更新日５５６は、各フィールド５５１〜５５５の情報の最終更新日を保持している。
仮想化基盤稼働率情報テーブル５５に格納される情報は、管理サーバ２１の要求に応じて、ＧＷ１２によって収集される。

（Ｂ）動作
次に、本実施形態の一例の情報処理システム１の動作について説明する。
最初に、図１０〜図１２を用いて、図１，図２に示した情報処理システム１におけるホットマイグレーション処理について説明する。
図１０〜図１２は、実施形態の一例としての情報処理システム１の概略動作を示す図である。

まず、図１０のステップ（１）において、管理サーバ２１の情報収集・管理部２２が、各ノード（ＧＷ１２、仮想化基盤１３）に対して、レイテンシの計測を指示する。この際、例えば、情報収集・管理部２２は、各ノードに対し、ＤＣ１１間のレイテンシ、ＤＣ１１内の仮想マシン１４とＧＷ１２との間のレイテンシの情報を要求する。
次に、図１０のステップ（２）において、ＧＷ１３の情報計測部１２３は、ＤＣ１１間のレイテンシ、並びにＤＣ１１内の仮想マシン１４とＧＷ１２との間のレイテンシを計測する。

次に、図１０のステップ（３）において、ＧＷ１３のインタフェース部１２２は、ステップ（２）で計測した各レイテンシを管理サーバ２１に通知する。管理サーバ２１の情報収集・管理部２２は、ＧＷ１２から通知されたレイテンシを、前述の仮想マシンテーブル５３（図７参照）及びサイト間テーブル５４（図８参照）に記憶する。
又、図１１のステップ（４）において、管理サーバ２１の情報収集・管理部２２は、各ノード（仮想化基盤１３及び仮想マシン１４）に対して、各種情報の収集を指示する。この際、例えば、情報収集・管理部２２は、ＤＣ１１内の仮想化基盤１３の情報、及びＤＣ１１内の仮想マシン１４の情報を要求する。

そして、図１１のステップ（５）において、仮想化基盤１３のインタフェース部１３３は、ＤＣ１１内の仮想化基盤１３の情報、及びＤＣ１１内の仮想マシン１４の情報を管理サーバ２１に通知する。管理サーバ２１の情報収集・管理部２２は、仮想化基盤１３から通知された情報を、前述のサイトテーブル５１（図５参照）、仮想化基盤テーブル５２（図６参照）、仮想マシンテーブル５３（図７参照）及びサイト間テーブル５４（図８参照）に記憶する。

その後、図１２のステップ（６）において、ホットマイグレーションが実施され、ＤＣ１１−１の仮想マシン１４−１がＤＣ１１−２の仮想マシン１４−２としてホットマイグレーションされる。
次に、図１２のステップ（７）において、仮想化基盤１３のイベント通知部１３７が管理サーバ２１に、ホットマイグレーションの結果を通知する。又、仮想化基盤１３のインタフェース部１３３がホットマイグレーション後の各ノードの情報を、管理サーバ２１に通知する。そして、管理サーバ２１の情報収集・管理部２２は、仮想化基盤１３から通知された情報を、前述のサイトテーブル５１（図５参照）、仮想化基盤テーブル５２（図６参照）、仮想マシンテーブル５３（図７参照）及びサイト間テーブル５４（図８参照）に記憶する。

次に、図１３を参照して、情報処理システム１におけるレイテンシ計測処理を説明する。
図１３は、実施形態の一例としての情報処理システム１におけるレイテンシ計測処理を示す図である。
ステップＳ１において、管理サーバ２１の情報収集・管理部２２が、ＧＷ１２−１に対して、情報提供要求を送信する。

ステップＳ２において、ＧＷ１２−１は、ＧＷ１２−２に対して、レイテンシの計測を指示する。
ステップＳ３において、ＧＷ１２−２の情報計測部１２３は、レイテンシを測定し、測定したレイテンシをＧＷ１２−１に通知する。このレイテンシは、例えば、ｐｉｎｇコマンドを発行し、ｐｉｎｇコマンドを受け取るまでの時間を測定することにより求めることができる。

ステップＳ４において、ＧＷ１２−１は、ＧＷ１２−３に対して、レイテンシの計測を指示する。
ステップＳ５において、ＧＷ１２−３の情報計測部１２３は、レイテンシを測定し、測定したレイテンシをＧＷ１２−１に通知する。
ステップＳ６において、ＧＷ１２−１は、仮想化基盤１３−１との間のレイテンシの計測を行なう。

ステップＳ７において、仮想化基盤１３−１は、レイテンシの測定に用いられる情報をＧＷ１２−１に通知する。
なお、前述のステップＳ２，Ｓ４，Ｓ６は同時に実行されてもよい。
ステップＳ８において、ＧＷ１２−１は、収集したレイテンシの計測値を、管理サーバ２１に通知する。

ステップＳ９において、管理サーバ２１は、仮想化基盤１３−１に対して、情報提供要求を送信する。
ステップＳ１０において、仮想化基盤１３−１は、管理サーバ２１に、仮想化基盤１３−１の情報を送信する。
ステップＳ１１において、管理サーバ２１は、ＧＷ１２−２に対して、情報提供要求を送信する。

ステップＳ１２において、ＧＷ１２−２は、ＧＷ１２−１に対して、レイテンシの計測を指示する。
ステップＳ１３において、ＧＷ１２−１の情報計測部１２３は、レイテンシを測定し、測定したレイテンシをＧＷ１２−２に通知する。
ステップＳ１４において、ＧＷ１２−２は、ＧＷ１２−３に対して、レイテンシの計測を指示する。

ステップＳ１５において、ＧＷ１２−３の情報計測部１２３は、レイテンシを測定し、測定したレイテンシをＧＷ１２−２に通知する。
ステップＳ１６において、ＧＷ１２−２は、仮想化基盤１３−２との間のレイテンシの計測を行なう。
ステップＳ１７において、仮想化基盤１３−２は、レイテンシの測定に用いられる情報をＧＷ１２−１に通知する。

なお、前述のステップＳ１２，Ｓ１４，Ｓ１６は同時に実行されてもよい。
ステップＳ１８において、ＧＷ１２−２は、収集したレイテンシの計測値を、管理サーバ２１に通知する。
上記処理は、管理サーバ２１の管理下にある各ＤＣ１１のそれぞれに対して実行され、管理サーバ２１の管理下にある各ＤＣ１１の各ノードのレイテンシ情報が収集される。

図１４は、実施形態の一例としての情報処理システム１におけるレイテンシ計測処理を示すフローチャートである。
ステップＳ１３１において、管理サーバ２１の情報収集・管理部２２は、計測先のＧＷ１２又は仮想化基盤１３を選択する。
ステップＳ１３２において、管理サーバ２１の情報収集・管理部２２は、ステップＳ１３１で選択したＧＷ１２又は仮想化基盤１３に対し、レイテンシ計測開始を指示し、宛先情報を通知する。

ステップＳ１３３において、ＧＷ１２の情報計測部１２３は、指示されたＧＷ１２又は仮想化基盤１３のレイテンシを計測する。
ステップＳ１３４において、ＧＷ１２の情報計測部１２３は、計測結果を管理サーバ２１に通知する。
ステップＳ１３５において、管理サーバ２１の情報収集・管理部２２は、ステップＳ１３２で通知された結果データを管理テーブル５１〜５５に格納する。

ステップＳ１３６において、管理サーバ２１の情報収集・管理部２２は、レイテンシを計測するＧＷ１２又は仮想化基盤１３が残っているかどうかを判定する。
レイテンシを計測するＧＷ１２又は仮想化基盤１３が残っている場合（ステップＳ１３６のＹＥＳルート参照）、処理がステップＳ１３１に戻る。
一方、レイテンシを計測するＧＷ１２又は仮想化基盤１３が残っていない場合（ステップＳ１３６のＮＯルート参照）、処理が終了する。

図１５は、実施形態の一例としての情報処理システム１における情報収集処理を示すフローチャートである。
ステップＳ１４１において、管理サーバ２１の情報収集・管理部２２は、情報収集先の仮想化基盤１３を選択する。
ステップＳ１４２において、管理サーバ２１の情報収集・管理部２２は、ステップＳ１４１で選択した仮想化基盤１３に対し、情報提供を依頼する。

ステップＳ１４３において、仮想化基盤１３は取得する情報を収集する。
ステップＳ１４４において、仮想化基盤１３は、収集した情報を管理サーバ２１に通知する。
ステップＳ１４５において、管理サーバ２１の情報収集・管理部２２は、ステップＳ１４２で通知された結果データを管理テーブル５１〜５５に格納する。

ステップＳ１４６において、管理サーバ２１の情報収集・管理部２２は、情報を収集する仮想化基盤１３が残っているかどうかを判定する。
情報を収集する仮想化基盤１３が残っている場合（ステップＳ１４６のＹＥＳルート参照）、処理がステップＳ１４１に戻る。
一方、情報を収集する仮想化基盤１３が残っていない場合（ステップＳ１４６のＮＯルート参照）、処理が終了する。

次に、図１６（ａ）〜（ｃ），図１７，図１８を用いて、情報処理システムにおける経由地特定処理の例を説明する。
図１６（ａ）〜（ｃ）は、実施形態の一例としての管理サーバ２１の経由地特定部２３による経由地特定処理を例示する図である。
図１６（ａ）において、管理者が、端末装置３１を使用して、サイトＡのＶＭ−ＡのサイトＣへのホットマイグレーションを、管理サーバ２１に対して指示する。

管理サーバ２１の経由地特定部２３は、サイト間テーブル５４を参照してサイトＡとサイトＣ間のレイテンシを取得する。そして、レイテンシが、ホットマイグレーション可能な閾値（例えば、ＶＭｗａｒｅ ｖＭｏｔｉｏｎの場合は１０ｍｓ以下）場合、経由地特定部２３は、サイトＣを目的地として決定する。以下、閾値は例として１０ｍｓとして扱う。

レイテンシがホットマイグレーション可能な閾値よりも大きい場合、図１６（ｂ）に示すように、経由地特定部２３は、『サイトＡから１０ｍｓ以内』かつ『サイトＣから最もレイテンシの少ない』地点であるサイトＤを選択する。更に、『サイトＣから１０ｍｓ以内』かつ『サイトＡから最もレイテンシの少ない』地点であるサイトＥも選択する。
このとき、経由地特定部２３は、管理テーブル５１〜５５のリソース情報を参照して、ハードウェアやネットワークリソースなどが移動元のサイトに類似しているサイトを優先的に選択する。

経由地特定部２３は、上記で選択したサイトＤ，Ｅと、サイトＡ，Ｃの４つの点から、最もレイテンシが少ない２点を選択する。例えば、サイトＤ，Ｅ間のレイテンシが最小であるとする。
そして、経由地特定部２３は、選択されたサイトＤとサイトＥについて、上記の経由地選処理を繰り返し、最終的に、図１６（ｃ）に示すように、サイトＦを経由地として選択する。これにより、経由地として、サイトＤ，Ｅ，Ｆが選択される。すなわち、図１６（ｃ）に示すサイトＡ→サイトＤ→サイトＦ→サイトＥ→サイトＣが、順次ホットマイグレーションを行なう移動経路として選択される。

図１７，図１８は、図１６（ａ）〜（ｃ）の経由地特定処理を例示するフローチャートである。図１７はステップＳ２１〜Ｓ２９、図１８はステップＳ３０〜Ｓ４４をそれぞれ示す。
ステップＳ２１において、経由地特定部２３は、例えば、カウンタｉ，ｊ、始点変数Ｓ［１０］、終点変数Ｅ［１０］、レイテンシＬ［４］、経由地変数ＫＳ［１０］，ＫＥ［１０］、及びレイテンシ閾値Ｔを確保する。ここで、始点変数Ｓ［１０］は要素数１０の配列を、レイテンシＬ［４］は要素数４の配列を、それぞれ示す。ここで、要素数の１０は経由地を記録するための最大数で、任意の値に変更できる。

ステップＳ２２において、経由地特定部２３は、ステップＳ２１で確保した変数に初期値を設定する。
ステップＳ２３において、経由地特定部２３は、移動元の仮想マシン１４を移動することができない地点を排除する。
ステップＳ２４において、経由地特定部２３は、Ｓ［ｉ］とＥ［ｉ］との間のレイテンシＬ［０］が、レイテンシ閾値Ｔ以下であるかどうか判定する。

レイテンシＬ［０］がレイテンシ閾値Ｔ以下の場合（ステップＳ２４のＹＥＳルート参照）、処理が図１７のステップＳ４２に移動する。
一方、レイテンシＬ［０］がレイテンシ閾値Ｔを超える場合（ステップＳ２４のＮＯルート参照）、ステップＳ２５において、経由地特定部２３は、カウンタｉを１インクリメントする。

ステップＳ２６において、経由地特定部２３は、Ｌｉｓｔ Ｓ＝Ｓ［ｉ−１］からレイテンシがＴ（ｍｓ）以内の地点をリストアップする。例えば、前述の図１６（ｂ）の例では、サイトＡから１０ｍｓ以内にサイトＤが存在する。
又、経由地特定部２３は、Ｌｉｓｔ Ｅ＝Ｅ［ｉ−１］からレイテンシがＴ（ｍｓ）以内の地点をリストアップする。例えば、前述の図１６（ｂ）の例では、サイトＣから１０ｍｓ以内にサイトＥが存在する。

ステップＳ２７において、経由地特定部２３は、Ｌｉｓｔ ＳとＬｉｓｔ Ｅとに共通する地点が存在するかどうかを判定する。
共通する地点が存在する場合（ステップＳ２７のＹＥＳルート参照）、ステップＳ２８において、経由地特定部２３は、Ｓ［ｉ］＝Ｅ［ｉ］＝共通地点から任意の点を選択する。このとき、共通点に自身がある場合は自身を選択する。

一方、共通する地点が存在しない場合（ステップＳ２７のＮＯルート参照）、ステップＳ２９において、経由地特定部２３は、Ｌｉｓｔ Ｓから、Ｅ［ｉ−１］からのレイテンシの少ない地点を選択し、Ｓ［ｉ］に代入する。又、経由地特定部２３は、Ｌｉｓｔ Ｅから、Ｓ［ｉ−１］からのレイテンシの少ない地点を選択して、Ｅ［ｉ］に代入する。例えば、の図１６（ｂ）の例では、Ｓ［ｉ］＝サイトＤ、Ｓ［ｉ−１］＝サイトＡ、Ｅ［ｉ］＝サイトＥ、Ｅ［ｉ−１］＝サイトＣがそれぞれ設定される。

次に、図１８のステップＳ３０において、経由地特定部２３は、Ｌ［０］に、Ｓ［ｉ−１］とＥ［ｉ−１］間のレイテンシを設定し、Ｌ［１］に、Ｓ［ｉ−１］とＥ［ｉ］間のレイテンシを設定する。又、経由地特定部２３は、Ｌ［２］に、Ｓ［ｉ］とＥ［ｉ−１］間のレイテンシを設定し、Ｌ［３］に、Ｓ［ｉ］とＥ［ｉ］間のレイテンシを設定する。例えば、図１６（ｂ）の例ではＬ［１］に、サイトＡ−Ｅ間のレイテンシが設定され、他のレイテンシも同様に設定される。

ステップＳ３１において、経由地特定部２３は、Ｌ［０］〜Ｌ［３］のうち、値が最も小さいものを選択する。同じ値が複数存在する場合、経由地特定部２３は、要素数の小さいものを選択する。
Ｌ［０］が最小の場合（ステップＳ３１の“Ｌ［０］”ルート参照）、経由地特定部２３は、ステップＳ３２においてｉを１デクリメントし、ステップＳ３３でｊを１インクリメントする。

ステップＳ３４において、経由地特定部２３は、ｊが十分大きいかどうか（例えば、所定の閾値を超えているかどうか）を判定する。
ｊが十分大きくない場合（ステップＳ３４のＮＯルート参照）、処理は図１７のステップＳ２５に戻る。
一方、ｊが十分大きい場合（ステップＳ３４のＹＥＳルート参照）、一定回数以上、経由地特定を繰り返したり、一度選択された経由地が再度選択され、無限ループに陥っているおそれがある。このとき、ステップＳ３５において、経由地特定部２３は、候補点が０であるかどうかを判定する。

候補点が０ではない場合（ステップＳ３５のＮＯルート参照）、離れた地点など、除外すべき地点が検索されたことになる。ステップＳ３６において、経由地特定部２３は、先に選択した候補地である、ＫＳ［ｉ］，ＥＳ［ｉ］の選択された地点を候補地から除外して、図１７のステップＳ２５に戻る。
一方、候補点が０の場合（ステップＳ３５のＹＥＳルート参照）、ステップＳ３７において、経由地特定部２３は、適切な経由地が存在しない旨を管理者等に通知し、処理を終了する。

なお、ステップＳ３１でＬ［１］が最小の場合（ステップＳ３１の“Ｌ［１］”ルート参照）、ステップＳ３８において、経由地特定部２３は、Ｓ［ｉ−１］をＫＳ［ｉ］に、Ｅ［ｉ］をＫＥ［ｉ］に、Ｓ［ｉ−１］をＳ［ｉ］に、それぞれ代入して、後述するステップＳ４１に進む。
又、ステップＳ３１でＬ［２］が最小の場合（ステップＳ３１の“Ｌ［２］”ルート参照）、ステップＳ３９において、経由地特定部２３は、ＫＳ［ｉ］をＳ［ｉ］に、Ｅ［ｉ−１］をＫＥ［ｉ］に、Ｅ［ｉ−１］をＥ［ｉ］にそれぞれ代入して、ステップＳ４１に進む。

或いは、ステップＳ３１でＬ［３］が最小の場合（ステップＳ３１の“Ｌ［３］”ルート参照）、ステップＳ４０において、経由地特定部２３は、Ｓ［ｉ］をＫＳ［ｉ］に、Ｅ［ｉ］をＫＥ［ｉ］にそれぞれ代入して、ステップＳ４１に進む。
ステップＳ４１において、経由地特定部２３は、ＫＳ［ｉ］とＫＥ［ｉ］とが一致するかどうかを判定する。

ＫＳ［ｉ］とＫＥ［ｉ］とが一致しない場合（ステップＳ４１のＮＯルート参照）、処理がステップＳ３４に移る。
一方、ＫＳ［ｉ］とＫＥ［ｉ］とが一致する場合（ステップＳ４１のＹＥＳルート参照）、ステップＳ４２において、経由地特定部２３は、ＫＳ［０］−ＫＳ［１］−…−ＫＳ［ｉ］−ＫＥ［ｉ］−ＫＥ［ｉ−１］−…−ＫＥ［０］を、経由地候補（移動経路）として選択する。

次に、ステップＳ４３において、経由地特定部２３は、ステップＳ４２で選択した経由地候補に、重複する地点や省略可能な地点が存在する場合、これらを削除する。
次に、ステップＳ４４において、経由地特定部２３は、ステップＳ４３で得た経由地候補を管理者に通知する。
なお、図１６（ａ）〜（ｃ），図１７，図１８に挙げた経由地特定処理は例示であり、経由地特定部２３が他の手法を用いて経由地の特定を行なってもよい。

次に、図１９〜図２１を用いて情報処理システムにおけるホットマイグレーション処理について説明する。
図１９〜図２１は、実施形態の一例としての情報処理システム１におけるホットマイグレーション処理を示す図である。図１９はステップＳ５１〜Ｓ６１、図２０はステップＳ６２〜Ｓ７２、図２１はステップＳ７３〜Ｓ８１をそれぞれ示す。

図１９のステップＳ５１において、管理者（又はオペレータ）が、管理サーバ２１に対して、仮想化基盤１３−１から仮想化基盤１３−３への仮想マシン１４−１のホットマイグレーションを指示する。
ステップＳ５２において、管理サーバ２１の経由地特定部２３が、前述の経由地特定処理を実行して、経由地として仮想化基盤１３−２を選択する。

ステップＳ５３において、管理サーバ２１のマイグレーション通知部２４は、仮想化基盤１３−２に対し、仮想マシン１４の受け入れを通知する。
ステップＳ５４において、仮想化基盤１３−２は、サービスネットワークを設定し、仮想マシン１４の受け入れに備える。
ステップＳ５５において、仮想化基盤１３−２は、サービスネットワーク設定の結果を管理サーバ２１に通知する。

ステップＳ５６において、管理サーバ２１のマイグレーション通知部２４は、仮想化基盤１３−１に対してホットマイグレーションを指示する。
ステップＳ５７において、仮想化基盤１３−１は、仮想化基盤１３−２にホットマイグレーション指示を発行する。ここでは、仮想化基盤１３−１の仮想マシン１４−１が、仮想化基盤１３−２にメモリ転送される。

ステップＳ５８において、仮想化基盤１３−２のイベント通知部１３７は、ホットマイグレーション結果を仮想化基盤１３−１に通知する。
ステップＳ５９において、仮想化基盤１３−１は、管理サーバ２１に、ホットマイグレーション結果を通知する。
仮想マシン１４−１のホットマイグレーションが完了すると、ステップＳ６０において、仮想化基盤１３−２のイベント通知部１３３は、管理サーバ２１に、仮想マシン１４−２の情報を通知する。

ステップＳ６１において、管理サーバ２１は、仮想化基盤１３−２に対して結果応答を返す。
次に、ステップＳ６２において、管理サーバ２１の経由地特定部２３が、前述の経由地特定処理を実行して、経由地として、最終目的地の仮想化基盤１３−３を選択する。
ステップＳ６３において、管理サーバ２１のマイグレーション通知部２４は、仮想化基盤１３−３に対し、仮想マシン１４の受け入れを通知する。

ステップＳ６４において、仮想化基盤１３−３は、サービスネットワーク等を設定し、仮想マシン１４の受け入れに備える。
ステップＳ６５において、仮想化基盤１３−３は、サービスネットワーク等の設定の結果を管理サーバ２１に通知する。
ステップＳ６６において、管理サーバ２１のマイグレーション通知部２４は、仮想化基盤１３−２に対してホットマイグレーションを指示する。

ステップＳ６７，Ｓ６８において、仮想化基盤１３−２は、仮想化基盤１３−３にホットマイグレーション指示を発行する。ここでは、仮想化基盤１３−２の仮想マシン１４−１が、仮想化基盤１３−３にメモリ転送される。
ステップＳ６９において、仮想化基盤１３−３のイベント通知部１３７は、ホットマイグレーション結果を仮想化基盤１３−２に通知する。

ステップＳ７０において、仮想化基盤１３−２のイベント通知部１３７は、ホットマイグレーション結果を管理サーバ２１に通知する。
仮想マシン１４−１のホットマイグレーションが完了すると、ステップＳ７１において、仮想化基盤１３−３のイベント通知部１３３は、管理サーバ２１に、仮想マシン１４−２の情報を通知する。

ステップＳ７２において、管理サーバ２１は、仮想化基盤１３−３に対して結果応答を返し、本実施形態の一例における長距離ホットマイグレーションが完了する。
図２１のステップＳ７３において、管理サーバ２１は、ホットマイグレーションが成功したかどうかの判定を行なう。
ステップＳ７４において、管理サーバ２１は、仮想化基盤１３−１に対して、サービスネットワークの削除を指示する。

仮想化基盤１３−１は、ステップＳ７５において、サービスネットワークを削除すし、ステップＳ７６において、サービスネットワークの削除結果を管理サーバ２１に通知する。
次に、ステップＳ７７において、管理サーバ２１は、仮想化基盤１３−２に対して、サービスネットワークの削除を指示する。

仮想化基盤１３−２は、ステップＳ７８において、サービスネットワークを削除すし、ステップＳ７９において、サービスネットワークの削除結果を管理サーバ２１に通知する。
ステップＳ８０において、管理サーバ２１は、仮想化基盤１３−１，１３−２から通知された削除結果に基づいて、サービスネットワークが正常に削除されたかどうかを判定する（クロージング判定）。

ステップＳ８１において、管理サーバ２１は、ホットマイグレーションの終了をオペレータに通知する。その際、管理サーバ２１は、ホットマイグレーションの成功／不成功の結果やクロージング判定の結果等を併せて通知する。
図２２は、実施形態の一例としての情報処理システム１におけるホットマイグレーション処理を示すフローチャートである。

ステップＳ１１１において、オペレータが、管理サーバ２１に対してホットマイグレーション指示を発行する。ここでは、例えば、ＤＣ１１−１の仮想マシン１４−１をＤＣ１１−１からＤＣ１１−３へのホットマイグレーションが指示されたとする。
ステップＳ１１２において、管理サーバ２１の経由地特定部２３は、前述の経由地決定処理を実行して、経由地を決定する。ここで、例えば、管理サーバ２１は、経由地として、ＤＣ１１−２の仮想化基盤１３−２を選択したとする。

ステップＳ１１３において、管理サーバ２１のマイグレーション通知部２４は、経由地である仮想化基盤１３−２に対して、ホットマイグレーションの受け入れ準備指示を発行する。
ステップＳ１１４において、経由地（移動先）の仮想化基盤１３−２のＮＷ管理部１３５は、ネットワーク設定を行ない、インタフェース部１３３が管理サーバ２１に、ホットマイグレーション準備応答を返す。

準備応答を受けると、ステップＳ１１５において、管理サーバ２１のマイグレーション通知部２４は、移動元の仮想化基盤１３−１に対し、仮想化基盤１３−２へのホットマイグレーション指示（仮想マシン移動指示）を発行する。
指示を受けた仮想化基盤１３−１のＮＷ管理部１３５は、ステップＳ１１６，Ｓ１１７において、仮想化基盤１３−２との接続を確立する。ステップＳ１１８において、仮想化基盤１３−１のホットマイグレーション部１３４は、ホットマイグレーションを実行する。このとき、ＤＣ１１−１の仮想化基盤１３−１の仮想マシン１４が、ＤＣ１１−２の仮想化基盤１３−２に移動される。

ホットマイグレーションが完了すると、ステップＳ１１９において、仮想化基盤１３−１のＮＷ管理部１３５は、仮想化基盤１３−１をネットワークから切断する。
又、ステップＳ１２０において、仮想化基盤１３−２のＮＷ管理部１３５は、仮想化基盤１３−２をネットワークに接続する。
その後ステップＳ１２１において、仮想化基盤１３−１の仮想マシン１４で以前実行されていたプロセス（サービス）が、仮想化基盤１３−２の仮想マシン１４で再開される。

管理サーバ２１は、仮想化基盤１３−２のイベント通知部１３７から、ホットマイグレーション結果通知を受け取ると、ステップＳ１２２において、現在仮想マシン１４が存在する地点（現在地）が目的地であるかどうかを判定する。
現在地が目的地ではない場合（ステップＳ１２２のＮＯルート参照）、処理がステップＳ１１３に戻り、次の経由地に対して受け入れ準備指示を発行する。

現在地が目的地である場合（ステップＳ１２２のＹＥＳルート参照）、仮想マシン１４が目的に到達したため、ステップＳ１２３において、管理サーバ２１はオペレータに、ホットマイグレーション結果を通知する。
（Ｃ）効果
このように、実施形態の一例の長距離ホットマイグレーション技術は、往復遅延時間（レイテンシ）が小さく、仮想マシン１４を一時的に配置可能な経由地へのホットマイグレーションを繰り返す。これにより、物理的に距離があるなどの要因によりレイテンシが大きく、従来の方法でホットマイグレーションできないサイト間のホットマイグレーションを実現する。

例えば、実施形態の一例の長距離ホットマイグレーション技術は、従来のホットマイグレーション技術ではマイグレーションできない、北海道と九州間や海外への長距離のホットマイグレーションを実現する。
又、管理サーバ２１の管理サーバ間インタフェース２７による連携により、ＡｍａｚｏｎクラウドとＧｏｏｇｌｅクラウド間のホットマイグレーションなど、クラウド間のマイグレーションが可能となる。

更に、経由地の候補が複数存在する場合、１つの経由地がダウンしていてもほかの経由地を使用できるため、信頼性が向上する。
（Ｄ）その他
なお、上述した実施形態に関わらず、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。

例えば、上記の実施形態の一例を、ＤＣ１１をまたぐ仮想マシン１４のホットマイグレーションを例に挙げて説明したが、遅延量の大きな同一ＤＣ１１内での仮想マシン１４のホットマイグレーションにも使用することができる。
又は、上記の実施形態の一例においては、ｐｉｎｇコマンドを用いてレイテンシを求める例を説明したが、他の方法によってレイテンシを求めてもよい。

或いは、上記の実施形態の一例においては、経由地特定処理の例として、図１６（ａ）〜（ｃ），図１７，図１８に挙げた例を採り上げた。しかし、経由地特定部２３が他の手法を用いて経由地の特定を行なってもよいし、管理者等が、予め経由地を選択し、移動経路を設定しておいてもよい。
或いは、本技術を、Ｃｉｓｃｏ（登録商標）やＦ５ ＢＩＧ−ＩＰ（登録商標）などの既存のホットマイグレーション技術と組み合わせて使用することもできる。

（Ｅ）付記
上記の実施形態に関し、更に以下の付記を開示する。
（付記１）
仮想機械を管理する複数の管理部間の遅延時間を計測させて記憶する遅延記憶部と、
前記遅延記憶部に記憶されている各管理部間の遅延時間に基づいて、移動元管理部から移動先管理部まで、各管理部間の遅延時間が閾値以下となる移動経路を抽出する経路抽出部と、
前記仮想機械の動作を停止させることなく、前記仮想機械を、前記移動元管理部から前記移動経路に沿って前記移動先管理部へ順次移動させる移動制御部と、
をそなえることを特徴とする仮想機械管理装置。

（付記２）
前記仮想機械の前記移動元管理部及び前記移動先管理部間の前記遅延時間が前記閾値を超える場合、前記経路抽出部は、前記移動元管理部と経由管理部間、経由管理部間、及び経由管理部と前記移動先管理部間の全ての遅延時間が閾値以下となるように、少なくとも１つの経由管理部を選択することを特徴とする付記１記載の仮想機械管理装置。

（付記３）
前記経路抽出部は、移動させる前記仮想機械の使用リソース情報にも基づいて前記移動経路を抽出することを特徴とする付記１又は２記載の仮想機械管理装置。
（付記４）
仮想機械を管理する複数の管理部間の遅延時間を計測させて記憶し、
前記遅延記憶部に記憶されている各管理部間の遅延時間に基づいて、移動元管理部から移動先管理部まで、各管理部間の遅延時間が閾値以下となる移動経路を抽出し、
前記仮想機械の動作を停止させることなく、前記仮想機械を、前記移動元管理部から前記移動経路に沿って前記移動先管理部へ順次移動させる
ことを特徴とする仮想機械管理方法。

（付記５）
前記仮想機械の前記移動元管理部及び前記移動先管理部間の前記遅延時間が前記閾値を超える場合、前記移動元管理部と経由管理部間、経由管理部間、及び経由管理部と前記移動先管理部間の全ての遅延時間が閾値以下となるように、少なくとも１つの経由管理部を選択することを特徴とする付記４記載の仮想機械管理方法。

（付記６）
移動させる前記仮想機械の使用リソース情報にも基づいて前記移動経路を抽出することを特徴とする付記４又は５記載の仮想機械管理方法。
（付記７）
仮想機械を管理する複数の管理部と、
前記複数の管理部間の遅延時間を計測させて記憶する遅延記憶部と、
前記遅延記憶部に記憶されている各管理部間の遅延時間に基づいて、移動元管理部から移動先管理部まで、各管理部間の遅延時間が閾値以下となる移動経路を抽出する経路抽出部と、
前記仮想機械の動作を停止させることなく、前記仮想機械を、前記移動元管理部から前記移動経路に沿って前記移動先管理部へ順次移動させる移動制御部と、
をそなえる仮想機械管理装置と、
をそなえることを特徴とする情報処理システム。

（付記８）
前記仮想機械の前記移動元管理部及び前記移動先管理部間の前記遅延時間が前記閾値を超える場合、前記経路抽出部は、前記移動元管理部と経由管理部間、経由管理部間、及び経由管理部と前記移動先管理部間の全ての遅延時間が閾値以下となるように、少なくとも１つの経由管理部を選択することを特徴とする付記７記載の情報処理システム。

（付記９）
前記経路抽出部は、移動させる前記仮想機械の使用リソース情報にも基づいて前記移動経路を抽出することを特徴とする付記７又は８記載の情報処理システム。

１ 情報処理システム
１１−１〜１１−４，１１ ＤＣ
１２−１〜１２−４，１２ ＧＷ
１３−１〜１３−４，１３ 仮想化基盤（管理部）
１４−１〜１４−４，１４ 仮想マシン（仮想機械）
２１−１，２１−２，２１ 管理サーバ（仮想機械管理装置）
２２ 情報収集・管理部（遅延記憶部）
２３ 経由地特定部（経路抽出部）
２４ マイグレーション通知部
２５ ＧＷインタフェース（移動制御部）
２６ 仮想化基盤インタフェース
２７ 管理サーバ間インタフェース（連携部）

Claims (5)

1. 仮想機械を管理する複数の管理部間の遅延時間を計測させて記憶する遅延記憶部と、
   前記遅延記憶部に記憶されている各管理部間の遅延時間に基づいて、移動元管理部から移動先管理部まで、各管理部間の遅延時間が閾値以下となる移動経路を抽出する経路抽出部と、
   前記仮想機械の動作を停止させることなく、前記仮想機械を、前記移動元管理部から前記移動経路に沿って前記移動先管理部へ順次移動させる移動制御部と、
   をそなえることを特徴とする仮想機械管理装置。
2. 前記仮想機械の前記移動元管理部及び前記移動先管理部間の前記遅延時間が前記閾値を超える場合、前記経路抽出部は、前記移動元管理部と経由管理部間、経由管理部間、及び経由管理部と前記移動先管理部間の全ての遅延時間が閾値以下となるように、少なくとも１つの経由管理部を選択することを特徴とする請求項１記載の仮想機械管理装置。
3. 前記経路抽出部は、移動させる前記仮想機械の使用リソース情報にも基づいて前記移動経路を抽出することを特徴とする請求項１又は２記載の仮想機械管理装置。
4. 仮想機械を管理する複数の管理部間の遅延時間を計測させて記憶し、
   前記遅延記憶部に記憶されている各管理部間の遅延時間に基づいて、移動元管理部から移動先管理部まで、各管理部間の遅延時間が閾値以下となる移動経路を抽出し、
   前記仮想機械の動作を停止させることなく、前記仮想機械を、前記移動元管理部から前記移動経路に沿って前記移動先管理部へ順次移動させる
   ことを特徴とする仮想機械管理方法。
5. 仮想機械を管理する複数の管理部と、
   前記複数の管理部間の遅延時間を計測させて記憶する遅延記憶部と、
   前記遅延記憶部に記憶されている各管理部間の遅延時間に基づいて、移動元管理部から移動先管理部まで、各管理部間の遅延時間が閾値以下となる移動経路を抽出する経路抽出部と、
   前記仮想機械の動作を停止させることなく、前記仮想機械を、前記移動元管理部から前記移動経路に沿って前記移動先管理部へ順次移動させる移動制御部と、
   をそなえる仮想機械管理装置と、
   をそなえることを特徴とする情報処理システム。

Images