JP2013080346A - 情報処理装置、保守作業支援方法および保守作業支援用プログラム - Google Patents

Abstract

【課題】保守作業のためにコンピュータ間で仮想マシンの移動を行う場合に必要となるリソースを低減させる。
【解決手段】各サーバにおいて仮想マシンが動作する複数のサーバに接続される情報処理装置に、サーバ毎に、サーバにおいて動作する仮想マシンによる合計メモリ使用量を取得し、合計メモリ使用量が最も少ないサーバである第１サーバ上で動作する仮想マシンを、他のサーバに移動させることで、第１サーバに対する保守作業を可能として、仮想マシンの移動によって保守作業が可能となったサーバの保守作業の終了後に、次に保守作業の対象となるサーバ上で動作する仮想マシンを、直前に保守作業が終了したサーバに移動させることで、次に保守作業の対象となるサーバを保守作業が可能な状態とする。
【選択図】図３

Description

本発明は、情報処理装置、保守作業支援方法および保守作業支援用プログラムに関する。

従来、複数のブレードサーバとシステム全体を管理する管理装置から成り、管理装置に格納されたシステム構成情報により各ブレードサーバが対称型マルチプロセッサブレードサーバシステムとして動作するか独立ブレードサーバシステムとして動作するかが設定されるブレードサーバシステムにおいて、対称型マルチプロセッサブレードサーバシステムに予備のブレードサーバをスタンバイさせ、対称型マルチプロセッサブレードサーバシステムを構成するブレードサーバに障害が発生した際に、管理装置は障害が発生したブレードサーバの電源を遮断し、予備のブレードサーバの電源を投入するブレードサーバシステムが提案されている（特許文献１を参照）。

また、複数のサーバと、複数のサーバ間を移動可能な仮想マシンとを備え、仮想マシンのサーバ間の移動を、仮想マシンのリアルタイムにおける消費電力、及びサーバのリアルタイムの残電力に基づいて、サーバの稼働数をできる限り低減する条件に基づいて、サーバの最大電力の範囲で仮想マシンを集約し、当該集約により仮想マシンが起動されないことになったサーバを停止させるサーバシステムが提案されている（特許文献２を参照）。

特開２０１０−１０２５２３号公報 特開２００９−１６９８５８号公報

従来、仮想マシンが動作しているコンピュータに対して保守作業を行うために、保守作業の対象となるコンピュータにおいて動作している仮想マシンを他のコンピュータに移動させてから保守作業を行うことで、サービスの提供を継続しながら保守作業を行う技術が用いられている。

しかし、このような技術を用いる場合、仮想マシンの移動先のコンピュータの負荷が高まり、仮想マシンのメモリイメージを他のコンピュータに移動する毎に大きなリソースが必要となる。このことは、保守作業中におけるサービスのパフォーマンス低下や、保守作業の遅延の原因となっていた。

本発明は、上記した問題に鑑み、保守作業のためにコンピュータ間で仮想マシンの移動を行う場合に必要となるリソースを低減させることを課題とする。

本発明では、上記課題を解決するために、以下の手段を採用した。即ち、本発明は、保守作業の対象となる複数のコンピュータであり各コンピュータにおいて１または複数の仮想マシンが動作するコンピュータに接続され、前記コンピュータ毎に、該コンピュータにおいて動作する前記１または複数の仮想マシンによる合計メモリ使用量を取得する情報取得手段と、前記情報取得手段によって取得された前記合計メモリ使用量が最も少ないコンピュータ上で動作する前記１または複数の仮想マシンを、他のコンピュータに移動させる
ための指示を行うことで、該合計メモリ使用量が最も少ないコンピュータに対する保守作業を可能とする第一の移動指示手段と、仮想マシンの移動によって保守作業が可能となったコンピュータの保守作業の終了後に、次に保守作業の対象となるコンピュータ上で動作する仮想マシンを、直前に保守作業が終了したコンピュータに移動させるための指示を行うことで、前記次に保守作業の対象となるコンピュータを保守作業が可能な状態とする第二の移動指示手段と、を備える情報処理装置である。

即ち、本発明は、保守作業のためにコンピュータ間で仮想マシンの移動を行う場合に、合計メモリ使用量が最も少ないコンピュータ上で動作する１または複数の仮想マシンを、他のコンピュータに移動させるようにすることで、移動するメモリイメージの量を減らし、必要となるリソースを低減させることとした。

また、前記複数のコンピュータは、３以上のコンピュータであり、前記合計メモリ使用量が最も少ないコンピュータ上では、複数の仮想マシンが動作し、前記第一の移動指示手段は、前記合計メモリ使用量が最も少ないコンピュータを除く複数のコンピュータにおける合計メモリ使用量が平準化するように、前記合計メモリ使用量が最も少ないコンピュータ上で動作する仮想マシンの移動指示を行ってもよい。

即ち、仮想マシンの移動先として複数のコンピュータがある場合に、移動先の複数のコンピュータにおける合計メモリ使用量を平準化するように仮想マシンの移動先を決定することで、特定のコンピュータに負荷が集中することを回避し、パフォーマンスのバラツキを防止することが出来る。

また、本情報処理装置は、前記情報取得手段によって取得された、前記メモリ使用量の前記コンピュータ毎の合計に基づいて、前記コンピュータをメモリ使用量の少ない順に順位付けするコンピュータ順位付け手段と、前記合計メモリ使用量が最も少ないコンピュータ上で動作する仮想マシンを、各仮想マシンによるメモリ使用量の多い順に順位付けする仮想マシン順位付け手段と、を更に備え、前記第一の移動指示手段は、前記合計メモリ使用量が最も少ないコンピュータ上で動作する仮想マシンが、メモリ使用量の多い順で、合計メモリ使用量が少ないコンピュータに対して優先的に割り当てられるように、仮想マシンの移動指示を行ってもよい。

即ち、仮想マシンの移動先として複数のコンピュータがある場合に、メモリ使用量に基づいてコンピュータと仮想マシンとを夫々順位付けし、合計メモリ使用量が最も少ないコンピュータ上で動作する仮想マシンを、メモリ使用量の多い順で、合計メモリ使用量が少ないコンピュータに対して優先的に割り当てることで、移動先の複数のコンピュータにおける合計メモリ使用量を平準化することが出来る。

また、前記第二の移動指示手段は、前記コンピュータの保守作業が終了する毎に、仮想マシンを移動させるための指示を行うことで、前記複数のコンピュータを順次保守作業が可能な状態としてもよい。

ここで、移動先の複数のコンピュータにおける合計メモリ使用量が平準化されていれば、保守作業のために順次仮想マシンを移動させる際の使用リソースを平準化することが出来る。

また、本情報処理装置は、保守作業の対象となる前記複数のコンピュータについて保守作業が完了した場合に、各コンピュータにおいて動作している仮想マシンを、通常の運用状態において該仮想マシンを動作させたいコンピュータに移動させるための指示を行う第三の移動指示手段を更に備えてもよい。

即ち、各コンピュータにおいて動作している仮想マシンを、通常の運用状態において該仮想マシンを動作させたいコンピュータに移動させることで、保守作業が完了した場合に、通常の運用状態における、各コンピュータを用いた作業を継続することが出来る。

また、前記第三の移動指示手段は、前記第一の移動指示手段による移動指示前の状態である保守作業前状態において前記合計メモリ使用量が最も少ないコンピュータ上で動作していた１または複数の仮想マシンを除く仮想マシン群を、該仮想マシン群に属する仮想マシンが前記保守作業前状態において動作していたコンピュータに移動させるための指示を行い、該仮想マシン群の移動が完了した後に、前記保守作業前状態において前記合計メモリ使用量が最も少ないコンピュータ上で動作していた前記１または複数の仮想マシンを、該１または複数の仮想マシンが前記保守作業前状態において動作していたコンピュータへ移動させるための指示を行ってもよい。

ここでは、保守作業が完了して運用状態に戻す場合に、はじめに、保守作業前状態において合計メモリ使用量が最も少ないコンピュータ以外のコンピュータで動作していた仮想マシン群を保守作業前状態において動作していたコンピュータに戻し、その後に、保守作業前状態において合計メモリ使用量が最も少ないコンピュータ上で動作していた仮想マシンを保守作業前状態において動作していたコンピュータへ戻す。このようにすることで、保守作業のための第二の移動指示手段によって既に保守作業前状態において動作していたコンピュータに戻っている仮想マシンを移動させることなく、少ないメモリ移動量で、システムを運用状態に戻すことが出来る。

また、前記第三の移動指示手段は、前記保守作業前状態において前記合計メモリ使用量が最も少ないコンピュータ上で動作していた１または複数の仮想マシンを、直前に保守作業が終了したコンピュータに移動させるための指示を行ってもよい。

この場合、保守作業前状態において合計メモリ使用量が最も少ないコンピュータ以外のコンピュータで動作していた仮想マシン群を保守作業前状態において動作していたコンピュータに戻すことは行われなくてもよい。即ち、保守作業前状態において合計メモリ使用量が最も少ないコンピュータ上で動作していた仮想マシンを、直前に保守作業が終了したコンピュータに移動させて作業完了とすることで、更に少ないメモリ移動量で、システムを運用状態に戻すことを可能としている。

更に、本発明は、方法、又はコンピュータによって実行されるプログラムとしても把握することが可能である。また、本発明は、そのようなプログラムをコンピュータその他の装置、機械等が読み取り可能な記録媒体に記録したものでもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。

本発明によれば、保守作業のためにコンピュータ間で仮想マシンの移動を行う場合に必要となるリソースを低減させることが可能となる。

実施形態に係る情報処理システムの構成を示す概略図である。 実施形態に係る管理用端末の機能構成の概略を示す図である。 実施形態に係る保守作業支援処理の流れを示すシーケンス図である。 実施形態における、メモリ使用量が少ない順に順位付けされたブレードサーバ上で稼働する仮想マシンの遷移を示す表である。 実施形態に係る保守作業支援処理の各段階における各ブレードサーバでのメモリ使用状況を示す図Ａである。 実施形態に係る保守作業支援処理の各段階における各ブレードサーバでのメモリ使用状況を示す図Ｂである。 実施形態に係る保守作業支援処理の各段階における各ブレードサーバでのメモリ使用状況を示す図Ｃである。 実施形態に係る保守作業支援処理の各段階における各ブレードサーバでのメモリ使用状況を示す図Ｄである。 実施形態のバリエーションに係る保守作業支援処理の流れを示すシーケンス図である。 実施形態のバリエーションに係る保守作業支援処理の完了処理段階における各ブレードサーバでのメモリ使用状況を示す図である。

以下、本発明の実施の形態について、図面に基づいて説明する。以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明を実施するにあたっては、実施の形態に応じた具体的構成が適宜採用されることが好ましい。

＜システムの構成＞
図１は、本実施形態に係る情報処理システム１００の構成を示す概略図である。本実施形態に係る情報処理システム１００は、クライアント（図示は省略する）に対して種々のサービスを提供する複数のサーバ３と、これらのサーバ３が接続されるネットワーク２と、ネットワーク２に接続されて、これらのサーバ３の保守および管理を行うための管理用端末１と、を備える。ここで、管理用端末１は、本発明の情報処理装置に相当する。

管理用端末１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ
ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶装置１４、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）１５等の通信ユニット、等を備えるコンピュータである。

また、サーバ３は、何れも、ＣＰＵ、ＲＡＭ、ＲＯＭ、記憶装置、および通信ユニット等（図示は省略する）を備えるコンピュータである。サーバ３は、記憶装置に記録されているプログラムがＲＡＭに読み出され、ＣＰＵによって実行されることで、業務等において必要とされる様々なサービスをクライアントに提供するサーバとして機能する。なお、本実施形態では、サーバ３として、シャーシ４に搭載されるブレードサーバ３を用い、保守作業の対象となるシャーシ４に搭載されるブレードサーバ３に対して保守作業を行う場合について説明する。但し、本発明の適用対象は、ブレードサーバ３に限定されない。本発明は、仮想マシンが動作する複数のコンピュータに対して保守作業を行う場合に用いることができる。

夫々のブレードサーバ３には、１または複数の仮想マシンがインストールされている。ここで、仮想マシンとは、コンピュータの動作をエミュレートするソフトウェア、およびこのようなソフトウェアを実行することで用意された仮想的なコンピュータである。本実施形態に係る情報処理システム１００では、ブレードサーバ３上で１または複数の仮想マシンを動作させ、仮想マシン毎にクライアントへサービスを提供するためのＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）およびサービス用ソフトウェアを動作させることで、ブレ
ードサーバ３の備えるリソースを効率よく用いることとしている。

なお、ブレードサーバ毎の仮想マシンのメモリ使用量は、予め「各サーバのメモリ搭載量＊（ｎ−１）／ｎ」を限度として運用されていることが好ましい。

図２は、本実施形態に係る管理用端末１の機能構成の概略を示す図である。管理用端末１は、記憶装置１４に記録されている保守作業支援用プログラムが、ＲＡＭ１３に読み出され、ＣＰＵ１１によって実行されることで、情報取得部２１、コンピュータ順位付け部２２、仮想マシン順位付け部２３、第一の移動指示部２４、第二の移動指示部２５および第三の移動指示部２６を備える情報処理装置として機能する。このような機能を備える管理端末は、ディスプレイ（図示は省略する）に、保守作業および仮想マシンの移動操作手順を表示させる。なお、本実施形態では、管理用端末１の備える各機能は、汎用プロセッサであるＣＰＵ１１によって実行されるが、これらの機能の一部または全部は、１または複数の専用プロセッサによって実行されてもよい。

情報取得部２１は、ブレードサーバ３毎に、ブレードサーバ３において動作する１または複数の仮想マシンによる合計メモリ使用量を取得する。

コンピュータ順位付け部２２は、情報取得部２１によって取得された、メモリ使用量のブレードサーバ３毎の合計に基づいて、ブレードサーバ３をメモリ使用量の少ない順に順位付けする。

仮想マシン順位付け部２３は、合計メモリ使用量が最も少ないブレードサーバ３（以下、「第１サーバ」と称する）上で動作する仮想マシンを、各仮想マシンによるメモリ使用量の多い順に順位付けする。

第一の移動指示部２４は、情報取得部２１によって取得された第１サーバ上で動作する１または複数の仮想マシンを、他の複数のブレードサーバ３に移動（ライブ・マイグレーション）させるための指示を行うことで、第１サーバに対する保守作業を可能とする。本実施形態では、第一の移動指示部２４は、第１サーバを除くブレードサーバ３（即ち、第２サーバから第ｎサーバ）における合計メモリ使用量が平準化するように、第１サーバ上で動作する仮想マシンの移動指示を行う。より具体的には、第一の移動指示部２４は、第１サーバ上で動作する仮想マシンが、メモリ使用量の多い順で、合計メモリ使用量が少ないブレードサーバ３に対して優先的に割り当てられるように、仮想マシンの移動指示を行う。

第二の移動指示部２５は、仮想マシンの移動によって保守作業が可能となったブレードサーバ３の保守作業の終了後に、次に保守作業の対象となるブレードサーバ３上で動作する仮想マシンを、直前に保守作業が終了したブレードサーバ３に移動（ライブ・マイグレーション）させるための指示を行うことで、次に保守作業の対象となるブレードサーバ３を保守作業が可能な状態とする。第二の移動指示部２５は、ブレードサーバ３の保守作業が終了する毎に、仮想マシンを移動させるための指示を行うことで、複数のブレードサーバ３を順次保守作業が可能な状態とする。

第三の移動指示部２６は、保守作業の対象となる複数のブレードサーバ３について保守作業が完了した場合に、各ブレードサーバ３において動作している仮想マシンを、通常の運用状態において仮想マシンを動作させたいブレードサーバ３に移動（ライブ・マイグレーション）させるための指示を行う。本実施形態では、第三の移動指示部２６は、第一の移動指示部２４による移動指示前の状態である保守作業前状態において第２サーバから第ｎサーバ上で夫々動作していた仮想マシン群を、保守作業前状態において仮想マシン群に
属する仮想マシンが動作していたブレードサーバ３に移動させるための指示を行い、仮想マシン群の移動が完了した後に、保守作業前状態において第１サーバ上で動作していた仮想マシンを、第１サーバへ移動させるための指示を行う。

ここで、ライブ・マイグレーションとは、動作中の仮想マシン上で動作しているＯＳおよびソフトウェアを、動作を停止することなく他の仮想マシンへ移動させることであり、移動元の仮想マシン上のメモリイメージをそのまま移動先の仮想マシンにコピーすることで実現される。なお、本実施形態において、「仮想マシンを移動させる」とは、移動先に新たに仮想マシンを設けて仮想マシン上のメモリイメージをコピーすることの他、移動元の仮想マシンごと移動先にメモリコピーすることも含む。

また、管理用端末１の記憶装置１４には、予め各シャーシ４に搭載されているブレードサーバ３の台数が記録されている。また、記憶装置１４には、メモリ搭載量を含む各ブレードサーバ３のハードウェアスペックや、各ブレードサーバ３において稼働している仮想マシン毎のメモリ使用量、等が更に記録されていてもよい。

＜処理の流れ＞
次に、本実施形態において実行される処理の流れを説明する。なお、以下に説明される処理の具体的な内容および処理順序は、本発明を実施するための一例である。具体的な処理内容および処理順序は、本発明の実施の形態に応じて適宜選択されてよい。

図３は、本実施形態に係る保守作業支援処理の流れを示すシーケンス図である。本実施形態に係る保守作業支援処理は、管理者であるユーザによって管理用端末１が操作され、保守作業支援処理の開始操作が行われたことや、予め設定された、管理用端末１によるブレードサーバ３の保守作業開始時刻が到来したこと等を契機として開始される。

ステップＳ１０１では、保守作業の対象となるシャーシ４に搭載されたブレードサーバ３の台数、各ブレードサーバ３のメモリ搭載量、および各ブレードサーバ３において動作する各仮想マシンのメモリ使用量が取得される。管理用端末１の情報取得部２１は、記憶装置１４から、保守作業の対象となるシャーシ４に搭載されているブレードサーバ３の台数（ハードウェアとしての物理サーバマシンの台数）を取得する。また、管理用端末１の情報取得部２１は、保守作業の対象となるシャーシ４に搭載された各ブレードサーバ３に問い合わせることで、ブレードサーバ３毎のメモリ搭載量（搭載されているＲＡＭの容量）を取得する。但し、ブレードサーバ３毎のメモリ搭載量は、予め管理用端末１において動作する管理用ソフトウェアによって管理され、管理用端末１の記憶装置１４に保持されているものが読み出されることで取得されてもよい。

更に、管理用端末１の情報取得部２１は、保守作業の対象となるシャーシ４に搭載された各ブレードサーバ３に問い合わせることで、ブレードサーバ３において動作する仮想マシン毎に、仮想マシンのメモリ使用量を取得する。この際、単一のブレードサーバ３において複数の仮想マシンが動作している場合、情報取得部２１は、仮想マシン毎にメモリ使用量を取得する。例えば、管理用端末１は、サーバＩＤ、サーバの状態（通常運用中、保守作業中、・・・）、サーバのメモリ搭載量、サーバのメモリ使用量、サーバ上で稼働する仮想マシンの仮想マシンＩＤ、仮想マシン毎のメモリ使用量、等の項目を含む管理用データベースを管理し、予め保持しているサーバＩＤおよび仮想マシンＩＤを指定して、対象の仮想マシンまたはサーバにメモリ使用量の問合せを送信し、問合せを受けた仮想マシンまたはサーバからのメモリ使用量の通知を受信することで、仮想マシン毎にメモリ使用量を取得する。取得された仮想マシン毎のメモリ使用量は、仮想マシンＩＤと関連付けて管理用データベースに格納される。

そして、管理用端末１の情報取得部２１は、ステップＳ１０１において取得された、各仮想マシンのメモリ使用量を、サーバＩＤによって特定されるブレードサーバ３毎に合計することで、ブレードサーバ３毎の、仮想マシンによるメモリ使用量を算出する。算出されたブレードサーバ３毎のメモリ使用量は、サーバＩＤと関連付けて管理用データベースに格納される。なお、仮想マシン毎のメモリ使用量についても、予め管理用端末１において動作する管理用ソフトウェアによって管理され、記憶装置１４に保持されているものが読み出されることで取得されてもよい。その後、処理はステップＳ１０２へ進む。

ステップＳ１０２では、保守作業の対象となるシャーシ４に搭載されたブレードサーバ３が、メモリ使用量の少ない順に順位付けされる。管理用端末１のコンピュータ順位付け部２２は、算出されたメモリ使用量が少ない順に、ブレードサーバ３を順位付けする。より具体的には、コンピュータ順位付け部２２は、管理用データベースから、ブレードサーバ３毎に、サーバＩＤと関連付けてメモリ使用量を読み出す。そして、コンピュータ順位付け部２２は、メモリ使用量をキーにしてソート処理を行うことで、サーバＩＤをメモリ使用量が少ない順に並び替える。このようにして、算出されたメモリ使用量が少ない順に、ブレードサーバ３が順位付けされる。以下、仮想マシンによるメモリ使用量が最も少ないブレードサーバ３から順に、第１サーバ、第２サーバ、第３サーバ・・・第ｎサーバと称する。

図４は、本実施形態における、メモリ使用量が少ない順に順位付けされたブレードサーバ３上で稼働する仮想マシンの遷移を示す表である。また、図５Ａから図５Ｄは、本実施形態に係る保守作業支援処理の各段階における各ブレードサーバ３でのメモリ使用状況を示す図である。ここで、図５Ａは保守作業前状態における各ブレードサーバ３でのメモリ使用状況を示す図であり、図中のＤ１、Ｄ２、Ｄ３・・・Ｄｎは、１または複数の仮想マシンからなる仮想マシンの集合（以下、「仮想マシン群」と称する）を表す。

図４に示した表および図５Ａに示したメモリ使用状況によれば、第１サーバ上で稼働する仮想マシン群Ｄ１が最もメモリ使用量が少なく、仮想マシン群Ｄ２、仮想マシン群Ｄ３・・・仮想マシン群Ｄｎの順にメモリ使用量が多くなっていることが分かる。また、保守作業前状態において第１サーバ上で稼働する仮想マシン群Ｄ１は、仮想マシンｄ２、ｄ３・・・ｄｎの集合である（図５Ａを参照）。なお、本実施形態では、第１サーバ上で稼働する仮想マシンを、メモリ使用量の多い順に仮想マシンｄ２、ｄ３・・・ｄｎと称する。ブレードサーバ３の順位付けが完了すると、処理はステップＳ１０３へ進む。

ステップＳ１０３では、第１サーバ上で稼働する仮想マシンが、他のブレードサーバ３に移動（ライブ・マイグレーション）される。管理用端末１の第一の移動指示部２４は、第１サーバに対して、第１サーバ上で稼働する仮想マシンの移動指示を行うことで、第１サーバ上で稼働する仮想マシンを、他のブレードサーバ３に移動させる。

この際、第一の移動指示部２４は、仮想マシンｄ２〜ｄｎの移動先の各ブレードサーバ３におけるメモリ使用量が平準化されるように、仮想マシンｄ２〜ｄｎの移動先となるブレードサーバ３を決定し、第１サーバに指示する。即ち、第一の移動指示部２４は、ステップＳ１０１において取得された第２サーバから第ｎサーバのメモリ使用量（還元すると、仮想マシンＤ２〜Ｄｎのメモリ使用量）と、仮想マシンｄ２〜ｄｎのメモリ使用量とを参照し、仮想マシンｄ２〜ｄｎの移動後の第２サーバから第ｎサーバにおけるメモリ使用量が近くなるように、仮想マシンｄ２〜ｄｎの移動先を決定する。このため、本実施形態に係る保守作業支援処理を適用する対象は、３以上のサーバを備えることがより好ましい。

例えば、仮想マシン順位付け部２３は、管理用データベースから、仮想マシンｄ２〜ｄ
ｎ毎に、仮想マシンＩＤと関連付けてメモリ使用量を読み出し、メモリ使用量をキーにしてソート処理を行うことで、仮想マシンＩＤをメモリ使用量が多い順に並び替える。このようにして、メモリ使用量が多い順に、仮想マシンｄ２〜ｄｎが順位付けされる。そして、第一の移動指示部２４は、メモリ使用量が多い仮想マシンｄ２〜ｄｎ順に、仮想マシン群によるメモリ使用量が少ないブレードサーバ３を移動先として決定する。換言すると、第一の移動指示部２４は、第１サーバ上で動作する仮想マシンｄ２〜ｄｎを、仮想マシン順位付け部２３によって順位付けされた順（ｄ２、ｄ３・・・ｄｎの順）で、コンピュータ順位付け部２２によって順位付けされた順（Ｄ２、Ｄ３・・・Ｄｎの順）に第２サーバから第ｎサーバに対して割り当てられるように、仮想マシンＩＤとサーバＩＤとの組み合わせを指定して、仮想マシンの移動指示を行う。

即ち、本実施形態に示した例では、第１サーバにおいて最もメモリ使用量が多い仮想マシンｄ２の移動先が、保守作業対象のシャーシ４において第１サーバの次にメモリ使用量が少ない第２サーバに決定され、第１サーバにおいて２番目にメモリ使用量が多い仮想マシンｄ３の移動先が、保守作業対象のシャーシ４において第２サーバの次にメモリ使用量が少ない第３サーバに決定される。このようにして仮想マシンｄ２〜ｄｎの移動先が決定されると、仮想マシンｄｎの移動先は、保守作業対象のシャーシ４において最もメモリ使用量の多い第ｎサーバに決定される（図５Ｂを参照）。

なお、第１サーバにおいて稼働する仮想マシンの数が移動先ブレードサーバ３の台数よりも少ない場合には、メモリ使用量が多い順に仮想マシンの移動先を決定していき、第１サーバ上で稼働する全ての仮想マシンの移動先が決定すると、移動先の決定は終了する。一方、第１サーバにおいて稼働する仮想マシンの数が移動先ブレードサーバ３の台数よりも多い場合には、メモリ使用量が多い順に仮想マシンの移動先を決定していき、第ｎサーバまで割り当てられると、割り当て先が再び第２サーバに巡回し、仮想マシンｄ（ｎ＋１）の移動先が第２サーバ、仮想マシンｄ（ｎ＋２）の移動先が第３サーバ・・・という風に決定されていく。第１サーバ上で稼働する全ての仮想マシンの移動先が決定すると、移動先の決定は終了する。

また、仮想マシンｄ２〜ｄｎの移動先ブレードサーバ３の決定方法には、その他の方式が採用されてもよい。例えば、保守作業対象のブレードサーバ３で稼働する全ての仮想マシンのメモリ使用量を合計して「ブレードサーバ台数−１」で割ることで割り当て後の第２サーバから第ｎサーバにおけるメモリ使用量の目標値を算出する。算出には、例えば以下の式を用いることが出来る。
目標値 ＝ （Ｄ１＋Ｄ２＋Ｄ３＋・・・＋Ｄｎ）／（ｎ−１）

次に、目標値と各ブレードサーバ３の合計メモリ使用量との差分を算出することで、各ブレードサーバ３における仮想マシンｄ２〜ｄｎの割り当て可能メモリ量が算出される。例えば、第ｉサーバについての割り当て可能メモリ量は、以下の式を用いて算出することが出来る。
第ｉサーバの割り当て可能メモリ量 ＝ 目標値−Ｄｉ

そして、算出された割り当て可能メモリ量に近似するメモリ使用量となる１または複数の仮想マシンの組み合わせを、仮想マシンｄ２〜ｄｎから決定することで、仮想マシンｄ２〜ｄｎの移動先を決定することが出来る。このような方法で移動先を決定することで、各ブレードサーバ３の負荷がより平準化された移動先を決定することが出来る。

管理用端末１から仮想マシンの移動が指示されると、第１サーバは、第１サーバ上で稼働する仮想マシンから、管理用端末１によって指示された移動先ブレードサーバ３に対して、仮想マシンｄ２〜ｄｎの移動（ライブ・マイグレーション）を行う。移動元のブレー
ドサーバ３（ここでは、第１サーバ）は、移動先ブレードサーバ３へのメモリイメージのコピーが完了すると、サービスの提供を移動先のブレードサーバ３に引き継ぎ、クライアントへのサービスの提供を停止する（保守可能な状態にする）。

但し、仮想マシンｄ２〜ｄｎの移動（ライブ・マイグレーション）を行う場合にも、移動後のブレードサーバ毎の仮想マシンのメモリ使用量は、「各サーバのメモリ搭載量＊（ｎ−１）／ｎ」を限度とすることが好ましい。このようなチェックを行う場合、例えば、第一の移動指示部２４は、ステップＳ１０１で取得されたブレードサーバ毎のメモリ搭載量およびメモリ使用量を、サーバＩＤを指定して管理用データベースから取得し、また、ステップＳ１０１で取得された仮想マシンｄ２〜ｄｎ毎のメモリ使用量を、仮想マシンＩＤを指定して管理用データベースから取得する。そして、移動先として指定された仮想マシンＩＤとサーバＩＤとの組み合わせ毎に、仮想マシンのメモリ使用量と移動先サーバのメモリ使用量との合計が、「移動先サーバのメモリ搭載量＊（ｎ−１）／ｎ」を越えないことを確認する。仮想マシンのメモリ使用量と移動先サーバのメモリ使用量との合計が「移動先サーバのメモリ搭載量＊（ｎ−１）／ｎ」を越える場合、第一の移動指示部２４は、仮想マシンの移動先を決定するためのアルゴリズムを変更する等して、仮想マシンの移動先を変更する。その後、処理はステップＳ１０４へ進む。

ステップＳ１０４では、ブレードサーバ３の保守作業が行われる。ここでは、ステップＳ１０３または後述するステップＳ１０６における仮想マシンの移動によって保守可能となった（仮想マシンによるクライアントへのサービス提供が停止された）ブレードサーバ３に対して、保守作業が行われる。ここで、保守作業とは、例えば、ＯＳおよびソフトウェアのアップデート作業（パッチ適用やバージョンアップ等）や、ハードウェアの交換・追加作業等であるが、ここで行われる保守作業の内容は限定されない。本実施形態において説明する保守作業支援処理によれば、クライアントにサービスを提供するための仮想マシンを他のブレードサーバ３に移動させるため、クライアントへのサービス提供を中断することなく、ブレードサーバ３への保守作業を行うことが出来る。また、管理用端末１は、保守作業の完了したブレードサーバ３のサーバＩＤを記録する。保守作業が完了すると、処理はステップＳ１０５へ進む。

ステップＳ１０５では、保守作業の対象となる全てのブレードサーバ３について保守作業が完了したか否かが判定される。管理用端末１の第二の移動指示部２５は、保守作業の完了したブレードサーバ３のサーバＩＤを参照することで、ステップＳ１０４において説明した保守作業が、第１サーバから第ｎサーバまでの、保守作業対象のシャーシ４に搭載された全てのブレードサーバ３について完了したか否かを判定する。全ての保守作業対象ブレードサーバ３について保守作業が完了したと判定された場合、処理はステップＳ１０７へ進む。一方、保守作業が完了していないブレードサーバ３が存在すると判定された場合、処理はステップＳ１０６へ進む。

ステップＳ１０６では、次に保守作業の対象となるブレードサーバ３上で稼働する仮想マシンが、保守が終了したブレードサーバ３に移動（ライブ・マイグレーション）される。第二の移動指示部２５は、次回実行されるステップＳ１０４における保守作業の対象となるブレードサーバ３上で稼働する仮想マシンを、直前に実行されたステップＳ１０４において保守作業が完了したブレードサーバ３に移動させるための指示を行う。本実施形態では、第１サーバ、第２サーバ、第３サーバ・・・第ｎサーバの順（即ち、保守作業前状態で稼働していた仮想マシン群のメモリ使用量が少ない順）に保守作業の対象となるため、直前に実行されたステップＳ１０４において保守作業が完了したブレードサーバ３が第ｉサーバ（ｉはサーバ番号を示すインデックス）である場合、次回実行されるステップＳ１０４における保守作業の対象となるブレードサーバ３は第（ｉ＋１）サーバとなる。第二の移動指示部２５は、第（ｉ＋１）サーバに対して、第（ｉ＋１）サーバ上で稼働する
仮想マシンを第ｉサーバに移動させるための指示を行う（図５Ｂを参照）。ライブ・マイグレーションの処理の詳細については、上記第一の移動指示部２４の説明およびステップＳ１０３の説明において説明したものと概略同様であるため、説明は省略する。

但し、全ての保守作業が完了した際にブレードサーバ３上で稼働する仮想マシンが保守作業前状態と異なっていても問題がない場合等には、本実施形態のような、保守作業前状態で稼働していた仮想マシン群のメモリ使用量が少ない順で仮想マシンの移動および保守作業を行う必要はない。第二の移動指示部２５は、任意に選択された、次に保守作業を行いたいブレードサーバ３上で稼働する仮想マシンを、保守が終了したブレードサーバ３に移動（ライブ・マイグレーション）させることで、任意に選択された順序で、ブレードサーバ３の保守を行うことが出来る。

仮想マシンの移動が完了すると、処理はステップＳ１０４へ戻り、ステップＳ１０４では、ライブ・マイグレーションによる移動元となったブレードサーバ３の保守作業が実行される。即ち、本フローチャートに示された保守作業支援処理によれば、保守作業の対象となる全てのブレードサーバ３について保守作業が完了するまで、ステップＳ１０４からステップＳ１０６に示された処理が繰り返し実行され、第１サーバ、第２サーバ、第３サーバ・・・第ｎサーバの順でブレードサーバが順次保守作業可能となる（図５Ｂを参照）。

ステップＳ１０７では、仮想マシン群が保守作業前状態で稼働していたブレードサーバ３に移動される。全てのブレードサーバ３について保守作業が完了した時点で、仮想マシン群Ｄ２〜Ｄｎは、保守作業前状態とは異なるブレードサーバ３に移動している（図５Ｂを参照）。本実施形態に示した例では、仮想マシン群Ｄｉは、保守作業が完了した時点で第（ｉ−１）サーバにおいて稼働している。このため、管理用端末１の第三の移動指示部２６は、各ブレードサーバ３に対して、第（ｉ−１）サーバにおいて稼働している仮想マシン群Ｄｉを、保守作業前状態において稼働していた第ｉサーバに移動させる指示を出す。

この際、メモリの空きのあるブレードサーバ３から順に移動を完了させる必要があるため、第三の移動指示部２６は、第（ｎ−１）サーバから降順に移動の指示を行い、指示を受けた各ブレードサーバ３は、自身よりもサーバ番号が１多いブレードサーバ３に対して仮想マシン群の移動（ライブ・マイグレーション）を行う（図５Ｃを参照）。より具体的には、第（ｎ−１）サーバから第ｎサーバへの仮想マシン群Ｄｎの移動、第（ｎ−２）サーバから第ｎ−１サーバへの仮想マシン群Ｄ（ｎ−１）の移動、・・・第１サーバから第２サーバへの仮想マシン群Ｄ２の移動、が順に行われる。仮想マシン群Ｄ２〜Ｄｎが保守作業前状態において稼働していたブレードサーバ３に移動完了すると、処理はステップＳ１０８へ進む。

ステップＳ１０８では、仮想マシンｄ２〜ｄｎが第１サーバへ移動される。ステップＳ１０７に示された処理が完了すると、仮想マシン群Ｄ１以外の仮想マシン群Ｄ２〜Ｄｎは、保守作業前状態において稼働していたブレードサーバ３に移動している（保守作業前状態に戻っている）が、仮想マシン群Ｄ１を構成していた仮想マシンｄ２〜ｄｎは、第１サーバから第（ｎ−１）サーバに分散された状態で稼働している。このため、第三の移動指示部２６は、第２サーバから第（ｎ−１）サーバに対して、これらのブレードサーバ３上で稼働している仮想マシンｄ３〜ｄｎを、第１サーバに移動させるよう指示する。

なお、仮想マシンｄ２に関しては、既に保守作業前状態で稼働していた第１サーバに移動完了しているため、移動させる必要はない。指示を受けた各ブレードサーバ３は、順に仮想マシンの移動（ライブ・マイグレーション）を行う（図５Ｄを参照）。仮想マシンｄ
３〜ｄｎが保守作業前状態において稼働していた第１サーバに移動完了することで、第１サーバにおいて稼働する仮想マシン群Ｄ１が再構築されると、本フローチャートに示された処理は終了する。

＜効果＞
本実施形態によれば、仮想マシンの移動を伴う保守作業を行う際に、ブレードサーバ３間で移動するメモリイメージの量を減らし、必要となるリソースを低減させることが出来る。また、仮想マシンの移動先として複数のブレードサーバ３がある場合に、移動先の複数のブレードサーバ３における合計メモリ使用量を平準化するように仮想マシンの移動先を決定することで、特定のブレードサーバ３に負荷が集中することを回避し、パフォーマンスのバラツキを防止することが出来る。更に、本実施形態によれば、保守作業が完了して運用状態に戻す場合に、少ないメモリ移動量で、情報処理システム１００を運用状態に戻すことが出来る。また、全体としてメモリ移動量を低減させたことで、保守作業にかかる時間を短縮することも可能である。

＜保守作業支援処理のバリエーション＞
上述の通り、上に説明した実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を上に説明した具体的構成に限定するものではない。本発明を実施するにあたっては、実施の形態に応じた具体的構成が適宜採用されることが好ましい。以下に、保守作業支援処理のバリエーションについて説明する。

本バリエーションは、第三の移動指示部２６による処理内容が、上に説明した実施形態と異なる点に特徴を有している。本バリエーションにおいて、第三の移動指示部２６は、保守作業前状態において第１サーバ上で動作していた１または複数の仮想マシンを、直前に保守作業が終了したブレードサーバ３に移動させるための指示を行う。

図６は、本実施形態のバリエーションに係る保守作業支援処理の流れを示すシーケンス図である。ステップＳ２０１からステップＳ２０６に示された処理は、図３を用いて説明した保守作業支援処理のステップＳ１０１からステップＳ１０６の処理と概略同様であるため、説明を省略する。

ステップＳ２０７では、仮想マシンｄ２〜ｄｎが第ｎサーバへ移動される。全てのブレードサーバ３について保守作業が完了した時点で、仮想マシン群Ｄ２〜Ｄｎは、保守作業前状態とは異なるブレードサーバ３に移動している（図５Ｂを参照）。本実施形態に示した例では、仮想マシン群Ｄｉは、保守作業が完了した時点で第（ｉ−１）サーバにおいて稼働している。しかし、バリエーションに係る保守作業支援処理では、第（ｉ−１）サーバにおいて稼働している仮想マシン群Ｄｉを、保守作業前状態において稼働していた第ｉサーバに移動させる（戻す）ことは行わない。

ここで、仮想マシン群Ｄ１を構成していた仮想マシンｄ２〜ｄｎは、第１サーバから第（ｎ−１）サーバに分散された状態で稼働している。このため、第三の移動指示部２６は、第１サーバから第（ｎ−１）サーバに対して、これらのブレードサーバ３上で稼働している仮想マシンｄ２〜ｄｎを、第ｎサーバに移動させるよう指示する。指示を受けた各ブレードサーバ３は、順に仮想マシンの移動（ライブ・マイグレーション）を行う（図７を参照）。仮想マシンｄ２〜ｄｎが第ｎサーバに移動完了することで、保守作業前状態において第１サーバにおいて稼働していた仮想マシン群Ｄ１は、第ｎサーバ上に再構築される。その後、本フローチャートに示された処理は終了する。

即ち、本バリエーションに係る保守作業支援処理によれば、保守作業前状態において第２サーバから第ｎサーバで動作していた仮想マシン群を保守作業前状態において動作して
いたブレードサーバ３（第２サーバから第ｎサーバ）に戻すことは行われない。即ち、本バリエーションに係る保守作業支援処理は、保守作業前状態において第１サーバ上で動作していた仮想マシンを、直前に保守作業が終了したブレードサーバ３（ここでは、第ｎサーバ）に移動させて作業完了とすることで、上に説明した実施形態に比べて更に少ないメモリ移動量で、情報処理システム１００を運用状態に戻すことを可能としている。

１ 管理用端末（情報処理装置）
３ ブレードサーバ（コンピュータ）
２１ 情報取得部
２２ コンピュータ順位付け部
２３ 仮想マシン順位付け部
２４ 第一の移動指示部
２５ 第二の移動指示部
２６ 第三の移動指示部

Claims (10)

1. 保守作業の対象となる複数のコンピュータであり各コンピュータにおいて１または複数の仮想マシンが動作するコンピュータに接続され、
   前記コンピュータ毎に、該コンピュータにおいて動作する前記１または複数の仮想マシンによる合計メモリ使用量を取得する情報取得手段と、
   前記情報取得手段によって取得された前記合計メモリ使用量が最も少ないコンピュータ上で動作する前記１または複数の仮想マシンを、他のコンピュータに移動させるための指示を行うことで、該合計メモリ使用量が最も少ないコンピュータに対する保守作業を可能とする第一の移動指示手段と、
   仮想マシンの移動によって保守作業が可能となったコンピュータの保守作業の終了後に、次に保守作業の対象となるコンピュータ上で動作する仮想マシンを、直前に保守作業が終了したコンピュータに移動させるための指示を行うことで、前記次に保守作業の対象となるコンピュータを保守作業が可能な状態とする第二の移動指示手段と、
   を備える情報処理装置。
2. 前記複数のコンピュータは、３以上のコンピュータであり、前記合計メモリ使用量が最も少ないコンピュータ上では、複数の仮想マシンが動作し、
   前記第一の移動指示手段は、前記合計メモリ使用量が最も少ないコンピュータを除く複数のコンピュータにおける合計メモリ使用量が平準化するように、前記合計メモリ使用量が最も少ないコンピュータ上で動作する仮想マシンの移動指示を行う、
   請求項１に記載の情報処理装置。
3. 前記情報取得手段によって取得された、前記メモリ使用量の前記コンピュータ毎の合計に基づいて、前記コンピュータをメモリ使用量の少ない順に順位付けするコンピュータ順位付け手段と、
   前記合計メモリ使用量が最も少ないコンピュータ上で動作する仮想マシンを、各仮想マシンによるメモリ使用量の多い順に順位付けする仮想マシン順位付け手段と、を更に備え、
   前記第一の移動指示手段は、前記合計メモリ使用量が最も少ないコンピュータ上で動作する仮想マシンが、メモリ使用量の多い順で、合計メモリ使用量が少ないコンピュータに対して優先的に割り当てられるように、仮想マシンの移動指示を行う、
   請求項２に記載の情報処理装置。
4. 前記コンピュータの識別子と該コンピュータ識別子によって示されるコンピュータのメモリ使用量との組み合わせ、および前記仮想マシンの識別子と該仮想マシン識別子によって示される仮想マシンのメモリ使用量との組み合わせ、を管理する管理用データベースに接続され、
   前記コンピュータ順位付け手段は、前記管理用データベースから読み出された、前記コンピュータ識別子とコンピュータのメモリ使用量との組み合わせを、コンピュータのメモリ使用量に基づいたソート処理によって並び替えることで前記コンピュータをメモリ使用量の少ない順に順位付けし、
   前記仮想マシン順位付け手段は、前記管理用データベースから読み出された、前記仮想マシン識別子と仮想マシンのメモリ使用量との組み合わせを、仮想マシンのメモリ使用量に基づいたソート処理によって並び替えることで前記仮想マシンをメモリ使用量の多い順に順位付けし、
   前記第一の移動指示手段は、前記コンピュータ識別子と前記仮想マシン識別子とを組み合わせることによって、仮想マシンの移動指示を行う、
   請求項３に記載の情報処理装置。
5. 前記第二の移動指示手段は、前記コンピュータの保守作業が終了する毎に、仮想マシンを移動させるための指示を行うことで、前記複数のコンピュータを順次保守作業が可能な状態とする、
   請求項１から４の何れか一項に記載の情報処理装置。
6. 保守作業の対象となる前記複数のコンピュータについて保守作業が完了した場合に、各コンピュータにおいて動作している仮想マシンを、通常の運用状態において該仮想マシンを動作させたいコンピュータに移動させるための指示を行う第三の移動指示手段を更に備える、
   請求項５に記載の情報処理装置。
7. 前記第三の移動指示手段は、前記第一の移動指示手段による移動指示前の状態である保守作業前状態において前記合計メモリ使用量が最も少ないコンピュータ上で動作していた１または複数の仮想マシンを除く仮想マシン群を、該仮想マシン群に属する仮想マシンが前記保守作業前状態において動作していたコンピュータに移動させるための指示を行い、該仮想マシン群の移動が完了した後に、前記保守作業前状態において前記合計メモリ使用量が最も少ないコンピュータ上で動作していた前記１または複数の仮想マシンを、該１または複数の仮想マシンが前記保守作業前状態において動作していたコンピュータへ移動させるための指示を行う、
   請求項６に記載の情報処理装置。
8. 前記第三の移動指示手段は、前記保守作業前状態において前記合計メモリ使用量が最も少ないコンピュータ上で動作していた１または複数の仮想マシンを、直前に保守作業が終了したコンピュータに移動させるための指示を行う、
   請求項６に記載の情報処理装置。
9. 保守作業の対象となる複数のコンピュータであり各コンピュータにおいて１または複数の仮想マシンが動作するコンピュータに接続された情報処理装置が、
   前記コンピュータ毎に、該コンピュータにおいて動作する前記１または複数の仮想マシンによる合計メモリ使用量を取得する情報取得ステップと、
   前記情報取得ステップにおいて取得された前記合計メモリ使用量が最も少ないコンピュータ上で動作する前記１または複数の仮想マシンを、他のコンピュータに移動させるための指示を行うことで、該合計メモリ使用量が最も少ないコンピュータに対する保守作業を可能とする第一の移動指示ステップと、
   仮想マシンの移動によって保守作業が可能となったコンピュータの保守作業の終了後に、次に保守作業の対象となるコンピュータ上で動作する仮想マシンを、直前に保守作業が終了したコンピュータに移動させるための指示を行うことで、前記次に保守作業の対象となるコンピュータを保守作業が可能な状態とする第二の移動指示ステップと、
   を実行する保守作業支援方法。
10. 保守作業の対象となる複数のコンピュータであり各コンピュータにおいて１または複数の仮想マシンが動作するコンピュータに接続された情報処理装置を、
    前記コンピュータ毎に、該コンピュータにおいて動作する前記１または複数の仮想マシンによる合計メモリ使用量を取得する情報取得手段と、
    前記情報取得手段によって取得された前記合計メモリ使用量が最も少ないコンピュータ上で動作する前記１または複数の仮想マシンを、他のコンピュータに移動させるための指示を行うことで、該合計メモリ使用量が最も少ないコンピュータに対する保守作業を可能とする第一の移動指示手段と、
    仮想マシンの移動によって保守作業が可能となったコンピュータの保守作業の終了後に、次に保守作業の対象となるコンピュータ上で動作する仮想マシンを、直前に保守作業が
    終了したコンピュータに移動させるための指示を行うことで、前記次に保守作業の対象となるコンピュータを保守作業が可能な状態とする第二の移動指示手段と、
    として機能させるための保守作業支援用プログラム。

Images