JP2022112614A - リソースの移動スケジュールを決定する装置 - Google Patents

Abstract

【課題】互いに通信を行う複数ノードからなるクラスタを含むシステムにおいて、仮想マシン及びボリュームを含むリソース再配置の間の、システムの性能低下を抑制する。【解決手段】装置は、複数レコードを含むリソース移動スケジュール情報を格納する。複数レコードの各レコードは、１以上のリソースそれぞれの移動元ノード及び移動先ノードを示す。装置は、複数レコードそれぞれのプライオリティを、移動後のローカリティが有りのレコードのプライオリティが移動後のローカリティが無しのレコードのプライオリティより高くなるように決定する。ローカリティは、予め互いに関連付けられている仮想マシン及びボリュームが同一ノードに存在するか否かに基づき決定される。装置は、複数レコードのプライオリティに基づいて、複数レコードの移動スケジュールを決定する。【選択図】図７

Description

本発明は、リソースの移動スケジュールを決定する装置に関する。

本技術分野の背景技術として、米国特許出願公開第２０１８／０１５７５２１号（特許文献１）がある。この文献は、以下の事項を開示する（要約参照）。説明される例には、負荷分散を含む仮想化ファイルサーバが含まれる。例えば、レコメンデーションエンジンは、クラスタ内の複数のファイルサーバ仮想マシンのそれぞれに関連する負荷を推定する。その負荷に基づいて、レコメンデーションエンジンは、1つ以上のボリュームグループの所有権の変更、仮想化ファイルサーバのスケールアップ、仮想化ファイルサーバのスケールダウン、仮想化ファイルサーバのスケールイン、仮想化ファイルサーバのスケールアウト、またはそれらの組み合わせを推奨する。

米国特許出願公開第２０１８／０１５７５２１号

複数の計算機ノードがネットワークで接続し、各計算機ノード上で仮想マシンが稼動しボリュームが構成されているクラスタシステムにおいて、システムを停止することなく、仮想マシン及びボリュームを含むリソースを再配置することがある。このリソース再配置は、ある計算機ノードから別の計算機ノードへ、稼働状態の仮想マシン及び／又はボリュームを移動する。

上記リソース再配置は、システムの負荷分散やスケーリング（例えば増設）のために使用される。例えば、計算機ノードで稼動している仮想マシンやボリュームの負荷が増大してハードウェアリソースに不足が生じ、それにより当該計算機ノードが過負荷状態となる事態を回避するために用いられる。他の例は、システムに対して新たな計算機ノードを追加してシステムを拡張した場合に、既存の計算機ノードから仮想マシン及び／又はボリュームを新規の計算機ノードに移動する。

クラスタシステムにおける上記リソース再配置の間、システムのＩ／Ｏ性能が低下し得る。したがって、リソース再配置におけるシステムのＩ／Ｏ性能の低下を抑制できる技術が望まれる。

本発明の代表的な一例は、複数ノードを含むクラスタにおける、仮想マシンとボリュームを含むリソースの移動スケジュールを決定する装置であって、１以上のプロセッサと、１以上の記憶装置と、を含む。前記１以上の記憶装置は、複数レコードを含むリソース移動スケジュール情報を格納する。前記複数レコードの各レコードは、１以上のリソースそれぞれの移動元ノード及び移動先ノードを示す。前記１以上のプロセッサは、前記複数レコードそれぞれのプライオリティを、移動後のローカリティが有りのレコードのプライオリティが移動後のローカリティが無しのレコードのプライオリティより高くなるように決定する。前記ローカリティは、予め互いに関連付けられている仮想マシン及びボリュームが同一ノードに存在するか否かに基づき決定される。前記１以上のプロセッサは、前記複数レコードのプライオリティに基づいて、前記複数レコードの移動スケジュールを決定する。

本発明の一態様は、互いに通信を行う複数ノードからなるクラスタを含むシステムにおいて、仮想マシン及びボリュームを含むリソース再配置の間の、システムの性能低下を抑制できる。

本明細書の一実施形態に係る計算機システムの構成例を示す。 リソース移動の例を示す。 リソース移動とローカリティの関係を示す。 リソース移動とローカリティの関係を示す。 三つのノードのＣＰＵ負荷の所定期間内の時間変化の推定値を示す。 三つのノードのＩ／Ｏ負荷の所定期間内の時間変化の推定値を示す。 計算機システムにおいて、ソフトウェアリソースの再配置（移動）のスケジューリングを実行する計算機ノードが格納する、管理情報及び処理プログラムを示す。 リソース再配置スケジューリングの開始前（初期状態）のリソース移動スケジュール情報の構成例を示す。 プライオリティ決定プログラムによる、プライオリティ決定処理例のフローチャートを示す。 プライオリティが設定されたリソース移動スケジュール情報の例を示す 負荷情報生成プログラムにより実行される、負荷情報（マスタ）の生成方法例のフローチャートを示す。 一つのノードの最初の３週間における、負荷推定値の時間変化の計算方法の例を示す。 三つのノードのＣＰＵ負荷の１週間の時間変化の推定値を示す。 三つのノードのびＩ／Ｏ負荷の１週間の時間変化の推定値を示す。 移動負荷の追加に伴うノード負荷推定値の変化の例を示す。 リソース移動スケジュール決定プログラムにより実行される、リソース再配置スケジュール決定処理例のフローチャートを示す。 ある一つのノードの負荷情報（マスタ）の構成例を示す。 図１３を参照して説明したリソース再配置処理により更新された、同一ノードの負荷情報（ワーク用）の構成例を示す。 リソース移動スケジュール情報の時刻欄の値が更新される様子を例示的に示す。 仲介ノードを介した移動元ノードから移動先ノードへのリソース移動の例を模式的に示す。 仲介ノードを介したリソース移動における移動期間及び負荷情報の例を示す。 図１３に示すフローにおいて移動期間を保留されたリソース移動の移動期間を決定する処理例のフローチャートを示す。 負荷情報（テンポラリ）の構成例を示す。 仲介ノードを介したリソース移動の移動期間の決定に伴う、リソース移動スケジュール情報の更新の例を模式的に示す。

以下においては、便宜上その必要があるときは、複数のセクションまたは実施例に分割して説明するが、特に明示した場合を除き、それらは互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。また、以下において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合及び原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

計算機システムは、一つの計算機又は互いに通信可能な複数の計算機で構成することができる。計算機装置、計算機システムあるいは計算リソース群は、１以上のインタフェース装置（例えば通信装置及び入出力装置を含む）、１以上の記憶装置（例えば、メモリ（主記憶）及び補助記憶装置を含む）、及び、１以上のプロセッサを含む。

プログラムがプロセッサによって実行されることで機能が実現される場合、定められた処理が、適宜に記憶装置及び／またはインタフェース装置等を用いながら行われるため、機能はプロセッサの少なくとも一部とされてもよい。機能を主語として説明された処理は、プロセッサあるいはそのプロセッサを有するシステムが行う処理としてもよい。

プログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配布計算機または計算機が読み取り可能な記憶媒体（例えば計算機読み取り可能な非一過性記憶媒体）であってもよい。各機能の説明は一例であり、複数の機能が一つの機能にまとめられたり、一つの機能が複数の機能に分割されたりしてもよい。

本明細書の一実施形態は、ネットワークを介して通信可能な複数の計算機ノード（以下単にノードとも呼ぶ）からなるクラスタを含む。各計算機ノードは、仮想マシン及びボリュームの少なくとも一方を格納する。仮想マシンは、関連付けられている１以上のボリュームにアクセスする。

互いに関連付けられている仮想マシン及びボリュームが同一計算機ノードに存在するか否かに基づいて、ローカリティの有無が決定される。本明細書の一実施形態は、複数のリソース移動それぞれのプライオリティを、移動後のローカリティが有りのレコードのプライオリティが移動後のローカリティが無しのレコードのプライオリティより高くなるように決定し、それらのプライオリティに基づいて移動スケジュールを決定する。これにより、リソース再配置におけるノード負荷の高騰を抑制できる。以下において、本開示の具体的な実施例を説明する。

図１は、本明細書の一実施形態に係る計算機システムの構成例を示す。計算機システムは、ネットワークを介して通信を行う複数の計算機ドメインを含む。図１は二つの計算機ドメイン１０Ａ及び１０Ｂを例として示し、これらはネットワーク１１３、例えばＷＡＮ、を介して通信を行う。計算機ドメイン１０Ａ及び１０Ｂは、例えば、異なるサイトに設置されている。

計算機ドメインは、ネットワークを介して通信を行う複数の計算機ノードを含む。計算機ノードは物理計算機装置であって、以下において、計算機ノードを単にノードとも呼ぶ。図１の構成例において、計算機ドメイン１０Ａは、三つの計算機ノード１００Ａから１００Ｃを含み、これらはネットワーク１１１Ａ、例えばＬＡＮ、を介して通信を行う。計算機ドメイン１０Ｂは、計算機ノード１００Ｄ及び１００Ｅを含み、これらはネットワーク１１１Ｂ、例えばＬＡＮ、を介して通信を行う。

計算機ノードは、同一の構成又は異なる構成を有することができる。図１は、計算機ノード１００Ａの構成を例として示す。計算機ノード１００Ａは、プロセッサ１０１、主記憶装置であるメモリ１０２、二次記憶装置である複数の記憶ドライブ１０３、及びネットワークを介して他の計算機ノードと通信するためのポート１０４を含む。図１において、一つの記憶ドライブが例として符号１０３で示される。記憶ドライブこれら構成要素は、バス１０５を介して通信を行う。

メモリ１０２は例えば揮発性記憶装置であるＤＲＡＭであり、記憶ドライブ１０３は、例えば、不揮発性記憶装置であるＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。なお、計算機ノード１００Ａの構成要素それぞれの数は特に限定されず、他の構成要素、例えば、入出力装置が含まれていてもよい。

プロセッサ１０１が実行するプログラム（命令コード）及びプログラムが使用する情報は、例えば、記憶ドライブ１０３に格納され、メモリ１０２にロードされる。プロセッサ１０１は、メモリ１０２に格納されているプログラムを実行する（プログラム内の指令に従って動作する）ことによって、所定の機能を実現する。プロセッサ１０１は、１又は複数のプロセッサユニット又はプロセッサコアを含むことができる。他の計算機ノードも、上記構成要素を含むことができる。これら構成要素の数は特に限定されない。

各計算機ノード上では、仮想マシンが動作する仮想環境を構築する仮想化ソフトウェアが動作している。各計算機ノードは、仮想化ソフトウェア上で仮想マシンを実行することができる。仮想化の方式は特に限定されず、例えば、ホスト型、ハイパーバイザ型、又はコンテナ型のいずれでもよい。さらに、各計算機ノードは、ボリュームを格納することができる。計算機ノードに格納されているボリュームの記憶領域は、当該計算機ノードの記憶ドライブから与えられる。

任意の計算機ノードは、当該計算機ノード及び任意の他の計算機ノードに格納されているボリュームにアクセスすることができる。したがって、ある計算機ノードで稼働している仮想マシンは、当該計算機ノード及び他の計算機ノードに格納されているボリュームにアクセスすることができる。

以下に説明する構成例において、各ボリュームは、一つの仮想マシンにマウントされ、それらは相互に関連付けられている。仮想マシンは、マウントされているボリュームにアクセスする。複数のボリュームが、一つの仮想マシンにマウントされ得る。仮想マシンは、マウントされている１以上のボリュームそれぞれにアクセスする。仮想マシンは、例えば、所定のサーバ機能を有する仮想マシンである。

さらに、計算機システムは、計算機ノード間において、稼働中の仮想マシン及びボリュームを移動することができる。つまり、仮想マシンは、その移動期間においても、要求されている処理を実行することができる。また、ボリュームの移動期間において、そのボリュームのデータに対してアクセスが可能である。仮想マシン及びボリュームを、ソフトウェアリソース又は単にリソースとも呼ぶ。

移動元ノードから移動先ノードへの仮想マシンの移動において、移動（コピー）完了前までは、移動元ノードの仮想マシンが動作し、移動（コピー）完了後に、移動先ノードの仮想マシンが動作を開始する。移動後に、移動元ノードの仮想マシンは消去される。移動元ノードから移動先ノードへのボリュームの移動において、移動（コピー）完了前までは、移動元ノードのボリュームがアクセスされ、移動完了後に、移動先ノードのボリュームがアクセスされる。移動後に、移動元ノードのボリュームは消去される。

計算機システムの一例は、ＨＩＣ（Ｈｙｐｅｒ Ｃｏｎｖｅｒｇｅｄ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）とも呼ばれる、ハイパーコンバージドシステムである。上述のように、計算機ノードはそれぞれローカルの記憶ドライブを含み、ネットワークを介して接続されて、クラスタを構成する。

計算機システムには、ストレージ仮想化技術が適用され、クラスタ内の計算機ノードのローカルストレージ（記憶ドライブ）を、一つの仮想ボリュームプール（仮想ストレージプールとも呼ぶ）に見せる。クラスタ全体の記憶ドライブが、一つのストレージプールとして管理、運用される。各ボリュームは、仮想ボリュームプールに含まれる。データは、複数の計算機ノードに分散して格納される。ストレージ機能は、仮想化ソフトウェア上で動作する仮想マシン又は仮想化ソフトウェアが担うことができる。

計算機システムは、所定時、例えば、定期的、管理者からの指示に応じて、ノード増設又は減設時等に、ソフトウェアリソースの再配置、つまり、仮想マシン及びボリュームの移動を実行する。以下において、このリソース再配置のスケジューリングの手法を説明する。

一つ又は複数の計算機が、リソース再配置のスケジューリングを実行し得る。スケジューリングを実行する計算機は、クラスタ内の計算機ノードであってもよく、仮想マシンを実行することなく、管理のみを実行する計算機であってもよい。以下に説明する例においては、クラスタ内に含まれる一つの計算機ノードが、リソース再配置のスケジューリングを実行するものとする。

クラスタ内での、リソース再配置は、移動元ノード及び移動先ノードにリソース移動の負荷を与えるため、それらのＩ／Ｏ性能を低下させる。そのため、リソース再配置における移動元ノード及び移動先ノードの負荷の高騰を抑制することが望まれる。本明細書の一実施形態は、仮想マシンとボリュームのローカリティに基づき、リソース再配置のスケジュールを決定する。これにより、リソース再配置における移動元ノード及び移動先ノードの負荷の高騰を抑制する。

ローカリティが有る状態は、互いに関連付けられた仮想マシン及びボリュームが、同一ノードに存在している状態である。仮想マシンは、関連付けられているボリュームにアクセスする。関連付けられている仮想マシンとボリュームが異なるノードに存在する場合、その状態はローカリティが無い状態である。仮想マシンが複数のボリューム関連付けられている場合、当該仮想マシンと全ての関連付けられたボリュームが同一ノードに存在する状態が、ローカリティが有る状態である。なお、以下においては、説明の容易のため、各仮想マシンには、一つのボリュームのみが関連付けられているものとする。

ローカリティが有る状態において、同一ノード内で仮想マシンとボリューム（記憶ドライブ）との間のＩ／Ｏが完結する。そのため、ローカリティが有る状態は、ローカリティが無い状態と比べ、ノードのＣＰＵ負荷及びＩ／Ｏ負荷ともに、低負荷及び低遅延となる。

このように、ローカリティが無い場合は、ローカリティが有る場合に比べてノードの負荷が高くなるため、計算機ノードは、リソース移動前後の状態を参照し、ローカリティが有る状態の期間が長くなるようにリソース再配置のスケジューリングを行う。ローカリティの変化を踏まえてリソース再配置のスケジュールを決定する事で、ノードの負荷の高騰を抑えつつリソースを移動することができる。

後述するように、本明細書の一実施形態は、ローカリティの変化に加えて、移動元ノード及び移動先ノードの負荷状況に基づき、リソース再配置のスケジュールを決定する。これにより、移動元及び移動先ノードの負荷が閾値を超える可能性を低減できる。なお、移動先及び移動元ノードの負荷状況は参照されなくてもよい。

図２は、リソース移動の例を示す。図２の構成例において、ノード３００Ａ、３００Ｂ及び３００Ｃは同一クラスタ３０１に含まれる。図２は、ノード３００Ａからノード３００Ｃに、仮想マシン（３）３０５及びボリューム（３）３０７を移動する例を示す。

図２において、数字を囲む矩形は仮想マシンを示し、一つの仮想マシンが例として符号３０５で指示されている。また、数字を囲む円柱はボリュームを示し、一つのボリュームが例として符号３０７で指示されている。同一の数字の仮想マシン３０５及びボリュームが互いに関連付けられている。

図２の構成例において、仮想マシン（１）３０５から仮想マシン（３）３０５、及び、ボリューム（１）３０７からボリューム（３）３０７は、ノード３００Ａに存在している。仮想マシン（４）３０５、及び、ボリューム（４）３０７からボリューム（６）３０７は、ノード３００Ｂに存在している。

仮想マシン（５）３０５から仮想マシン（９）３０５、及び、ボリューム（７）３０７からボリューム（９）３０７は、ノード３００Ｃに存在している。ボリューム（１）３０７からボリューム（９）３０７は、一つの仮想ボリュームプール３０２に含まれている。

仮想マシン（３）３０５及びボリューム（３）３０７を移動する前において、仮想マシン（５）３０５及びボリューム（５）３０７、並びに、仮想マシン（６）３０５及びボリューム（６）３０７はローカリティが無い状態である。他の互いに関連付けられた仮想マシン３０５及びボリューム３０７のペアは、ローカリティが有る状態である。ノード３００Ａ、３００Ｂ及び３００Ｃにおいて、格納されている仮想マシンの動作に伴う外部ネットワークを介したＩ／Ｏ負荷３０３Ａ、３０３Ｂ及び３０３Ｃが存在している。

仮想マシン（３）３０５及びボリューム（３）３０７を、移動元ノード３００Ａから移動先ノード３００ｃに移動すると、それらは、ローカリティが有る状態から、ローカリティが有る状態になる。

他の例において、仮想マシン（３）３０５及びボリューム（３）３０７の一方のみを他のノードに移動すると、それらのローカリティは、有りの状態から無しの状態に変化する。また、仮想マシン（３）３０５及びボリューム（３）３０７をそれぞれ異なるノードに移動すると、それらのローカリティは、有りの状態からローカリティが無しの状態に変化する。

リソース移動は、仮想マシンのみを移動する、ボリュームのみを移動する、又は、互いに関連付けられている仮想マシン及びボリュームの双方を移動することができる。例えば、仮想マシン（５）３０５のみを、移動元ノード３００Ｃから移動先ノード３００Ｂに移動すると、仮想マシン（５）３０５及びボリューム（５）は、ローカリティが無い状態からローカリティが有る状態に変化する。ボリューム（５）３０７のみを、移動元ノード３００Ｂから移動先ノード３００Ｃに移動すると、仮想マシン（５）３０５及びボリューム（５）のローカリティは、無しの状態から有りの状態に変化する。

仮想マシン（５）３０５及びボリューム（５）３０７を同一のノードに移動すると、それらのローカリティは、無しの状態から有状態に変化する。仮想マシン（５）３０５及びボリューム（５）３０７を、それぞれ異なるノードに移動すると、それらはローカリティが無い状態からローカリティが無い状態になる。

上述のように、リソース移動の態様に応じて、様々なローカリティの状態遷移が存在する。図３Ａ及び３Ｂは、リソース移動とローカリティの関係を示す。移動するリソース別に、リソース移動に伴い発生するローカリティの状態遷移が示されている。図３Ａ及び３Ｂにおいて、ＶＭを囲む矩形は仮想マシンの移動期間を表し、ＶＯＬを囲む矩形はボリュームの移動期間を表す。

図３Ａにおいて、リソース移動３５１から３５３は、仮想マシンのみを移動するケースを示す。仮想マシンの移動完了時にローカリティが変化する。リソース移動３５１において、ローカリティは、無い状態から無い状態に移行する。具体的には、仮想マシンは、関連付けられているボリュームと異なる移動元ノードから、そのボリュームと異なる移動先ノードに移動される。

リソース移動３５２において、ローカリティは、有る状態から無い状態に移行する。具体的には、仮想マシンは、関連付けられているボリュームと同一の移動元ノードから、そのボリュームと異なる移動先ノードに移動される。リソース移動３５３において、ローカリティは、無い状態から有る状態に移行する。具体的には、仮想マシンは、関連付けられているボリュームと異なる移動元ノードから、そのボリュームと同一の移動先ノードに移動される。

リソース移動３５４から３５６は、ボリュームのみを移動するケースを示す。ボリュームの移動完了時にローカリティが変化する。リソース移動３５４において、ローカリティは、無い状態から無い状態に移行する。具体的には、ボリュームは、関連付けられている仮想マシンと異なる移動元ノードから、その仮想マシンと異なる移動先ノードに移動される。

リソース移動３５５において、ローカリティは、有る状態から無い状態に移行する。具体的には、ボリュームは、関連付けられている仮想マシンと同一の移動元ノードから、その仮想マシンと異なる移動先ノードに移動される。リソース移動３５６において、ローカリティは、無い状態から有る状態に移行する。具体的には、ボリュームは、関連付けられている仮想マシンと異なる移動元ノードから、その仮想マシンと同一の移動先ノードに移動される。

図３Ｂは、互いに関連付けられている仮想マシン及びボリュームの双方を移動するケース３５７～３６４を示す。リソース移動３５７及び３５８は、ローカリティ無からローカリティ有への状態遷移の例である。仮想マシン及びボリュームは異なる移動元ノードから同一の移動先ノードに移動される。

リソース移動３５７は、ボリュームを移動した後に、仮想マシンを移動する。ボリューム及び仮想マシンの移動完了時に、ローカリティは無の状態から有の状態に遷移する。リソース移動３５８は、仮想マシンを移動した後に、ボリュームを移動する。仮想マシン及びボリュームの移動完了時に、ローカリティは無の状態から有の状態に遷移する。

リソース移動３５９及び３６０は、ローカリティ有からローカリティ無への状態遷移の例である。仮想マシン及びボリュームは同一の移動元ノードから異なる移動先ノードに移動される。リソース移動３５９は、ボリュームを移動した後に、仮想マシンを移動する。ボリュームの移動完了時に、ローカリティは有の状態から無の状態に遷移する。リソース移動３６０は、仮想マシンを移動した後に、ボリュームを移動する。仮想マシンの移動完了時に、ローカリティは有の状態から無の状態に遷移する。

リソース移動３６１及び３６２は、ローカリティ無からローカリティ無への状態遷移の例である。仮想マシン及びボリュームは異なる移動元ノードから異なる移動先ノードに移動される。リソース移動３６１は、ボリュームを移動した後に、仮想マシンを移動する。リソース移動３６０は、仮想マシンを移動した後に、ボリュームを移動する。リソース移動３６１及び３６２の間、ローカリティは常に無の状態である。

リソース移動３６３及び３６４は、ローカリティ有からローカリティ有への状態遷移の例である。仮想マシン及びボリュームは、同一の移動元ノードから、同一の移動先ノードに移動される。

リソース移動３６３は、ボリュームを移動した後に、仮想マシンを移動する。ボリュームの移動完了時に、ローカリティは有の状態から無の状態に遷移する。その後の仮想マシンの移動期間において、ローカリティは無の状態であり続ける。仮想マシンの移動完了時に、ローカリティは、無の状態から有の状態に遷移する。

リソース移動３６４は、仮想マシンを移動した後に、ボリュームを移動する。仮想マシンの移動完了時に、ローカリティは有の状態から無の状態に遷移する。その後のボリュームの移動期間において、ローカリティは無の状態であり続ける。ボリュームの移動完了時に、ローカリティは、無の状態から有の状態に遷移する。

図３Ｂを参照して説明したように、互いに関連付けられた仮想マシン及びボリュームの移動は、仮想マシンとボリュームから先に移動するリソースを選択できる。ノードの負荷の観点からは、リソース移動期間において、ローカリティ有の期間が長い方が良い。ボリュームの移動期間は、仮想マシンの移動期間より長い。

リソース移動３５９、３６０、３６３及び３６４が示すように、ローカリティが有の状態からの仮想マシン及びボリュームの双方の移動においては、先にボリュームを移動させた方が、ローカリティが無い時間が短い。そのため、本明細書の一実施形態は、ローカリティ有の状態から仮想マシン及びボリュームの双方を移動する場合、ボリュームを先に移動した後に、仮想マシンを移動する。

具体的には、本明細書の一実施形態は、ローカリティ有の状態からローカリティ無の状態遷移を引き起すリソース移動は、リソース移動３５９が示すように、ボリュームを移動した後に仮想マシンを移動する。さらに、ローカリティ有の状態からローカリティ有の状態遷移を引き起すリソース移動は、リソース移動３６３が示すように、ボリュームを移動した後に仮想マシンを移動する。なお、これらの一方のみの場合に、ボリュームを先に移動すると決定されてもよい。

上記以外のリソース移動のケースにおいては、仮想マシンとボリュームのいずれを先に移動しても、ローカリティの有無の期間は変化しない。そのため、本明細書の一実施形態は、互いに関連付けられた仮想マシン及びボリュームの双方の移動においては、常にボリュームを先に移動した後に仮想マシンを移動すると決定してよい。

リソース移動期間において、移動元ノード及び移動先ノードの負荷は、仮想マシンの通常動作に伴う負荷とリソース移動の負荷の合計である。計算機システムの稼働状態を維持しつつ、リソース移動を行うためには、リソース移動期間において、移動元ノード及び移動先ノードの双方において、負荷が大きすぎないことが重要である。

そこで、本明細書の一実施形態は、リソース移動期間における移動元ノード及び移動先ノードの通常負荷及び移動負荷の合計を推定し、その推定結果に基づいてリソース再配置のスケジュールを実行する。リソースの移動について、計算機ノードの負荷状況及びローカリティに基づきリソース再配置（リソース移動）のスケジュールを決定することで、より適切なスケジューリングが実現可能である。

計算機ノードにおける主な二つの負荷が存在する。一つはＣＰＵ負荷であり、他の一つは外部ネットワークとの間のＩ／Ｏ負荷である。ＣＰＵ負荷は、例えばＣＰＵ使用率で表すことができ、Ｉ／Ｏ負荷は、ＩＯＰＳで表すことができ、他のノードや外部ネットワークとの間のI／Ｏの負荷である。本明細書の一実施形態は、リソース移動期間において、ＣＰＵ負荷及びＩ／Ｏ負荷の双方が閾値未満となるように、リソース移動のスケジューリングを実行する。これにより、リソース移動期間において計算機ノードのより適切な動作を可能とする。設計によっては、ＣＰＵ負荷又はＩ／Ｏ負荷の一方のみが参照されてもよい。

図４Ａ及び４Ｂは、それぞれ、三つのノードのＣＰＵ負荷の所定期間内の時間変化及びＩ／Ｏ負荷の所定期間内の時間変化の推定値を示す。図４Ａのグラフにおいて、横軸は時間を示し、縦軸はＣＰＵ負荷推定値を示す。図４Ｂのグラフにおいて、横軸は時間を示し、縦軸はＩ／Ｏ負荷推定値を示す。図４Ａ及び４Ｂは、ノード１からノード３へのリソース移動における負荷推定値を示す。実線はノード１の負荷を示し、破線はノード２の負荷を示し、一点鎖線はノード３の負荷を示す。

仮想マシン及びボリュームの移動は、それぞれ、移動元ノード及び移動先ノード対して、ＣＰＵ負荷及びＩ／Ｏ負荷を与える。したがって、仮想マシン及びボリュームの移動期間においては、ＣＰＵ負荷及びＩ／Ｏ負荷が増加する。ノード１及びノード３の負荷推定値は、通常動作による負荷推定値と、リソース移動による負荷推定値との合計を示す。ノード２の負荷推定値は、通常動作における負荷推定値のみを示す。

通常動作における負荷の推定値は、例えば、過去の負荷履歴情報に基づき決定できる。一例は、過去の所定期間の負荷の平均値である。負荷の時間変化の推定値の所定期間は、例えば、一日、一週間又は一月である。

例えば、仮想マシン及びボリュームの移動における負荷（単位時間当たりの負荷）は、データ転送速度に応じて、移動元ノード及び移動先ノードそれぞれに対して予め設定されている。移動期間はノード間のデータ転送速度及び仮想マシン及びボリュームのサイズに応じて計算できる。なお、任意の方法により移動負荷及び移動期間の推定を行ってよい。

本明細書の一実施形態は、ＣＰＵ負荷及びＩ／Ｏ負荷の履歴情報に基づく推定値と、リソース移動によるＣＰＵ負荷及びＩ／Ｏ負荷の増加量の推定値との合計が、それぞれの閾値未満となる期間を、当該リソースの移動期間と決定する。負荷合計は、移動元及び移動先ノードにおいて閾値未満であることが要求される。

図４Ａにおいて、閾値４０１は、ノードに対して要求されるリソース移動中のＣＰＵ負荷上限値を示す。図４Ｂにおいて、閾値４０２は、ノードに対して要求されるリソース移動中のＩ／Ｏ負荷上限値を示す。図４Ａ及び４Ｂは、移動期間Ｄ１において、ノード１及びノード３において、ＣＰＵ負荷及びＩ／Ｏ負荷の余裕が存在することを示している。このように、過去の性能データを用いて各ノードの負荷変化を推定し、さらに移動時の負荷上昇を考慮することで、仮想マシン及びボリュームの適切な移動スケジューリングを行うことができる。

上述のように、移動元ノード及び移動先ノードの負荷は時間変化する。そのため、リソース移動元ノードと移動先ノードのいずれかの負荷が高く、所定期間内においてリソースを直接移動できない場合があり得る。

後述するように、本明細書の一実施形態は、移動元及び移動先ノードの負荷時間変化から、負荷が閾値未満の移動期間が存在しない場合、負荷に余裕がある他の仲介ノードを検索する。計算機システムは、一時的に余裕のある仲介ノードへリソースを一時的に移動し、仲介ノードを経由してリソース移動を完了させる。これにより、Ｉ／Ｏ負荷とリソース移動の競合による性能影響を低減しつつ、予め定められた所定期間内でリソース移動が完了するようスケジューリングできる。なお、再配置を実行可能な所定期間は、負荷推定値の時間変化を示す期間内の一部又は全部である。

以下において、リソース再配置のスケジューリング方法をより具体的に説明する。図５は、計算機システムにおいて、ソフトウェアリソースの再配置（移動）のスケジューリングを実行する計算機ノードが格納する、管理情報及び処理プログラムを示す。図５に示す情報の少なくとも一部は、他の計算機ノードと共有されている。図５は、メモリ１０２に格納されているデータを便宜的に示すが、これらデータの少なくとも一部は記憶ドライブ１０３に格納されていてもよく、また、これらデータの少なくとも一部は記憶ドライブ１０３からロードされてもよい。

管理情報２１０は、リソース配置情報２１１、リソース移動スケジュール情報２１２、負荷情報（マスタ）２１３、負荷情報（ワーク用）２１４、及び負荷情報（テンポラリ）２１５を含む。処理プログラム２２０は、プライオリティ決定プログラム２２１、リソース移動スケジュール決定プログラム２２２、及び負荷情報生成プログラム２２４を含む。

リソース配置情報２１１は、計算機システムに含まれるノード及びノードそれぞれに現在格納されている仮想マシン及びボリュームの情報を示す。リソース配置情報２１１は、リソース移動負荷及び移動期間の計算のために参照すべき仮想マシン及びボリュームについての情報を示す。リソース配置情報２１１は、また、仮想マシンそれぞれに関連付けられているボリュームを示す。

リソース移動スケジュール情報２１２は、リソース移動それぞれの情報を示す。具体的には、移動対象リソース、移動元ノード、移動先ノード、プライオリティ及び移動開始時刻を示す。以下に説明する例において、移動対象リソース、移動元ノード及び移動先ノードは、リソース再配置スケジューリングの前に、他のシステム機能又は管理者によって決定されている。処理プログラム２２０は、プライオリティ及び移動開始時刻を決定する。

負荷情報（マスタ）２１３は、各ノードの通常動作時のＣＰＵ負荷推定値の時間変化及びＩ／Ｏ負荷推定値の時間変化を示す。負荷情報（ワーク用）２１４は、移動元ノード及び移動先ノードの間の直接リソース移動のスケジューリングのため、スケジュール決定プログラム２２２により作成及び使用される。リソース移動スケジュール決定プログラム２２２は、負荷情報（マスタ）２１３をコピーして、初期状態の負荷情報（ワーク用）２１４を作成し、リソース再配置スケジュールを決定するために、リソース移動負荷によって負荷情報（ワーク用）２１４を更新する。

負荷情報（テンポラリ）２１５は、仲介ノードを介したリソース移動のスケジューリングのため、スケジュール決定プログラム２２２により作成及び使用される。リソース移動スケジュール決定プログラム２２２は、負荷情報（ワーク用）２１４をコピーして、初期状態の負荷情報（テンポラリ）２１５を作成し、定速移動スケジュールを決定するために、リソース移動負荷によって負荷情報（テンポラリ）２１５を更新する。

プライオリティ決定プログラム２２１は、リソース再配置スケジューリングにおいて、リソース移動それぞれのプライオリティを、それらのローカリティ変化に基づき決定する。リソース移動スケジュール決定プログラム２２２は、プライオリティ並びに移動先及び移動元ノードの負荷推定値に基づいて、リソース移動それぞれの開始時刻を決定する。リソース移動スケジュール決定プログラム２２２は、プライオリティが高い移動を優先して移動期間を決定する。負荷情報生成プログラム２２４は、負荷情報（マスタ）２１３を生成する。

図６は、リソース再配置スケジューリングの開始前（初期状態）のリソース移動スケジュール情報２１２の構成例を示す。各レコードが、所定期間内に実行すべきリソース移動の情報を示す。リソース移動スケジュール情報２１２は、時刻欄４５１、プライオリティ欄４５２、リソース欄４５３、移動元欄４５４及び移動先欄４５５を含む。

時刻欄４５１は、リソース移動の開始時刻を示す。プライオリティ欄４５２は、プライオリティ決定プログラム２２１により決定されたリソース移動のプライオリティを示す。時刻欄４５１及びプライオリティ欄４５２の値は、処理プログラム２２０により入力される。

リソース欄４５３は、移動対象のリソースを示す。移動対象は、仮想マシンのみ、ボリュームのみ、又は仮想マシン及びボリュームである。移動元欄４５４は、リソースの移動元ノードを示す。移動先欄４５５は、リソースの移動先ノードを示す。リソース欄４５３、移動元欄４５４及び移動先欄４５５の値は、リソース再配置スケジューリング前に設定されている。

図７は、プライオリティ決定プログラム２２１による、プライオリティ決定処理例のフローチャートを示す。プライオリティ決定プログラム２２１は、リソース移動スケジュール情報２１２が示すリソース移動（レコード）を順次選択して、それぞれのプライオリティを決定する。以下の説明において、数字が小さい程プライオリティが高いものとする。

プライオリティ決定プログラム２２１は、未処理のレコードをリソース移動スケジュール情報２１２から選択して、リソースの移動前後のローカリティの変化を決定する。ローカリティの決定方法は上述の通りである。互いに関連付けられている仮想マシンとボリュームが同一ノードに格納されている場合、ローカリティは有りの状態であり、そうでない場合はローカリティが無い状態である。

移動対象リソースが互いに関連付けられているリソースの一部のみ（仮想マシン又はボリュームのみ）である場合、プライオリティ決定プログラム２２１は、リソース配置情報２１１を参照して移動対象リソースに関連付けられている他のリソースの現在ノードを知ることができる。

ローカリティが無の状態から有の状態に変化する場合（Ｓ１０１：無から有）、プライオリティ決定プログラム２２１は、レコードが示す移動対象リソースを判定する（Ｓ１０２）。移動対象が仮想マシンのみである場合（Ｓ１０２：ＶＭのみ）、プライオリティ決定プログラム２２１は、当該レコード（リソース移動）のプライオリティを１と決定する。プライオリティ決定プログラム２２１は、決定したプライオリティの値を、リソース移動スケジュール情報２１２に設定する（Ｓ１１１）。

移動対象がボリュームのみである場合（Ｓ１０２：ＶＯＬのみ）、プライオリティ決定プログラム２２１は、当該レコード（リソース移動）のプライオリティを２と決定する。プライオリティ決定プログラム２２１は、決定したプライオリティの値を、リソース移動スケジュール情報２１２に設定する（Ｓ１１２）。

移動対象が互いに関連付けられている仮想マシン及びボリュームである場合（Ｓ１０２：ＶＭとＶＯＬの両方）、プライオリティ決定プログラム２２１は、当該レコード（リソース移動）のプライオリティを３と決定する。プライオリティ決定プログラム２２１は、決定したプライオリティの値を、リソース移動スケジュール情報２１２に設定する（Ｓ１１３）。

ステップＳ１０１において、ローカリティが有の状態から有の状態に変化する場合（Ｓ１０１：有から有）、プライオリティ決定プログラム２２１は、当該レコード（リソース移動）のプライオリティを４と決定する。ローカリティが有の状態から有の状態に変化する場合、互いに関連付けられている仮想マシン及びボリュームが移動される。プライオリティ決定プログラム２２１は、決定したプライオリティの値を、リソース移動スケジュール情報２１２に設定する（Ｓ１１４）。

ステップＳ１０１において、ローカリティが無の状態から無の状態に変化する場合（Ｓ１０１：無から無）、プライオリティ決定プログラム２２１は、プライオリティ決定プログラム２２１は、レコードが示す移動対象リソースを判定する（Ｓ１０３）。移動対象が仮想マシンのみである場合（Ｓ１０３：ＶＭのみ）、プライオリティ決定プログラム２２１は、当該レコード（リソース移動）のプライオリティを５と決定する。プライオリティ決定プログラム２２１は、決定したプライオリティの値を、リソース移動スケジュール情報２１２に設定する（Ｓ１１５）。

移動対象がボリュームのみである場合（Ｓ１０３：ＶＯＬのみ）、プライオリティ決定プログラム２２１は、当該レコード（リソース移動）のプライオリティを６と決定する。プライオリティ決定プログラム２２１は、決定したプライオリティの値を、リソース移動スケジュール情報２１２に設定する（Ｓ１１６）。

移動対象が互いに関連付けられている仮想マシン及びボリュームである場合（Ｓ１０３：ＶＭとＶＯＬの両方）、プライオリティ決定プログラム２２１は、当該レコード（リソース移動）のプライオリティを７と決定する。プライオリティ決定プログラム２２１は、決定したプライオリティの値を、リソース移動スケジュール情報２１２に設定する（Ｓ１１７）。

ステップＳ１０１において、ローカリティが有の状態から無の状態に変化する場合（Ｓ１０１：有から無）、プライオリティ決定プログラム２２１は、プライオリティ決定プログラム２２１は、レコードが示す移動対象リソースを判定する（Ｓ１０４）。移動対象が仮想マシンのみである場合（Ｓ１０４：ＶＭのみ）、プライオリティ決定プログラム２２１は、当該レコード（リソース移動）のプライオリティを８と決定する。プライオリティ決定プログラム２２１は、決定したプライオリティの値を、リソース移動スケジュール情報２１２に設定する（Ｓ１１８）。

移動対象がボリュームのみである場合（Ｓ１０４：ＶＯＬのみ）、プライオリティ決定プログラム２２１は、当該レコード（リソース移動）のプライオリティを９と決定する。プライオリティ決定プログラム２２１は、決定したプライオリティの値を、リソース移動スケジュール情報２１２に設定する（Ｓ１１９）。

移動対象が互いに関連付けられている仮想マシン及びボリュームである場合（Ｓ１０４：ＶＭとＶＯＬの両方）、プライオリティ決定プログラム２２１は、当該レコード（リソース移動）のプライオリティを１０と決定する。プライオリティ決定プログラム２２１は、決定したプライオリティの値を、リソース移動スケジュール情報２１２に設定する（Ｓ１２０）。

次に、プライオリティ決定プログラム２２１は、リソース移動スケジュール情報２１２に、プライオリティが未定のリソース移動（レコード）が残っているか判定する（Ｓ１３１）。プライオリティが未定のリソース移動が残っていない場合（Ｓ１３１：ＮＯ）、処理は終了し、残っている場合（Ｓ１３１：ＹＥＳ）、フローはステップＳ１０１に戻る。

図８は、プライオリティが設定されたリソース移動スケジュール情報２１２の例を示す。上述のように、プライオリティ決定プログラム２２１は、図７のフローに従ってリソース移動レコードそれぞれのプライオリティを決定して、プライオリティ欄４５２に、それらを書き込む。このとき、リソース移動開始時刻は未定である。

リソース移動期間は、プライオリティが高い移動を優先して決定される。上述のように、プライオリティ決定プログラム２２１は、移動後の状態がローカリティ有の状態の移動に対して、移動後の状態がローカリティ無の状態の移動よりも高いプライオリティを与える。これにより、リソース移動スケジュール情報２１２が指定する複数のリソース移動を実行するリソース再配置期間において、ローカリティ有の比率を高めて、計算機システム全体の負荷を低減できる。これにより、リソース再配置期間における計算機システムの性能低下を抑制できる。

また、プライオリティ決定プログラム２２１は、移動後の状態がローカリティ有の状態の移動において、移動前の状態がローカリティ無の状態の移動に対して、移動前の状態がローカリティ有の状態の移動よりも高いプライオリティを与える。これにより、リソース移動スケジュール情報２１２が指定する複数のリソース移動を実行するリソース再配置期間において、ローカリティ有の比率を高めることができる。

また、プライオリティ決定プログラム２２１は、移動後の状態がローカリティ無の状態の移動において、移動前の状態がローカリティ無の状態の移動に対して、移動前の状態がローカリティ有の状態の移動よりも高い優先度を与える。これにより、リソース移動スケジュール情報２１２が指定する複数のリソース移動を実行するリソース再配置期間において、ローカリティ有の比率を高めることができる。

なお、移動後の状態がローカリティ有の状態の移動の全てに同一のプライオリティを与えてもよい。または、移動後の状態がローカリティ無の状態の移動の全てに同一のプライオリティを与えてもよい。

図７を参照して説明した例は、同一のローカリティ変化を示す移動に対して、移動対象に応じてプライオリティを設定する。具体的には、プライオリティ決定プログラム２２１は、移動時間が短い移動に対してより高いプライオリティを与える。つまり、仮想マシンのみの移動のプライオリティが最も高く、仮想マシンとボリュームの両方の移動のプライオリティが最も低い。これにより、より迅速に移動を完了できる。なお、全ての移動対象のケースに同一のプライオリティを与えてもよい。

他の例において、ローカリティ有からローカリティ無への移動において、プライオリティ決定プログラム２２１は、仮想マシンのみの移動に対して最も低いプライオリティを与えてもよい。仮想マシンのみの移動に対して最も低いプライオリティを与えることで、ローカリティ有で遷移する期間を長く保つことができ、ローカリティ有の比率を高めることができる。

上述のように、プライオリティ決定プログラム２２１は、ローカリティが有りの状態となるリソース移動を優先的に進めるように、プライオリティを決定する。その中でも、リソース移動自体の時間がかからない移動が高プライオリティになるようする。逆にローカリティが無くなる場合において、ローカリティ有からローカリティ無への移動のプライオリティを低くする。ローカリティが有りの状態からローカリティが無の状態となる移動のプライオリティが低くされる。

次に、負荷情報（マスタ）２１３の生成方法の例を説明する。図９は、負荷情報生成プログラム２２４により実行される、負荷情報（マスタ）２１３の生成方法例のフローチャートを示す。負荷情報生成プログラム２２４は、複数週のノードそれぞれのＣＰＵ負荷及びＩ／Ｏ負荷の履歴を取得し、それらの統計値により、負荷情報（マスタ）２１３を生成する。

図９に示す例は、１週間単位の負荷推定値の時間変化を設定し、１週間単位の負荷推定値は、Ｓ週間の負荷の時間変化測定値の平均である。負荷情報生成プログラム２２４は、１週間毎に、新たな測定値により負荷情報（マスタ）２１３を更新する。以下に説明する例において、全てのノードが、全てのノードについて負荷情報（マスタ）２１３を格納しているものとする。

負荷情報生成プログラム２２４は、ノード番号Ｎを設定する（Ｓ２０１）。ノード番号の初期値は、その最小値、例えば、１である。負荷情報生成プログラム２２４は、ノードＮから、ノードＮの１週間分の性能情報を取得し、他の全ノードの負荷情報（マスタ）２１３に同一の情報を格納する（Ｓ２０２）。負荷情報生成プログラム２２４は、過去Ｓ週間（例えば３週間）のノードＮの性能情報の平均値を全ノードの負荷情報（マスタ）２１３に格納する（Ｓ２０３）。負荷情報生成プログラム２２４は、Ｎがノード番号の最大値に達している場合、処理を終了し、達していない場合、ＮをインクリメントしてステップＳ２０１に戻る。

図１０は、一つのノードの最初の３週間における、負荷推定値の時間変化の計算方法の例を示す。負荷推定値は、３週間の測定値の平均値であるとする。最初の２週間は、３週間分の測定値が存在しない。そのため、第１週の負荷推定値は、１週目の測定値であり、第２周の負荷推定値は、１週目及び２周目の測定値の平均値である。

以下において、プライオリティ及びノードの負荷に基づくリソース再配置スケジューリングを具体的に説明する。図１１Ａ及び１１Ｂは、それぞれ、三つのノードのＣＰＵ負荷の１週間の時間変化及びＩ／Ｏ負荷の１週間の時間変化の推定値を示す。図１１Ａのグラフにおいて、横軸は時間を示し、縦軸はＣＰＵ負荷推定値を示す。図１１Ｂのグラフにおいて、横軸は時間を示し、縦軸はＩ／Ｏ負荷推定値を示す。図１１Ａ及び１１Ｂは、ノード１からノード２へのリソース移動における負荷推定値を示す。実線はノード１の負荷を示し、破線はノード２の負荷を示し、一点鎖線はノード３の負荷を示す。

ノード１及びノード２の負荷推定値は、通常動作による負荷推定値と、リソース移動による負荷推定値との合計を示す。ノード３の負荷推定値は、通常動作における負荷推定値のみを示す。通常動作における負荷の推定値は、上述のように過去の３週間の測定値の平均である。

例えば、仮想マシン及びボリュームの移動における負荷（単位時間当たりの負荷）は、データ転送速度に応じて、移動元ノード及び移動先ノードそれぞれに対して予め設定されている。移動期間はノード間のデータ転送速度及び仮想マシン及びボリュームのサイズに応じて計算できる。なお、任意の方法により移動負荷及び移動期間の推定を行ってよい。

リソース移動スケジュール決定プログラム２２２は、移動元及び移動先それぞれにおいて、ＣＰＵ負荷及びＩ／Ｏ負荷の履歴情報に基づく推定値と、リソース移動によるＣＰＵ負荷及びＩ／Ｏ負荷の増加量の推定値との合計を計算する。移動元及び移動先において、これら合計がそれぞれの閾値４０１、４０２未満となる期間を、当該リソースの移動期間と決定する。閾値４０１、４０２は、ノードに共通又はノードによって異なっていてもよい。

図１１Ａ及び１１Ｂの例において、時刻Ｔ１から時刻Ｔ２の期間が、移動期間として選択される。リソース移動スケジュール決定プログラム２２２は、移動するリソース並びに移動元ノード及び移動先ノードの構成情報から移動期間の長さを推定する。移動期間の開始時刻として、例えば、移動負荷を含めたＣＰＵ負荷及びＩ／Ｏ負荷の推定値が閾値未満である期間において、最も早い時刻を選択してもよい。

リソース移動スケジュール決定プログラム２２２は、リソース移動スケジュール情報２１２から、プライオリティの高い順で、レコード（リソース移動）を順次選択し、可能な移動期間を決定する。上述のように、リソース移動は、移動負荷を移動元及び移動先のノードに与える。

したがって、リソース移動スケジュール決定プログラム２２２は、選択した移動レコードの移動期間の決定において、通常動作における負荷推定値と、それまでに決定した移動レコードの移動の負荷の合計を基準として、新たな移動レコードの移動スケジュールを決定する。

図１２は、移動負荷の追加に伴うノード負荷推定値の変化の例を示す。グラフ５０１は、移動負荷を追加する前後の負荷推定値の時間変化を示す。具体的には、実線は、負荷情報（マスタ）２１３が示す移動元又は移動先ノードの通常動作における負荷推定値の時間変化を示す。破線は、通常動作の負荷推定値に第１の移動負荷を加えた負荷推定値の時間変化を示す。グラフ５０１において、移動負荷を追加した負荷推定値は、期間Ｄ２において常に閾値５０５未満である。したがって、この第１の移動は許容される。

グラフ５０２は、グラフ５０１における第１の移動負荷が追加された負荷推定値に、新たな第２の移動負荷を追加した負荷推定値の時間変化を示す。具体的には、実線は、グラフ５０１における第１の移動負荷が追加された負荷推定値の時間変化を示す。破線は、第１の移動負荷に加えて、さらに、第２の移動負荷を追加した負荷推定値の時間変化を示す。第２の移動負荷を追加した負荷推定値は、期間Ｄ２において閾値５０５を超える。したがって、この期間での第２の移動は禁止される。

リソース移動スケジュール決定プログラム２２２は、プライオリティの高い移動を優先して移動期間を決定する。これにより、複数のリソース移動を含むリソース再配置における計算機システムの負荷の高騰を抑えることができる。

図１３は、リソース移動スケジュール決定プログラム２２２により実行される、リソース再配置スケジュール決定処理例のフローチャートを示す。リソース移動スケジュール決定プログラム２２２は、負荷情報（マスタ）２１３から、各ノードの負荷情報をコピーして、負荷情報（ワーク用）２１４を生成する（Ｓ３０１）。

リソース移動スケジュール決定プログラム２２２は、プライオリティを表す変数Ｐを設定する（Ｓ３０２）。変数Ｐの初期値は１である。次に、リソース移動スケジュール決定プログラム２２２は、リソース移動スケジュール情報２１２を参照し、プライオリティＰのリソース移動（レコード）において、移動時刻が未定なリソース移動を検索する（Ｓ３０３）。

プライオリティＰであって、移動時刻が未定なリソース移動が存在しない場合（Ｓ３０３：ＮＯ）、リソース移動スケジュール決定プログラム２２２は、プライオリティ変数Ｐをインクリメントし（Ｓ３０４）、プライオリティ変数Ｐの値が１０（最大値）を超えているか判定する（Ｓ３０５）。プライオリティ変数Ｐの値が１０を超えている場合（Ｓ３０５：ＹＥＳ）、処理は終了する。プライオリティ変数Ｐの値が１０以下である場合（Ｓ３０５：ＮＯ）、フローはステップＳ３０３に戻る。

ステップＳ３０３において、移動時刻が未定のリソース移動が存在する場合（Ｓ３０３：ＹＥＳ）、リソース移動スケジュール決定プログラム２２２は、リソース移動要する時間を推定する（Ｓ３０６）。リソース移動スケジュール決定プログラム２２２は、例えば、リソースの容量、移動元ノード及び移動先ノードの構成情報、ノード間のネットワーク構成情報等から、移動に要する時間を推定する。ノード構成情報は、例えば記憶ドライブの速度の情報を含み、ネットワーク構成情報は例えば帯域の情報を含む。

次に、リソース移動スケジュール決定プログラム２２２は、リソース移動レコードが指定する移動元ノード及び移動先ノードが、リソース移動による負荷に耐えられる移動期間が存在するか判定する（Ｓ３０７）。

具体的には、リソース移動スケジュール決定プログラム２２２は、ステップＳ３０６で決定した長さの時間長において、負荷情報（ワーク用）２１４が示す負荷推定値に対して移動負荷を追加した値が閾値を超えない期間を検索する。移動負荷は、例えば、各ノードに対して、仮想マシン及びボリュームそれぞれに対して予め設定されている。

リソース移動による負荷に耐えられる移動期間が存在しない場合（Ｓ３０７：ＮＯ）、リソース移動スケジュール決定プログラム２２２は、移動対象リソースの移動時刻を登録せずに保留とする（Ｓ３０８）。その後、フローはステップＳ３０３に戻る。

リソース移動による負荷に耐えられる移動期間が存在する場合（Ｓ３０７：ＹＥＳ）、リソース移動スケジュール決定プログラム２２２は、移動開始時刻を決定して、リソース移動スケジュール情報２１２を更新する。移動開始時刻は、例えば、可能な最も早い時刻であってよい。移動開始時刻は、他の任意の方法に基づき決定されてよい。

リソース移動スケジュール決定プログラム２２２、決定した移動期間において、負荷情報（ワーク用）２１４の負荷推定値に移動負荷推定値を追加する（Ｓ３１０）。その後、フローはステップＳ３０３に戻る。

上述のように、ローカリティに基づくプライオリティが高いリソース移動から優先して移動期間を決定することで、複数のリソース移動を伴うリソース再配置の間に計算機システムの負荷の高騰を抑制できる。

図１４Ａは、ある一つのノードの負荷情報（マスタ）２１３の構成例を示し、図１４Ｂは、図１３を参照して説明したリソース再配置処理により更新された、同一ノードの負荷情報（ワーク用）２１４の構成例を示す。上述のように、負荷情報（マスタ）２１３は、リソース再配置処理期間外のノードの通常動作期間における負荷測定値から決定された、負荷推定値の時間変化を示す。図１４Ａの例は、１週間における１分毎のＣＰＵ負荷推定値及びＩ／Ｏ負荷推定値を示す。

上述のように、リソース移動スケジュール決定プログラム２２２は、リソース移動スケジュール情報２１２が移動期間の決定を指示するリソース（レコード）の移動負荷を、順次、負荷情報（ワーク用）２１４に追加することで、負荷情報（ワーク用）２１４を更新する。図１４Ｂが示す負荷情報（ワーク用）２１４は、図１４Ａが示す負荷情報（マスタ）２１３に対してリソース移動負荷を追加することで、ＣＰＵ負荷推定値及びＩ／Ｏ負荷推定値が更新されている。

図１５は、リソース移動スケジュール情報２１２の時刻欄の値が更新される様子を例示的に示す。図１３を参照して説明したように、リソース移動スケジュール決定プログラム２２２は、リソース移動スケジュール情報２１２のリソース移動レコードそれぞれの移動開始時刻を決定し、その値を登録する。リソース移動スケジュール情報２１２は、例えば、全てのノードに格納される。

図１３のステップＳ３０７及びＳ３０８に示すように、ノード負荷が閾値未満の移動期間を見出すことができない場合、リソース移動の移動期間は保留される。以下において、移動期間が保留とされているリソースの移動方法の例を説明する。なお、他の例において、ノード負荷の最大値が最も小さくなる期間を移動期間として選択してもよい。

以下に説明する例は、リソースを、移動元ノードから負荷余裕を有する仲介ノードに移動し、さらに、その仲介ノードから移動先ノードにリソースを移動する。これにより、ノードの負荷が大きすぎるために移動元ノードから移動先ノードに直接移動できないリソースを、ノードの負荷が閾値未満に抑えつつ、移動することが可能となる。

図１６は、仲介ノードを介した移動元ノードから移動先ノードへのリソース移動の例を模式的に示す。図３に示す移動元ノードから移動先ノードへのリソースの直接移動との差異を主に説明する。本例は、互いに関連付けられている仮想マシン（３）３０５及びボリューム（３）３０７を、移動元ノード３００Ａから移動先ノード３００Ｃに、仲介ノード３００Ｂを介して移動する。

図１７は、仲介ノードを介したリソース移動における移動期間及び負荷情報の例を示す。図１７の例において、移動元ノードはノード１、移動先ノードはノード３、そして中間ノードはノード２とする。グラフ６０１は、負荷情報（マスタ）２１３が示す、三つのノードの負荷推定値の時間変化を示す。実線はノード１の負荷を示し、破線はノード２の負荷を示し、一点鎖線は、ノード３の負荷を示す。各ノードの負荷は、閾値６０５未満であることが要求されている。

グラフ６０１において、火曜日０：００から水曜日２：００までの期間において、ノード１及びノード２の負荷は余裕があり、ノード３の負荷は閾値６０５を超えている。水曜日２：００から木曜日６：００までの期間において、ノード２及びノード３の負荷は余裕があり、ノード１の負荷の最大値は閾値６０５に近く、負荷の余裕がない。

本例は、水曜日２：００から木曜日６：００までの期間において、リソースを移動元ノード１から仲介ノード２へ移動し、水曜日２：００から木曜日６：００までの期間において、リソースを仲介ノード２から移動先ノード３へ移動すると仮定する。

グラフ６０２は、水曜日２：００から木曜日６：００までの期間においてリソースを移動元ノード１から仲介ノード２へ移動し、水曜日２：００から木曜日６：００までの期間において、リソースを仲介ノード２から移動先ノード３へ移動した場合の、ノード１、２及び３の負荷推定値の時間変化を示す。グラフ６０１に対して、ノード１からノード２へのリソース移動負荷が加算されている。いずれの期間においても、全てのノードの負荷が閾値６０５未満である。

図１８は、図１３に示すフローにおいて、移動期間を保留されたリソース移動の移動期間を決定する処理例のフローチャートを示す。リソース移動スケジュール決定プログラム２２２は、負荷情報（ワーク用）２１４から、各ノードの負荷情報をコピーして、負荷情報（テンポラリ）２１５を生成する（Ｓ４０１）。

リソース移動スケジュール決定プログラム２２２は、プライオリティを表す変数Ｐを設定する（Ｓ４０２）。変数Ｐの初期値は１である。次に、リソース移動スケジュール決定プログラム２２２は、リソース移動スケジュール情報２１２を参照し、プライオリティＰのリソース移動（レコード）において、移動時刻が未定なリソース移動を検索する（Ｓ４０３）。

プライオリティＰであって、移動時刻が未定なリソース移動が存在しない場合（Ｓ４０３：ＮＯ）、リソース移動スケジュール決定プログラム２２２は、プライオリティ変数Ｐをインクリメントし（Ｓ４０４）、プライオリティ変数Ｐの値が１０（最大値）を超えているか判定する（Ｓ４０５）。プライオリティ変数Ｐの値が１０を超えている場合（Ｓ４０５：ＹＥＳ）、処理は終了する。プライオリティ変数Ｐの値が１０以下である場合（Ｓ４０５：ＮＯ）、フローはステップＳ４０３に戻る。

ステップＳ４０３において、移動時刻が未定のリソース移動が存在する場合（Ｓ４０３：ＹＥＳ）、リソース移動スケジュール決定プログラム２２２は、ノード番号変数Ｎを定義する（Ｓ４０６）。Ｎの初期値は１であり、ノード番号から移動元ノード及び移動先ノードは除外される。

次に、リソース移動スケジュール決定プログラム２２２は、移動元ノードからノード番号Ｎの仲介ノードへのリソース移動及び仲介ノードから移動先ノードへのリソース移動、それぞれに要する時間を推定する（Ｓ４０７）。推定方法は、図１３を参照して説明した方法と同様でよい。

次に、リソース移動スケジュール決定プログラム２２２は、リソース移動レコードが指定する移動元ノード及びノード番号Ｎの仲介ノード（仲介ノードＮ）が、リソース移動による負荷に耐えられる移動期間が存在するか判定する（Ｓ４０８）。具体的には、リソース移動スケジュール決定プログラム２２２は、ステップＳ４０７で決定した長さの時間長において、負荷情報（テンポラリ）２１５が示す負荷推定値に対して移動負荷を追加した値が閾値を超えない期間を検索する。

リソース移動による負荷に耐えられる移動期間が存在しない場合（Ｓ４０８：ＮＯ）、リソース移動スケジュール決定プログラム２２２は、ノード番号変数Ｎをインクリメントし（Ｓ４０９）、さらに、変数Ｎの値が最大値より大きいか判定する（Ｓ４１０）。

変数Ｎが最大値より大きい場合（Ｓ４１０：ＹＥＳ）、リソース移動スケジュール決定プログラム２２２は、リソースの移動速度を制限して、移動元ノードから移動先ノードにリソースを移動すると決定する（Ｓ４１１）。移動元ノード及び移動先ノードの双方で負荷余裕が存在する時がない場合は、リソースの移動速度を制限することで、移動負荷（時間当たりの負荷）を小さくすることができる。ステップＳ４１１の後、フローはステップＳ４１５に進む。なお、通常移動速度での移動が不可能な場合、リソース移動スケジュール決定プログラム２２２は、仲介ノードを使用することなく、低速移動を行うと決定してもよい。

ステップＳ４１０において、変数Ｎが最大値以下である場合（Ｓ４１０：ＮＯ）、フローはステップＳ４０７に戻る。ステップＳ４０８において、リソース移動による負荷に耐えられる移動期間が存在する場合（Ｓ４０８：ＹＥＳ）、リソース移動スケジュール決定プログラム２２２は、決定した移動期間において、移動元ノードから仲介ノードへの負荷情報（テンポラリ）２１４の負荷推定値に、移動負荷推定値を追加する（Ｓ４１２）。

次に、リソース移動スケジュール決定プログラム２２２は、ノード番号Ｎの仲介ノード（仲介ノードＮ）及びリソース移動レコードが指定する移動先ノードが、リソース移動による負荷に耐えられる移動期間が存在するか判定する（Ｓ４１３）。具体的には、リソース移動スケジュール決定プログラム２２２は、ステップＳ４０７で決定した長さの時間長において、負荷情報（テンポラリ）２１５が示す負荷推定値に対して移動負荷を追加した値が閾値を超えない期間を検索する。

リソース移動による負荷に耐えられる移動期間が存在しない場合（Ｓ４１３：ＮＯ）、リソース移動スケジュール決定プログラム２２２は、負荷情報（テンポラリ）２１５をステップＳ４１２の更新前に戻して、ステップＳ４０９に進む。リソース移動による負荷に耐えられる移動期間が存在する場合（Ｓ４１３：ＹＥＳ）、リソース移動スケジュール決定プログラム２２２は、決定した移動期間において、仲介ノードから移動元ノードへの負荷情報（テンポラリ）２１４の負荷推定値に、移動負荷推定値を追加する（Ｓ４１４）。

次に、リソース移動スケジュール決定プログラム２２２は、移動元ノードから仲介ノードへの移動開始時刻及び仲介ノードから移動先ノードへの移動開始時刻それぞれを決定して、リソース移動スケジュール情報２１２を更新する（Ｓ４１５）。通常速度でのリソース移動における移動開始時刻の決定方法は、図１３に示すフローチャートと同様よい。

ステップＳ４１１においてリソースを通常速度より低速で移動することが決定されている場合、リソース移動スケジュール決定プログラム２２２は、その移動速度に応じて移動に要する時間を決定し、さらに、移動期間を決定する。制限された移動速度は予め設定されていてもよく、移動負荷を追加する前の移動先ノード及び移動元ノードの負荷状態に応じて決定されてもよい。移動速度を制限してもノードの負荷を閾値未満とすることができない場合には、翌週のように、移動時期を次回以降のスケジュールに含める。

次に、リソース移動スケジュール決定プログラム２２２は、負荷情報（ワーク用）２１３に対して、負荷情報（テンポラリ）２１４の更新を反映する（Ｓ４１６）。移動元ノード、仲介ノード及び移動先ノードの負荷に対して、移動負荷が追加される。ステップＳ４１６の後、フローはステップＳ４０３に戻る。

上述のように、仲介ノードを介することで、移動元ノードから移動先ノードへ直接に移動できないリソースの移動が可能となる。また、仲介ノードの検索は、プライオリティが高いノードが優先され、プライオリティが高い順で仲介ノードが検索される。そのため、リソース再配置におけるノードの負荷を抑制できる。なお、プライオリティと関わりない順序で仲介ノードを検索してもよい。

図１９は、負荷情報（テンポラリ）２１５の構成例を示す。上述のように、負荷情報（テンポラリ）２１５は、負荷情報（ワーク用）２１４をコピーして生成され、その後更新される。そのため、負荷情報（テンポラリ）２１５が有する欄は、負荷情報（ワーク用）２１４と同様である。

上述のように、負荷情報（テンポラリ）２１５は、仲介ノードを介したリソース移動の可否を検討するために使用される。仲介ノード候補によるリソース移動が不可能である場合、その仲介ノードについて更新された情報はキャンセルされる。負荷情報（テンポラリ）２１５は、リソース移動スケジュール決定プログラム２２２が実行されるノードのみに格納されてもよく、その他のノードにも格納されてよい。

図２０は、仲介ノードを介したリソース移動の移動期間の決定に伴う、リソース移動スケジュール情報２１２の更新の例を模式的に示す。図２０の例は、リソース移動レコード「１」が示す、移動元ノード１から移動先ノード３への、仮想マシン１及びボリューム１の移動の移動方法及び移動期間を決定する。

本例は、仲介ノード２を介して、リソースを移動する。そのため、リソース移動レコード「１」において、移動先ノードが、ノード３からノード１に変更され、さらに、仲介ノード２から移動先ノード３への移動を示すレコード「２」が挿入されている。移動元ノード１から仲介ノード２への移動開始時刻は、火曜日０：００に設定され、仲介ノード２から移動先ノード３への移動開始時刻は、水曜日２：００に設定されている。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成・機能・処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。

１００ 計算機ノード、１０１ プロセッサ、１０２ メモリ、１０３ ドライブ、２１１ リソース配置情報、２１２ リソーススケジュール情報、２１３ 負荷情報（マスタ）、２１４ 負荷情報（ワーク用）、２１５ 負荷情報（テンポラリ）、２２１ プライオリティ決定プログラム、２２２ リソース移動スケジュール決定プログラム、２２４ 負荷情報生成プログラム、３０１ クラスタ、３０５ 仮想マシン、３０７ ボリューム

Claims (11)

1. 複数ノードを含むクラスタにおける、仮想マシンとボリュームを含むリソースの移動スケジュールを決定する装置であって、
   １以上のプロセッサと、
   １以上の記憶装置と、を含み、
   前記１以上の記憶装置は、複数レコードを含むリソース移動スケジュール情報を格納し、
   前記複数レコードの各レコードは、１以上のリソースそれぞれの移動元ノード及び移動先ノードを示し、
   前記１以上のプロセッサは、前記複数レコードそれぞれのプライオリティを、移動後のローカリティが有りのレコードのプライオリティが移動後のローカリティが無しのレコードのプライオリティより高くなるように決定し、
   前記ローカリティは、予め互いに関連付けられている仮想マシン及びボリュームが同一ノードに存在するか否かに基づき決定され、
   前記１以上のプロセッサは、前記複数レコードのプライオリティに基づいて、前記複数レコードの移動スケジュールを決定する、装置。
2. 請求項１に記載の装置であって、
   前記１以上のプロセッサは、移動後のローカリティが有りで移動前のローカリティが無しのレコードのプライオリティが、移動後のローカリティが有りで移動前のローカリティが有りのレコードのプライオリティより高くなるように、前記複数レコードそれぞれのプライオリティを決定する、装置。
3. 請求項１に記載の装置であって、
   前記１以上のプロセッサは、移動後のローカリティが無しで移動前のローカリティが無のレコードのプライオリティが、移動後のローカリティが無しで移動前のローカリティが有のレコードのプライオリティより高くなるように、前記複数レコードそれぞれのプライオリティを決定する、装置。
4. 請求項１に記載の装置であって、
   前記複数レコードに含まれる第１レコードが、予め互いに関連付けられている仮想マシン及びボリュームを、同一移動元ノードから移動することを示し、
   前記１以上のプロセッサは、前記第１レコードが示す移動において、前記ボリュームの後に前記仮想マシンの移動を行うことを決定する、装置。
5. 請求項４に記載の装置であって、
   前記第１レコードが、前記仮想マシン及び前記ボリュームを同一移動先ノードに移動することを示す場合及び異なる移動先ノードに移動することを示す場合のいずれにおいても、前記１以上のプロセッサは、前記ボリュームの後に前記仮想マシンの移動を行うことを決定する、装置。
6. 請求項１に記載の装置であって、
   前記１以上のプロセッサは、移動前のローカリティが無しで移動後のローカリティが有りのレコードのプライオリティを、仮想マシンのみを移動するレコードのプライオリティが、ボリュームを移動するレコードのプライオリティより高くなるように決定する、装置。
7. 請求項１に記載の装置であって、
   前記１以上の記憶装置は、前記複数ノードの負荷推定値の時間変化の情報を格納し、
   前記１以上のプロセッサは、第２レコードが示す移動元ノード及び移動先ノードの負荷推定値の時間変化の情報、並びに、前記第２レコードが示す移動の移動負荷推定値に基づいて、前記第２レコードが示す移動を所定期間内に実行可能か判定し、
   前記第２レコードが示す移動を前記所定期間内に実行不可能と判定した場合、前記第２レコードが示す移動元ノードから移動先ノードへのリソースの移動を前記所定期間内で仲介可能な仲介ノードを、前記複数ノードから検索する、装置。
8. 請求項７に記載の装置であって、
   前記１以上のプロセッサは、前記仲介ノードを、前記プライオリティがより高いノードから検索する、装置。
9. 請求項１に記載の装置であって、
   前記１以上のプロセッサは、所定期間内に実行不可能であると判定された第２レコードが示す移動を、より低い転送速度で行うと決定する、装置。
10. 装置が、複数ノードを含むクラスタにおける、仮想マシンとボリュームを含むリソースの移動スケジュールを決定する方法であって、
    前記装置は、複数レコードを含むリソース移動スケジュール情報を格納し、
    前記複数レコードの各レコードは、１以上のリソースそれぞれの移動元ノード及び移動先ノードを示し、
    前記方法は、
    前記装置が、前記複数レコードそれぞれのプライオリティを、移動後のローカリティが有りのレコードのプライオリティが移動後のローカリティが無しのレコードのプライオリティより高くなるように決定し、
    前記ローカリティは、予め互いに関連付けられている仮想マシン及びボリュームが同一ノードに存在するか否かに基づき決定され、
    前記装置が、前記複数レコードのプライオリティに基づいて、前記複数レコードの移動スケジュールを決定する、方法。
11. 計算機システムに処理を実行させるプログラムであって、
    前記計算機システムは、複数レコードを含むリソース移動スケジュール情報を格納し、
    前記複数レコードの各レコードは、１以上のリソースそれぞれの移動元ノード及び移動先ノードを示し、
    前記処理は、前記複数レコードそれぞれのプライオリティを、移動後のローカリティが有りのレコードのプライオリティが移動後のローカリティが無しのレコードのプライオリティより高くなるように決定し、
    前記ローカリティは、予め互いに関連付けられている仮想マシン及びボリュームが同一ノードに存在するか否かに基づき決定され、
    前記処理は、前記複数レコードのプライオリティに基づいて、前記複数レコードの移動スケジュールを決定する、プログラム。

Images