JP2016153929A - 分散システム、負荷分散方法及びプログラム - Google Patents

Abstract

【課題】分散システムを構成するノード間で負荷の偏りが生じた際に、効率良くリバランスを行う。【解決手段】ノードの分散システム負荷リバランス部１８ｅは、全ノードの負荷量の標準偏差及び偏差／標準偏差を求める。次に、ノードの負荷が予め定められた上限値を超えたことを示す条件、全ノードの負荷の標準偏差が予め定められた第１閾値を超えていることを示す条件、ノード毎の偏差／標準偏差が予め定められた第２閾値を超えていることを示す条件の何れか１つ又は複数の条件を満たすか否かを判断する。満たすと判断された場合に、ノードが負荷を保持可能な担当領域のうち所定の負荷容量の移譲領域を、ノード間の負荷量の乖離が抑制されるように、負荷の高い移譲元ノードから負荷の低い移譲先ノードへ移譲する処理を行う。【選択図】図２

Description

本発明は複数のノード間での負荷の偏りを是正することが可能な分散システム、負荷分散方法及びプログラムに関する。

近年、クラウドコンピューティングの隆盛に伴い、多量なデータの処理や保持を効率的に行うことが求められている。そこで、複数のサーバを協調動作させることにより効率的な処理を実現する分散処理技術が発展している。分散処理を行う際には、クラスタを構成して分散システムを構築する各サーバ（以降、ノードともいう）が担当するデータを決定する必要がある。この際、分散システム全体でのデータの処理能力を高めるためには、各ノードが担当するデータ数は平均化されていることが望ましい。

ところで、代表的なデータの管理手法には、各データのｋｅｙ（キー）をハッシュ関数にかけた値（以降、ｈａｓｈ（ｋｅｙ）：ハッシュキーともいう）を、ノード数Ｎで割った余り、即ちｈａｓｈ（ｋｅｙ）ｍｏｄ Ｎを番号として持つノードが、データを管理する手法がある。但し、その際、ノードに事前に０からＮ−１まで番号を割り当てている。このような管理手法を用いた場合、ノードを追加又は離脱すると、Ｎの値が変化し、多くのデータでは担当するノードが変更になるため、担当ノードの再配置が必要になる。

また、コンシステント・ハッシュ法を用いたデータ管理手法では、図１４に符号５で示す円形状のＩＤ空間において、ノードＡ，Ｂ，Ｃ，Ｄ，Ｅと、○及び●印で示す負荷が異なる負荷データとの双方にＩＤ(identification)を割り当てる。負荷データの担当ノードは、当該担当ノード（例えばＢ）からＩＤ空間５を時計回りに辿り、最初に突き当たったノードＣまでの間に配置される負荷データを担当する。ノードＡ〜Ｅに対するＩＤの与え方の例としては、ＩＰ(Internet Protocol)アドレスをハッシュ関数にかけた値｛これを、ｈａｓｈ（ＩＰアドレス）ともいう｝が挙げられる。

クラスタ構成の分散システムでは、例えば各ノードの性能が等しい場合には、各ノードＡ〜Ｅが担当するデータ量は等しい、即ち、コンシステント・ハッシュ法のＩＤ空間５における、ノード間の距離（以降、ノードの担当領域ともいう）が等しいことが望ましい。

この点を解決するため、各ノードＡ〜Ｅに仮想的に複数のＩＤを持たせる手法が用いられている。各ノードＡ〜Ｅが複数の仮想ＩＤを持つことで、仮想ＩＤ毎の担当領域は異なっていても、大数の法則に従い、ノードＡ〜Ｅの担当領域は平均化される。このようなコンシステント・ハッシュ法や仮想ＩＤ等の従来技術により、ノード間で担当するデータ数を均一化し、負荷を分散させることが可能となる。

しかしながら、各ノードＡ〜Ｅの内の特定ノードにて、アクセス頻度の多いデータや、処理時間の長いデータ（高負荷データ)が偏って発生するため、各ノードＡ〜Ｅが担当するデータ数自体は均等であっても、ノード間で負荷の偏りが発生する。

このようなコンシステント・ハッシュ法の分散システムにおける負荷増大に対する対策としては、分散システムに図１４に示す新たなノードＦを増設して分散システムをスケールアウトさせ、高負荷となったノード（高負荷ノード）、例えば高負荷ノードＣが担当するデータ数を縮小させて負荷を低減する手法がとられている。

また、ノード（例えばＢ）のコンシステント・ハッシュ上での空間配置変更（これを、リバランスという）を行い適切に負荷が分散されていれば、増設を行うことなく現行のノード台数で対処可能なケースもある。非特許文献１には、スケールアウト／リバランスで対処すべき状況を識別し、更に、リバランスで対処すべき状況においては、コンシステント・ハッシュ空間（ＩＤ空間５）上の隣接ノード間（例えばＥであれば、２つの矢印で示す隣のＡ又はＤ）でリバランスを実行して、ノード間の負荷の偏りを是正する手法が提案されている。

鶴田泰他，「分散サーバシステムにおけるノード負荷分散最適化方式」，電子情報通信学会総合大会，Mar．2014，B-7-84

ところで、非特許文献１の手法を用いたとしても、高負荷ノードの隣も負荷の高いノードになっている等、隣接ノードが必ずしもリバランスに適したノードとなっているとは限らない。この場合、他に負荷の低いノードがあっても、そこに直ちに負荷をリバランスさせることができない。しかし、リバランスを繰り返せば、最終的に負荷の偏りを是正することは可能である。しかしながら、この場合、リバランスを繰り返さなければならないので、多くの時間を要する可能性があり実用的でない。言い換えれば、効率良くリバランスを行うことができないという問題がある。

本発明は、このような背景に鑑みてなされたものであり、効率良くリバランスを行うことができる分散システム、負荷分散方法及びプログラムを提供することを課題とする。

前記した課題を解決するため、請求項１に記載の発明は、通信サービスを利用する複数のクライアントマシンからの情報がネットワークを介して振り分けられる複数のノードを有する分散システムであって、前記ノードは、前記ネットワークに接続された前記ネットワークに接続された全ノードの負荷量の標準偏差、及び偏差を標準偏差で除した値を求め、前記ノードの負荷が予め定められた上限値を超えたことを示す第１条件、前記全ノードの負荷の前記標準偏差が予め定められた第１閾値を超えていることを示す第２条件、前記ノード毎の前記偏差を標準偏差で除した値が予め定められた第２閾値を超えていることを示す第３条件の何れか１つ又は何れか複数の条件を満たす場合に、前記ノードが負荷を保持可能な担当領域のうち所定の負荷容量の移譲領域を、前記ノード間の負荷量の乖離が抑制されるように、負荷の高い移譲元ノードから負荷の低い移譲先ノードへ移譲する処理を行うリバランス部を備えることを特徴とする分散システムである。

この構成によれば、上述した第１〜第３条件の何れか１つ又は何れか複数の条件を満たした場合に、ノードの所定の負荷容量の担当領域を、負荷の高いノードから負荷の低いノードへ移譲するので、処理数や処理量を多くかけずに、ノード間の負荷量の乖離（ノード間の負荷量の差）を抑制することができる。従って、効率良くリバランスを行うことができる。

請求項２に係る発明は、前記リバランス部は、前記移譲元ノードの前記移譲領域を移譲可能な負荷容量を有する前記移譲先ノードが有る場合に、当該移譲領域を当該移譲先ノードへ移譲することを特徴とする請求項１に記載の分散システムである。

この構成によれば、移譲元ノードの担当領域を移譲可能な負荷容量を有する移譲先ノードが有る場合にのみ、担当領域を移譲するので、リバランスを実行するか否かの判断を、処理数や処理量を多くかけずに行うことができる。

請求項３に係る発明は、前記リバランス部は、前記移譲元ノードの前記移譲領域を前記移譲先ノードへ移譲する際に、当該移譲領域が全て移譲完遂されるか、当該移譲領域が移譲可能な移譲先ノードが存在しなくなるまで移譲を行うことを特徴とする請求項１又は２に記載の分散システムである。

この構成によれば、ノード間の負荷量の乖離を無くす又は抑制することができる。

請求項４に係る発明は、通信サービスを利用する複数のクライアントマシンからの情報がネットワークを介して振り分けられる複数のノードを有する分散システムであって、前記ノードは、記憶部に以下の数式（１）を記憶しており、
仮想ノード数＝現状の仮想ノード数×(全ノードの負荷の平均値／現状の仮想ノードを有するノードの負荷の実測値)…数式（１）
前記ノード毎の負荷の状況に応じて、現状の仮想ノード数、全ノードの負荷の平均値、当該現状の仮想ノードを有するノードの負荷の実測値を求め、これら求めた数値を前記数式（１）に当て嵌めることにより、前記ノード毎に持つ仮想ノード数を算出し、前記現状の仮想ノードの仮想ノード当たりの負荷容量を変更し、この変更後の負荷容量を有する仮想ノードが、前記算出された仮想ノード数だけ存在するように、該当ノードに仮想ノードを割り当てるリバランスを行うリバランス部を備えることを特徴とする分散システムである。

この構成によれば、リバランス部が、担当領域を移譲する対象ノードや、該当ノードの適切な移譲サイズを指定することなく、各ノードが持つ仮想ノード数を、ノード毎の現状の負荷の状況に応じて、必要な負荷量とするための仮想ノード数とすることができる。つまり、自ノードの必要負荷量に適合したリバランスを行うことができる。

請求項５に係る発明は、通信サービスを利用する複数のクライアントマシンからの情報がネットワークを介して振り分けられる複数のノードを有する負荷分散方法であって、前記ノードは、前記ネットワークに接続された前記ネットワークに接続された全ノードの負荷量の標準偏差、及び偏差を標準偏差で除した値を求めるステップと、前記ノードの負荷が予め定められた上限値を超えたことを示す第１条件、前記全ノードの負荷の前記標準偏差が予め定められた第１閾値を超えていることを示す第２条件、前記ノード毎の前記偏差を標準偏差で除した値が予め定められた第２閾値を超えていることを示す第３条件の何れか１つ又は何れか複数の条件を満たすか否かを判定するステップと、前記何れか１つ何れか１つ又は何れか複数の条件の条件を満たす場合に、前記ノードが負荷を保持可能な担当領域のうち所定の負荷容量の移譲領域を、前記ノード間の負荷量の乖離が抑制されるように、負荷の高い移譲元ノードから負荷の低い移譲先ノードへ移譲する処理を行うステップとを実行することを特徴とする負荷分散方法である。

この方法によれば、上述した第１〜第３条件の何れか１つ又は何れか複数の条件を満たした場合に、ノードの所定の負荷容量の担当領域を、負荷の高いノードから負荷の低いノードへ移譲するので、処理数や処理量を多くかけずに、ノード間の負荷量の乖離を低減することができる。従って、効率良くリバランスを行うことができる。

請求項６に係る発明は、通信サービスを利用する複数のクライアントマシンからの情報がネットワークを介して振り分けられる複数のノードを有する負荷分散方法であって、前記ノードは、記憶部に以下の数式（１）を記憶しており、

仮想ノード数＝現状の仮想ノード数×(全ノードの負荷の平均値／現状の仮想ノードを有するノードの負荷の実測値)…数式（１）

前記ノード毎の負荷の状況に応じて、現状の仮想ノード数、全ノードの負荷の平均値、当該現状の仮想ノードを有するノードの負荷の実測値を求め、これら求めた数値を前記数式（１）に当て嵌めることにより、前記ノード毎に持つ仮想ノード数を算出するステップと、前記現状の仮想ノードの仮想ノード当たりの負荷容量を変更し、この変更後の負荷容量を有する仮想ノードが、前記算出された仮想ノード数だけ存在するように、該当ノードに仮想ノードを割り当てるリバランスを行うステップとを実行することを特徴とする負荷分散方法である。

この方法によれば、自ノードの必要負荷量に適合したリバランスを行うことができる。

請求項７に係る発明は、通信サービスを利用する複数のクライアントマシンからの情報がネットワークを介して振り分けられる複数のノードを有する分散システムの当該ノードとしてのコンピュータを、前記ネットワークに接続された前記ネットワークに接続された全ノードの負荷量の標準偏差、及び偏差を標準偏差で除した値を求める手段、前記ノードの負荷が予め定められた上限値を超えたことを示す第１条件、前記全ノードの負荷の前記標準偏差が予め定められた第１閾値を超えていることを示す第２条件、前記ノード毎の前記偏差を標準偏差で除した値が予め定められた第２閾値を超えていることを示す第３条件の何れか１つ又は何れか複数の条件を満たすか否かを判定する手段、前記何れか１つ又は何れか複数の条件を満たす場合に、前記ノードが負荷を保持可能な担当領域のうち所定の負荷容量の移譲領域を、前記ノード間の負荷量の乖離が抑制されるように、負荷の高い移譲元ノードから負荷の低い移譲先ノードへ移譲する処理を行う手段として機能させるためのプログラムである。

このプログラムによれば、請求項５と同様の作用効果を得ることができる。

請求項８に係る発明は、通信サービスを利用する複数のクライアントマシンからの情報がネットワークを介して振り分けられる複数のノードを有する分散システムの当該ノードとして記憶部に以下の数式（１）を記憶しているコンピュータを、
仮想ノード数＝現状の仮想ノード数×(全ノードの負荷の平均値／現状の仮想ノードを有するノードの負荷の実測値)…数式（１）
前記ノード毎の負荷の状況に応じて、現状の仮想ノード数、全ノードの負荷の平均値、当該現状の仮想ノードを有するノードの負荷の実測値を求め、これら求めた数値を前記数式（１）に当て嵌めることにより、前記ノード毎に持つ仮想ノード数を算出する手段、前記現状の仮想ノードの仮想ノード当たりの負荷容量を変更し、この変更後の負荷容量を有する仮想ノードが、前記算出された仮想ノード数だけ存在するように、該当ノードに仮想ノードを割り当てるリバランスを行う手段として機能させるためのプログラムである。

このプログラムによれば、請求項６と同様の作用効果を得ることができる。

本発明によれば、効率良くリバランスを行うことができる分散システム、負荷分散方法及びプログラムを提供することができる。

本発明の第１実施形態に係る分散システムの構成を示すブロック図である。 本実施形態の分散システムにおけるノードの構成を示し、（ａ）は制御部の構成を示すブロック図、（ｂ）は記憶部の情報を示すブロック図である。 複数のノードＡ〜Ｅで分割されたハッシュ空間を示す図である。 （ａ）ノード識別子管理表の一例を示す図、（ｂ）振分ＩＤ表の一例を示す図である。 （ａ）ノード負荷計測データ（ノード単位）の一例を示す図、（ｂ）ノード負荷計測データ（仮想ノード単位）の一例を示す図、（ｃ）ノード負荷計測データ（データ単位）の一例を示す図である。 分散システム負荷集計データの一例を示す図である。 （ａ）リバランス前の振分ＩＤ表の一例を示す図、（ｂ）リバランス後の振分ＩＤ表の一例を示す図、（ｃ）リバランス後の振分ＩＤ表の他例を示す図である。 ノードの複数の仮想ノード及びその担当領域（担当ハッシュ空間）を示す図である。 図８に示す各仮想ノードの担当領域における各種負荷データによる負荷量の一覧表を示す図である。 各ノードＡ〜Ｃが保持する負荷量の偏差を表す棒グラフである。 本実施形態の分散システムの各ノードのリバランスを実行する際の動作を説明するための第１のフローチャートである。 本実施形態の分散システムの各ノードのリバランスを実行する際の動作を説明するための第２のフローチャートである。 （ａ）リバランス前の振分ＩＤ表の一例を示す図、（ｂ）リバランス後の振分ＩＤ表の一例を示す図である。 従来技術を説明するためのハッシュ空間を示す図である。

以下、本発明の実施形態を、図面を参照して説明する。
＜第１実施形態の構成＞
図１は、本発明の第１実施形態に係る分散システムの構成を示すブロック図である。
図１に示す分散システム１０は、コンシステント・ハッシュ法を用いた複数のノード１５を利用し、データ管理を行うシステムである。本発明の特徴は、分散システム１０を構成するノード１５間で負荷の偏りが生じた際に、現行ノード１５数で対処が可能な場合に、現行ノード１５の負荷の偏り状況を踏まえて、効率的にリバランスを行い負荷の偏りを是正するものである。

分散システム１０は、複数のクライアントマシン（単に、クライアントともいう）１１にインターネット等のネットワーク１２を介して接続されたロードバランサ１３と、クラスタ１４を構成する複数のノード１５とを備えて構成されている。

各ノード１５は、コンピュータ等の物理装置や仮想マシン等の論理装置、言い換えれば、物理的又は仮想的なサーバ等である。クライアント１１からのメッセージが、ロードバランサ１３によって各ノード１５に振り分けられる。この振り分けは、単純なラウンドロビン法等により行われる。

ノード１５は、制御部１８及び記憶部１９を備えて構成されている。但し、制御部１８及び記憶部１９は、ソフトウェアによって構成されているとする。なお、ハードウェアによって構成してもよい。
図２（ａ）に示すように、制御部１８は、ノード識別子管理部１８ａと、振分部１８ｂと、信号処理部１８ｃと、ノード負荷計測部１８ｄと、分散システム負荷リバランス部（単に、リバランス部ともいう）１８ｅとを備える。

図２（ｂ）に示すように、記憶部１９は、ノード識別子管理表１９ａと、振分ＩＤ表１９ｂと、データ１９ｃと、ノード負荷計測データ１９ｄと、分散システム負荷集計データ１９ｅと、呼制御状態フラグ１９ｆとを記憶する。なお、ノード識別子管理表１９ａを管理表１９ａともいい、分散システム負荷集計データ１９ｅを集計データ１９ｅ、呼制御状態フラグ１９ｆをフラグ１９ｆともいう。

振分部１８ｂは、クライアント１１からのメッセージ（情報）を、例えばコンシステント・ハッシュ法等に基づき、メッセージを担当するノード１５に振り分ける。
信号処理部１８ｃは、クライアント１１からのメッセージに応じて、所定の信号処理を行い、クライアント１１にサービスを提供する。つまり、メッセージを担当するノード１５では、信号処理部１８ｃにて所定の信号処理を行ってクライアント１１にサービスを提供する。この振分部１８ｂ及び信号処理部１８ｃの処理動作については後述で更に詳細に説明する。

但し、分散システム１０においては、ロードバランサ１３が存在せず、クライアント１１から任意のノード１５（振分部１８ｂ）にメッセージを送信することも可能である。また、振分部１８ｂと信号処理部１８ｃは、図１のように同じノード１５上に同時に存在させてもよいし、別ノード１５上に存在させてもよい。

制御部１８において、ノード識別子管理部１８ａは、分散システム１０上のノード情報をノード識別子管理表１９ａに蓄積することにより、ノード１５が担当するＩＤ空間を管理する。このＩＤ空間は、コンシステント・ハッシュ法ではコンシステント・ハッシュ上の空間（ハッシュ空間）である。

このハッシュ空間を、例えば図３に示すように、複数のノードＡ〜Ｅで分割し、各ノードＡ〜Ｅの担当領域を決めて管理する。この際、ノードＡが担当するハッシュ空間は、ノードＡから時計回りにノードＢまでの領域であり、このハッシュ空間に存在するデータを担当ノードＡが保持する。他のノードＢ〜Ｅも同様である。なお、ハッシュ空間（担当領域）のサイズが大きい程に、多くのデータを保持できるようになっている。

図２（ａ）に戻って、振分部１８ｂは、分散システム１０においてメッセージ等のデータの振分先の決定に関する処理を行い、この処理により得られるデータの振分先情報を振分ＩＤ表１９ｂとして管理する。

信号処理部１８ｃは、ノード１５における信号処理を行う。この信号処理時のアクセス対象となるデータ１９ｃが記憶部１９に記憶される。
ノード負荷計測部１８ｄは、ノード１５の負荷を計測し、この計測結果を記憶部１９にノード負荷計測データ１９ｄとして記録すると共に、必要に応じて定められる特権ノード１５（図３に示す例えばノードＢ）に送付する。

分散システム負荷リバランス部１８ｅは、分散システム１０全体のノード負荷を収集し、この収集した負荷の平均値及び標準偏差の算出を行い、これらの算出結果である分散システム負荷集計データ１９ｅを記憶部１９に記憶する。更に、リバランス部１８ｅは、その記憶された集計データ１９ｅに基づくリバランスの実行判定、並びにリバランス設計を行ってリバランスを実行する。
また、記憶部１９に記憶される呼制御状態フラグ１９ｆは、新規呼を制御する状態か否かを判別するための情報である。

ここで、前述した図１に示すノード１５の振分部１８ｂ及び信号処理部１８ｃによるメッセージの振分処理及び信号処理について更に詳細に説明する。

振分部１８ｂは、クライアント１１から発呼されるメッセージ内の情報をもとに、信号処理を担当するノード１５を特定し、当該する他のノード１５にメッセージの振り分けを行う。メッセージは、新規呼（例えば、ＳＩＰ(Session Initiation Protocol)においてはＩｎｉｔｉａｌ−ＩＮＶＩＴＥ等）と後続呼（ＳＩＰにおいてはＢＹＥ等）に分けられる。
新規呼か後続呼かの識別は、呼に後述の振分キーが埋め込まれているか否かで判定できる。例えば、ＳＩＰにおいては、Ｔｏ／ＦｒｏｍヘッダのＴａｇ等で判定できる。

振分キーは、ノード識別子（ＳＩＰにおいてはｃａｌｌ−ｉｄ）又はハッシュ値による仮想ノードＩＤで構成されている。ハッシュ値は、元になるデータから一定の計算手順により求められた規則性のない固定長の値なので、仮想ノードＩＤやノード識別子をハッシュ値で構成するのが好ましい。

一方、上述した新規呼か後続呼かの識別の判定の結果、後続呼の場合、振分部１８ｂにて、振分ＩＤ表１９ｂ上のノード１５毎の担当領域である振分ＩＤ空間{図４（ｂ）に示し後述する}と、振分キー内のハッシュ値とを比較して担当するノード１５を特定する。更に、担当するノード１５のアドレスを、後述の図４（ａ）に示すノード識別子管理表１９ａから特定し、この特定されたノード１５に転送する。

一方、上述した判定の結果、新規呼の場合、振分キーが存在しないため、メッセージからＣａｌｌ−ｉｄ（ノード識別子）を抽出し、これをハッシュ関数に導入してハッシュ値を導出する。更に、振分部１８ｂにて、振分ＩＤ表１９ｂ上のノード１５毎の担当領域である振分ＩＤ空間{図４（ｂ）に示し後述する}と、導出したハッシュ値とを比較して担当するノード１５を特定する。更に、担当するノード１５のアドレスを、後述の図４（ａ）に示すノード識別子管理表１９ａから特定し、この特定されたノード１５に転送する。

新規呼を信号処理部１８ｃで受信した場合も、メッセージからＣａｌｌ−ｉｄ（ノード識別子）を抽出し、これをハッシュ関数に導入してハッシュ値を導出して、振分キーを生成する。また、信号処理部１８ｃによる信号処理後に、クライアント１１に送付するメッセージに振分キーを埋め込んで（ＳＩＰにおいてはＴｏ／ＦｒｏｍヘッダのＴａｇ）送付する。

以降、クライアント１１からの後続呼には本振分キーを埋め込みの上、メッセージを送付し、振分部１８ｂにて本振分キーのハッシュ値を基に振り分けが行われることで、当該呼が処理されたノード１５に後続呼が届くことが可能となる。

次に、上述したノード識別子管理部１８ａについて、より詳細に説明する。
ノード識別子管理部１８ａは、分散システム１０へのノード１５の追加や離脱が発生した際に、分散システム１０を構成するノード１５の識別子情報（ノード識別子）を更新し、これを、図４（ａ）に示すノード識別子管理表１９ａとして管理する。図４（ａ）の例においては、ノード識別子（又はノードＩＤ）（例えば、「Ｎｏｄｅ１」）に、アドレス（例えば、「１０．４５．０．１」）が対応付けられている。そのノード識別子は、特権ノードのノード識別子管理部１８ａで付与され、全ノード１５へと配信される。

コンシステント・ハッシュ法においては、ノード識別子に、図４（ｂ）に示す仮想ノード識別子（又は仮想ノードＩＤ）が従属している。この仮想ノードＩＤは、振分ＩＤ空間の任意のＩＤ（ハッシュ値による）である。例えば図４（ａ）に示すノード識別子「Ｎｏｄｅ１」には、図４（ｂ）の振分ＩＤ表１９ｂに示す少なくとも１つ以上の仮想ノードＩＤ「Ｎｏｄｅ１−１」，「Ｎｏｄｅ１−２」が従属している。言い換えれば、ノード１５に１つ以上の仮想ノードが従属している。但し、これは基本構成であって、ノード１５に仮想ノードが従属しない場合もある。

このように、前述のノード識別子管理表１９ａの更新と合わせて、ノード１５が担当する振分ＩＤ空間の担当領域を更新し、これを振分ＩＤ表１９ｂとして管理する。振分ＩＤ表１９ｂには、例えば、仮想ノードＩＤ「Ｎｏｄｅ１−１」に、担当する振分ＩＤ空間の担当領域として「０〜１９９（Ｄ＝２００）」のデータサイズが対応付けられ、仮想ノードＩＤ「Ｎｏｄｅ１−２」に、担当する振分ＩＤ空間の担当領域として「６００〜９９９（Ｄ＝４００）」のデータサイズが対応付けられている。即ち、Ｄ＝２００は、担当領域のデータサイズが２００であることを示す。他のＤ＝４００等も同じである。

次に、上述したノード負荷計測部１８ｄにより計測される負荷の情報収集と、この収集された負荷の特権ノードへの送付について説明する。
ノード負荷計測部１８ｄは、所定の周期で当該ノード１５の負荷を計測し、これをノード負荷計測データ１９ｄとして記憶部１９に記録して蓄積する。また、ノード負荷計測部１８ｄは、所定の周期で特権ノード（例えば図３に示すノードＢ）に蓄積したノード負荷計測データ１９ｄを送付する。

但し、上述したノード負荷計測部１８ｄにおいて所定周期で計測されるノード１５の負荷は、ＣＰＵ(Central Processing Unit)使用率、メモリ使用率、アクセス頻度等の、ノード１５にて取得可能なあらゆるパラメータが使用される。また、どの数値がボトルネックとなるか、更に、どの程度の値であればリバランスすべき閾値となるかは、分散システムのシステム特性に応じて異なり、複数のパラメータの組み合わせにより判断するケースもある。従って、特定のパラメータ種別に限定せず利用可能とする。

また、ノード負荷計測部１８ｄによる負荷の計測単位は、図５の（ａ）ノードＩＤによるノード単位、（ｂ）仮想ノードＩＤによる仮想ノードＩＤ単位、（ｃ）データ単位の内、どの単位で計測しても構わない。また、図５（ｂ）の仮想ノード単位で負荷を計測する場合、それを集計して（ａ）のノード単位を算出可能であり、（ｃ）のデータ単位で負荷を計測する場合、それを集計して（ｂ）の仮想ノード単位や（ａ）のノード単位の負荷を算出可能である。なお、図５においては、ノード負荷計測部１８ｄにより計測される負荷は、アクセス頻度（アクセス回数）を例に示してある。

このような図５（ａ）〜（ｃ）の表は、２つのノード１５で構成される分散システム１０におけるものであり、次のような構成となっている。
図５（ａ）に示す１つのノード１５（例えばノードＩＤ＝Ｎｏｄｅ１）において、図５（ｂ）に示す２つの仮想ノードＩＤ（Ｎｏｄｅ１_１，Ｎｏｄｅ１_２）による２つの仮想ノードを保持する。更に、図５（ｃ）に示す１つの仮想ノードＩＤ（例えばＮｏｄｅ１_１）による仮想ノード当り２つのデータ（ｄａｔａ１，ｄａｔａ２）を保有する場合を想定してある。他のノードも同様である。

この場合に、負荷の計測単位を図５（ｂ）に示すように仮想ノード単位とし、収集する負荷としてのアクセス頻度（回数）を、１０秒周期（１０：１５：００→１０：１５：１０→１０：１５：２０）で収集して、蓄積するケースを想定してある。

次に、上述した分散システム負荷リバランス部１８ｅによるノード１５の負荷の偏り算出及びリバランス実行判断の処理について説明する。

リバランス部１８ｅは、所定の周期で各ノード１５から収集したノード負荷計測データ１９ｄに基づき、分散システム１０全体のノード１５の負荷の平均値及び標準偏差、偏差並びに偏差／標準偏差（偏差を標準偏差で除した値）の算出を行う。更に、リバランス部１８ｅは、それらの算出結果を、図６に一例を示すように集計データ１９ｅに記録し、この記録した集計データ１９ｅに基づき、後述の３つの条件（１）〜（３）の何れか１つを満たす場合、ノード１５間の負荷の偏りを是正するリバランスを実行する。何れも満たさない場合はリバランスは実行しない。なお、条件（１）は請求項記載の第１条件、条件（２）は請求項記載の第２条件、条件（３）は請求項記載の第３条件である。

図６に示す集計データ１９ｅには、収集時の時刻、ノードＩＤ（ノード識別子）、平均値（アクセス頻度）、標準偏差、実測値（アクセス頻度）、偏差、及び偏差／標準偏差が記録される。なお、平均値及び実測値は、アクセス頻度の平均値及び実測値である。

条件（１）、リバランス部１８ｅは、集計データ１９ｅに基づき、ノード１５の負荷が、当該ノード１５が許容する負荷の上限値（予め定められた上限値）を超えていないか否かをチェックし、上限値を超えるノードが存在する場合に、リバランスを実行する。

条件（２）、リバランス部１８ｅは、集計データ１９ｅに基づき、ノード１５全体の負荷の標準偏差が所定の閾値（第１閾値）以下であるか否かを確認し、閾値を超えている場合に、リバランスを実行する。

条件（３）、リバランス部１８ｅは、集計データ１９ｅに基づき、ノード１５毎の負荷の偏差／標準偏差が所定の閾値（第２閾値）以下であるか否かを確認し、閾値を超えている場合に、リバランスを実行する。

但し、図６に示す集計データ１９ｅにおいては、負荷の計測単位を図５（ａ）に示すノード単位（仮想ノード単位の場合もある）とし、負荷の平均値及び実測値をアクセス頻度とする。更に、平均値や標準偏差を算出する際の時間間隔を２０秒間（例えば、１０：１４：４０〜１０：１５：００）とする。図６の例は、１０：１５：００の時刻における上記算出値等である。また、ノード１５が許容する負荷の上限値をアクセス頻度の実測値「９０」｛条件（１）｝とし、標準偏差の閾値を「１５」｛条件（２）｝、偏差／標準偏差の閾値（乖離閾値ともいう）を「１．２」｛条件（３）｝とした際の例である。

この例では、条件（１）、（２）は満たさない。しかし、図６ではノード識別子の「Ｎｏｄｅ１」、「Ｎｏｄｅ３」、「Ｎｏｄｅ４」の偏差／標準偏差が「１．５」であり、閾値「１．２」を超えており、条件（３）を満たしているため、リバランス実行となる。

ここで、リバランス部１８ｅが実行するリバランスについて説明する。
リバランスは、負荷の高いノード１５の担当領域（担当のＩＤ空間）中の移譲領域（後述）を、負荷の低いノード１５へ移譲することで負荷の偏りを是正する。この時、負荷の乖離を是正するために、担当領域の必要な移譲領域のサイズを推定の上、その移譲領域のみを移譲する。但し、移譲領域は、担当領域の全てであったり、担当領域の１００％未満の割合の領域であったりする。

この移譲の方法は、次の（Ｔ１）〜（Ｔ４）のようになる。
（Ｔ１）全てのノード１５の中で最も負荷の高いノード１５の担当領域中の移譲領域を、最も低いノード１５に対して移譲していくものとする。

（Ｔ２）移譲領域の移譲は次の場合に終了するものとする。即ち、上記の条件（１）〜（３）の何れかを満たす要因となった偏差の全てが存在しなくなった場合（Ｔ２−１）、若しくは、その偏差の一部（予め指定の偏差解消割合を満たす偏差）を解消する移譲領域の移譲が決定した場合（Ｔ２−２）、若しくは、移譲領域の移譲を許容可能な移譲先ノード１５が存在しなくなった場合（Ｔ２−３）に終了するものとする。

（Ｔ３）移譲領域の移譲単位は、ノード単位や仮想ノード単位でも構わないし、仮想ノード単位でなく、仮想ノードの担当領域の半分を割譲する単位や、１つのハッシュ値によるデータのみの移譲単位でも構わない。

（Ｔ４）リバランス部１８ｅがリバランスを行う際に事前に実行するリバランス設計は、負荷の計測単位を上述したノード単位、仮想ノード単位及びデータ単位の内、どの単位で実行していたかで、可能なリバランス設計の粒度が、次に記載するように変わる。

即ち、ノード単位の負荷計測の場合、後述のリバランス粒度が粗い場合のみの方式となる。
仮想ノード単位の負荷計測の場合、後述のリバランス粒度が粗い場合及びリバランス粒度が中間（粗いと細かいとの中間）の場合の方式が可能となる。
データ単位の負荷計測の場合、後述のリバランス粒度が粗い場合、中間の場合及び細かい場合の３つ全ての方式が採用可能となる。

まず、リバランス粒度が粗い場合について説明する。
ノード１５全体における負荷の総量を、ノード１５全ての仮想ノードＩＤ数で割った仮想ノード当たりの平均負荷量「Ｌｖ＿ａｖｅ」を算出する。次に、ノード１５内において最も負荷の高いノード１５に着目し、このノード１５について解消すべき負荷量の偏差（この偏差の符号は＋であることから、プラス偏差ともいう）「Ｌｔａｒｇｅｔ」を算出する。次に、「Ｌｔａｒｇｅｔ」を「Ｌｖ＿ａｖｅ」で割った値を、解消すべき負荷量を解消するために必要な仮想ノードＩＤ数「Ｖｔａｒｇｅｔ＿ｎｕｍ」と考える。

このノード１５の仮想ノードの中から無作為に「Ｖｔａｒｇｅｔ＿ｎｕｍ」の仮想ノードＩＤを抽出する。この時、「Ｖｔａｒｇｅｔ＿ｎｕｍ」に小数が含まれる場合は、上記（Ｔ３）にその概要を記載したように、所定の仮想ノードＩＤの仮想ノードの担当領域を例えば小数に基づき割譲してもよい。これは、例えば「１．５」の場合、仮想ノード１つの担当領域の割譲と、仮想ノード２つ目の担当領域を半分にして割譲することである。更に、小数部分を切り捨てや切り上げ、又は四捨五入する等して整数個の仮想ノードＩＤを抽出してもよい。

上述したように、無作為に抽出された仮想ノードＩＤ「Ｖｔａｒｇｅｔ＿ｎｕｍ」の仮想ノードの担当領域中の移譲領域を移譲する際に、全てのノード１５の中で、最も負荷の低いノード１５から順に移譲していく。この際、移譲によって移譲先のノード１５の負荷が高まりすぎないように、許容可能な担当領域の移譲サイズを求める必要がある。

具体的には、移譲先のノード１５は、負荷量の偏差（この偏差の符号は−であることから、マイナス偏差ともいう）までは許容可能である。このため、負荷量のマイナス偏差を平均負荷量「Ｌｖ＿ａｖｅ」で割った値である負荷量解消に必要な仮想ノードＩＤ数「Ｖｇｅｔ＿ｎｕｍ１」が、許容可能な仮想ノードＩＤ数となる。

ここで、移譲先のノード１５の担当領域が許容量を越える場合は、次に負荷の低いノード１５について、同様の手順で許容可能な仮想ノードＩＤ数「Ｖｇｅｔ＿ｎｕｍ２」を求めていき、Ｖｔａｒｇｅｔ＿ｎｕｍ＜Ｖｇｅｔ＿ｎｕｍ１＋Ｖｇｅｔ＿ｎｕｍ２＋…となって、全ての必要な担当領域中の移譲領域の移譲が完了すれば終了となる。

以降同様の処理を、次に負荷の高いノードに対しても実行し、全ての負荷乖離の解消が必要なノード１５において、負荷の乖離を是正する担当領域中の移譲領域の移譲が完了するか、若しくは、移譲領域の移譲が可能なノードが存在しなくなるまで実行する。

次に、リバランス粒度が中間の場合について説明する。
基本的に上述したリバランス粒度が粗い場合と同じであるため、粗い場合との差分のみを説明する。
上述したようにノード１５の仮想ノードの中から無作為に仮想ノードを抽出するのではなく、解消すべき負荷量のプラス偏差を発生させている仮想ノードを選択的に抽出し、この抽出した仮想ノードの担当領域中の移譲領域を移譲するものとする。この場合、仮想ノード単位で負荷量を計測しているため、計測負荷は粒度が粗い場合よりも高くなるが、負荷の乖離を是正するための移譲領域の移譲を、より正確に行うことが可能となる。

次に、リバランス粒度が細かい場合について説明する。
基本的に上述したリバランス粒度が粗い場合と同じであるため、粗い場合との差分のみを説明する。

上述したようにノード１５の仮想ノードの中から無作為に仮想ノードを抽出するのではなく、解消すべき負荷量のプラス偏差を発生させているデータのハッシュ値を選択的に抽出し、そのハッシュ値のみを移譲するものとする。この場合、データ単位で負荷量を計測しているため、計測負荷はリバランス粒度が中間の場合よりも高くなるが、負荷の乖離を是正するための移譲領域の移譲を、より正確に行うことが可能となる。また、移譲の単位も最小化することができる。

リバランス部１８ｅは、リバランスの実行を行うことを決定した後は、負荷の偏りを是正するリバランス設計を考え、振分ＩＤ表１９ｂに反映し、全ノード１５に送付する。

例えば、図７（ａ）に示すように、リバランス前の振分ＩＤ表１９ｂは、仮想ノードＩＤ「Ｎｏｄｅ１−１」に、担当する振分ＩＤ空間の担当領域として「０〜１９９（Ｄ＝２００）」のデータサイズが対応付けられ、「Ｎｏｄｅ２−１」に「２００〜３９９（Ｄ＝２００）」、「Ｎｏｄｅ３−１」に「４００〜５９９（Ｄ＝２００）」、「Ｎｏｄｅ１−２」に「６００〜９９９（Ｄ＝４００）」のデータサイズが対応付けられているとする。

ここで、例えば図７（ａ）に示す「Ｎｏｄｅ１−２」の仮想ノードの担当領域「６００〜９９９（Ｄ＝４００）」を全て、他の仮想ノードＩＤ「Ｎｏｄｅ３＿２」の仮想ノードへ移譲するものとする。この場合、図７（ｂ）に示すように、仮想ノードＩＤ「Ｎｏｄｅ３＿２」の仮想ノードの担当領域が「６００〜９９９（Ｄ＝４００）」のサイズとなる。

また、図７（ａ）に示す「Ｎｏｄｅ１−２」の仮想ノードの担当領域「６００〜９９９（Ｄ＝４００）」の半分を、他の仮想ノードＩＤ「Ｎｏｄｅ３＿２」の仮想ノードへ移譲するものとする。この場合、図７（ｃ）に示すように、仮想ノードＩＤ「Ｎｏｄｅ１＿２」の仮想ノードの担当領域が「６００〜７９９（Ｄ＝２００）」のサイズとなり、仮想ノードＩＤ「Ｎｏｄｅ３＿２」の仮想ノードの担当領域が「８００〜９９９（Ｄ＝２００）」のサイズとなる。

＜第１実施形態の動作＞
次に、第１実施形態に係る分散システム１０において、ノード１５間の負荷の偏りを是正するリバランスを実行する際の動作（第１のリバランス動作）を、図８〜図１２を参照して説明する。

まず、リバランスを実行する前提条件について、図８を参照して説明する。図８に示すように、ハッシュ空間を３つのノードＡ〜Ｃの□示す仮想ノードＡ１〜Ａ６，Ｂ１〜Ｂ５，Ｃ１〜Ｃ５で分割し、各仮想ノードＡ１〜Ａ６，Ｂ１〜Ｂ５，Ｃ１〜Ｃ５の担当領域を決めて管理している。但し、Ａ〜ＣはノードＩＤであり、Ａ１〜Ａ６，Ｂ１〜Ｂ５，Ｃ１〜Ｃ５は仮想ノードＩＤであるとする。

例えば、仮想ノードＢ１が担当するハッシュ空間（担当領域）は、仮想ノードＢ１から時計回りに仮想ノードＡ１までの領域となり、この担当領域に存在するデータを担当仮想ノードＢ１が保持している。他の仮想ノードＡ１〜Ａ６，Ｂ２〜Ｂ５，Ｃ１〜Ｃ５においても同様である。

また、各仮想ノードＡ１〜Ａ６，Ｂ１〜Ｂ５，Ｃ１〜Ｃ５は、担当領域に負荷データを保持するが、本例では、○記号で示す負荷量が「１」の低負荷データ、◎記号で示す負荷量が「２」の中負荷データ、●記号で示す負荷量が「３」の高負荷データを、任意数保持するものとする。

例えば、仮想ノードＢ１は、高負荷データ●を３つ保持し、合計「９」の負荷データを保持している。仮想ノードＡ１であれば、高負荷データ●を２つ、中負荷データ◎を１つ保持し、合計「８」の負荷データを保持している。このように、他の仮想ノードＡ２〜Ａ６，Ｂ２〜Ｂ５，Ｃ１〜Ｃ５においても、負荷データを保持している。

このように各仮想ノードＡ１〜Ａ６，Ｂ１〜Ｂ５，Ｃ１〜Ｃ５が保持する負荷データの表を図９に示す。図９の負荷データ表は、最上段の行欄にノードＡ，Ｂ，Ｃを示し、最左列に上から順に仮想ノードＩＤの「１」〜「６」を示した。

但し、最上段行欄のノードＡは、担当領域に保持する負荷量が（４０）であり、偏差／標準偏差が「＋１．３９」で閾値「１．２」よりも大きく、高負荷であることを前提条件として示している。ノードＢは、負荷量が（２１）で、偏差／標準偏差が「−０．９３」で閾値「１．２」よりも小さく、中負荷であることを前提条件として示している。ノードＣは、負荷量が（２５）であり、偏差／標準偏差が「−０．４４」で閾値「１．２」よりも小さく、中負荷であることを前提条件として示している。

また、負荷データ表において、ノードＡの「１」の欄には、仮想ノードＡ１の負荷データを示し、本例では、高負荷データ●の負荷量を示す「高（３）」が２つと、中負荷データ◎の負荷量を示す「中（２）」が１つ示してある。この様態は、他のノードＡ〜Ｃの仮想ノードＡ２〜Ａ６，Ｂ１〜Ｂ５，Ｃ１〜Ｃ５の欄においても同様である。

また、図１０は各ノードＡ〜Ｃが保持する負荷量の偏差を表す棒グラフである。この棒グラフに示す各ノードＡ〜Ｃの総負荷量は「８６」、ノードＡ〜Ｃ当たりの平均負荷量は「２８．６」、標準偏差は「８．１７」、乖離閾値は「１．２」、仮想ノード数は「１６」、仮想ノード当たりの平均負荷量は「５．３７５」、ノードＡの偏差は「＋１１．４」、ノードＢの偏差は「−７．６」、ノードＣの偏差は「−３．６」である。

また、各ノードＡ〜Ｃの負荷量は、１つのノード（例えばＡ）の全ての仮想ノードの担当領域の負荷の和と見なすことができる。

このような前提条件において、各ノードＡ〜Ｃのリバランスを実行する際の動作を、図１１及び図１２に示すフローチャートを参照して説明する。

まず、図１１に示すステップＳ１において、所定のノード（Ａ〜Ｃの何れか）の分散システム負荷リバランス部１８ｅは、所定の周期で各ノードＡ〜Ｃから収集したノード負荷計測データ１９ｄに基づき、各ノードＡ〜Ｃの負荷の平均値及び標準偏差、偏差並びに偏差／標準偏差の算出を行う。

次に、ステップＳ２において、リバランス部１８ｅは、上記ステップＳ１での算出結果を集計データ１９ｅ（図６参照）として記憶部１９に記録する。

ステップＳ３において、リバランス部１８ｅは、上記ステップＳ２で記録したデータ１９ｅに基づき、上述した３つの条件（１）〜（３）の何れか１つを満たすか否かを判定する。この結果、満たさなければ（Ｎｏ）、リバランスの処理を終了する。

一方、その判定の結果、例えば、条件（３）のみを満たした（Ｙｅｓ）とする。この場合、ステップＳ４において、リバランス部１８ｅは、各ノードＡ〜Ｃの偏差／標準偏差と乖離閾値「１．２」とを比較することにより、図１０に示すように、ノードＡが高負荷ノード「＋１１．４」、ノードＢ、Ｃが中負荷ノード「−７．６」，「−３．６」であることを検知する。これによって、リバランス部１８ｅは、高負荷ノードＡの担当領域中の移譲領域を他ノードＢ，Ｃに移譲することで負荷の偏りを是正するリバランスの実行準備を行う。

この際、ステップＳ５において、リバランス部１８ｅは、移譲元ノードの担当領域中の移譲領域のサイズ（＝負荷量）を求める。高負荷ノードＡで解消すべき負荷の偏りは、ノードＡの偏差全てとした場合、「＋１１．４」である。この偏差を解消するために必要な仮想ノードの担当領域サイズは、偏差「＋１１．４」÷仮想ノード当たりの平均負荷量「５．３７５」で求めることができる。即ち、１１．４÷５．３７５＝２．１２であり、仮想ノードの２．１２個分の担当領域中の移譲領域を移譲する必要がある。

次に、ステップＳ６において、リバランス部１８ｅは、移譲元ノードＡの担当領域中の移譲領域を移譲するための、移譲先ノードＢ，Ｃの担当領域の許容可能なサイズを求める。移譲先ノードは最も負荷の低いノードＢから移譲を受け入れることとし、この移譲先ノードＢの許容可能な担当領域サイズは、偏差「−７．６」÷仮想ノード当たりの平均負荷量「５．３７５」より、仮想ノードの１．４１個分となる。また、移譲先ノードＢの許容可能な担当領域サイズは、偏差「−３．６」÷仮想ノード当たりの平均負荷量「５．３７５」より、仮想ノードの０．６７個分となる。

次に、図１２に示すステップＳ７において、リバランス部１８ｅは、移譲元ノードＡの移譲対象の担当領域、即ち担当領域中の移譲領域を移譲可能な、移譲先ノードＢ，Ｃが有るか否かを判定する。この判定は、移譲先ノードＢ，Ｃの担当領域の許容可能なサイズが、移譲元ノードＡの担当領域中の移譲領域を移譲可能であるか否かを検知して行う。この結果、移譲可能な移譲先ノードＢ，Ｃが無ければ（Ｎｏ）、リバランスの処理を終了する。

一方、移譲可能な移譲先ノードＢ，Ｃが有れば（Ｙｅｓ）、ステップＳ８において、リバランス部１８ｅは、移譲元ノードＡの担当領域中の移譲領域を、移譲先ノードＢへ移譲する。この移譲では、例えば、１．４１個分の担当領域の空きを有する移譲先ノードＢに、移譲元ノードＡから移譲対象が２．１２個分の担当領域が移譲されるので、２．１２−１．４１＝０．７１個分の仮想ノードが残ることになる。この場合は、仮想ノード単位での移譲である。

これを、図８に示すハッシュ空間においてデータ単位で移譲する場合に置き換えて説明する。例えば、移譲元ノードＡにおける仮想ノードＡ１の「８」の負荷データが、移譲先ノードＢにおける負荷量「２」の低負荷の仮想ノードＢ３へ移譲される。この場合、移譲元ノードＡは、１１．４−８＝３．４の負荷量が残ることになる。

この後、図１２に示すステップＳ９において、リバランス部１８ｅは、移譲元ノードＡの担当領域中の移譲領域の残りが有るか否かを判定する。この結果、残りが無ければ（Ｎｏ）、言い換えれば、移譲対象の担当領域が全て移譲完遂されていれば、リバランスの処理を終了する。

一方、上記ステップＳ９の判定で残り（上記の０．７１個分）が有れば（Ｙｅｓ）、ステップＳ１０において、リバランス部１８ｅは、移譲元ノードＡの残りの移譲領域が移譲可能な、移譲先ノードが有るか否かを判定する。この結果、移譲先ノードが無ければ（Ｎｏ）、リバランスの処理を終了する。

上記ステップＳ１０の判定の結果、残りの移譲領域が移譲可能な移譲先ノードが有れば（Ｙｅｓ）、ステップＳ１１において、リバランス部１８ｅは、移譲元ノードＡの残り（０．７１個分）の移譲領域を、上記ステップＳ９で存在が認められた移譲先ノードＣへ移譲する。この移譲により、移譲元ノードＡには、０．７１−０．６７＝０．０４個分が残る。

この後、上記ステップＳ９に戻って、リバランス部１８ｅは、移譲元ノードＡの担当領域中の移譲領域の残りが有るか否かを判定する。この場合、上記０．０４個分の残りが有るので（Ｙｅｓ）、ステップＳ１０において、リバランス部１８ｅは、移譲元ノードＡの残りの移譲領域が移譲可能な、移譲先ノードが有るか否かを判定する。この場合、ノードＢ，Ｃ以外に、移譲可能なノードは無いので（Ｎｏ）、リバランスの処理を終了する。ここで、リバランス処理は終了となるが、移譲元ノードＡには仮想ノードの０．０４個分の負荷しか残っていないので、ノードＡ〜Ｃ間の負荷の乖離が低減されたことになる。

但し、以上の内容では、移譲元ノードＡの移譲可能な負荷量を、平均負荷量からの差分（例えばノードＡでは「＋１１．４」）としたが、任意に定めてもよい。例えば、移譲可能な負荷量を「＋５」としてもよい。

＜第１実施形態の効果＞
以上説明した第１実施形態の分散システム１０は、通信サービスを利用する複数のクライアントマシン１１にネットワーク１２を介して接続されたロードバランサ１３によりクライアント１１からの情報が振り分けられる複数のノード１５を有して構成されている。

第１実施形態の特徴は、ノード１５にリバランス部１８ｅを備えたことである。このリバランス部１８ｅは、全ノード１５の負荷量の標準偏差、及び偏差／標準偏差を求める。次に、リバランス部１８ｅは、ノード１５の負荷が予め定められた上限値を超えたことを示す条件（１）、全ノード１５の負荷の標準偏差が予め定められた第１閾値を超えていることを示す条件（２）、ノード毎の偏差／標準偏差が予め定められた第２閾値を超えていることを示す条件（３）の何れか１つの条件を満たすか否かを判断する。満たすと判断された場合に、リバランス部１８ｅは、ノード１５が負荷を保持可能な担当領域のうち所定の負荷容量の移譲領域を、ノード１５間の負荷量の乖離が抑制されるように、負荷の高い移譲元ノード（例えばノードＡ）から負荷の低い移譲先ノード（例えばノードＢ）へ移譲する処理を行うようにした。なお、リバランスの条件として、上記の他、条件（１）〜（３）の内、何れか複数を満たすことを条件としてもよい。

これによって、上述した条件（１）〜（３）の何れか１つ又は何れか複数の条件を満たした場合に、ノードの担当領域中の所定の負荷容量の移譲領域を、負荷の高いノードから負荷の低いノードへ移譲するので、手間を掛けずに、ノード間の負荷量の乖離を低減することができる。従って、効率良くリバランスを行うことができる。

また、リバランス部１８ｅは、移譲元ノードＡの担当領域の移譲領域を移譲可能な負荷容量を有する移譲先ノードＢが有る場合に、当該担当領域を移譲先ノードＢへ移譲するようにした。

これによって、その移譲領域を移譲可能な負荷容量を有する移譲先ノードＢが有る場合にのみ、担当領域を移譲するので、リバランスを実行するか否かの判断を、手間を掛けずに行うことができる。

リバランス部１８ｅは、移譲元ノードＡの担当領域の移譲領域を移譲先ノードＢへ移譲する際に、当該移譲領域が全て移譲完遂されるか、当該移譲領域が移譲可能な移譲先ノードｂが存在しなくなるまで移譲を行うようにした。

これによって、ノード１５間の負荷量の乖離を無くす、又は低減することができる。

＜第２実施形態の構成＞
本発明の第２実施形態に係る分散システムについて説明する。第２実施形態の分散システムが、第１実施形態の分散システム１０と異なる点は、分散システム負荷リバランス部１８ｅが行うリバランス処理の違いにある。

第２実施形態の特徴は、リバランス部１８ｅが次の処理を行うようにした。即ち、分散システム１０の各ノード１５のリソースの総量（負荷の総量）が、使用リソース量（使用負荷量）に対して十分であるにも関わらず、使用リソース量に偏りが生じているとする。この際に、リバランス部１８ｅが、第１実施形態のように担当領域中の移譲領域を移譲する対象ノードや、該当ノード１５の適切な移譲サイズを指定することなく、各ノード１５が持つ仮想ノード数を、ノード１５毎の現状の負荷の状況に応じて、ノード１５毎に必要な負荷量とする仮想ノード数に再設定するリバランスを行うようにした。
この際、リバランス部１８ｅは、各ノード１５の仮想ノード数を、負荷の状況に合わせて下式（１）により算出し、この算出された各ノード１５の仮想ノード数に基づきリバランスする。

このリバランスにおいては、算出された仮想ノード数に基づき、各仮想ノードの振分ＩＤ空間の先頭から仮想ノードＩＤと振分ＩＤ空間の再マッピングを行う。再マッピングは、担当領域の総延長（総サイズ）を算出した仮想ノード数で除し、１仮想ノード当たりの振分ＩＤ空間サイズを求め、振分ＩＤ空間の先頭から新たな振分ＩＤ空間サイズ毎に、仮想ノードＩＤ毎の仮想ノード数を再設定していく。

リバランス後の仮想ノード数＝現状の仮想ノード数×(全ノードの負荷の平均値／該当ノードの負荷の実測値) …（式１）
但し、式（１）中の「該当ノードの負荷の実測値」は、現状の仮想ノードを有するノードの負荷の実測値である。また、式（１）はリバランス部１８ｅの図示せぬ記憶部に保持されるものとする。

第２実施形態のリバランス処理について具体的に説明する。
リバランス部１８ｅは、まず、自ノード１５が持つ仮想ノード数を再設定する。この再設定の処理を図１３（ａ）及び（ｂ）を参照して説明する。但し、図１３（ａ）及び（ｂ）に示す仮想ノードＩＤ「Ｎｏｄｅ１−１」，「Ｎｏｄｅ１−２」は、ノードＩＤ「Ｎｏｄｅ１」のノード１（図示せず）に従属する仮想ノード１−１，１−２（図示せず）に対応するものとする。他の仮想ノードＩＤにおいても同様であり、例えば、仮想ノードＩＤ「Ｎｏｄｅ５−１」，「Ｎｏｄｅ５−２」，「Ｎｏｄｅ５−３」は、ノードＩＤ「Ｎｏｄｅ５」のノード５（図示せず）に従属する仮想ノード５−１，５−２，５−３（図示せず）に対応するものとする。

図１３（ａ）に示す振分ＩＤ表１９ｂには、仮想ノードＩＤ「Ｎｏｄｅ１−１」に、担当する振分ＩＤ空間の担当領域として「０〜１９９（Ｄ＝２００）」のデータサイズが対応付けられ、「Ｎｏｄｅ１−２」に、「２００〜３９９（Ｄ＝２００）」のデータサイズが対応付けられている。他の仮想ノードＩＤにおいても図示する通りである。

更に、各ノード１〜５の仮想ノード数は、ノード１の仮想ノード数が２個、ノード２の仮想ノード数が１個、ノード３の仮想ノード数が１個、ノード４の仮想ノード数が２個、ノード５の仮想ノード数が２個である。

このような条件において、リバランス部１８ｅは、自ノード１〜５が持つ仮想ノード数を現状の負荷の状況に応じて、必要な負荷量に再設定する。以降、この再設定の処理について説明する。

まず、リバランス部１８ｅは、各ノード１〜５の仮想ノード数を変更する。例えば、各ノード１〜５の現状の仮想ノード数は、図１３（ａ）に示すように、ノード１が２個、ノード２が１個、ノード３が１個、ノード４が２個、ノード５が２個の合計８個である。これを、各ノード１〜５の負荷の現状に応じて、図１３（ｂ）に示すように、ノード１が１個、ノード２が２個、ノード３が２個、ノード４が２個、ノード５が３個の合計１０個に変更する。

この仮想ノード数の変更を行う場合に上記式（１）を用いる。仮想ノード数の変更は、例えば図１３（ａ）に示す各ノード１〜５の個数「２個、１個、１個、２個、２個」＝８個を、図１３（ｂ）に示す各ノード１〜５の個数「１個、２個、２個、２個、３個」＝１０個に変更することである。

図１３（ａ）の現状では、全ノード１〜５のハッシュ空間サイズ（担当領域のサイズ）は「０〜１５９９」の１６００であり、仮想ノード数は８個なので、仮想ノード当たりの担当領域のサイズＤは、１６００÷８＝２００である。このＤ＝２００の担当領域のサイズの内、該当ノード１の負荷の実測値は、例えば「８０」や「１５０」のようになる。このような全ノード１〜５の実測値から、全ノード１〜５の負荷の平均値が求められるので、その平均値及び実測値を上記式（１）に代入する。

例えば、仮想ノードＩＤ＝「Ｎｏｄｅ１−１」の振分ＩＤ空間の担当領域（サイズＤ＝２００）では負荷の実測値が「１４０」、「Ｎｏｄｅ１−２」では負荷の実測値が「１６０」であるとすると、ノード１の負荷の実測値は「３００」である。この際、全ノード１〜５の負荷の平均値が「１５０」とする。この場合、ノード１のリバランス後の仮想ノード数は、２×（１５０／３００）＝１となる。同様に、他のノード２〜５においてもリバランス後の仮想ノード数を求め、各ノード１〜５の仮想ノード数を、その求められた仮想ノード数に変更する。但し、式（１）に当て嵌めた計算結果が、１．６等の小数点を伴う場合、切り上げ、切り捨て、四捨五入とすることを予め決めておく。

次に、リバランス部１８ｅは、仮想ノード当たりのハッシュ空間サイズを変更する。図１３（ａ）に示す現状では、上述したように、仮想ノード当たりのハッシュ空間サイズＤは、１６００÷８＝２００である。

これを、上述した変更後の仮想ノード数＝１０個を用いると、仮想ノード当たりのハッシュ空間サイズは、１６００÷１０＝１６０となる。このハッシュ空間サイズを用いて、図１３（ｂ）に示すように、１個当たりの仮想ノードのハッシュ空間サイズＤを「１６０」とする。

次に、リバランス部１８ｅは、その変更後のハッシュ空間サイズＤ＝「１６０」の仮想ノードを、前述で変更した後の各ノード１〜５の仮想ノード数だけ割り振って行く。即ち、ノード１では変更後の仮想ノードが１個なので、図１３（ｂ）に示すように、ノード１において、変更後のハッシュ空間サイズＤ＝「１６０」の仮想ノード｛仮想ノードＩＤ「Ｎｏｄｅ１−１」｝が１個割り振られる。

同様に、ノード２では変更後の仮想ノードが２個なので、サイズＤ＝「１６０」の仮想ノード｛仮想ノードＩＤ「Ｎｏｄｅ２−１，Ｎｏｄｅ２−２」｝が２個割り振られる。以降、同様に図示するように、ノード３〜５まで変更後の仮想ノード２個〜３個が割り振られる。

＜第２実施形態の効果＞
以上説明した第２実施形態の分散システムの特徴は、ノード１５のリバランス部１８ｅが、上述した式（１）を保持する。更に、リバランス部１８ｅは、ノード１５毎の負荷の状況に応じた、現状の仮想ノード数、全ノード１５の負荷の平均値、当該現状の仮想ノードを有するノード１５の負荷の実測値を求め、これら求めた数値を式（１）に当て嵌めることにより、ノード１５毎に持つ仮想ノード数を算出する。そして、リバランス部１８ｅは、現状の仮想ノードの仮想ノード当たりの負荷容量を変更し、この変更後の負荷容量を有する仮想ノードが、算出された仮想ノード数だけ存在するように、該当ノード１５に割り当てるリバランスを行うようにした。

これによって、リバランス部１８ｅが、担当領域中の移譲領域を移譲する対象ノード１５や、該当ノード１５の適切な移譲サイズを指定することなく、各ノード１５が持つ仮想ノード数を、ノード１５毎の現状の負荷の状況に応じて、必要な負荷量とするための仮想ノード数とすることができる。つまり、自ノード１５の必要負荷量に適合したリバランスを行うことができる。

その他、具体的な構成について、本発明の主旨を逸脱しない範囲で適宜変更が可能である。

１０ 分散システム
１１ クライアントマシン
１２ ネットワーク
１３ ロードバランサ
１４ クラスタ
１５ ノード
１８ 制御部
１８ａ ノード識別子管理部
１８ｂ 振分部
１８ｃ 信号処理部
１８ｄ ノード負荷計測部
１８ｅ 分散システム負荷リバランス部
１９ 記憶部
１９ａ ノード識別子管理表
１９ｂ 振分ＩＤ表
１９ｃ データ
１９ｄ ノード負荷計測データ
１９ｅ 分散システム負荷集計データ
１９ｆ 呼制御状態フラグ

Claims (8)

1. 通信サービスを利用する複数のクライアントマシンからの情報がネットワークを介して振り分けられる複数のノードを有する分散システムであって、
   前記ノードは、
   前記ネットワークに接続された前記ネットワークに接続された全ノードの負荷量の標準偏差、及び偏差を標準偏差で除した値を求め、
   前記ノードの負荷が予め定められた上限値を超えたことを示す第１条件、前記全ノードの負荷の前記標準偏差が予め定められた第１閾値を超えていることを示す第２条件、前記ノード毎の前記偏差を標準偏差で除した値が予め定められた第２閾値を超えていることを示す第３条件の何れか１つ又は何れか複数の条件を満たす場合に、
   前記ノードが負荷を保持可能な担当領域のうち所定の負荷容量の移譲領域を、前記ノード間の負荷量の乖離が抑制されるように、負荷の高い移譲元ノードから負荷の低い移譲先ノードへ移譲する処理を行うリバランス部
   を備えることを特徴とする分散システム。
2. 前記リバランス部は、前記移譲元ノードの前記移譲領域を移譲可能な負荷容量を有する前記移譲先ノードが有る場合に、当該移譲領域を当該移譲先ノードへ移譲する
   ことを特徴とする請求項１に記載の分散システム。
3. 前記リバランス部は、前記移譲元ノードの前記移譲領域を前記移譲先ノードへ移譲する際に、当該移譲領域が全て移譲完遂されるか、当該移譲領域が移譲可能な移譲先ノードが存在しなくなるまで移譲を行う
   ことを特徴とする請求項１又は２に記載の分散システム。
4. 通信サービスを利用する複数のクライアントマシンからの情報がネットワークを介して振り分けられる複数のノードを有する分散システムであって、
   前記ノードは、記憶部に以下の数式（１）を記憶しており、
   
   仮想ノード数＝現状の仮想ノード数×(全ノードの負荷の平均値／現状の仮想ノードを有するノードの負荷の実測値)…数式（１）
   
   前記ノード毎の負荷の状況に応じて、現状の仮想ノード数、全ノードの負荷の平均値、当該現状の仮想ノードを有するノードの負荷の実測値を求め、これら求めた数値を前記数式（１）に当て嵌めることにより、前記ノード毎に持つ仮想ノード数を算出し、
   前記現状の仮想ノードの仮想ノード当たりの負荷容量を変更し、この変更後の負荷容量を有する仮想ノードが、前記算出された仮想ノード数だけ存在するように、該当ノードに仮想ノードを割り当てるリバランスを行うリバランス部
   を備えることを特徴とする分散システム。
5. 通信サービスを利用する複数のクライアントマシンからの情報がネットワークを介して振り分けられる複数のノードを有する負荷分散方法であって、
   前記ノードは、
   前記ネットワークに接続された前記ネットワークに接続された全ノードの負荷量の標準偏差、及び偏差を標準偏差で除した値を求めるステップと、
   前記ノードの負荷が予め定められた上限値を超えたことを示す第１条件、前記全ノードの負荷の前記標準偏差が予め定められた第１閾値を超えていることを示す第２条件、前記ノード毎の前記偏差を標準偏差で除した値が予め定められた第２閾値を超えていることを示す第３条件の何れか１つ又は何れか複数の条件を満たすか否かを判定するステップと、
   前記何れか１つ又は何れか複数の条件を満たす場合に、前記ノードが負荷を保持可能な担当領域のうち所定の負荷容量の移譲領域を、前記ノード間の負荷量の乖離が抑制されるように、負荷の高い移譲元ノードから負荷の低い移譲先ノードへ移譲する処理を行うステップと
   を実行することを特徴とする負荷分散方法。
6. 通信サービスを利用する複数のクライアントマシンからの情報がネットワークを介して振り分けられる複数のノードを有する負荷分散方法であって、
   前記ノードは、
   記憶部に以下の数式（１）を記憶しており、
   
   仮想ノード数＝現状の仮想ノード数×(全ノードの負荷の平均値／現状の仮想ノードを有するノードの負荷の実測値)…数式（１）
   
   前記ノード毎の負荷の状況に応じて、現状の仮想ノード数、全ノードの負荷の平均値、当該現状の仮想ノードを有するノードの負荷の実測値を求め、これら求めた数値を前記数式（１）に当て嵌めることにより、前記ノード毎に持つ仮想ノード数を算出するステップと、
   前記現状の仮想ノードの仮想ノード当たりの負荷容量を変更し、この変更後の負荷容量を有する仮想ノードが、前記算出された仮想ノード数だけ存在するように、該当ノードに仮想ノードを割り当てるリバランスを行うステップと
   を実行することを特徴とする負荷分散方法。
7. 通信サービスを利用する複数のクライアントマシンからの情報がネットワークを介して振り分けられる複数のノードを有する分散システムの当該ノードとしてのコンピュータを、
   前記ネットワークに接続された前記ネットワークに接続された全ノードの負荷量の標準偏差、及び偏差を標準偏差で除した値を求める手段、
   前記ノードの負荷が予め定められた上限値を超えたことを示す第１条件、前記全ノードの負荷の前記標準偏差が予め定められた第１閾値を超えていることを示す第２条件、前記ノード毎の前記偏差を標準偏差で除した値が予め定められた第２閾値を超えていることを示す第３条件の何れか１つ又は何れか複数の条件を満たすか否かを判定する手段、
   前記何れか１つ又は何れか複数の条件を満たす場合に、前記ノードが負荷を保持可能な担当領域のうち所定の負荷容量の移譲領域を、前記ノード間の負荷量の乖離が抑制されるように、負荷の高い移譲元ノードから負荷の低い移譲先ノードへ移譲する処理を行う手段
   として機能させるためのプログラム。
8. 通信サービスを利用する複数のクライアントマシンからの情報がネットワークを介して振り分けられる複数のノードを有する分散システムの当該ノードとして記憶部に以下の数式（１）を記憶しているコンピュータを、
   
   仮想ノード数＝現状の仮想ノード数×(全ノードの負荷の平均値／現状の仮想ノードを有するノードの負荷の実測値)…数式（１）
   
   前記ノード毎の負荷の状況に応じて、現状の仮想ノード数、全ノードの負荷の平均値、当該現状の仮想ノードを有するノードの負荷の実測値を求め、これら求めた数値を前記数式（１）に当て嵌めることにより、前記ノード毎に持つ仮想ノード数を算出する手段、
   前記現状の仮想ノードの仮想ノード当たりの負荷容量を変更し、この変更後の負荷容量を有する仮想ノードが、前記算出された仮想ノード数だけ存在するように、該当ノードに仮想ノードを割り当てるリバランスを行う手段
   として機能させるためのプログラム。

Images