JP2015162099A - サーバリソース管理装置 - Google Patents

Abstract

【課題】物理サーバ故障時に仮想サーバをＩＤ空間上に再配置する際に、諸元を超過する物理サーバの発生確率を抑制することが可能なように、物理サーバの配置台数を自動で定める。
【解決手段】サーバリソース管理装置４０は、物理サーバ７０の故障時に、故障物理サーバ７０を分割した仮想サーバ７０ａのデータを正常な物理サーバ７０が引受けた際に、正常な複数の物理サーバ７０の中から、物理サーバ７０の諸元を超過する物理サーバ７０が発生する確率に基づき、所定の確率を閾値として予め定めておき、上記故障時に、諸元を超過する物理サーバ７０が発生する確率が閾値未満となるように、仮想サーバ７０ａをＩＤ空間上に分散配置するために必要な物理サーバ７０数を求めるサーバ組込判定部４３と、必要な物理サーバ７０数に対して、クラスタ６０の現存の物理サーバ数が不足の際に、不足台数の物理サーバ７０を増設するサーバ組込処理部４４とを備える。
【選択図】 図１

Description

本発明は、協調してデータ処理を行うクラスタを構成する複数のサーバを管理するサーバリソース管理装置に関する。

近年、クラウドコンピューティングの隆盛に伴い、多量のデータの処理や保持を効率的に行うことが求められている。そこで、複数のサーバを協調動作させることにより効率的な処理を実現する分散処理技術が発展している。

分散処理を行う際には、処理対象（管理対象）のデータを、クラスタを構成する各サーバに振り分けておく必要がある。このとき、クラスタ全体での処理能力を高めるためには、各サーバが担当するデータ数（データ量）は平均化されていることが望ましい。

代表的なデータの振り分け手法として、各データのｋｅｙ（キー）をハッシュ関数にかけた値（以下、「ｈａｓｈ（ｋｅｙ）」と称する。）をサーバ数Ｎで割った余り、すなわち「ｈａｓｈ（ｋｅｙ） ｍｏｄ Ｎ」を番号として持つサーバにデータを振り分ける手法がある。この場合、各サーバに事前に「０」から「Ｎ−１」までの番号を割り当てていることが前提となる。このような振り分け手法を用いた場合、サーバを追加すると、Ｎの値が変化して、多くのデータについて、担当するサーバが変更になるため、担当するデータの再配置が必要になる。

そこで、サーバの追加に伴い担当するサーバが変更になるデータ数を約１／Ｎに抑える方法として、コンシステント・ハッシュ法［Consistent Hashing］（非特許文献１参照）を用いた振り分け手法がある。

このコンシステント・ハッシュ法を用いたデータ振り分け手法では、サーバとデータの双方にＩＤ（IDentifier）を割り当てる。これにより、サーバとデータとがＩＤ空間（コンシステント・ハッシュ空間）上に割り当てられる。そして、データのＩＤからＩＤ空間を時計回りに辿った場合に最初に出合ったサーバをそのデータの担当とする。

また、多量のデータの管理をクラスタ構成の分散処理システムで行う場合、あるサーバに障害が発生した場合でも他のサーバで処理を継続できるように、データの複製を保持することでデータ冗長化を行う方法がある。これは、コンシステント・ハッシュ法によるデータ管理手法を用いた分散処理システムにおいても同様である。

図７に示すように、コンシステント・ハッシュ法では、サーバ１〜４と、黒丸で表示したデータＡ〜Ｄとの双方にＩＤを割り当て、サーバ１〜４とデータＡ〜ＤとをＩＤ空間上に割り当てる。このデータＡ〜ＤのＩＤからＩＤ空間を時計回りに辿り最初に出合ったサーバをそのデータの担当として決定する。そして、ある規則に則り、ここでは、担当するサーバの更に時計回りの右隣（時計回りの一つ順方向）のサーバに複製データを担当させる。

例えば、図７においては、データＡはＩＤ空間上を時計回りに辿り最初に出合ったサーバ１が担当となり、この担当サーバ１の更に時計回りの右隣のサーバ２に複製データを担当させる。このように原本データと複製データを担当するサーバを決定することで、サーバに離脱があった場合でも、その複製データを所持するサーバが新しくデータを担当するサーバとなることで対応可能な利点がある。なお、複製データを複数保持する場合には、更に右隣のサーバ３に２個目の複製データを担当させることが可能である。

しかし、図７に示した手法では、激甚災害等が発生し、複数のサーバが同時にダウン（故障）した場合、原本データおよび複製データの両方を消失してしまう可能性がある。この場合、復旧には、別途のバックアップデータ等による処理が必要になる。この処理は、通常、ディスクからの吸出し作業になるため低速であり、サービスの一時停止等の弊害は免れない。また、バックアップデータは原本データと一致しているとは限らないため、復旧によってもデータが欠損するおそれがある。

そこで、激甚災害等で大規模故障が発生した場合でも、データを消失することなく処理を継続できるコンシステント・ハッシュ法を用いた分散処理システムとして、例えば特許文献１に記載の技術がある。この分散処理システムを、図８を参照して説明する。

図８に示す分散処理システムは、自地域の激甚災害が他地域に及ばないように点在するＫ種類（Ｋ＝３以上であり、本例ではＫ＝５）の地域であるデータセンタエリアに、物理的に配置される複数のサーバ（物理サーバともいう）を配置する。ここでは地域毎に△，○，□，■，●で示す４台の物理サーバが配置されるとする。この際、ＩＤ空間では、同じ地域のサーバが隣り合わないように分散配置し、上述のコンシステント・ハッシュ法で説明したように、原本データと複製データを担当するサーバを決定する。これによって自地域に激甚災害が発生して物理サーバ（例えば△）が故障しても、故障サーバの両隣りは他の地域のサーバ（○と●）なので、故障サーバの原本データを他のサーバ●で複製データとして守ることができる。

この分散処理システムでは、図８の（１）に示すように、新たな物理サーバ□を増設してＩＤ空間に挿入する場合、増設サーバ□の挿入位置は、両隣が他の地域のサーバ（△と●）となるように決定する。このように増設サーバ□をＩＤ空間上に挿入配置することで、ＩＤ空間上で同じ地域のサーバが隣り合わないようになっている。

しかし、このように物理サーバのみをＩＤ空間上に配置した構成では、例えば、サーバ△の原本データの複製データは時計回りの右隣のサーバ●が担当するので、サーバ△が故障すると、故障サーバ△のデータはサーバ●が引受けることになる。この際、各サーバがデータ量「８」のデータ（データ「８」という）を記憶しているとすると、故障サーバ△のデータ「８」を右隣のサーバ●が引受ける場合、引受サーバ●は、自サーバのデータ「８」と故障サーバ△のデータ「８」との双方（「８」＋「８」＝「１６」）を記憶しなければならない。

このため、サーバ故障時に引受サーバ●は、自データ「８」の２倍の記憶容量等の負荷（後述で説明）を持ってしまう欠点がある。この欠点はＩＤ空間上の全サーバについて同様である。但し、本明細書において、「負荷」とは、サーバがデータを記憶する際の負荷である記憶負荷と、サーバのデータ処理負荷との双方を含む概念である。

そこで、非特許文献２のように、地域毎に配置された１台の物理サーバを、複数の仮想サーバに分割し、複数の仮想サーバをＩＤ空間上に分散配置する構成がある。この分散処理システムの構成例を図９に示す。図９に示す分散処理システムにおいては、Ｋ種類の地域（データセンタエリア）は図８と同様である。異なる点は、地域毎に１台の物理サーバＰ１〜Ｐ５が配置されており、１台の物理サーバＰ１〜Ｐ５が４つの仮想サーバ△，○，□，■，●に分割されて、ＩＤ空間上に分散配置されていることにある。

このような分散配置の構成では、例えば、１台の物理サーバＰ１がデータ「８」を保持する場合、これを４分割した内の１台の仮想サーバ△の負荷は、「８」÷４＝「２」となる。この物理サーバＰ１が壊れると、各仮想サーバ△のデータ「２」を時計回り右隣の仮想サーバ●，□，■，○が引受ける。

各引受サーバ●，□，■，○は、各々１台しか、故障サーバ△の時計回り右隣に配置されていない。このため、４台の仮想サーバ●であれば、１台の引受仮想サーバ●の負荷は自サーバの「２」と引受データ「２」とで、合計「４」となり、他の３台の仮想サーバ●は「２」のままである。従って、各々の４台の仮想サーバ●，□，■，○を構成する物理サーバＰ２〜Ｐ５は、各々の負荷が、「４」＋「６」＝「１０」となる。

このように、故障した物理サーバＰ１のデータ「８」が、各物理サーバＰ２〜Ｐ５に分散して引き受けられるので、各引受先の物理サーバＰ２〜Ｐ５の記憶負荷は、各々「８」から「１０」に増えるだけである。これは、前述の図８に示した構成においてサーバ故障時の引受サーバ（物理サーバ）●の記憶負荷が「１６」となることと比べると、小さくなっている。つまり、図９の仮想サーバをＩＤ空間上に配置する構成では、故障した物理サーバＰ１の負荷が、仮想サーバを介して、各物理サーバＰ２〜Ｐ５に均等に分散されるので、各引受先の物理サーバの負荷が、図８の物理サーバのみの構成よりも、小さくて済むという利点がある。

特開２０１３−１８２５４６号公報

David Karger et al., "Consistent Hashing and Random Trees:Distributed Caching Protocols for Relieving Hot Spots on the World Wide Web", [online], 1997, ACM, [平成26年2月13日検索], インターネット<ＵＲＬ：http://www.akamai.com/dl/technical_publications/ConsistenHashingandRandomTreesDistributedCachingprotocolsforrelievingHotSpotsontheworldwideweb.pdf> 岩佐絵里子、他１名、「通信ノードにおけるコンシステント・ハッシュ法を用いた負荷分散とデータ複製方式」、電子情報通信学会論文誌Ｂ、一般社団法人電子情報通信学会、２０１４年１月１日、第Ｊ９７−Ｂ巻、ｐ．３１−４０

しかし、図９を参照して説明したように、故障サーバＰ１の負荷を、仮想サーバを介して、各物理サーバＰ２〜Ｐ５に均等に分散することは、次に説明するように確率的に発生することであり、均等に分散することを保証するものではない。

例えば、図９の構成では、４台の仮想サーバ△の時計回り右隣に仮想サーバ●が配置されているのは１つなので、仮想サーバ●が配置される確率は２５％である。これは、他の仮想サーバ□，■，○についても同様である。しかし、このように４台の仮想サーバ△の時計回り右隣に、他の仮想サーバ●，□，■，○が均等に分散配置されることは何も規定が無い。このため、４台の仮想サーバ△の時計回り右隣に、全て仮想サーバ●が配置されるといった確率１００％の場合もある。この場合、仮想サーバ△を構成する物理サーバＰ１が故障しても、故障した全ての仮想サーバ△のデータ「２」を、全て仮想サーバ●が引受ける（つまり、物理サーバＰ５が全て引受ける）ので、故障サーバＰ１の負荷は複数の物理サーバＰ２〜Ｐ５に分散されない。

このように、故障した物理サーバＰ１の負荷を、全て物理サーバＰ５が引受ける場合、物理サーバＰ５のデータ記憶容量は、自サーバＰ５のデータと、故障サーバＰ１のデータとを合計した２倍の容量が必要である。この場合、物理サーバの諸元（後述する）を、高くしなければならないので、物理サーバのコストが高くなってしまう。諸元とは、物理サーバのデータ記憶容量や、物理サーバがデータ処理可能な処理量等を表す性能（スペック）である。

しかし、実際には、各地域全体では物理サーバの台数は多いので、これを仮想サーバに分割してＩＤ空間上に配置した場合、各仮想サーバが極力分散されて配置される確率は高くなる。そこで、物理サーバの諸元は、上記のデータ記憶容量が２倍のような高いものではなく、故障サーバの負荷を引き受けることが可能なレベルに低く抑えてある。

ここで、図９の構成において、物理サーバ故障時に仮想サーバをＩＤ空間上に再配置した際に、故障サーバの負荷を引受サーバが最大で何台分引受けると、引受サーバの諸元を超過してしまうかを、図１０に示すグラフを参照して説明する。図１０は、故障サーバの負荷を引受ける物理サーバが、最大限に引受ける仮想サーバの台数（この台数を、「最大引受仮想サーバ数」という）を、確率で表した確率分布のグラフである。横軸が最大引受仮想サーバ数、縦軸が確率０％〜８０％である。以降の説明では、故障サーバの負荷を引受サーバが引受けることを、負荷を省略して、故障サーバを引受サーバが引受けると表現する。

また、図１０のグラフは、次の前提条件のもとに作成されている。即ち、前提条件として、図９と同構成の分散処理システムにおいて、物理サーバが全地域合わせて２０台あり、この各々が、１０台の仮想サーバに分割（２０×１０＝２００台）されている。この場合に、２００台の仮想サーバがＩＤ空間上に分散配置されている際の最大引受仮想サーバ数の確率分布を表すグラフである。

上記の前提条件の構成において、１台の物理サーバが故障した場合、１０台の仮想サーバが無くなり、この１０台の仮想サーバ（故障仮想サーバともいう）が時計回り右隣の仮想サーバに引受けられる。言い換えれば、故障した以外の１９台の物理サーバが、１０台の故障仮想サーバを引受ける。ここで、故障仮想サーバの時計回り右隣に、各地域の仮想サーバが均等に分散しているとする。この場合、１０台の故障仮想サーバを、１９台の物理サーバの各々が引受ける台数は、１０／１９＝０．５２６なので、最大引受仮想サーバ数はたかだか「１」となる。このことから、各物理サーバは、１台までの仮想サーバを引受けられるように、諸元が定められている。

しかし、故障仮想サーバの時計回り右隣に、各地域の仮想サーバが均等に分散していない場合、最大引受仮想サーバ数が「１」となる確率は、図１０に示すように８％位である。最大引受仮想サーバ数が「２」となる確率は７０％強、「３」となる確率は２０％、「４」となる確率は２％位である。従って、最大引受仮想サーバ数が「２」以上となる確率は９２％位となる。

ここで、各物理サーバは、上述したように諸元が定めてあるので、物理サーバが故障しても、引受先の物理サーバは、１台までしか故障仮想サーバを引受けることができない。２台以上では諸元を超えてしまい処理不能となる。しかし、上述したように、故障仮想サーバを最大２台以上引受ける確率は９２％位ある。つまり、９２％位の確率で諸元を超過する物理サーバが発生してしまう。

そこで、諸元を超過する物理サーバが発生する確率（発生確率ともいう）を２０％未満等のように、より低く抑制するためには、物理サーバを上記前提条件よりも、より多く配置して、より多くの仮想サーバが極力均等に分散されるようにする必要がある。しかし、諸元を超過する物理サーバの発生確率が、より低く抑制されるように、物理サーバを多く配置するためには、現状では、システムの運用者が経験や勘で行うしかないという問題がある。

本発明は、このような事情に鑑みてなされたものであり、物理サーバ故障時に仮想サーバをＩＤ空間上に再配置する際に、諸元を超過する物理サーバの発生確率を抑制することが可能なように、物理サーバの配置台数を自動で定めることができるサーバリソース管理装置を提供することを目的とする。

上記課題を解決するための手段として、請求項１に係る発明は、協調してデータ処理を行うクラスタを構成する複数の物理サーバの各々を、複数の仮想サーバに分割してコンシステント・ハッシュ法に基づくＩＤ空間上に分散配置し、端末機からのデータ処理要求に応じて、前記ＩＤ空間上の仮想サーバを介して前記物理サーバでデータ処理が行われるように管理するサーバリソース管理装置であって、前記物理サーバの故障時に、当該故障物理サーバを分割した仮想サーバのデータを正常な前記物理サーバが引受けた際に、当該正常な複数の物理サーバの中から、物理サーバの諸元を超過する物理サーバが発生する確率に基づき、所定の確率が閾値として予め定められており、前記物理サーバの故障時に、前記諸元を超過する物理サーバが発生する確率が前記閾値未満となるように、前記仮想サーバを前記ＩＤ空間上に分散配置するために必要な物理サーバ数を求めるサーバ組込判定部を備えることを特徴とするサーバリソース管理装置である。

この構成によれば、物理サーバの故障時に、諸元を超過する物理サーバが発生する確率が閾値未満（例えば２０％）となるように、仮想サーバをＩＤ空間上に分散配置するために必要な物理サーバ数を求めることができるので、クラスタに配置する物理サーバの配置台数を自動で定めることができる。従来は、諸元を超過する物理サーバの発生確率が２０％となるように、分散処理システムの運用者が経験や勘で行うしかなかった。

請求項２に係る発明は、前記クラスタを構成する複数の物理サーバは、自地域の災害が他地域に及ばないように点在する複数の地域に分散して配置されることを特徴とする請求項１に記載のサーバリソース管理装置である。

この構成によれば、物理サーバを、自地域の災害が他地域に及ばないように点在する複数の地域に分散して配置するので、何れかの地域に激甚災害が発生して物理サーバが故障しても、災害未発生の地域の物理サーバで故障物理サーバをバックアップすることができる。

請求項３に係る発明は、前記サーバ組込判定部は、前記物理サーバの最大引受仮想サーバ数をｍとし、前記諸元を超過する物理サーバが発生する確率をＰｍとして算出する際に、
前記複数の地域数をａ、
前記物理サーバの仮想化サーバ数をｂ、
前記物理サーバのデータ処理負荷量とデータ記憶負荷量とを合わせた総データ量をｈ、
前記物理サーバの諸元をｇ、
前記クラスタ内の現在の物理サーバの総台数をｅ、
下式（１）から算出され、前記地域の障害時に利用可能な物理サーバ数をｒ、
下式（２）から算出され、前記地域の障害時に使用不能となる仮想サーバ数をｎ
とした各パラメータａ，ｂ，ｈ，ｇ，ｅ，ｒ，ｎを、下式（３）に当て嵌めて算出する
ことを特徴とする請求項２に記載のサーバリソース管理装置である。

但し、式（３）は、下式（４）を条件式として定められ、下式（４）において、（ａ_Ｓ０，ａ_Ｓ１，…，ａ_Ｓｍ）は、前記物理サーバの１台当たりの仮想サーバの引受数が、（ｍ，ｍ−１，…，０）にそれぞれ対応する物理サーバ数を表し、下式（４）の条件を満たす全ての組合せとなっており、ｓ＝０…ｔとしている。

この構成によれば、諸元を超過する物理サーバが発生する確率を、数式（３）によって正確に求めることができる。従って、物理サーバの故障時に、諸元を超過する物理サーバが発生する確率が閾値未満（例えば２０％）となるように、仮想サーバを適正にＩＤ空間上に分散配置することができる。

請求項４に係る発明は、前記各パラメータａ，ｂ，ｈ，ｇ，ｅ，ｒ，ｎを記憶する記憶部と、前記各パラメータａ，ｂ，ｈ，ｇ，ｅ，ｒ，ｎを前記記憶部に設定する入力を行う入力部とを更に備え、前記サーバ組込判定部は、前記記憶部から各パラメータａ，ｂ，ｈ，ｇ，ｅ，ｒ，ｎを読み出して前記確率Ｐｍを算出することを特徴とする請求項３に記載のサーバリソース管理装置である。

この構成によれば、分散処理システムの運用者等の人が、各パラメータａ，ｂ，ｈ，ｇ，ｅ，ｒ，ｎを、分散処理システムの状況に合わせて適正に設定することができる。

請求項５に係る発明は、前記サーバ組込判定部は、前記式（３）で示される確率Ｐｍにおいて、ｍを１からｎまで一定数ずつ繰り上げた際に、前記確率Ｐｍが前記閾値未満となった際のｍをｚとし、このｚを下式（５）に当て嵌めて、前記必要な物理サーバ数ｅｌを算出することを特徴とする請求項３又は４に記載のサーバリソース管理装置である。

この構成によれば、サーバ組込判定部が、諸元を超過する物理サーバが発生する確率を、数式（３）を用いて正確に求めた後に、その確率が閾値未満となるように、仮想サーバをＩＤ空間上に分散配置するために必要な物理サーバ数を、数式（５）から正確に求めることができる。

請求項６に係る発明は、前記必要な物理サーバ数と、前記クラスタを構成する現存の物理サーバの数である現物理サーバ数とを比較し、当該現物理サーバ数が、前記必要な物理サーバ数に対して不足している場合に、当該不足台数の物理サーバを、前記クラスタに増設して配置するサーバ組込処理部を更に備えることを特徴とする請求項１又は５に記載のサーバリソース管理装置である。

この構成によれば、サーバ組込判定部で求められた必要な物理サーバ数から、現在、クラスタに配置されている物理サーバの不足台数を検出し、この不足台数の物理サーバを増設する処理を自動で行うことができる。

請求項７に係る発明は、前記サーバ組込処理部により前記クラスタに増設後の物理サーバが各々分割され、仮想サーバとして前記ＩＤ空間上に配置される際に、互いに隣合う仮想サーバが、異なる地域の物理サーバに属する配置となるように処理する処理部
を更に備えることを特徴とする請求項６に記載のサーバリソース管理装置である。

この構成によれば、ＩＤ空間上の隣同士の仮想サーバの属する地域が異なるので、一方の地域に障害が発生して物理サーバがダウンしても、このダウンした物理サーバに属する仮想サーバのデータを、他方の仮想サーバで複製データとして引受けることができる。従って、ダウンした仮想サーバのデータを、消失することなく複製データとして保護することができる。

本発明によれば、物理サーバ故障時に仮想サーバをＩＤ空間上に再配置する際に、諸元を超過する物理サーバの発生確率を抑制することが可能なように、物理サーバの配置台数を自動で定めることができるサーバリソース管理装置を提供することができる。

本発明の実施形態に係るサーバリソース管理装置を備える分散処理システムの構成を示すブロック図である。 本実施形態のサーバリソース管理装置が記憶するＩＤ空間管理情報の構成を示す図である。 本実施形態のサーバリソース管理装置が記憶する地域名情報の構成を示す図である。 本実施形態のサーバリソース管理装置が記憶するサーバ管理情報を示す図である。 全物理サーバの内、最大引受仮想サーバ数ｍ以上の仮想サーバを引受ける物理サーバが１台以上存在する確率Ｐｍの分布図である。 本実施形態の分散処理システムにおけるサーバ組込判定処理による物理サーバの組込処理の動作を説明するためのフローチャートである。 従来のコンシステント・ハッシュ法の説明図である。 特許文献１のコンシステント・ハッシュ法におけるＩＤ空間上の物理サーバの配置を示す図である。 非特許文献２のコンシステント・ハッシュ法におけるＩＤ空間上の仮想サーバの配置を示す図である。 故障サーバの負荷を引受ける物理サーバが、最大限に引受ける仮想サーバの最大引受仮想サーバ数を、確率で表した確率分布のグラフである。

以下、本発明の実施形態を、図面を参照して説明する。
＜実施形態の構成＞
図１は、本発明の実施形態に係るサーバリソース管理装置を備える分散処理システムの構成を示すブロック図である。
図１に示す分散処理システム１０は、負荷分散装置２０と、サーバリソース管理装置（単に、管理装置とも称す）４０と、クラスタ６０を構成する複数の物理サーバ７０を備えて構成され、インターネット等のネットワーク１００を介して複数のクライアントマシン２００と接続されている。

但し、物理サーバ７０は、前述で図９を参照して説明した非特許文献２の方式と同様に、１つの物理サーバ７０が複数の仮想サーバ７０ａに分割されて、ＩＤ空間上に分散配置される。この様態は、図９に示した構成と同様であるが、本実施形態では、各物理サーバＰ１〜Ｐ５が複数台ずつ配置され、各仮想サーバ△，○，□，■，●が、各物理サーバＰ１〜Ｐ５の台数よりも多い複数台ずつ配置される構成となる。なお、クラスタ６０の各物理サーバ７０は、図９に示したと同様に、自地域の激甚災害（大規模災害）が他地域に及ばないように点在するＫ種類（Ｋ＝３以上であり、本例ではＫ＝５）の地域のデータセンタエリアに分散して配置されているものとする。

図１の全体構成の基本的な動作について説明すると、クライアントマシン２００からのデータ処理リクエスト（データ処理要求）を、ネットワーク１００経由で負荷分散装置２０が受け取る。負荷分散装置２０は、データのＩＤ空間上のサーバ割当表（ＩＤ空間管理情報２２ａ）に基づいて、そのリクエストを、データ処理を行う複数の仮想サーバ７０ａの何れかに振り分ける。振り分けられた仮想サーバ７０ａを構成する物理サーバ７０は、そのリクエストの処理を行う。負荷分散装置２０に記憶されるＩＤ空間管理情報２２ａは、管理装置４０で管理されるＩＤ空間管理情報４２ａが基となっている。負荷分散装置２０は、ＩＤ空間管理情報２２ａを用いて物理サーバ７０を管理している。

負荷分散装置２０は、処理部２１と、記憶部２２と、通信部２３とを備えて構成されている。
記憶部２２は、情報を記憶する手段であり、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリ、ＨＤＤ（Hard Disk Drive）などによって構成される。記憶部２２には、管理装置４０から受信した、データのＩＤ空間上のサーバ割当表としてのＩＤ空間管理情報４２ａが、ＩＤ空間管理情報２２ａとして格納されている。

記憶部２２には、処理部２１の動作プログラムなども格納されている（図示せず）。

なお、負荷分散装置２０は、他に、負荷分散装置２０の運用者が情報を入力する入力部や、情報を表示する表示部などを備えていてもよい。

管理装置４０は、処理部４１と、記憶部４２と、サーバ組込判定部４３と、サーバ組込処理部４４と、入力部４５と、表示部４６と、通信部４７とを備えて構成されている。

管理装置４０は、仮想サーバの追加削除および物理サーバの割り当てを決定するコンピュータ装置である。なお、本実施形態のコンシステント・ハッシュ法では、前述した非特許文献２の方式と同様に、１つの物理サーバ７０が複数の仮想サーバ７０ａに分割されて、ＩＤ空間上に分散配置される。つまり、管理対象の複数のデータ、及び、データを管理してクラスタ６０を構成する各物理サーバ７０の複数の仮想サーバ７０ａがＩＤ空間上に割り振られる。

ＩＤ空間上においては、各仮想サーバ７０ａは、ＩＤ空間において自サーバから時計回り（所定方向回り）に次の仮想サーバ７０ａまでの間に位置するデータを管理（担当）する。この管理されるデータは、当該管理する仮想サーバ７０ａが故障（ダウンともいう）した際に、次の時計回りに位置する仮想サーバ７０ａに複製データとして引受けられて記憶されるようになっている。

処理部４１は、記憶部４２に格納された情報に基づいて演算処理を行うと共に、記憶部４２、サーバ組込判定部４３、サーバ組込処理部４４、入力部４５、表示部４６、通信部４７の各処理の連携処理を行う手段であり、例えばＣＰＵ（Central Processing Unit）によって構成される。

記憶部４２は、情報を記憶する手段であり、ＲＡＭやＲＯＭなどのメモリ、ＨＤＤなどによって構成される。記憶部４２には、ＩＤ空間管理情報４２ａ、地域名情報４２ｂ、サーバ管理情報４２ｃ、地域数４２ｄ、冗長数４２ｅ、パラメータ情報４２ｆが格納されている。なお、記憶部４２には、処理部４１の動作プログラムおよび後述する閾値なども格納されている（図示せず）。

ＩＤ空間管理情報４２ａは、管理対象のデータについて所定のハッシュ値変換を行って算出されたＩＤを用いて、そのデータを担当する仮想サーバ７０ａ及び当該仮想サーバ７０ａを構成する物理サーバ７０を管理する情報である。

ＩＤ空間管理情報４２ａは、図２に示すように、ＩＤ空間管理情報４２ａは、ＩＤ、仮想サーバの各カラムから構成され、ＩＤの値の大きさでソートされている。ＩＤは、ＩＤ空間におけるＩＤであり、仮想サーバ７０ａが管理を担当するデータの領域を特定するために格納される。

図２に示すサーバは、クラスタ６０を構成する物理サーバ７０を分割した仮想サーバ７０ａの識別子を表す。例えば、第１行目のＩＤの値が「００５６」の場合は、識別子が「００００」〜「００５６」の領域に属するデータを「仮想サーバａ」が担当することを示す。また、第２行目のＩＤの値が「０１７２」の場合は、１つ前の行のＩＤの値に１をプラスした「００５７」〜「０１７２」の識別子に属するデータを「仮想サーバｇ」が担当することを示す。

図３に示すように、地域名情報４２ｂは、地域ＩＤと、その地域ＩＤに対応する地域名との対応付けを管理する情報である。つまり、地域名情報４２ｂは、地域ＩＤ、地域名の各カラムから構成される。地域ＩＤは、所定の複数の物理的な地域の識別子を表す。地域名は、その行の地域ＩＤに対応する地域の名称を表す。

図４に示すように、サーバ管理情報４２ｃは、地域（地域ＩＤ）ごとに、当該地域に物理的に存在する全ての物理サーバ７０との対応付けを管理する情報である。つまり、サーバ管理情報４２ｃは、サーバ管理情報４２ｃは、地域ＩＤ、サーバの各カラムから構成される。地域ＩＤは、所定の複数の物理的な地域の識別子を表す。図４に示すサーバは、対応する地域ＩＤの地域に物理的に存在する物理サーバ７０の識別子を表す。なお、この物理サーバ７０には、まだクラスタ６０として使用されていないものも含まれている。

図１に示す地域数４２ｄは、管理装置４０の運用者によって予め設定された地域数（Ｋ）の情報である。
冗長数４２ｅは、運用者によって予め設定された冗長数（Ｍ）の情報である。冗長数（Ｍ）は、原本データと複製データの合計数である。
パラメータ情報４２ｆは、後述の各パラメータが集まった情報である。

入力部４５は、管理装置４０の運用者が情報を入力する手段であり、例えば、キーボードやマウスによって実現される。
表示部４６は、情報を表示する手段であり、例えば、ＬＣＤ（Liquid Crystal Display）によって実現される。
通信部４７は、外部装置との通信に用いられる通信インタフェースである。

サーバ組込判定部４３は、大規模障害発生等である地域の物理サーバ７０が故障した際に、諸元を超過する物理サーバ７０の発生確率を閾値（例えば２０％）未満に抑制しながら、仮想サーバ７０ａをＩＤ空間上に再配置することが可能な、物理サーバ７０の台数を求める計算（サーバ組込判定処理）を行う。以降簡単のため、故障した仮想サーバ７０ａのデータを、物理サーバ７０が引受けることを、データを省略して、故障した仮想サーバ７０ａを、物理サーバ７０が引受けると表現する。

サーバ組込判定処理の計算にはパラメータ情報４２ｆが用いられる。パラメータ情報４２ｆは、下記の各パラメータａ，ｂ，ｈ，ｇ，ｅ，ｒ，ｎ（単に、各パラメータとも表現する）から構成されている。なお、各パラメータは、運用者が入力部４５から任意に記憶部４２に設定可能となっている。但し、各パラメータの設定は、サーバ組込判定部４３の図示せぬ記憶部に行ってもよい。また、各パラメータの設定値を、システムに備わる状態監視機能によって随時変更してもよい。
ａ：分散システムの配備地域数
ｂ：各物理サーバの仮想化サーバ数
ｈ：対象サービスの総データ量
ｇ：物理サーバの諸元
ｅ：現在の物理サーバの総台数
ｒ：大規模障害時に利用可能（残存する）な物理サーバ数（台数）であり、次式（１）から算出される。

ｎ：大規模障害時に使用不能となる仮想サーバ数であり、次式（２）から算出される。

但し、総データ量ｈは、物理サーバ７０のデータ処理負荷量またはデータ記憶負荷量のいずれかを示す値が設定され、いずれを採用するかはシステム依存である。
また、上式（１）及び（２）、後述の式（５）において、上がカギ形状となった括弧は、括弧内の計算値の小数点以下を切り上げる天井関数であることを示す。

サーバ組込判定部４３は、各パラメータを用いて、次式（３）〜（５）の計算を行う。各式（１）〜（５）は予めプログラミングされ、サーバ組込判定部４３の図示せぬ記憶手段に格納されている。
まず、全物理サーバ７０の内、最大引受仮想サーバ数ｍ以上の仮想サーバ７０ａを引受ける物理サーバ７０が１台以上存在する確率（閾値）をＰｍとおくと、Ｐｍは次式（３）で求められる。

但し、（ａ_Ｓ０，ａ_Ｓ１，…，ａ_Ｓｍ）は、物理サーバ７０の１台当たりの仮想サーバ７０ａの引受数が、（ｍ，ｍ−１，…，０）にそれぞれ対応する物理サーバ数を表し、次式（４）の条件を満たす全ての組合せとする。なお、ｓ＝０…ｔである。式（４）は、式（３）の条件式である。

例えば、物理サーバ数ｅ＝「１３」、物理サーバ１台当たりの仮想サーバ数ｂ＝「５」とし、大規模障害で残存する物理サーバ数がｒ＝「１０」となった場合の上式（３）のＰ（ｍ）の分布図を図５に示す。

故障物理サーバ数は「３」なので、使用不能となる仮想サーバ数ｎ＝「１５」となり、このとき、諸元を超過する物理サーバ７０の発生確率Ｐｍを２０％未満に抑えられれば十分であると仮定する。この場合、大規模障害時に１台の物理サーバ７０に、最大引受仮想サーバ数ｍ＝「５」の故障した仮想サーバ７０ａが組み込まれる可能性を考慮する必要がある。このため、物理サーバ１台当たりの仮想サーバ数は、後述のように最大「１０」となる。

その最大「１０」と、最大引受仮想サーバ数ｍ＝「５」となることを、図５を参照して説明する。上記の仮定では、使用不能となる仮想サーバ数ｎ＝「１５」なので、図５の右側の奥に延びる軸上のｎ＝「１５」となる。この場合の確率Ｐｍ＝２０％未満は、縦軸上のＰｍ＝０．２未満なので、横軸上の最大引受仮想サーバ数ｍ＝「５」となる。従って、物理サーバ７０が自ら保持する仮想サーバのデータ数（＝仮想サーバ数）を「５」とすると、これに最大引受仮想サーバ数ｍの「５」が加えられるので、「５」＋「５」＝「１０」となる。

従って、自らが保持する仮想サーバ数「５」の２倍の「１０」が、障害時に、物理サーバ７０の１台当たりが保持する仮想サーバ７０ａのデータ数（＝仮想サーバ数）となる。このため、諸元を超過する物理サーバ７０の発生確率Ｐｍを２０％未満に抑えるためには、言い換えれば、障害時に残存する物理サーバ７０が８０％の確率で諸元を超過しないようにするためには、物理サーバ数を２倍以上にする必要がある。

ここで、障害時の故障物理サーバ７０を分割した仮想サーバ７０ａの負荷が、厳密に均等に分散される場合に求められる物理サーバ数は、故障仮想サーバ数ｎ＝「１５」を、残存物理サーバ数ｒ＝「１０」で割った値から求める。即ち、「１５」／「１０」＝「１．５」なので、これを切り上げて「２」となる。この「２」が物理サーバが引受ける引受仮想サーバ数となるので、この「２」に、自らの仮想サーバ数の「５」を足すと、「２」＋「５」＝「７」となる。この「７」が、上記の厳密に均等に分散される場合に必要な物理サーバ数である。

残存する物理サーバ７０が８０％の確率で諸元を超過しないようにするためには、物理サーバ数が「１０」台必要であり、この「１０」台を、上記の厳密に均等に分散される場合に必要な物理サーバ数の「７」と比較すると、「１０／７」（＝約１．５）倍が必要となる。

次に、上式（３）のＰｍにおいて、ｍを１からｎまで、１つずつなど徐々に繰り上げていった場合に、Ｐｍが閾値の例えば２０％を下回った際のｍをｚとする。このｚを次式（５）に当て嵌めて、分散処理システム１０に必要な物理サーバ数（必要物理サーバ数）ｅｌを求める。

つまり、物理サーバ７０の故障時に仮想サーバ７０ａをＩＤ空間上に再配置する際に、諸元を超過する物理サーバ７０の発生確率を２０％未満と抑制できるようにする必要物理サーバ数ｅｌを上式（５）の計算によって求める。

図１に示すサーバ組込処理部４４は、サーバ組込判定部４３で求められた必要物理サーバ数ｅｌと、現在の物理サーバの総台数（現物理サーバ数）ｅとを比較し、現物理サーバ数ｅが、必要物理サーバ数ｅｌに対して不足している場合に、その不足台数の物理サーバ７０を、クラスタ６０に増設して配置する。この増設配置は、何れの地域（データセンタエリア）に行ってもよい。

＜実施形態の動作＞
次に、本実施形態の分散処理システム１０におけるサーバ組込判定処理による物理サーバの組込処理の動作を、図６に示すフローチャートを参照して説明する。

図６に示すステップＳ１で、分散処理システム１０（図１参照）において、運用者が管理装置４０の入力部４５を操作して、サーバ組込判定に必要な各パラメータａ，ｂ，ｈ，ｇ，ｅ，ｒ，ｎを記憶部４２に設定する。

例えば、現在の物理サーバ数ｅ＝「１３」、物理サーバ１台当たりの仮想サーバ数ｂ＝「５」である場合に、大規模障害で残存する物理サーバ数ｒ＝「１０」とすると、使用不能となる仮想サーバ数ｎ＝「１５」となるといったように、各パラメータが設定される。

次に、ステップＳ２において、運用者は入力部４５から、サーバ組込判定部４３に、上記ステップＳ１で設定された各パラメータに基づき、大規模障害発生時の仮想サーバ７０ａのＩＤ空間上への再配置において、諸元を超過する物理サーバ７０の発生確率Ｐｍを例えば２０％未満に抑えるための閾値を設定する。つまり、閾値は、確率Ｐｍ＝２０％となる。

次に、ステップＳ３において、管理装置４０の処理部４１は、サーバ組込判定要求があるか否かを判定し、ある場合（Ｙｅｓ）はステップＳ４に進み、無い場合（Ｎｏ）はステップＳ３に戻る。なお、サーバ組込判定要求の契機は、例えば、運用者による管理装置４０の入力部４５の操作、図示せぬ他装置からのその要求のリクエストの受信、または、総データ量ｈの変動が一定値を超えた場合である。

ステップＳ４において、処理部４１はサーバ組込判定要求をサーバ組込判定部４３へ通知し、これによってサーバ組込判定部４３が、各パラメータ及び閾値を用いてサーバ組込判定処理を実行する。

この実行は、まず、ステップＳ５において、サーバ組込判定部４３が、上記ステップＳ１で設定された各パラメータを、上式（３）に当て嵌め、当該式（３）のＰｍにおいて、ｍを一定数（例えば１）ずつ繰り上げる。

次に、ステップＳ６において、サーバ組込判定部４３が、Ｐｍが閾値２０％を下回ったか否かを判定する。この判定結果、下回らなければ（Ｎｏ）となり、上記ステップＳ５に戻って、サーバ組込判定部４３が、ｍを更に１つ繰り上げる。一方、ステップＳ６の判定結果、Ｐｍが閾値の２０％を下回ったと判定された場合（Ｙｅｓ）は、ステップＳ７に進む。

ステップＳ７において、サーバ組込判定部４３は、Ｐｍが閾値の２０％を下回った時のｍをｚとし、このｚを上式（５）に当て嵌めて、分散処理システム１０の必要物理サーバ数ｅｌを求める。

次に、ステップＳ８において、サーバ組込処理部４４が、サーバ組込判定部４３で求められた必要物理サーバ数ｅｌと、現物理サーバ数ｅとを比較し、現物理サーバ数ｅが、必要物理サーバ数ｅｌよりも少ないか否かを判定する。

この判定結果、現物理サーバ数ｅが、必要物理サーバ数ｅｌよりも多いと判定されたとする。例えば、現物理サーバ数ｅ＝「１３」、必要物理サーバ数ｅｌ＝「１０」と判定されたとする。この場合、現物理サーバ数ｅ＝「１３」で、大規模障害発生時に、諸元を超過する物理サーバ７０の発生確率を閾値２０％未満に抑制しながら、仮想サーバ７０ａをＩＤ空間上に再配置することが可能となる。

従って、ステップＳ９において、サーバ組込処理部４４は、物理サーバ７０の追加配置は行わない。

一方、上記ステップＳ８の判定結果、現物理サーバ数ｅが、必要物理サーバ数ｅｌよりも少ないと判定されたとする。例えば、現物理サーバ数ｅ＝「１３」、必要物理サーバ数ｅｌ＝「１５」と判定されたとする。この場合、現物理サーバ数ｅが「２」台不足している。

従って、ステップＳ１０において、サーバ組込判定部４３は、その不足台数「２」台の物理サーバ７０を、クラスタ６０に追加配置する。これによって、現物理サーバ数ｅが「１５」となるので、大規模障害発生時に、諸元を超過する物理サーバ７０の発生確率を閾値２０％未満に抑制しながら、仮想サーバ７０ａをＩＤ空間上に再配置することが可能となる。

＜実施形態の効果＞
以上説明したように、本実施形態のサーバリソース管理装置４０は、協調してデータ処理を行うクラスタ６０を構成する複数の物理サーバ７０の各々を、複数の仮想サーバ７０ａに分割してコンシステント・ハッシュ法に基づくＩＤ空間上に分散配置し、端末機としてのクライアントマシン２００からのデータ処理要求に応じて、ＩＤ空間上の仮想サーバ７０ａを介して物理サーバ７０でデータ処理が行われるように管理する。

サーバリソース管理装置４０の本実施形態の特徴は、物理サーバ７０の故障時に、当該故障物理サーバ７０を分割した仮想サーバ７０ａのデータを正常な物理サーバ７０が引受けた際に、正常な複数の物理サーバ７０の中から、物理サーバ７０の諸元を超過する物理サーバ７０が発生する確率に基づき、所定の確率を閾値として予め定めておき、物理サーバ７０の故障時に、諸元を超過する物理サーバ７０が発生する確率が閾値未満となるように、仮想サーバ７０ａをＩＤ空間上に分散配置するために必要な物理サーバ７０数を求めるサーバ組込判定部４３を備える構成とした。

この構成によれば、物理サーバ７０の故障時に、諸元を超過する物理サーバ７０が発生する確率が閾値未満（例えば２０％）となるように、仮想サーバ７０ａをＩＤ空間上に分散配置するために必要な物理サーバ７０数を求めることができるので、クラスタ６０に配置する物理サーバ７０の配置台数を自動で定めることができる。従来は、諸元を超過する物理サーバ７０の発生確率が２０％となるように、分散処理システムの運用者が経験や勘で行うしかなかった。

また、クラスタ６０を構成する複数の物理サーバ７０は、自地域の災害が他地域に及ばないように点在する複数の地域に分散して配置されるようにした。
これによって、物理サーバ７０を、自地域の災害が他地域に及ばないように点在する複数の地域に分散して配置するので、何れかの地域に激甚災害が発生して物理サーバ７０が故障しても、災害未発生の地域の物理サーバ７０で故障物理サーバ７０をバックアップすることができる。

また、サーバ組込判定部４３は、物理サーバ７０の最大引受仮想サーバ数をｍとして、諸元を超過する物理サーバ７０が発生する確率をＰｍとして算出する際に、複数の地域数をａ、物理サーバ７０の仮想化サーバ数をｂ、物理サーバ７０のデータ処理負荷量とデータ記憶負荷量とを合わせた総データ量をｈ、物理サーバ７０の諸元をｇ、クラスタ６０内の現在の物理サーバ７０の総台数をｅ、上式（１）から算出され、地域の障害時に利用可能な物理サーバ７０数をｒ、上式（２）から算出され、地域の障害時に使用不能となる仮想サーバ７０ａ数をｎとした各パラメータａ，ｂ，ｈ，ｇ，ｅ，ｒ，ｎを、上式（３）に当て嵌めて算出するようにした。

これによって、諸元を超過する物理サーバ７０が発生する確率Ｐｍを、数式（３）によって正確に求めることができる。従って、物理サーバ７０の故障時に、諸元を超過する物理サーバ７０が発生する確率が閾値未満（例えば２０％）となるように、仮想サーバ７０ａを適正にＩＤ空間上に分散配置することができる。

また、各パラメータａ，ｂ，ｈ，ｇ，ｅ，ｒ，ｎを記憶する記憶部４２（又はサーバ組込判定部４３内の図示せぬ記憶部）と、各パラメータａ，ｂ，ｈ，ｇ，ｅ，ｒ，ｎを記憶部４２に設定する入力を行う入力部４５とを更に備え、サーバ組込判定部４３は、記憶部４２から各パラメータａ，ｂ，ｈ，ｇ，ｅ，ｒ，ｎを読み出して確率Ｐｍを算出するようにした。

これによって、分散処理システムの運用者等の人が、各パラメータａ，ｂ，ｈ，ｇ，ｅ，ｒ，ｎを、分散処理システムの状況に合わせて適正に設定することができる。

また、サーバ組込判定部４３は、上式（３）で示される確率Ｐｍにおいて、ｍを１からｎまで一定数ずつ繰り上げた際に、確率Ｐｍが閾値未満となった際のｍをｚとし、このｚを上式（５）に当て嵌めて、必要な物理サーバ７０数を算出するようにした。

これによって、サーバ組込判定部４３が、諸元を超過する物理サーバ７０が発生する確率を、数式（３）を用いて正確に求めた後に、その確率が閾値未満となるように、仮想サーバ７０ａをＩＤ空間上に分散配置するために必要な物理サーバ７０数を、数式（５）から正確に求めることができる。

また、必要な物理サーバ７０数と、クラスタ６０を構成する現存の物理サーバ７０である現物理サーバ７０数とを比較し、当該現物理サーバ７０数が、必要な物理サーバ７０数に対して不足している場合に、当該不足台数の物理サーバ７０を、クラスタ６０に増設して配置するサーバ組込処理部４４を更に備える構成とした。

この構成によれば、サーバ組込判定部４３で求められた必要な物理サーバ７０数から、現在、クラスタ６０に配置されている物理サーバ７０の不足台数を検出し、この不足台数の物理サーバ７０を増設する処理を自動で行うことができる。
＜実施形態の変形例＞
本実施形態の変形例は、上記のサーバ組込判定及び処理に応じた物理サーバ増設後に、ＩＤ空間上に配置される仮想サーバ７０ａを、互いに隣合う仮想サーバ７０ａが、異なる地域の物理サーバ７０に属する配置となるようにする。これは、処理部４１が、ＩＤ空間管理情報４２ａ（図２参照）、地域名情報４２ｂ（図３参照）及びサーバ管理情報４２ｃ（図４参照）にアクセスして行う。

例えば、物理サーバ７０の増設後が行われると、増設された物理サーバ７０が、サーバ管理情報４２ｃの地域ＩＤ「００」に物理サーバＢと対応付けて登録されている。処理部４１は、その登録された地域ＩＤ「００」と、同じ地域ＩＤ「００」の地域名を地域名情報４２ｂから検索することで、物理サーバＢが配置されたのは、データセンタエリアαであることが検索可能となる。

処理部４１は、物理サーバ７０の増設後に、ＩＤ空間上への仮想サーバ７０ａの再配置を行う際に、互いに隣合う仮想サーバ７０ａが、異なる地域の物理サーバ７０に属する配置となるように行う。例えば、ＩＤ空間上に、地域ＩＤ「００」の物理サーバＢに属する仮想サーバＢｂの時計回り右隣に、地域ＩＤ「０１」の物理サーバＨに属する仮想サーバＨｈが配置されるようにする。この際、仮想サーバＢｂの左隣には、仮想サーバＢｂの地域ＩＤ「００」とは異なる地域ＩＤに仮想サーバ７０ａが配置される。

この際に、例えばデータセンタエリアαに障害が発生して物理サーバＢがダウンしたとする。この場合、ＩＤ空間上において、ダウンした物理サーバＢに属する仮想サーバＢｂのデータが、当該仮想サーバＢｂの時計回り右隣の仮想サーバＨｈに引受けられる。仮想サーバＨｈは、障害が発生していない地域ＩＤのデータセンタエリアβの物理サーバＨに属するので、ダウンした仮想サーバＢｂのデータは、消失することなく複製データとして仮想サーバＨｈを介して物理サーバＨで引受けることができる。

このように隣接する仮想サーバ７０ａが、異なる地域に配置された物理サーバ７０に基づくものとする構成は、図８を参照した特許文献１の物理サーバの配置と同様の考え方で行ってもよい。即ち、少なくとも３つの地域にそれぞれ配置される物理サーバ７０に基づく、地域を異にする３つの仮想サーバ７０ａが、ＩＤ空間上に連続して配置されるようにする。

この場合、何れか１つの地域に大規模障害が発生して物理サーバ７０がダウンしても、ＩＤ空間上において、ダウンした物理サーバ７０に属する仮想サーバ７０ａのデータが、この時計回り右隣の仮想サーバ７０ａで引受けられる。この場合、両隣の仮想サーバ７０ａは互いに地域を異にするので、仮想サーバａがダウンしても、その両隣の仮想サーバ７０ａは異なる地域のものとなる。この後に、隣合わせとなった仮想サーバ７０ａの時計回りの左側の仮想サーバ７０ａがダウンしても、そのデータが時計回り右隣の仮想サーバ７０ａで引受けられる。このため、より安全に、ダウンした仮想サーバ７０ａのデータを、消失することなく複製データとして保護することができる。

この他、処理部４１が仮想サーバ７０ａに対して、次の配置処理を行うようにしてもよい。即ち、処理部４１が、地域の数をＫ（≧３）とした場合、Ｋが奇数のとき、ＩＤ空間における仮想サーバ７０ａの挿入位置の両側それぞれについて｛（Ｋ−１）／２｝台の仮想サーバ７０ａを特定する。また、Ｋが偶数のとき、ＩＤ空間における仮想サーバ７０ａの挿入位置の両側の一方について（Ｋ／２）台、他方について｛（Ｋ−２）／２｝台の仮想サーバ７０ａを特定する。この特定した仮想サーバ７０ａが、挿入位置の仮想サーバ７０ａと異なる地域の物理サーバ７０に基づくものとなるようにする。

このような構成によれば、ＩＤ空間における挿入先の「両隣」だけでなく「周囲Ｋ−１個」のサーバの属するデータセンタエリアを異ならせることで、ダウンした物理サーバ７０が保持していた原本データの複製データを保持している物理サーバ７０の数の期待値を、より大きくすることができる。

以上で本実施形態の説明を終えるが、本発明の態様はこれらに限定されるものではない。例えば、管理装置４０と負荷分散装置２０を同一のハードウエアに並存させる構成としてもよい。

また、負荷分散装置２０を使用せず、それぞれのクライアントマシン２００が管理装置４０から受信したＩＤ空間管理情報４２ａを保持して、ネットワーク１００経由で複数の仮想サーバ７０ａの何れかに直接アクセスするようにしてもよい。

また、地域として、データセンタエリアを単位とする場合を例にとって説明したが、データセンタエリアをさらに分割したものや都道府県等の別の単位を採用してもよい。また、本発明は、コンピュータを管理装置４０として機能させるためのプログラムとしても具現化可能である。その他、具体的な構成について、本発明の主旨を逸脱しない範囲で適宜変更が可能である。

１０ 分散処理システム
２０ 負荷分散装置
２１ 処理部
２２ 記憶部
２３ 通信部
４０ サーバリソース管理装置
４１ 処理部
４２ 記憶部
４２ａ ＩＤ空間管理情報
４２ｂ 地域名情報
４２ｃ サーバ管理情報
４２ｄ 地域数
４２ｅ 冗長数
４２ｆ 総データ量
４３ サーバ組込判定部
４４ サーバ組込処理部
４５ 入力部
４６ 表示部
４７ 通信部
６０ クラスタ
７０ 物理サーバ
７０ａ 仮想サーバ

Claims (7)

1. 協調してデータ処理を行うクラスタを構成する複数の物理サーバの各々を、複数の仮想サーバに分割してコンシステント・ハッシュ法に基づくＩＤ空間上に分散配置し、端末機からのデータ処理要求に応じて、前記ＩＤ空間上の仮想サーバを介して前記物理サーバでデータ処理が行われるように管理するサーバリソース管理装置であって、
   前記物理サーバの故障時に、当該故障物理サーバを分割した仮想サーバのデータを正常な前記物理サーバが引受けた際に、当該正常な複数の物理サーバの中から、物理サーバの諸元を超過する物理サーバが発生する確率に基づき、所定の確率が閾値として予め定められており、
   前記物理サーバの故障時に、前記諸元を超過する物理サーバが発生する確率が前記閾値未満となるように、前記仮想サーバを前記ＩＤ空間上に分散配置するために必要な物理サーバ数を求めるサーバ組込判定部
   を備えることを特徴とするサーバリソース管理装置。
2. 前記クラスタを構成する複数の物理サーバは、自地域の災害が他地域に及ばないように点在する複数の地域に分散して配置される
   ことを特徴とする請求項１に記載のサーバリソース管理装置。
3. 前記サーバ組込判定部は、前記物理サーバの最大引受仮想サーバ数をｍとし、前記諸元を超過する物理サーバが発生する確率をＰｍとして算出する際に、
   前記複数の地域数をａ、
   前記物理サーバの仮想化サーバ数をｂ、
   前記物理サーバのデータ処理負荷量とデータ記憶負荷量とを合わせた総データ量をｈ、
   前記物理サーバの諸元をｇ、
   前記クラスタ内の現在の物理サーバの総台数をｅ、
   下式（１）から算出され、前記地域の障害時に利用可能な物理サーバ数をｒ、
   下式（２）から算出され、前記地域の障害時に使用不能となる仮想サーバ数をｎ
   とした各パラメータａ，ｂ，ｈ，ｇ，ｅ，ｒ，ｎを、下式（３）に当て嵌めて算出する
   ことを特徴とする請求項２に記載のサーバリソース管理装置。
   

   

   

   

   但し、式（３）は、下式（４）を条件式として定められ、下式（４）において、（ａ_Ｓ０，ａ_Ｓ１，…，ａ_Ｓｍ）は、前記物理サーバの１台当たりの仮想サーバの引受数が、（ｍ，ｍ−１，…，０）にそれぞれ対応する物理サーバ数を表し、下式（４）の条件を満たす全ての組合せとなっており、ｓ＝０…ｔとしている。
   

   
4. 前記各パラメータａ，ｂ，ｈ，ｇ，ｅ，ｒ，ｎを記憶する記憶部と、
   前記各パラメータａ，ｂ，ｈ，ｇ，ｅ，ｒ，ｎを前記記憶部に設定する入力を行う入力部とを更に備え、
   前記サーバ組込判定部は、前記記憶部から各パラメータａ，ｂ，ｈ，ｇ，ｅ，ｒ，ｎを読み出して前記確率Ｐｍを算出する
   ことを特徴とする請求項３に記載のサーバリソース管理装置。
5. 前記サーバ組込判定部は、前記式（３）で示される確率Ｐｍにおいて、ｍを１からｎまで一定数ずつ繰り上げた際に、前記確率Ｐｍが前記閾値未満となった際のｍをｚとし、このｚを下式（５）に当て嵌めて、前記必要な物理サーバ数ｅｌを算出する
   ことを特徴とする請求項３又は４に記載のサーバリソース管理装置。
   

   
6. 前記必要な物理サーバ数と、前記クラスタを構成する現存の物理サーバの数である現物理サーバ数とを比較し、当該現物理サーバ数が、前記必要な物理サーバ数に対して不足している場合に、当該不足台数の物理サーバを、前記クラスタに増設して配置するサーバ組込処理部
   を更に備えることを特徴とする請求項１又は５に記載のサーバリソース管理装置。
7. 前記サーバ組込処理部により前記クラスタに増設後の物理サーバが各々分割され、仮想サーバとして前記ＩＤ空間上に配置される際に、互いに隣合う仮想サーバが、異なる地域の物理サーバに属する配置となるように処理する処理部
   を更に備えることを特徴とする請求項６に記載のサーバリソース管理装置。

Images