JP2015138425A - システムの管理サーバ及び制御方法 - Google Patents

Abstract

【課題】複数のデータセンタが提供する仮想サーバを用いて構築されたシステムにおいて、仮想サーバのスケールアウトによりネットワークボトルネックが発生することを回避する。【解決手段】データセンタ１０２、１０３を跨って構築されたサーバシステム１０４を監視する統合管理サーバ１２５は、サーバシステムが使用するデータセンタ間のネットワーク１１７、１１８の使用量を監視し、監視結果に基づきサーバのスケールアウト実行後のネットワーク使用量の予測値を算出する。そして、その予測値に応じてデータセンタ間のネットワークの設定を変更する。【選択図】図１

Description

本発明は、データセンタを跨って構築されたシステムの監視及び制御を行う装置及び方法に関わる。

大規模なWebシステムを中心として、スケールアウト型のサーバシステムが普及している。スケールアウト型のサーバシステムでは、システムの負荷を監視し、システムへの負荷が増加した場合に、構成変更指示によりサーバを追加し、負荷を分散させることにより、ボトルネックを解消することができる。

しかし、このようなスケールアウト型のサーバシステムでは、直接負荷が増大しているサーバのスケールアウトを実施しても、２次的に他の部分がボトルネックとなり、サーバシステムの性能が改善しない問題があった。

そのため、特許文献１では、サーバ負荷の監視結果を元に２次的なボトルネックを予測する技術が開示されている。

特開2010-237901

しかし、特許文献1では、監視制御サーバが予測する２次的なボトルネックの発生箇所はサーバに限られている。複数のデータセンタが提供するリソースやソフトウェアなどのコンポーネントを利用して構築されたサーバシステムでは、データセンタ間のネットワークが２次的なボトルネックとなる可能性があるが、特許文献１では考慮されていない。また、予測した２次的なボトルネックを解消する手段については言及されていない。

本発明の目的は、データセンタを跨って構築されたサーバシステムにおいて、サーバのスケールアウトに伴うネットワークのボトルネックを予測し解消する手段を提供することにある。

上記目的を達成するため、本発明では、データセンタを跨って構築されたサーバシステムの管理サーバは、サーバシステムが使用するデータセンタ間のネットワークの使用量を監視し、監視結果に基づきサーバのスケールアウト実行後のネットワーク使用量の予測値を算出する。そして、その予測値に応じてデータセンタ間のネットワークの設定を変更する。スケールアウトを実行したサーバシステムが使用しているネットワークの空き帯域が十分ある場合は、そのサーバシステムの通信に対して割り当てる帯域を増加する。空き帯域が不足している場合は、そのサーバシステムの通信を他のネットワークで実行するよう経路を切り替える。

また、管理サーバは、サーバのスケールインの実行後のネットワーク使用量の予測値を算出し、その予測値に応じてデータセンタ間のネットワークの設定を変更する。スケールインを実行したサーバシステムの通信に割り当てるネットワークの帯域を減少するか、使用するネットワークを切り替える。

本発明によれば、サーバのスケールアウトに伴うネットワークのボトルネックを解消することが可能となる。

システムの概略構成を表すコンポーネント図である。 統合運用管理が動作する計算機の図である。 統合運用管理部のコンポーネント図である。 構成管理テーブルの一例である。 性能管理テーブルの一例である。 データセンタ間接続関係管理テーブルの一例である。 構成変更手段管理テーブルの一例である。 スケールアウト時の構成変更手順を示すフローチャートである。 スケールイン時の構成変更手順を示すフローチャートである。

以下、本発明に係るシステム構成変更方式の実施形態について図面を用いて説明する。

図１は、本実施例におけるシステムの一実施形態を表す概略構成図である。本実施例では、クラウドサービスを提供するデータセンタ（DC）A 102とデータセンタ（DC）B103のリソースやアプリケーションを利用してシステムが構築される。

データセンタA 102とデータセンタB 103は、データセンタ内のハードウェア及びソフトウェアを監視・制御する運用管理部(122, 124)を持ち、それらがネットワーク123を介して統合管理サーバ125の統合運用管理部101から制御される。図１では、統合運用管理部101をデータセンタA 102及び、データセンタB 103の外の統合管理サーバ125に配備する構成を示しているが、データセンタA 101に配備されても、もしくは、データセンタB 102に配備されても構わない。

データセンタA 102とデータセンタB 103の間は、２つの物理的なネットワーク（117, 118）により接続されている。これらのネットワークは、ネットワーク装置116とネットワーク装置121とを接続する物理回線である。データセンタB 121では、ネットワーク117, 112の帯域を制御するために、それぞれのネットワークに対して、帯域制御装置119 及び、120を持つ。これらの帯域制御装置119, 120は、運用管理部124から制御され、また、ネットワークの利用量も運用管理部124により監視される。ネットワーク117、及び、ネットワーク118のいずれのネットワークを用いて通信するのかは、システム毎に配備された仮想ルータが決定する。

ネットワーク装置116及び121の各々には、物理的なサーバ装置113, 115が接続されている。仮想化装置112, 114により、サーバ装置113, 115の各リソースを用いた仮想環境が提供される。システム104は、これらの仮想環境上に構築されるシステムの一例である。本システムでは、データセンタB 103の仮想環境上に、コンポーネントとしてロードバランサ107とWebサーバ106a〜cが配備される。Webサーバ106a〜cは、データセンタA 102の仮想環境上にコンポーネントとして配置されるデータベースサーバ105に接続している。また、データセンタB 103には、システム104のデータセンタB 103内でのネットワーク経路を制御する仮想ルータ111が配備されている。

同様に、システム104のデータセンタA 102内の仮想環境上には、コンポーネントとして、データセンタA 102でのネットワーク経路を制御する仮想ルータ109が配備されている。ルータ121及び、ルータ116では、あらかじめ、仮想ルータ111、及び、仮想ルータ109での経路情報の変更の設定により、ネットワークA 117 もしくは、ネットワークB 118への経路が切り替えられるように、ネットワークが設定されている。

図２は、統合管理サーバ125及び、運用管理部122 124が動作する計算機システムの構成を表した図である。本計算機システムでは、バス209を通じてCPU201、メモリ202、通信インタフェース204、入出力装置205が接続している。統合運用管理部101、運用管理部122、124を実現するプログラムは、外部記憶装置207に記憶され、入出力装置205により、バス209を介して、メモリ202に読み込まれ、CPU201で実行される。統合運用管理部101と運用管理部122の通信は、ネットワーク123により、通信インタフェース204を用いて実現される。

図３は、統合運用管理部101及び、統合運用管理部により制御される運用管理部103のコンポーネント図である。統合運用管理部101は、監視対象となるシステムの構成を構成管理テーブル304にて管理する。監視部301では、構成管理テーブル304の情報を元に、管理対象システムの監視を監視部301で行い、監視した情報を性能管理テーブル305に記録する。

ボトルネック判定部302は、性能管理テーブル305に記録された性能データ、データセンタ間を接続するネットワーク情報を記録したデータセンタ間接続関係管理テーブル306、選択可能な構成変更手段を管理する構成変更手段管理テーブル307を元に、必要構成変更方法を選択する。構成変更部303では、ボトルネック判定部302により選択された構成変更を各データセンタに伝え、構成変更を実施する。

なお、統合運用管理部101での監視部301、及び、構成変更部303では、各データセンタに対する監視、及び、制御は、各データセンタに配備されている運用管理部103の監視部310、構成変更部311を介して実現される。また、運用管理部103では、サーバの負荷に応じた構成変更は、サーバ構成変更部312により実現される。サーバ構成変更部312は、サーバの負荷に応じて、あらかじめ設定された範囲で、あらかじめ設定された閾値に基づいて、登録されたサーバの台数の増減を実施する。このようなサーバのスケールアウト及びスケールインに関する技術は、例えば、特開2010-237901に開示されている。

図４は、構成管理テーブル304の一例である。本テーブルは、システムを識別するシステム名を示す「システム名」欄401、このシステムを構成するデータセンタA及びデータセンタBのコンポーネントを示す「DC A」欄403及び「DC B」欄404、それらを接続するネットワークの識別子を示す「NW」欄405と、このシステムの通信に対して割り当てられた帯域幅を示す「割当帯域」欄406により構成される。

図５は、性能管理テーブル305の一例である。本テーブルは、システムを識別するシステム名を示す「システム名」欄502、このシステムで利用するネットワークの識別子を示す「NW」欄503、そのネットワークを監視し取得したスループットの平均値を示す「平均値」欄504、スループットの最大値を示す「最大値」欄505等により構成される。

図６は、データセンタ間接続関係管理テーブル306の一例である。本テーブルは、ネットワークの識別子を示す「NW」欄602、ネットワークの接続先のデータセンタを示す「データセンタ」欄603、ネットワークの最大の帯域を示す「最大帯域」欄604、ネットワークの未割当の帯域を示す「未割当待機」欄605、通常の遅延時間を示す「遅延」欄606、ネットワークの利用コストを示す「コスト」欄607から構成される。

図７は、構成変更手段管理テーブル307の一例である。本テーブルでは、「ボトルネック箇所」欄702で示されるボトルネック発生箇所に対して、取り得る構成変更手段を示す「構成変更」欄703より構成される。

図８は、Webサーバ106のスケールアウトが実施される場合の処理手順を示したフローチャートである。本フローチャートは、サーバ構成変更部312によりサーバのスケールアウトが実現された場合に、通信部309を通じて統合運用管理部101へ通知され、ボトルネック判定部302により実行される。

ステップ801で、ボトルネック判定部302は、Webサーバ106のスケールアウト後のネットワークの使用量を見積もる。本見積もりは、例えば、性能管理テーブル305から、現在使用しているネットワークの平均使用量(欄504)を取得し、構成管理テーブル304のデータセンタA及びデータセンタBのコンポーネントを参照し、増加するWebサーバ106の台数の割合分だけ、平均使用量を増加させることにより求められる。

次に、ステップ802により、ステップ801で求めたネットワーク使用量が、現在使用しているネットワークの想定する使用量に収まるのかを判定する。これは、ステップ801で求めた、ネットワーク使用量の見積値と、構成管理テーブル304の、「割当帯域」欄406の値とを比較することで求まる。ネットワーク使用量の見積値が「割当帯域」欄406の値以下の場合、現在のネットワークにて帯域が足りるので、本フローは終了となる。
ネットワーク使用量の見積値が「割当帯域」欄406の値よりも大きい場合は、ネットワークの帯域が不足することになるので、ステップ803に進み、現在のネットワークで帯域が増強可能かを判定する。これは、利用しているネットワークに対する現在の帯域を表す構成管理テーブル304の「割当帯域」欄406の値と、利用しているネットワークに対する最大拡張可能範囲を示すデータセンタ間接続関係管理テーブル306の「未割当帯域」欄605の値とを比較することにより判定することができる。

「未割当帯域」欄605の値が「割当帯域」欄406の値以上の場合、帯域を増強することが可能なので、ステップ805に進む。ステップ805で、構成変更部303は、システム104の通信に対して割り当てるネットワークの帯域を、ステップ801で求めた見積値に応じて所定の量だけ帯域を増加させる。ボトルネック判定部は、構成管理テーブル304の「割当帯域」欄406を増加させた帯域の値で更新する。

ステップ803において、「未割当帯域」欄605の値が「割当帯域」欄406の値よりも小さい場合、帯域を増強させることができないので、ステップ804に進む。ステップ804では、利用するネットワークを別のネットワークに切り替えることで帯域が増強可能かを判定する。本判定では、データセンタ間接続関係テーブル306より、システムAが使用可能なネットワークを検索し、そのネットワークの未割当の帯域を表す「未割当帯域」欄605の値が、ネットワーク使用量の見積値よりも多い場合に切替可能とする。もし、切替可能と判定される場合は、ステップ806へ進み、構成変更部303により、それぞれのデータセンタに配備されている仮想ルータ109、110の経路設定を変更することにより、使用する経路の切替を実施する。

なお、ステップ804では、ネットワークの帯域のみで切替可能か否かを判定しているが、ここで、ユーザからの必要な遅延時間や、ネットワークの使用にコストが発生する場合では、許容できる最大遅延時間やコストなどの値を受け取り、これら複数のパラメータを充足するネットワークを選定することも考えられる。

以上の構成及び処理により、サーバのスケールアウトに伴うネットワークのボトルネックを解消することが可能となる。

図９は、サーバのスケールインが実施される場合の処理手順を示したフローチャートである。本フローチャートは、サーバ構成変更部312により、稼働するWebサーバ106の数が削減されるスケールインが実行された場合に、通信部309を通じて統合運用管理部101へ通知され、ボトルネック判定部302により実行される。

ステップ901で、ボトルネック判定部302は、Webサーバ106のスケールイン後のネットワークの使用量を見積もる。この見積もりは、図８のフローチャートのステップ801と同様に、減少するWebサーバ106の台数の割合分だけ、平均使用量を減少させることにより求められる。

ステップ902で、ボトルネック判定部302は、データセンタAとデータセンタBを接続する複数のネットワークのなかで、優先ネットワークとして設定されているネットワークがあるか否かを判定する。スケールインが実行された場合はネットワークの使用量が減少するので、データセンタ間を接続する複数のネットワークのなかの一部のネットワークに集約して通信を行うことが可能になる。このような場合に、集約先のネットワークとして設定されているのが優先ネットワークである。どのネットワークが優先ネットワークであるかは予め設定されているものとする。

ステップ902で、ボトルネック判定部302は、優先ネットワークとして設定されているネットワークが存在した場合、その優先ネットワークの空き帯域は十分か否かを判定する。具体的には、構成管理テーブル304の「割当帯域」欄406を参照し、優先ネットワークとして設定されていないネットワークに割り当てられている帯域の合計値を算出する。また、データセンタ間接続関係テーブル306の「未割当帯域」欄605を参照し、優先ネットワークの未割当の帯域の値を取得する。

未割当の帯域の値が優先ネットワーク以外のネットワークに割り当てられている合計値以上の場合、優先ネットワークの空き帯域は十分であると判定して、ステップ905へ進む。ステップ905では、構成変更部303がそれぞれのデータセンタに配備されている仮想ルータ109、110の経路設定を変更することにより、使用する経路の切り替えを実行する。ここでは、優先ネットワーク以外で実行されているシステムの通信を、優先ネットワークで実行するように経路を切り替える。

未割当の帯域の値が優先ネットワーク以外のネットワークに割り当てられている合計値よりも小さい場合、優先ネットワークの空き帯域は十分でないと判定して、ステップ904へ進む。ステップ904では、ボトルネック判定部302は、削減されたシステム104が使用しているネットワークの帯域が削減可能かを判定する。ここで、システム104に割り当てられている帯域の最小値が予め設定されているものとする。

ステップ901で求めたネットワーク使用量の見積値がこの最小値以上の場合は、ボトルネック判定部302は、システム104が使用しているネットワークの帯域を削減可能と判定して、ステップ905へ進む。ステップ905で、構成変更部303は、システム104の通信に対して割り当てるネットワークの帯域を、見積値に応じて所定の量だけ減少させる。そして、ボトルネック判定部302は、構成管理テーブル304の「割当帯域」欄406を減少させた帯域の値で更新する。

ステップ901で求めたネットワーク使用量の見積値がこの最小値よりも小さい場合は、ボトルネック判定部302は、システム104が使用しているネットワークの帯域を削減不可能と判定して、処理を終了する。

以上の構成及び処理により、サーバのスケールインの後にネットワークリソースが過剰に使用されることを防ぐことができる。

Claims (8)

1. 第１及び第２のデータセンタが提供する複数の仮想サーバを用いて構築されたシステムを監視し制御する管理サーバであって、
   前記システムの処理に伴う通信に対して、前記第１と第２のデータセンタ間のネットワークの所定の帯域が割り当てられており、
   前記管理サーバは、
   前記システムの通信で前記ネットワークを使用する場合の使用量を監視し、
   前記仮想サーバのスケールアウトを検知した場合、スケールアウトにより増加した前記仮想サーバの台数と監視していた前記使用量に基づき、スケールアウト後の前記システムの通信で使用する使用量の予測値を算出し、
   前記予測値が割り当られていた前記帯域を超える場合は、割り当てられていた前記帯域を増加するよう前記第１又は第２のデータセンタに対して指示することを特徴とする管理サーバ。
2. 請求項１における管理サーバであって、
   前記管理サーバは、
   前記予測値と前記ネットワークの未割り当ての帯域とに基づき、割り当てられていた前記帯域を増加するだけの未割り当ての帯域があるかを判定し、未割り当ての帯域がないと判定した場合は、前記システムの処理に伴う通信を前記ネットワークとは異なるネットワークで実行するよう前記第１又は第２のデータセンタに対して指示することを特徴とする管理サーバ。
3. 請求項２における管理サーバであって、
   前記管理サーバは、
   前記仮想サーバのスケールインを検知した場合、スケールインにより減少した前記仮想サーバの台数と監視していた前記使用量に基づき、スケールイン後の前記システムの通信で使用する使用量の予測値を算出し、
   スケールイン後の前記予測値に基づき、前記システムの処理に伴う通信に対して割り当てられていた前記帯域を減少するよう前記第１又は第２のデータセンタに対して通信経路の切り替えを指示することを特徴とする管理サーバ。
4. 請求項３における管理サーバであって、
   前記管理サーバは、
   スケールイン後の前記予測値と前記ネットワークとは異なる所定のネットワークの未割り当て帯域とに基づき、前記ネットワークで実行されている通信が前記所定のネットワークで実行できると判定した場合、
   前記ネットワークで実行されている通信を前記所定のネットワークで実行するよう前記第１又は第２のデータセンタに対して通信経路の切り替えを指示することを特徴とする管理サーバ。
5. 第１及び第２のデータセンタが提供する複数の仮想サーバを用いて構築されたシステムの制御方法であって、
   前記システムの処理に伴う通信に対して、前記第１と第２のデータセンタ間のネットワークの所定の帯域が割り当てられており、
   前記システムの通信で前記ネットワークを使用する場合の使用量を監視し、
   前記仮想サーバのスケールアウトを検知した場合、スケールアウトにより増加した前記仮想サーバの台数と監視していた前記使用量に基づき、スケールアウト後の前記システムの通信で使用する使用量の予測値を算出し、
   前記予測値が割り当られていた前記帯域を超える場合は、割り当てられていた前記帯域を増加するよう前記第１又は第２のデータセンタに対して指示することを特徴とするシステムの制御方法。
6. 請求項５におけるシステムの制御方法であって、
   前記予測値と前記ネットワークの未割り当ての帯域とに基づき、割り当てられていた前記帯域を増加するだけの未割り当ての帯域があるかを判定し、未割り当ての帯域がないと判定した場合は、前記システムの処理に伴う通信を前記ネットワークとは異なるネットワークで実行するよう前記第１又は第２のデータセンタに対して指示することを特徴とするシステムの制御方法。
7. 請求項６におけるシステムの制御方法であって、
   前記仮想サーバのスケールインを検知した場合、スケールインにより減少した前記仮想サーバの台数と監視していた前記使用量に基づき、スケールイン後の前記システムの通信で使用する使用量の予測値を算出し、
   スケールイン後の前記予測値に基づき、前記システムの処理に伴う通信に対して割り当てられていた前記帯域を減少するよう前記第１又は第２のデータセンタに対して通信経路の切り替えを指示することを特徴とするシステムの制御方法。
8. 請求項７におけるシステムの制御方法であって、
   スケールイン後の前記予測値と前記ネットワークとは異なる所定のネットワークの未割り当て帯域とに基づき、前記ネットワークで実行されている通信が前記所定のネットワークで実行できると判定した場合、
   前記ネットワークで実行されている通信を前記所定のネットワークで実行するよう前記第１又は第２のデータセンタに対して通信経路の切り替えを指示することを特徴とするシステムの制御方法。

Images