JP2013539877A - ミドルウェアマシン環境における部分的なサブネット初期化の実行 - Google Patents

Abstract

ミドルウェアマシン環境において、システムおよび方法がサブネット初期化を行い得る。一実施例に従うと、ミドルウェアマシン環境における複数の管理ノードは、複数の管理ノードに関連付けられる複数のサブネットマネージャが帯域内通信プロトコルを用いて互いに通信し得るように相互接続され得る。複数のサブネットマネージャは、互いに交渉するとともに、ミドルウェアマシン環境を構成および管理するよう動作するマスターサブネットマネージャを選択し得る。マスターサブネットマネージャは、帯域内通信プロトコルを用いて、１つ以上のサブネット初期化ポリシーをミドルウェアマシン環境における他のサブネットマネージャに複製し得る。次いで、マスターサブネットマネージャは、１つ以上のサブネット初期化ポリシーに基づきミドルウェアマシン環境において複数のクライアントノードをセットアップし得る。

Description

著作権表示
この特許文書の開示の一部は、著作権の保護下にある内容を含む。著作権所有者は、特許商標庁の特許ファイルまたはレコードに現れるので、誰でも当該特許文書または特許開示を複製することについて異議はないが、そうでなければ如何なる場合でもすべての著作権を留保する。

発明の分野
本発明は一般的に、コンピュータシステムおよびミドルウェアのようなソフトウェアに関し、特定的にはミドルウェアマシン環境をサポートすることに関する。

背景
インフィニバンド（ＩＢ）アーキテクチャは、１つ以上のコンピュータシステムのために、Ｉ／Ｏおよびプロセッサ間の通信をサポートする通信および管理インフラストラクチャである。ＩＢアーキテクチャシステムは、いくつかのプロセッサおよびいくつかのＩ／Ｏデバイスを有する小さなサーバから、何百ものプロセッサおよび何千ものＩ／Ｏデバイスを有する大規模並列インストレーションまでスケール変更できる。

当該ＩＢアーキテクチャは、保護された遠隔管理された環境において、高帯域かつ低レイテンシで、多くの装置が同時に通信することを可能にするスイッチド通信ファブリックを定義する。エンドノードは、多数のＩＢアーキテクチャポート上で通信し得るとともに、ＩＢアーキテクチャファブリックを通る多数のパスを用い得る。多数のＩＢアーキテクチャポートおよびネットワークを通るパスは、障害の許容およびデータ転送帯域幅の増加の両方のために設けられる。

これらは、本発明の実施例が対応することを意図する一般的な領域である。

概要
本願明細書において、ミドルウェアマシン環境においてサブネット初期化を実行するためのシステムおよび方法を記載する。一実施例に従うと、ミドルウェアマシン環境における複数の管理ノードは、複数の管理ノードに関連付けられる複数のサブネットマネージャが帯域内通信プロトコルを用いて互いに通信し得るように相互接続され得る。複数のサブネットマネージャは、互いに交渉するとともに、ミドルウェアマシン環境を構成および管理するよう動作するマスターサブネットマネージャを選択し得る。マスターサブネットマネージャは、帯域内通信プロトコルを用いて、１つ以上のサブネット初期化ポリシーをミドルウェアマシン環境における他のサブネットマネージャに複製し得る。次いで、マスターサブネットマネージャは、１つ以上のサブネット初期化ポリシーに基づきミドルウェアマシン環境において複数のクライアントノードをセットアップする。

１つの局面では、ミドルウェアマシン環境におけるサブネットマネージャが提供される。当該サブネットマネージャは、帯域内通信プロトコルを用いて他のサブネットマネージャと通信するよう構成される通信モジュールと、他のサブネットマネージャと交渉を行うとともにマスターサブネットマネージャを選択するよう構成される選択モジュールと、サブネットマネージャがマスターサブネットマネージャとして選択されたことに応答して、帯域内通信プロトコルを用いて、ミドルウェアマシン環境における他のサブネットマネージャに１つ以上のサブネット初期化ポリシーを複製するよう構成される複製モジュールと、サブネットマネージャがマスターサブネットマネージャとして選択されたことに応答して、１つ以上のサブネット初期化ポリシーに基づきミドルウェアマシン環境において複数のクライアントノードをセットアップするよう構成されるセットアップモジュールとを含む。

いくつかの実施例では、帯域内通信プロトコルは、ミドルウェアマシン環境において、イーサネット（登録商標）ネットワーキングに加えて通信の冗長性を与える。

いくつかの実施例では、１つ以上のパーティションポリシーは、ミドルウェアマシン環境においてパーティション構成を定義可能であり、１つ以上のパーティションポリシーは、初期化ポリシートランザクションを通じてミドルウェアマシン環境に供給可能である。

いくつかの実施例では、パーティショニングポリシーが特定されていない場合、サブネットマネージャは、サブネットマネージャがマスターサブネットマネージャとして選択されたことに応答して、初期化のためのデフォルトのパーティショニングポリシーを用いるよう構成される初期化モジュールをさらに含む。

いくつかの実施例では、サブネットマネージャは、ファブリックレベルの同期が達成されている場合、サブネットマネージャがマスターサブネットマネージャとして選択されたことに応答して、デフォルトのパーティションポリシーを用いて最初に始動し、次いでミドルウェアマシン環境においてパーティション構成をインストールすることによりファブリックレベル構成ポリシーを同期するよう構成される同期モジュールをさらに含む。

別の局面では、上述したサブネットマネージャを含む、ミドルウェアマシン環境における管理ノードが提供される。

さらに別の局面では、ミドルウェアマシン環境においてサブネット初期化を行うためのシステムが提供され、当該システムは、ミドルウェアマシン環境において相互接続される上述した複数の管理ノードを含む。

いくつかの実施例では、複数の管理ノードは、インフィニバンド（ＩＢ）サブネットの一部である。

いくつかの実施例では、複数の管理ノードは１つ以上のネットワークスイッチを含み、サブネットマネージャの各々は、ネットワークスイッチ上に存在する。

いくつかの実施例では、システムは、複数の管理ノードに接続する別個のストレージシステムをさらに含む。

いくつかの実施例では、システムは、複数の管理ノードに接続する複数のホストサーバをさらに含む。

いくつかの実施例では、システムは、ゲストがアクセス可能である１つ以上のゲートウェイインスタンスをさらに含む。

いくつかの実施例では、システムは複数のポリシーデーモンをさらに含み、ポリシーデーモンの各々は、あるサブネットマネージャに関連付けられる。

いくつかの実施例では、マスターサブネットマネージャとともに用いられるポリシーデーモンは、１つ以上のポリシーを用いてミドルウェアマシン環境を構成および管理することを担う。

いくつかの実施例では、マスターサブネットマネージャは、すでに作動状態であるノードについては現在のパーティションメンバーシップを変更しないままとするよう動作し、新しい管理ノードについて事前に定義されたパーティションをセットアップすることをただ確実にするだけである。

いくつかの実施例では、サブネットマネージャは、パーティションポリシーが管理ノードについて完全に同期されている場合、パーティションニングポリシーに定義されるように、完全なパーティションメンバーシップを有するすべてのエンドノードを完全に初期化するよう動作する。

さらに別の局面では、ミドルウェアマシン環境においてサブネット初期化を行うためのシステムが提供される。当該システムは、ミドルウェアマシン環境において相互接続される複数の管理ノードと、複数の管理ノードに関連付けられる複数のサブネットマネージャとを含み、複数の管理ノードは、複数のサブネットマネージャが帯域内通信プロトコルを用いて互いに通信することを可能にし、複数のサブネットマネージャは、互いに交渉するとともにマスターサブネットマネージャとしてあるサブネットマネージャを選択し、マスターサブネットマネージャは、帯域内通信プロトコルを用いて、１つ以上のサブネット初期化ポリシーをミドルウェアマシン環境における他のサブネットマネージャに複製し、１つ以上のサブネット初期化ポリシーに基づきミドルウェアマシン環境において複数のクライアントノードをセットアップするよう動作する。

本発明の実施例に従った、ミドルウェアマシンのための例示的な構成の図を示す図である。 本発明の実施例に従った、ミドルウェアマシン環境の図を示す図である。 本発明の実施例に従った、ミドルウェアマシン環境においてサブネット初期化を行うためのシステムの図を示す図である。 実施例に従った、ミドルウェアマシン環境においてサブネット初期化を行うための例示的なフローチャートを示す図である。 本発明の実施例に従った、異なるパーティション群を有するミドルウェアマシン環境の図を示す図である。 上述した本発明のいくつかの実施例に従った、ミドルウェアマシン環境におけるサブネットマネージャの機能ブロック説明図を示す図である。 本発明のいくつかの実施例に従った、ミドルウェアマシン環境においてサブネット初期化を行うためのシステムの機能ブロック説明図を示す図である。

詳細な説明
本願明細書において、ミドルウェアマシンまたは同様のプラットフォームを提供するためのシステムおよび方法を記載する。本発明の実施例に従うと、当該システムは、高性能ハードウェア（たとえば６４ビットプロセッサ技術、高性能な大きなメモリ、ならびに冗長なインフィニバンドおよびイーサネット（登録商標）ネットワーキング）と、ＷｅｂＬｏｇｉｃ Ｓｕｉｔｅのようなアプリケーションサーバまたはミドルウェア環境との組合せを含み、これにより、迅速に備えられ得るとともにオンデマンドでスケール変更可能な大規模並列メモリグリッドを含む完全なＪａｖａ（登録商標） ＥＥアプリケーションサーバコンプレックスを提供する。本発明の実施例に従うと、当該システムは、アプリケーションサーバグリッド、ストレージエリアネットワーク、およびインフィニバンド（ＩＢ）ネットワークを提供するフルラック、ハーフラック、もしくはクォーターラック、または他の構成として展開され得る。ミドルウェアマシンソフトウェアは、たとえばＷｅｂＬｏｇｉｃ Ｓｅｒｖｅｒ、ＪＲｏｃｋｉｔまたはＨｏｔｓｐｏｔ ＪＶＭ、Ｏｒａｃｌｅ Ｌｉｎｕｘ（登録商標）またはＳｏｌａｒｉｓ、およびＯｒａｃｌｅ ＶＭといった、アプリケーションサーバと、ミドルウェアと、他の機能性とを提供し得る。本発明の実施例に従うと、当該システムは、ＩＢネットワークを介して互いに通信する複数の計算ノードと、１つ以上のＩＢスイッチゲートウェイと、ストレージノードまたはユニットとを含み得る。ラック構成として実施される場合、当該ラックの未使用部分は、空のままとされるか、またはフィラー（filler）によって占有され得る。

本願明細書において「Ｓｕｎ Ｏｒａｃｌｅ Ｅｘａｌｏｇｉｃ」または「Ｅｘａｌｏｇｉｃ」と称される本発明の実施例に従うと、当該システムは、Ｏｒａｃｌｅ Ｍｉｄｄｌｅｗａｒｅ ＳＷ ｓｕｉｔｅまたはＷｅｂｌｏｇｉｃといったミドルウェアまたはアプリケーションサーバソフトウェアをホスティングするための、展開が容易なソリューションである。本願明細書に記載されるように、実施例に従うと、当該システムは、１つ以上のサーバと、ストレージユニットと、ストレージネットワーキングのためのＩＢファブリックと、ミドルウェアアプリケーションをホストするために要求されるすべての他のコンポーネントとを含む「グリッド・イン・ア・ボックス（grid in a box)」である。たとえばＲｅａｌ Ａｐｐｌｉｃａｔｉｏｎ ＣｌｕｓｔｅｒｓおよびＥｘａｌｏｇｉｃ ｏｐｅｎ ｓｔｏｒａｇｅを用いて大規模並列グリッドアーキテクチャを活用することにより、すべてのタイプのミドルウェアアプリケーションのために有意な性能が与えられ得る。このシステムは、線形のＩ／Ｏスケーラビリティとともに向上した性能を与え、使用および管理が簡易であり、ミッションクリティカルな可用性および信頼性を与える。

図１は、本発明の実施例に従った、ミドルウェアマシンのための例示的な構成の図を示す。図１に示されるように、ミドルウェアマシン１００は、２８のサーバノードに接続する２つのゲートウェイネットワークスイッチまたはリーフネットワークスイッチ１０２および１０３を含む単一のラック構成を用いる。さらに、ミドルウェアマシンについては、異なる構成が存在する。たとえば、サーバノードの一部を含むハーフラック構成が存在し得るとともに、多数のサーバを含むマルチラック構成も存在する。

図１に示されるように、サーバノードは、ゲートウェイネットワークスイッチによって与えられるポートに接続し得る。図１に示されるように、各サーバマシンは、２つのゲートウェイネットワークスイッチ１０２および１０３への接続を別個に有し得る。たとえば、ゲートウェイネットワークスイッチ１０２は、サーバ１〜１４のポート１である１０６と、サーバ１５〜２８のポート２である１０７とに接続し、ゲートウェイネットワークスイッチ１０３は、サーバ１〜１４のポート２である１０８と、サーバ１５〜２８のポート１である１０９とに接続する。

本発明の実施例に従うと、各ゲートウェイネットワークスイッチは、異なるサーバと接続するのに用いられる複数の内部ポートを有し得るとともに、ゲートウェイネットワークスイッチは、既存のデータセンタサービスネットワークといった外部ネットワークと接続するのに用いられる外部ポートも有し得る。

本発明の実施例に従うと、当該ミドルウェアマシンは、ゲートウェイネットワークスイッチを通ってサーバに接続する別個のストレージシステム１１０を含み得る。さらに、当該ミドルウェアマシンは、２つのゲートウェイネットワークスイッチ１０２および１０３に接続するスパインネットワークスイッチ（spine network switch）１０１を含み得る。図１に示されるように、ストレージシステムからスパインネットワークスイッチへの２つのリンクが随意に存在し得る。

ＩＢファブリック／サブネット
本発明の実施例に従うと、ミドルウェアマシン環境におけるＩＢファブリック／サブネットは、ファット・ツリー・トポロジ（fat-tree topology）において相互接続される多数の物理的なホストまたはサーバ、スイッチインスタンス、およびゲートウェイインスタンスを含み得る。

図２は、本発明の実施例に従ったミドルウェアマシン環境の図を示す。図２に示されるように、ミドルウェアマシン環境２００は、複数のエンドノードと接続するＩＢサブネットまたはファブリック２２０を含む。ＩＢサブネットは、各々が複数のネットワークスイッチ２０１〜２０４の１つに存在する複数のサブネットマネージャ２１１〜２１４を含む。これらのサブネットマネージャは、管理データグラム（Management Datagram；ＭＡＤ）／サブネット管理パケット（Subnet Management Packet；ＳＭＰ）に基づくプロトコルのような帯域内通信プロトコル２１０、またはインターネットプロトコル・オーバー・ＩＢ（Internet Protocol over IB；ＩＰｏＩＢ）のような他のプロトコルを用いて互いに通信し得る。

本発明の実施例に従うと、単一のＩＰサブネットは、同じＩＢファブリックにおいてスイッチ同士が確実に互いに通信すること（すなわちすべてのスイッチの間での完全な接続性）を可能にするＩＢファブリック上に構成され得る。このファブリックに基づくＩＰサブネットは、作動状態のリンクを有する少なくとも１つルートが任意の対のスイッチの間に存在する場合に、当該２つのスイッチ同士の間の接続性を提供し得る。リルーティングにより代替的なルートが存在する場合には、リンク障害からの回復が達成され得る。

これらのスイッチの管理イーサネット（登録商標）インターフェイスは、すべてのスイッチ同士の間にＩＰレベルの接続性を提供する単一のネットワークに接続され得る。各スイッチは、外部の管理イーサネット（登録商標）のためのＩＰアドレスと、ファブリックに基づくＩＰサブネットのためのＩＰアドレスとの２つの主なＩＰアドレスによって識別され得る。各スイッチは、両方のＩＰアドレスを用いて、すべての他のスイッチへの接続性を監視し得るとともに、通信のために、いずれかの使用可能なアドレスを用い得る。さらに、各スイッチは、ファブリック上において、各々の直接的に接続されたスイッチへのポイント・ツー・ポイントＩＰリンクを有し得る。したがって、少なくとも１つの付加的なＩＰアドレスが存在し得る。

ＩＰルーティングセットアップにより、ネットワークスイッチが、ファブリックＩＰサブネットと、外部の管理イーサネット（登録商標）ネットワークと、スイッチの対の間の１つ以上のファブリックレベルのポイント・ツー・ポイントＩＰリンクとの組合せを用いて、中間のスイッチを介して別のスイッチにトラフィックをルーティングすることが可能になる。ＩＰルーティングにより、ネットワークスイッチへの外部の管理アクセスが、ネットワークスイッチ上の外部のイーサネット（登録商標）ポートを介して、かつファブリック上の専用のルーティングサービスを通じて、ルーティングされることが可能になる。

ＩＢファブリックは、管理ネットワークへの管理イーサネット（登録商標）アクセスを有する複数のネットワークスイッチを含む。ファブリックにおけるスイッチ同士の間の帯域内の物理的な接続性が存在する。一例では、ＩＢファブリックが劣化しない場合には、スイッチの各対同士の間に１つ以上のホップの少なくとも１つの帯域内ルートが存在する。ＩＢファブリックのための管理ノードは、ネットワークスイッチと、ＩＢファブリックに接続される管理ホストとを含む。

サブネットマネージャは、そのプライベートＩＰアドレスのいずれかを介してアクセスされ得る。サブネットマネージャはさらに、サブネットマネージャがマスターサブネットマネージャとしての役割を担う際に、マスターサブネットマネージャのために構成されるフローティングＩＰアドレスを介してアクセス可能であり得、当該サブネットマネージャは、当該役割から明示的に解放される際には、構成解除される。外部の管理ネットワークと、ファブリックに基づく管理ＩＰネットワークとの両方のためにマスターＩＰアドレスが定義され得る。ポイント・ツー・ポイントＩＰリンクのために特別なマスターＩＰアドレスが定義される必要はない。

本発明の実施例に従うと、各物理的なホストは、バーチャルマシンに基づくゲストを用いて仮想化され得る。たとえばＣＰＵコアごとに１つのゲストといったように、物理的なホストごとに同時に複数のゲストが存在し得る。さらに、各物理的なホストは、デュアルポートが設けられた少なくとも１つのホストチャネルアダプタ（ＨＣＡ）を有し得る。当該ホストチャネルアダプタは、仮想化されるとともに、ゲスト同士の間で共有され得る。そのため、仮想化されたＨＣＡのファブリックビューは、ちょうど仮想化／共有されていないＨＣＡのような、デュアルポートが設けられた単一のＨＣＡである。

ＩＢファブリックは、ＩＢパーティションによって実現される資源ドメインの動的なセットへと分けられ得る。ＩＢファブリックにおける各物理的なホストおよび各ゲートウェイインスタンスは、複数のパーティションのメンバーであり得る。さらに、同じまたは異なる物理的なホスト上の複数のゲストが、同じまたは異なるパーティションのメンバーとなり得る。ＩＢファブリックのためのＩＢパーティションの数は、Ｐ＿キーのテーブルサイズによって制限されてもよい。

本発明の実施例に従うと、ゲストは、当該ゲストにおけるｖＮＩＣドライバから直接的にアクセスされる２つ以上のゲートウェイインスタンス上にて、仮想ネットワークインターフェイスカード（ｖＮＩＣｓ）のセットを開き得る。ゲストは、更新されたｖＮＩＣ関連付けを保持しつつまたは有しつつ、物理的なホスト同士の間を移行し得る。

本発明の実施例に従うと、スイッチは、任意の順番で始動し得、たとえばＩＢが特定された交渉プロトコルのような異なる交渉プロトコルに従って、マスターサブネットマネージャを動的に選択し得る。パーティショニングポリシーが特定されていない場合、デフォルトのパーティショニングイネーブルポリシーが用いられ得る。さらに、管理ノードパーティションおよびファブリックに基づく管理ＩＰサブネットは、任意の付加的なポリシー情報と独立して、かつ完全なファブリックポリシーをマスターサブネットマネージャが知っているかどうかから独立して、確立され得る。ファブリックレベル構成ポリシー情報がファブリックに基づくＩＰサブネットを用いて同期されるよう、サブネットマネージャは、デフォルトのパーティションポリシーを用いて最初に始動し得る。ファブリックレベルの同期が達成されると、ファブリックについて現在のパーティション構成が、マスターサブネットマネージャによってインストールされ得る。

部分的なサブネット初期化
本発明の実施例に従うと、サブネット初期化がミドルウェアマシン環境において行われ得る。ミドルウェアマシン環境における複数の管理ノードは、当該複数の管理ノードに関連付けられる複数のサブネットマネージャが、帯域内通信プロトコルを用いて互いに通信し得るように、相互接続され得る。複数のサブネットマネージャは、交渉を行い得、ミドルウェアマシン環境を構成および管理するよう動作するマスターサブネットマネージャを選択し得る。マスターサブネットマネージャは、１つ以上のサブネット初期化ポリシーを、ミドルウェアマシン環境内の他のサブネットマネージャに、帯域内通信プロトコルを用いて複製し得る。次いで、マスターサブネットマネージャは、１つ以上のサブネット初期化ポリシーに基づき、当該ミドルウェアマシン環境において複数のクライアントノードをセットアップし得る。

図３は、本発明の実施例に従った、ミドルウェアマシン環境においてサブネット初期化を行うためのシステムの図を示す。図３に示されるように、ミドルウェアマシン環境３００は、複数のクライアントノードまたはエンドノードを管理するＩＢサブネットまたはファブリック３２０を含む。ＩＢサブネットは、複数の構成デーモン３１１〜３１４に関連付けられる複数のサブネットマネージャ３２１〜３２４を保守する複数の管理ノード３０１〜３０４を含む。管理ノードは、ネットワークスイッチまたは事前に定義されたホストサーバのいずれかであり得る。サブネットマネージャは、インターネットプロトコル・オーバー・インフィニバンド（ＩＰｏＩＢ）のような帯域内通信プロトコル３１０を用いて互いに通信し得る。

本発明の実施例に従うと、システムは、サブネットマネージャ３２１〜３２４に各々が関連付けられる複数のポリシーデーモン３１１〜３１４を提供し得る。図３に示されるような例では、マスターサブネットマネージャ３０１とともに用いられるポリシーデーモン３１１は、１つ以上のポリシーを用いて、ミドルウェアマシン環境においてエンドノードを構成および管理することを担う。

ミドルウェアマシン環境においてポリシーデーモンによって管理される１つの例示的なポリシーは、パーティション構成ポリシーであり得る。たとえば、エンドノードＡ、Ｂ、およびＣを含むミドルウェアマシン環境は、ノードＡおよびＢを含む群Ｉと、ノードＣを含む群ＩＩとの２つの群へとパーティショニングされ得る。パーティション構成ポリシーは、ノードＢを群ＩＩに追加する前に群ＩからノードＢを削除することを要求するパーティション更新を定義し得る。このパーティション構成ポリシーは、群ＩからまずノードＢを削除することがなければ、新しいパーティションがノードＢを群ＩＩに追加することをマスターサブネットマネージャが許可しないことを要求し得る。このパーティション構成ポリシーは、ポリシーデーモンを用いてマスターサブネットマネージャにより実施され得る。

帯域内通信接続性は、ミドルウェアマシン環境において、イーサネット（登録商標）ネットワーキングに加えて通信の冗長性を提供する。このシステムは、ミドルウェアマシン環境によって与えられる通信の冗長性を活用し得るとともに、ミドルウェアマシン環境を完全に構成するためにファブリック初期化ポリシーを配信するための管理ネットワークとしての構成下でＩＢサブネットを用い得る。

本発明の実施例に従うと、ＩＢサブネットにおけるサブネットマネージャは、まず互いに交渉を行い得、ミドルウェアマシン環境を構成および管理することを担うマスターサブネットマネージャ３２１を選択する。マスターサブネットマネージャは、初期化ポリシートランザクション３０９のコンテキスト内で、帯域内通信プロトコルを用いて、構成デーモンにおいて、ミドルウェアマシン環境における他のサブネットマネージャマスター候補３２２〜３２４へ１つ以上のファブリック初期化ポリシーを複製し得る。次いで、マスターサブネットマネージャは、１つ以上のサブネット初期化ポリシーに基づき、ミドルウェアマシン環境内の複数のエンドノードをセットアップし得る。

本発明の実施例に従うと、各管理ノードは、イーサネット（登録商標）ネットワーク接続３３０を用いて、ミドルウェアマシン環境におけるホストサーバのような１つ以上のクライアントノードまたはエンドノードと接続し得る。ネットワークスイッチは、エンドノードと直接通信するリーフスイッチか、またはリーフスイッチを介してエンドノードと通信するスパインスイッチのいずれかであり得る。ネットワークスイッチは、ネットワークスイッチのスイッチポートとホストサーバのホストポートとを介してホストサーバと通信し得る。ＩＢネットワークでは、パーティションは、どのエンドポートが他のエンドポートと通信できるかを特定するよう定義され得る。ミドルウェアマシン環境は、ファット・ツリー・トポロジを採用し得る。ファット・ツリー・トポロジは、ツリーのリーフとして多数のエンドノードを維持しつつ、ファットツリーの上部レイヤーに少数のスイッチが存在することを可能にする。

図４は、ある実施例に従った、ミドルウェアマシン環境におけるサブネット初期化を実行するための例示的なフローチャートを示す。図４に示されるように、ステップ４０１では、管理ノードに関連付けられる複数のサブネットマネージャが帯域内通信プロトコルを用いて互いに通信し得るように、複数の管理ノードがミドルウェアマシン環境において相互接続され得る。複数のサブネットマネージャは、ステップ４０２にて、まず互いの間で交渉を行い、マスターサブネットマネージャを選択し得る。マスターサブネットマネージャは、ミドルウェアマシン環境を構成および管理することを担う。さらに、ステップ４０３では、マスターサブネットマネージャは、帯域内通信プロトコルを用いて、ミドルウェアマシン環境における他のサブネットマネージャに１つ以上のサブネット初期化ポリシーを複製し得る。次いで、ステップ４０４では、マスターサブネットマネージャは、１つ以上のサブネット初期化ポリシーに基づき、ミドルウェアマシン環境において複数のクライアントノードをセットアップし得る。

パーティション構成ポリシーによるサブネット初期化
図５は、本発明の実施例に従った、異なるパーティション群を有するミドルウェアマシン環境の図を示す。図５に示されるように、１つ以上のパーティションポリシー５１９が、ミドルウェアマシン環境５００においてパーティション構成を定義し得る。１つ以上のパーティションポリシーは、初期化ポリシートランザクション５０９を通じてミドルウェアマシン環境に供給され得る。パーティション構成の結果、ミドルウェアマシン環境は、パーティションＡ５３１、パーティションＢ５３２、およびパーティションＣ５３３といった３つの別個のパーティション群へと分割され得る。各パーティション群は、一意のパーティションキーに関連付けられ得るとともに、別個の接続５４１〜５４３を用いてＩＢサブネット５２０に論理的に接続され得る。

本発明の実施例に従うと、ＩＢネットワーク中のネットワークスイッチに配置されるサブネットマネージャは、ネットワークスイッチのスイッチポートおよびホストサーバのホストポートを介してホストサーバと通信し得る。パーティションは、どのエンドポートが互いに通信することができるかを特定するよう定義され得る。ＩＢパーティションは、１６ビットの数値であるＰ＿キーによって規定され得る。当該Ｐ＿キーでは、下位の１５ビットは、パーティション番号を定義し、先頭ビットは、当該パーティションにおいて、関連付けられるポートがフルメンバーまたは限定メンバーであるかどうかを定義する。限定メンバーは、フルメンバーとのみ通信し得る一方、フルメンバーは、フルメンバー同士および同じパーティションの任意の限定メンバーと通信し得る。

各エンドポートは、任意の他のエンドポートと通信するよう少なくとも１つのパーティションのメンバーであり得る（すなわちＰ＿キーフィールドの使用がＩＢトランスポートプロトコルにおいて随意ではない）。スイッチポートの場合、パーティションの実施は、サブネットマネージャによって制御される随意の機能である。

サブネットマネージャは、適切なエンドポートおよびスイッチポートのパーティーションテーブルを更新することによりパーティションのメンバーシップを制御する。ファブリックまたは特定のホストについての信頼モデルが、ホストまたはホスト管理者がサブネットマネージャが定義したパーティショニングに完全には堅持していない可能性があると示唆した場合、サブネットマネージャが対応するホストポートに対してセットアップしたのと同じ制限をスイッチイングレス／イーグレスポートが実施し得るようにスイッチベースの実施が用いられ得る。

あるポートが示し得るパーティションの数は、（たとえば１６〜６４／１２８の範囲における）サブネットマネージャへのポート属性として反映されるハードウェア実施システムパラメータである。したがって、ファブリックについて定義された３２Ｋまでの個々のＰ＿キー値を有することが可能である一方、各ポートは、限られたサブセットのメンバーであり得、パーティショニングのスイッチの実施が、エンドポートに直接的に接続しているスイッチファブリックイングレス／イーグレスポートについて可能になる。

デフォルトのパーティションキー（０ｘＦＦＦＦ−ｆｕｌｌ、または０ｘ７ＦＦＦ−ｌｉｍｉｔｅｄ）が、仕様により確保され得るとともに、（デフォルトで）サブネットマネージャへのアクセスのために用いられる。パーティションの実施を用いるシステムでは、エンドノードは、サブネットマネージャと通信することができるよう、デフォルトのパーティションの限定メンバーである。パーティションの実施が用いられない場合、エンドノードは、デフォルトのパーティションのフルメンバーである。ゼロの値は、無効のＰ＿キー値を示すよう確保および使用され得る。

ファブリックに基づくサブネットの間でファブリックレベル構成ポリシー情報を同期するために、マスターサブネットマネージャは、デフォルトのパーティションポリシーを用いて最初に始動し得る。次いで、ファブリックレベルの同期が達成されている場合、マスターサブネットマネージャは、ミドルウェアマシン環境においてパーティション構成をインストールし得る。

本発明の実施例に従うと、エンドノードがデフォルトのパーティションの限定メンバーでのみあるデフォルトの構成を用いることにより、正しい現在のパーティショニングポリシーが実施され得る前に、エンドノード同士の間で不当な通信がなされ得ない。マスターサブネットマネージャは、事前に定義されたパーティションのフルメンバーとなるように管理ノードをセットアップし得、これにより、現在の動的なパーティションポリシーの複製／同期がＩＢファブリックを介して発生し得るようにポリシーデーモンがＩＰｏＩＢを用いて通信することを可能にする。しかしながら、エンドノードがデフォルトのパーティションの限定メンバーにのみなることを強要するこのようなスキームには、ファブリックがすでに現在のマスターサブネットマネージャがサブネットを引き継ぐときに、エンドノード同士の間で継続している通信にて作動状態である場合に、存在する通信を中断するという欠点がある。

本発明の実施例に従うと、継続している正当な通信の中断を回避するために、かつポリシーデーモンが同期することが可能になる前にすべての指定された管理ノード同士の間でのＩＰｏＩＢに基づく通信を提供するために、新しいサブネットマネージャは、既に作動状態のノードについて、現在のパーティションメンバーシップを変わらないままにし得るとともに、管理ノードについて、事前に定義されたパーティションのみがセットアップされることを確実にし得る。現在作動状態にない非管理ノードは、初期化されなくてもよい（すなわちマスターサブネットマネージャからの初期化を要求する）。代替的には、非管理ノードは、デフォルトのパーティションにおいて限定メンバーシップを有するようにのみセットアップされてもよい。次いで、現在のパーティションポリシーが完全に同期されている場合、現在のパーティショニングポリシーによって定義される完全なパーティションメンバーシップを有するすべてのエンドノードは完全に初期化され得る。

上記のスキームは、有用であり得る。なぜならば、任意の現在のマスターサブネットマネージャが現在のパーティションポリシーに準拠するようにＩＢファブリックを初期化し得るとともに、マスターサブネットマネージャの障害があっても、完全に初期化される状態または現在のポリシーが部分的に実施されている状態に上記ファブリックを残し得るからである。これは、古いポリシーによって定義されるが新しいポリシーにおいては存在しないメンバーシップを除去することを完了する前に、古いマスターに障害が発生した場合を含む。

本発明の実施例に従うと、ポリシーデーモン同士の間の複製および同期は、定数のサブネットマネージャマスター候補または大多数のサブネットマネージャマスター候補が、如何なる変更が行なわれる前に新しいポリシーで更新されることを確実にし得る。次いで、古いパーティションメンバーシップの実際の除去と、新しいメンバーシップの追加とが、単一の現在のマスターサブネットマネージャによって完全に行われ得るか、または２つ以上のマスターサブネットマネージャインスタンスにより、サブネットにおけるマスターシップのフェイルオーバまたはハンドオーバの結果、２つ以上の部分ステップで行われ得る。このような部分ステップの各々は、ＩＢサブネットにおいて任意の状態を変更してもしなくてもよいが、２つのバージョンから任意のポリシーを混合する可能性なしで、古いポリシーが定義したメンバーシップのサブセットまたは新しいポリシーのサブセットのいずれでもない如何なる中間状態も導入しないよう保証され得る。さらに、１つ以上のフェイルオーバまたはハンドオーバイベントの場合、新しいマスターサブネットマネージャは、以前のマスターが行った動作を取り消し得ないが、現在のポリシーと、新しいマスターが動的に発見するＩＢサブネットの現在状況とに基づき適切な次のステップから開始し得る。

いくつかの実施例に従うと、図６は、ミドルウェアマシン環境において、上述したような本発明の原理に従って構成されるサブネットマネージャ６００の機能ブロック説明図を示す。図７は、上述したような本発明の原理に従って構成されるサブネット初期化システム７００の機能ブロック説明図を示す。サブネット初期化システム７００は、図６に示されるようにサブネットマネージャ６００を各々が含む複数の管理ノード７０２を含む。サブネットマネージャおよびサブネット初期化システムの機能ブロックは、本発明の原理を実施するために、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組合せによって実現され得る。当業者であれば、図６および図７に記載される機能ブロックは、本発明の原理を実現するために、組み合されてもよく、またはサブブロックへと分離されてもよいということが理解される。したがって、本願明細書における記載は、本願明細書において記載される機能ブロックの任意の可能な組合せ、分離、またはさらなる定義をサポートし得る。

図６に示されるように、サブネットマネージャ６００は、通信モジュール６０２、選択モジュール６０４、複製モジュール６０６、およびセットアップモジュール６０８を含み得る。通信モジュール６０３は、帯域内通信プロトコルを用いて他のサブネットマネージャと通信するよう構成され得る。選択モジュール６０４は、他のサブネットマネージャと交渉を行い、マスターサブネットマネージャを選択するよう構成され得る。複製モジュール６０６は、サブネットマネージャ６００がマスターサブネットマネージャとして選択されたことに応答して、帯域内通信プロトコルを用いてミドルウェアマシン環境において１つ以上のサブネット初期化ポリシーを他のサブネットマネージャに複製するよう構成され得る。セットアップモジュール６０８は、サブネットマネージャ６００がマスターサブネットマネージャとして選択されたことに応答して、１つ以上のサブネット初期化ポリシーに基づき、ミドルウェアマシン環境において複数のクライアントノードをセットアップするよう構成され得る。

いくつかの実施例では、帯域内通信プロトコルは、ミドルウェアマシン環境においてイーサネット（登録商標）ネットワーキングに加えて通信の冗長性を提供し得る。

いくつかの実施例では、１つ以上のパーティションポリシーは、ミドルウェアマシン環境においてパーティション構成を定義し得るとともに、１つ以上のパーティションポリシーは、図５における初期化ポリシートランザクション５０９のような初期化ポリシートランザクションを通じてミドルウェアマシン環境に提供され得る。

いくつかの実施例では、サブネットマネージャ６００は、初期化モジュール６１０を随意で含み得る。初期化モジュール６１０は、サブネットマネージャ６００がマスターサブネットマネージャとして選択されたことに応答して、パーティショニングポリシーが特定されていない場合には、初期化のためのデフォルトのパーティショニングポリシーを用いるよう構成され得る。

いくつかの実施例では、サブネットマネージャ６００は随意で同期モジュール６１０を含み得る。同期モジュール６１０は、サブネットマネージャ６００がマスターサブネットマネージャとして選択されたことに応答して、デフォルトのパーティションポリシーを用いて最初に始動し、次いで、ファブリックレベルの同期が達成されている場合、ミドルウェアマシン環境においてパーティション構成をインストールすることによりファブリックレベル構成ポリシーを同期するよう構成され得る。

図７に示されるように、サブネット初期化システム７００は複数の管理ノード７０２を含み得る。各管理ノード７０２は、図６に示されるようにサブネットマネージャ６００を含み得、管理ノード７０２は、ミドルウェアマシン環境において相互接続され得る。なお、サブネットマネージャ６００は、図７では管理ノード７０２に含まれるように示されるが、別の態様では、管理ノード７０２に関連付けられ得る。たとえば、サブネットマネージャ６００は、管理ノード７０２から物理的に分離され、関連付けられる管理ノードを通じて他のサブネットマネージャと通信し得る。複数の管理ノード７０２は、インフィニバンド（ＩＢ）サブネットの一部であり得る。

いくつかの実施例では、図７には示されないが、複数の管理ノード７０２は、１つ以上のネットワークスイッチを含み得、各サブネットマネージャはネットワークスイッチ上に存在する。

いくつかの実施例では、サブネット初期化システム７００は随意で、別個のストレージシステム７０４を含み得る。示されないが、ストレージシステム７０４は、管理ノード７０２に接続し得る。

いくつかの実施例では、サブネット初期化システム７００は複数のホストサーバ７０６を随意で含み得る。示されないが、ホストサーバ７０６は管理ノード７０２に接続し得る。

いくつかの実施例では、サブネット初期化システム７００は、ゲストがアクセスし得る１つ以上のゲートウェイインスタンス７０８を随意で含み得る。さらに、いくつかの実施例では、サブネット初期化システム７００は、複数のポリシーデーモン７１０を随意で含み得、当該ポリシーデーモン７１０の各々は、サブネットマネージャ６００に関連付けられる。マスターサブネットマネージャとともに用いられるポリシーデーモン７１０は、１つ以上のポリシーを用いてミドルウェアマシン環境を構成および管理することを担い得る。なお、ゲートウェイインスタンス７０８およびポリシーデーモン７１０は、図７における管理ノード７０２とは別個の構成要素として示されているが、管理ノード７０２中に配され得るか、または管理ノード７０２上に存在し得る。

いくつかの実施例では、サブネット初期化システム７００におけるマスターサブネットマネージャは、すでに作動状態のノードについては現在のパーティションメンバーシップを変更しないままにするよう動作可能であり、事前に定義されたパーティションが新しい管理ノードについてセットアップされることを確実にするだけである。代替的には、この動作は、マスターサブネットマネージャの特別なモジュールによってか、または図６を参照して記載されるようにモジュール６０２〜６１２の１つによって実行され得る。

いくつかの実施例では、サブネット初期化システム７００におけるサブネットマネージャ６００は、パーティションポリシーが管理ノード７０２について完全に同期されている場合、パーティショニングポリシーにおいて定義されるように完全なパーティションメンバーシップを有するすべてのエンドノードを完全に初期化するよう動作し得る。代替的には、この動作は、サブネットマネージャ６００の特別なモジュールによってか、または図６を参照して記載されたようにモジュール６０２〜６１２の１つによって実行され得る。

本発明は、１つ以上のプロセッサ、メモリ、および／または本開示の教示に従ってプログラムされたコンピュータ可読記憶媒体を含む１つ以上の従来の汎用または専用デジタルコンピュータ、コンピューティング装置、マシン、またはマイクロプロセッサを用いて簡便に実施され得る。ソフトウェア技術の当業者には明らかであるように、適切なソフトウェアコーディングは、熟練したプログラマによって本開示の教示に基づき容易に用意され得る。

いくつかの実施例では、本発明は、本発明の処理のいずれかを実行するようコンピュータをプログラムするのに用いられ得る命令を格納した記憶媒体またはコンピュータ可読媒体であるコンピュータプログラムプロダクトを含む。当該記憶媒体は、フロッピー（登録商標）ディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、および光磁気ディスクを含む任意のタイプのディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリ素子、磁気または光学カード、ナノシステム（分子メモリＩＣを含む）、または命令および／またはデータを格納するのに好適な任意のタイプの媒体もしくは装置を含み得るが、これらに限定されない。

本発明の上記の記載は、例示および説明目的で与えられている。網羅的であることまたは開示されたそのものの形態に本発明を限定することを意図したものではない。当業者にとっては、多くの修正例および変形例が明確であろう。上記の実施例は、本発明の原理およびその実際的な適用をもっともよく説明するために選択および記載されたものであり、これにより他の当業者が、特定の使用に好適なさまざまな修正例を考慮して、さまざまな実施例について本発明を理解するのが可能になる。本発明の範囲は、添付の特許請求の範囲およびそれらの均等物によって定義されることが意図される。

Claims (49)

1. ミドルウェアマシン環境においてサブネット初期化を行うためのシステムであって、
   １つ以上のマイクロプロセッサと、
   前記１つ以上のマイクロプロセッサ上で実行される、前記ミドルウェアマシン環境において相互接続される複数の管理ノードと、
   前記複数の管理ノードに関連付けられる複数のサブネットマネージャとを含み、前記複数の管理ノードは、前記複数のサブネットマネージャが帯域内通信プロトコルを用いて互いに通信することを可能にし、前記複数のサブネットマネージャは、互いに交渉するとともにマスターサブネットマネージャとしてあるサブネットマネージャを選択し、
   前記マスターサブネットマネージャは、
   前記帯域内通信プロトコルを用いて、１つ以上のサブネット初期化ポリシーを前記ミドルウェアマシン環境における他のサブネットマネージャに複製し、
   前記１つ以上のサブネット初期化ポリシーに基づき前記ミドルウェアマシン環境において複数のクライアントノードをセットアップするよう動作する、システム。
2. 前記複数の管理ノードは、インフィニバンド（ＩＢ）サブネットの一部である、請求項１に記載のシステム。
3. 前記複数の管理ノードは１つ以上のネットワークスイッチを含み、前記サブネットマネージャの各々は、ネットワークスイッチ上に存在する、請求項１または２に記載のシステム。
4. 前記複数の管理ノードに接続する別個のストレージシステムをさらに含む、請求項１〜３のいずれか１項に記載のシステム。
5. 前記複数の管理ノードに接続する複数のホストサーバをさらに含む、請求項１〜４のいずれか１項に記載のシステム。
6. ゲストがアクセス可能である１つ以上のゲートウェイインスタンスをさらに含む、請求項１〜５のいずれか１項に記載のシステム。
7. 複数のポリシーデーモンをさらに含み、前記ポリシーデーモンの各々は、あるサブネットマネージャに関連付けられる、請求項１〜６のいずれか１項に記載のシステム。
8. 前記マスターサブネットマネージャとともに用いられる前記ポリシーデーモンは、１つ以上のポリシーを用いて前記ミドルウェアマシン環境を構成および管理することを担う、請求項７に記載のシステム。
9. 前記帯域内通信プロトコルは、前記ミドルウェアマシン環境において、イーサネット（登録商標）ネットワーキングに加えて通信の冗長性を与える、請求項１〜８のいずれか１項に記載のシステム。
10. １つ以上のパーティションポリシーは、前記ミドルウェアマシン環境においてパーティション構成を定義可能であり、前記１つ以上のパーティションポリシーは、初期化ポリシートランザクションを通じて前記ミドルウェアマシン環境に供給可能である、請求項１〜９のいずれか１項に記載のシステム。
11. パーティショニングポリシーが特定されていない場合、前記マスターサブネットマネージャは、初期化のためのデフォルトのパーティショニングポリシーを使用可能である、請求項１〜１０のいずれか１項に記載のシステム。
12. ファブリックレベルの同期が達成されている場合、前記マスターサブネットマネージャは、デフォルトのパーティションポリシーを用いて最初に始動し、次いで前記ミドルウェアマシン環境においてパーティション構成をインストールすることによりファブリックレベル構成ポリシーを同期するよう動作する、請求項１〜１１のいずれか１項に記載のシステム。
13. 前記マスターサブネットマネージャは、すでに作動状態であるノードについては現在のパーティションメンバーシップを変更しないままとするよう動作し、前記マスターサブネットマネージャは、すべての管理ノードが通信プロトコルを介して通信および同期することを可能にするよう、事前に定義されたパーティションを新しい管理ノードについてセットアップすることを確実にする、請求項１〜１２のいずれか１項に記載のシステム。
14. サブネットマネージャは、パーティションポリシーが前記管理ノードについて完全に同期されている場合、パーティションニングポリシーに定義されるように、完全なパーティションメンバーシップを有するすべてのエンドノードを完全に初期化するよう動作する、請求項１〜１３のいずれか１項に記載のシステム。
15. ミドルウェアマシン環境においてサブネット初期化を行うための方法であって、
    前記ミドルウェアマシン環境において、１つ以上のマイクロプロセッサ上で実行される複数の管理ノードを相互接続するステップを含み、前記複数の管理ノードは、前記複数の管理ノードに関連付けられる複数のサブネットマネージャが帯域内通信プロトコルを用いて互いに通信することを可能にし、前記方法はさらに、
    前記複数のサブネットマネージャ同士の間で交渉を行うとともに、前記ミドルウェアマシン環境を構成および管理するよう動作するマスターサブネットマネージャとしてあるサブネットマネージャを選択するステップと、
    前記マスターサブネットマネージャを介して、前記ミドルウェアマシン環境における他のサブネットマネージャに前記帯域内通信プロトコルを用いて１つ以上のサブネット初期化ポリシーを複製するステップと、
    前記１つ以上のサブネット初期化ポリシーに基づき前記ミドルウェアマシン環境において複数のクライアントノードをセットアップするステップとを含む、方法。
16. 前記複数の管理ノードは、インフィニバンド（ＩＢ）サブネットの一部である、請求項１５に記載の方法。
17. 前記複数の管理ノードは１つ以上のネットワークスイッチを含み、前記サブネットマネージャの各々は、ネットワークスイッチ上に存在する、請求項１５または１６に記載の方法。
18. 前記複数の管理ノードに接続する別個のストレージシステムを提供するステップをさらに含む、請求項１５〜１７のいずれか１項に記載の方法。
19. 前記複数の管理ノードに接続する複数のホストサーバをさらに含む、請求項１５〜１８のいずれか１項に記載の方法。
20. ゲストがアクセス可能である１つ以上のゲートウェイインスタンスを提供するステップをさらに含む、請求項１５〜１９のいずれか１項に記載の方法。
21. 複数のポリシーデーモンを提供するステップをさらに含み、前記ポリシーデーモンの各々は、あるサブネットマネージャに関連付けられる、請求項１５〜２０のいずれか１項に記載の方法。
22. 前記マスターサブネットマネージャとともに用いられる前記ポリシーデーモンは、１つ以上のポリシーを用いて前記ミドルウェアマシン環境を構成および管理することを担う、請求項２１に記載の方法。
23. 前記帯域内通信プロトコルが、前記ミドルウェアマシン環境において、イーサネット（登録商標）ネットワーキングに加えて通信の冗長性を与えるステップをさらに含む、請求項１５〜２２のいずれか１項に記載の方法。
24. 前記ミドルウェアマシン環境においてパーティション構成を定義する１つ以上のパーティションポリシーを提供するステップをさらに含み、前記１つ以上のパーティションポリシーは、初期化ポリシートランザクションを通じて前記ミドルウェアマシン環境に供給可能である、請求項１５〜２３のいずれか１項に記載の方法。
25. パーティショニングポリシーが特定されていない場合、前記マスターサブネットマネージャが初期化のためのデフォルトのパーティショニングポリシーを使用するステップをさらに含む、請求項１５〜２４のいずれか１項に記載の方法。
26. ファブリックレベルの同期が達成されている場合、前記マスターサブネットマネージャが、デフォルトのパーティションポリシーを用いて最初に始動し、次いで前記ミドルウェアマシン環境においてパーティション構成をインストールすることによりファブリックレベル構成ポリシーを同期するよう動作するステップをさらに含む、請求項１５〜２５のいずれか１項に記載の方法。
27. 前記マスターサブネットマネージャが、すでに作動状態であるノードについては現在のパーティションメンバーシップを変更しないままとするよう動作し、ただ事前に定義されたパーティションを新しい管理ノードについてセットアップすることを確実にするステップをさらに含む、請求項１５〜２６のいずれか１項に記載の方法。
28. パーティションポリシーが前記管理ノードについて完全に同期されている場合、サブネットマネージャが、パーティションニングポリシーに定義されるように、完全なパーティションメンバーシップを有するすべてのエンドノードを完全に初期化するよう動作するステップをさらに含む、先行する請求項のいずれかに記載の方法。
29. １つ以上のコンピュータシステムにロードおよび実行されると、前記１つ以上のコンピュータシステムに請求項１５〜２８のいずれか１項に記載の方法を実現させるプログラム可読命令を含む、コンピュータプログラム。
30. 請求項２９に記載のコンピュータプログラムを格納するコンピュータ可読記憶媒体を含む、コンピュータプログラムプロダクト。
31. 命令を格納するマシン可読媒体であって、
    前記命令は実行されると、システムに、
    ミドルウェアマシン環境において、１つ以上のマイクロプロセッサ上で実行される複数の管理ノードを相互接続するステップを行わせ、前記複数の管理ノードは、前記複数の管理ノードに関連付けられる複数のサブネットマネージャが帯域内通信プロトコルを用いて互いに通信することを可能にし、さらに、
    前記複数のサブネットマネージャ同士の間で交渉を行うとともに、前記ミドルウェアマシン環境を構成および管理するよう動作するマスターサブネットマネージャとしてあるサブネットマネージャを選択するステップと、
    前記マスターサブネットマネージャを介して、前記ミドルウェアマシン環境における他のサブネットマネージャに前記帯域内通信プロトコルを用いて１つ以上のサブネット初期化ポリシーを複製するステップと、
    前記１つ以上のサブネット初期化ポリシーに基づき前記ミドルウェアマシン環境において複数のクライアントノードをセットアップするステップとを行わせる、マシン可読媒体。
32. コンピュータに、
    ミドルウェアマシン環境において、１つ以上のマイクロプロセッサ上で実行される複数の管理ノードを相互接続するステップを行わせ、前記複数の管理ノードは、前記複数の管理ノードに関連付けられる複数のサブネットマネージャが帯域内通信プロトコルを用いて互いに通信することを可能にし、さらに、
    前記複数のサブネットマネージャ同士の間で交渉を行うとともに、前記ミドルウェアマシン環境を構成および管理するよう動作するマスターサブネットマネージャとしてあるサブネットマネージャを選択するステップと、
    前記マスターサブネットマネージャを介して、前記ミドルウェアマシン環境における他のサブネットマネージャに前記帯域内通信プロトコルを用いて１つ以上のサブネット初期化ポリシーを複製するステップと、
    前記１つ以上のサブネット初期化ポリシーに基づき前記ミドルウェアマシン環境において複数のクライアントノードをセットアップするステップとを行わせるための、コンピュータプログラム。
33. ミドルウェアマシン環境におけるサブネットマネージャであって、
    帯域内通信プロトコルを用いて他のサブネットマネージャと通信するよう構成される通信モジュールと、
    他のサブネットマネージャと交渉を行うとともにマスターサブネットマネージャを選択するよう構成される選択モジュールと、
    前記サブネットマネージャが前記マスターサブネットマネージャとして選択されたことに応答して、前記帯域内通信プロトコルを用いて、前記ミドルウェアマシン環境における他のサブネットマネージャに１つ以上のサブネット初期化ポリシーを複製するよう構成される複製モジュールと、
    前記サブネットマネージャが前記マスターサブネットマネージャとして選択されたことに応答して、前記１つ以上のサブネット初期化ポリシーに基づき前記ミドルウェアマシン環境において複数のクライアントノードをセットアップするよう構成されるセットアップモジュールとを含む、サブネットマネージャ。
34. 前記帯域内通信プロトコルは、前記ミドルウェアマシン環境において、イーサネット（登録商標）ネットワーキングに加えて通信の冗長性を与える、請求項３３に記載のサブネットマネージャ。
35. １つ以上のパーティションポリシーは、前記ミドルウェアマシン環境においてパーティション構成を定義可能であり、前記１つ以上のパーティションポリシーは、初期化ポリシートランザクションを通じて前記ミドルウェアマシン環境に供給可能である、請求項３３に記載のサブネットマネージャ。
36. パーティショニングポリシーが特定されていない場合、前記サブネットマネージャが前記マスターサブネットマネージャとして選択されたことに応答して、初期化のためのデフォルトのパーティショニングポリシーを用いるよう構成される初期化モジュールをさらに含む、請求項３３に記載のサブネットマネージャ。
37. ファブリックレベルの同期が達成されている場合、前記サブネットマネージャが前記マスターサブネットマネージャとして選択されたことに応答して、デフォルトのパーティションポリシーを用いて最初に始動し、次いで前記ミドルウェアマシン環境においてパーティション構成をインストールすることによりファブリックレベル構成ポリシーを同期するよう構成される同期モジュールをさらに含む、請求項３３に記載のサブネットマネージャ。
38. 請求項３３〜３７のいずれか１項に記載のサブネットマネージャを含む、ミドルウェアマシン環境における管理ノード。
39. ミドルウェアマシン環境においてサブネット初期化を行うためのシステムであって、前記ミドルウェアマシン環境において相互接続される請求項３８に記載の複数の管理ノードを含む、システム。
40. 前記複数の管理ノードは、インフィニバンド（ＩＢ）サブネットの一部である、請求項３９に記載のシステム。
41. 前記複数の管理ノードは１つ以上のネットワークスイッチを含み、前記サブネットマネージャの各々は、ネットワークスイッチ上に存在する、請求項３９に記載のシステム。
42. 前記複数の管理ノードに接続する別個のストレージシステムをさらに含む、請求項３９に記載のシステム。
43. 前記複数の管理ノードに接続する複数のホストサーバをさらに含む、請求項３９に記載のシステム。
44. ゲストがアクセス可能である１つ以上のゲートウェイインスタンスをさらに含む、請求項３９に記載のシステム。
45. 複数のポリシーデーモンをさらに含み、前記ポリシーデーモンの各々は、あるサブネットマネージャに関連付けられる、請求項３９に記載のシステム。
46. 前記マスターサブネットマネージャとともに用いられる前記ポリシーデーモンは、１つ以上のポリシーを用いて前記ミドルウェアマシン環境を構成および管理することを担う、請求項４５に記載のシステム。
47. 前記マスターサブネットマネージャは、すでに作動状態であるノードについては現在のパーティションメンバーシップを変更しないままとするよう動作し、事前に定義されたパーティションを新しい管理ノードについてセットアップすることをただ確実にするだけである、請求項３９に記載のシステム。
48. サブネットマネージャは、パーティションポリシーが前記管理ノードについて完全に同期されている場合、パーティションニングポリシーに定義されるように、完全なパーティションメンバーシップを有するすべてのエンドノードを完全に初期化するよう動作する、請求項３９に記載のシステム。
49. ミドルウェアマシン環境においてサブネット初期化を行うためのシステムであって、
    前記ミドルウェアマシン環境において相互接続される複数の管理ノードと、
    前記複数の管理ノードに関連付けられる複数のサブネットマネージャとを含み、前記複数の管理ノードは、前記複数のサブネットマネージャが帯域内通信プロトコルを用いて互いに通信することを可能にし、前記複数のサブネットマネージャは、互いに交渉するとともにマスターサブネットマネージャとしてあるサブネットマネージャを選択し、
    前記マスターサブネットマネージャは、
    前記帯域内通信プロトコルを用いて、１つ以上のサブネット初期化ポリシーを前記ミドルウェアマシン環境における他のサブネットマネージャに複製し、
    前記１つ以上のサブネット初期化ポリシーに基づき前記ミドルウェアマシン環境において複数のクライアントノードをセットアップするよう動作する、システム。