JP2017224274A - 仮想ラック管理モジュール - Google Patents

Abstract

【課題】ラックとトップ・オブ・ラック（ＴｏＲ）スイッチを管理するシステムを提供する。【解決手段】システムは、第１トップ・オブ・ラック（ＴｏＲ）スイッチ及び第１群のノードを含む第１ラックを有する。前記第１ＴｏＲスイッチは前記第１群のノードに接続される。当該システムはまた、第２ＴｏＲスイッチ及び第２群のノードを含む第２ラックをも有する。前記第２ＴｏＲスイッチは前記第２群のノードに接続される。前記第２ＴｏＲスイッチは前記第１ＴｏＲスイッチに接続される。さらに当該システムはまた、ハイパーバイザーを実行するラック管理ノードを含む。前記ハイパーバイザーは、第１仮想ラック管理モジュール（ｖＲＭＭ）及び第２ｖＲＭＭを実行し、前記第１ｖＲＭＭと前記第２ｖＲＭＭはそれぞれ、前記第１群のノードと前記第２群のノードを管理する。【選択図】図３

Description

本開示は仮想ラック管理モジュールを利用するシステム、方法、及びコンピュータ可読ストレージデバイスに関する。

データセンターでは、様々なサーバー及びネットワークデバイスが、それらの利用及び調節をより簡便かつ管理可能なようにするため、１つ以上のサーバーラックにマウントされている。ラック内に設置された各ノードは、同一のラック内部（の通常は上部）に設置されたトップ・オブ・ラック（ＴｏＲ）スイッチに接続されて、ラック管理モジュールによって管理されてよい。たとえばＴｏＲスイッチは特許文献１に開示されている。ラック管理モジュールは一般的にラック内部にも設置される。ラック管理モジュールにはラック内の全てのノードの管理が割り当てられる。

米国特許出願公開第２０１５００６３３５３号公報

しかしすべてのラック内にラック管理モジュールを有することは費用がかかってしまう恐れがある。その理由は、ラック管理モジュールは、さらなる空間をとり、より多くの電力を消費し、かつ、さらなるケーブルを必要とするからである。これは特に、データセンターのサイズが大きくなり、かつ、ラックの数が増えることで問題となる恐れがある。より多くのラックがデータセンターに追加されることで、同数のラック管理モジュールもまたインスタンス化され、設置され、かつ、維持されなければならない恐れがある。従ってラックとＴｏＲスイッチを管理するように改善されたアーキテクチャが必要である。

本開示のさらなる特徴及び利点は、以降の説明で述べられ、かつ、一部はその説明から明らかとなるか、又は、本願で開示された原則を実施することにより学ぶことができる。本開示の特徴及び利点は、添付の請求項で具体的に指摘される装置及び組み合わせの手段によって実現並びに獲得できる。本開示の上記及び他の特徴は、以降の説明及び添付の請求項からより十分に明らかとなるか、又は、本願で開示された原則を実施することにより学ぶことができる。

仮想ラック管理モジュールを利用するシステム、方法、及びコンピュータ可読ストレージデバイスが開示されている。一部の実施形態では、当該システムは、第１トップ・オブ・ラックスイッチ及び第１群のノードを含む第１ラックを有してよい。前記第１トップ・オブ・ラックスイッチは、ネットワークを介して前記第１群のノードに接続されてよい。当該システムはまた、第２トップ・オブ・ラックスイッチ及び第２群のノードを含む第２ラックを有してよい。前記第２トップ・オブ・ラックスイッチは、前記ネットワークを介して前記第２群のノードに接続されてよい。前記第２トップ・オブ・ラックスイッチはまた、前記ネットワークを介して前記第１トップ・オブ・ラックスイッチにも接続されてよい。当該システムはまた、ハイパーバイザーを実行するラック管理ノードを含んでよい。ここで前記ハイパーバイザーは、第１仮想ラック管理モジュール及び第２仮想ラック管理モジュールを実行する。前記第１仮想ラック管理モジュールは、前記ネットワークを介して前記第１ラックの前記第１群のノードを管理してよい。同様に、前記第２仮想ラック管理モジュールは、前記ネットワークを介して前記第２ラックの前記第２群のノードを管理してよい。前記ハイパーバイザーは、さらなるラック及びさらなるノードの群を管理するさらなる仮想ラック管理モジュールを実行してよい。前記ラック管理ノードは、前記ラックのうちの１つにマウントされることで、前記ラックのうちの他のラックに独自のラック管理モジュールを内部に物理的にマウントさせることを不要にするラックマウントサーバーであってよい。前記仮想ラック管理モジュールは、前記トップ・オブ・ラックスイッチから該トップ・オブ・ラックスイッチのインターネットプロトコル（ＩＰ）アドレスのリストを取得するように構成されてよい。ここで前記ＩＰアドレスのリスト中の各ＩＰアドレスは対応するノードに関連付けられている。前記ＩＰアドレスは、ベースボードマネージメントコントローラ（ＢＭＣ）ＩＰアドレスであってよい。前記仮想ラック管理モジュールはまた、前記トップ・オブ・ラックスイッチから場所のリストを取得するように構成されてもよい。ここけ前記場所のリスト中の各場所は対応するノードに関連付けられている。前記ノードは、サーバー、コンピュータ、ネットワークデバイス等を含んでよい。当該システムはまた、前記ハイパーバイザー上で動作する仮想ラック管理モジュールと前記ノードの群との間でのマッピングのリストをも含んでよい。前記仮想ラック管理モジュールは、このマッピングのリストを取得及び／又は更新してよい。

本技術の一部の態様による典型的な情報処理デバイスを示している。 本技術の一部の態様による典型的なシステムの実施形態を示している。 本技術の一部の態様による典型的なシステムの実施形態を示している。 仮想ラックモジュールを有する典型的なデータセンターアーキテクチャを示している。 ラック管理モジュールの典型的なマッピングテーブルを示している。 ラック管理モジュールの典型的なテーブルを示している。 仮想ラック管理モジュールを登録する典型的な方法の実施形態を示している。

本開示による様々な実施形態が図を参照しながら説明される。

開示された技術は、データセンターを管理する従来技術における課題を解決する。仮想ラック管理モジュールを用いてサーバーラックを管理するシステム、方法、及び、コンピュータ可読ストレージが開示されている。図１、及び図２Ａ，２Ｂに表されているような典型的なシステム及びネットワークの簡単な導入説明が本願で開示されている。仮想ラック管理モジュール、関連する基本概念、及び典型的な変形例の詳細な説明がその後に続く。
これらの変形例は、様々な実施形態を紹介する際に説明する。コンピュータネットワークは、エンドポイント−たとえばパーソナルコンピュータやワークステーション−間でデータを移送する通信リンク及びセグメントによって相互接続されるように空間的に分布するノードの集合である。ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）からソフトウエアで定められたオーバーレイネットワーク−たとえば仮想拡張ローカルエリアネットワーク（ＶＸＬＡＮ）−まで多くの種類のネットワークが利用可能である。

ＬＡＮは一般的に、概して同一の物理的な場所−たとえばビル又はキャンパス−内に設けられた専用のプライベート通信リンクによってノードを接続する。他方ＷＡＮは一般的に、長距離通信リンク−たとえば共通のキャリア電話線、光路、同期光伝送網（ＳＯＮＥＴ）、又は同期デジタルハイアラーキ（ＳＤＨ）リンク−によって空間的に分散したノードを接続する。ＬＡＮとＷＡＮはレイヤー２（Ｌ２）及び／又はレイヤー２（Ｌ２）のネットワーク並びにデバイスを含んでよい。

インターネットは、世界中の別個のネットワークを接続することで様々なネットワーク上のノード間での広域的通信を供するＷＡＮの例である。ノードは一般的に、所定のプロトコル−たとえば通信制御プロトコル／インターネットプロトコル（ＴＣＰ/ＩＰ）−に従って離散的なデータのフレーム又はパケットを交換することによってネットワークで通信する。ここでは、プロトコルは、どのようにしてノードが互いに相互作用するのかを定める規則の組を指称し得る。コンピュータネットワークは、各ネットワークの実効的な「サイズ」を拡張するように、中間ネットワークノード−たとえばルータ−によってさらに相互接続されてよい。ここで図１に移る。

図１は、本開示を実施するのに適した典型的な情報処理デバイス１００を表している。情報処理デバイス１００は、マスタ中央処理装置（ＣＰＵ）１０２、インターフェース１０４、及びバス１０６（たとえばＰＣＩバス）を有する。適切なソフトウエア又はファームウエアの制御化で動作するとき、ＣＰＵ１０２は、パケット管理、エラー検出、及び／又はルーティング機能−たとえば誤配線（ｍｉｓｃａｂｌｉｎｇ）検出機能−の実行に関与する。ＣＰＵ１０２は好適には、ＯＳ及び任意の適切なアプリケーションソフトウエアを含むソフトウエアの制御下でこれらの機能すべてを実現する。ＣＰＵ１０２は、１つ以上のプロセッサ１１０−たとえばモトローラファミリーのマイクロプロセッサ、ＭＩＰＳファミリーのマイクロプロセッサ、又は、ＡＲＭファミリーのマイクロプロセッサから選ばれたプロセッサ−を有してよい。代替実施形態では、プロセッサ１１０は、情報処理デバイス１００の動作を制御するために特別に設計されたハードウエアである。具体的実施形態では、メモリ１０８（たとえば不揮発性ＲＡＭ及び／又はＲＯＭ）もまたＣＰＵ１０２の一部を構成する。しかしメモリがシステムに結合し得る方法には多数の異なる方法が存在する。

インターフェース１０４は一般的に、インターフェースカード（「ラインカード」と呼ばれることもある）として供される。一般的にインターフェース１０４は、ネットワークによるデータパケットの送受信を制御し、かつ、場合によっては情報処理デバイス１００と併用される他の周辺機器に対応する。提供可能なインターフェースは、イーサネット（登録商標）インターフェース、フレームリレーインターフェース、ケーブルインターフェース、ＤＳＬインターフェース、トークンリングインターフェース等である。それに加えて、様々な非常に高速のインターフェースが供されてよい。そのような非常に高速のインターフェースとはたとえば、高速トークンリングインターフェース、ワイヤレスインターフェース、イーサネット（登録商標）インターフェース、ギガビットイーサネット（登録商標）インターフェース、ＡＴＭインターフェース、ＨＳＳＩインターフェース、ＰＯＳインターフェース、ＦＤＤＩインターフェース等であってよい。一般的にこれらのインターフェースは、適切な媒体との通信に適したポートを有してよい。場合によっては、これらのインターフェースは、独立のプロセッサ及び状況によっては揮発性ＲＡＭをも有してよい。独立のプロセッサは、パケットの切り換え、媒体の制御及び管理のような通信の集中するタスクを制御してよい。通信の集中するタスク用に別個のプロセッサを供することによって、これらのインターフェースは、マスタプロセッサ１２０に、ルーティング情報処理、ネットワーク診断、セキュリティ機能等を効率的に実行させることを可能にする。

図１に示されたシステムが本開示の一の具体的なネットワークデバイスであるが、図１に示されたシステムは、本開示が実装可能な唯一のネットワークデバイスアーキテクチャでは決してない。たとえば通信のみならずルーティング情報処理等も処理する単一のプロセッサを有するアーキテクチャが通常は用いられる。さらに他の種類のインターフェース及び媒体も情報処理デバイス１００と併用されてよい。

ネットワークデバイスの設定によらず、ネットワークデバイスは、本願で説明されるローミング、ルート最適化、及びルーティング機能のための汎用ネットワーク動作及び機構用のプログラム命令を格納するように構成される１つ以上のメモリ又はメモリモジュール（メモリ１０８を含む）を用いてよい。プログラム命令はたとえば、ＯＳ及び／又は１つ以上のアプリケーションの動作を制御してよい。（複数の）メモリはまた、テーブル−たとえばモビリティバインディングテーブル、レジストレーションテーブル、アソシエーションテーブル等−を格納するように構成されてもよい。

情報処理デバイス１００は、ネットワークを介して通信されるデータを処理する機能を有する任意のデバイスであってよい。たとえば情報処理デバイス１００は、コンピュータ、デスクトップコンピュータ、携帯式情報処理デバイス、サーバー、スイッチ、ルータ、ゲートウエイ、ブリッジ、メディアアクセスコントローラ、仮想マシン、ハイパーバイザー、ベースボードマネージメントコントローラ（ＢＭＣ）システム等であってよい。ネットワークはＬＡＮ、ＷＡＮ等であってよい。

図２Ａと図２Ｂは典型的な考えられ得るシステムの実施形態を表している。本技術を実施するとき、より適切な実施形態は当業者には自明となる。当業者はまた、他のシステムの実施形態が可能であることをも容易に理解する。図２Ａのシステム２００及び／又は図２Ｂのシステム２５０は図１のシステム１００と等価であってよい。

図２Ａは、従来のシステムバス情報処理システムのアーキテクチャ２００を表している。当該システムの構成要素は、バス２０２を用いて互いに電気的にやり取りする。典型的なシステム２００は、処理装置（ＣＰＵ又はプロセッサ）２０４、及び、システムメモリ２０６−たとえばリードオンリーメモリ（ＲＯＭ）２０８及びランダムアクセスメモリ（ＲＡＭ）２１０−を含む様々なシステム構成要素とプロセッサ２０４とを結合するシステムバス２０２を有する。システム２００は、プロセッサ２０４と直接接続し、近接し、又は、一部として集積される高速メモリのキャッシュを有してよい。システム２００は、プロセッサ２０４による迅速なアクセスのため、メモリ２０６及び／又はストレージデバイス２１２からキャッシュ２１４へデータをコピーしてよい。このようにして、キャッシュは、データを待っている間でのプロセッサ２０４の遅延を回避するパフォーマンスブーストを供してよい。これら及び他のモジュールが、プロセッサ２０４を制御して様々な処理を実行して、又は、するように構成されてよい。他のシステムメモリ２０６も同様に利用可能であってよい。メモリ２０６は、様々な性能特性を備える複数の異なる種類のメモリを含んでよい。プロセッサ２０４は、任意の汎用プロセッサ、並びに、プロセッサ２０４、及び、命令が実際のプロセッサ設計に組み込まれている特殊用途向けプロセッサを制御するように構成されるハードウエアモジュール又はソフトウエアモジュール−たとえばストレージデバイス２１２内に格納されるモジュール１（２１４）、モジュール２（２１６）、及びモジュール３（２１８）−を含んでよい。プロセッサ２０４は本質的に、複数のコア又はプロセッサ、バス、メモリコントローラ、キャッシュ等を含む完全に自己充足の情報処理システムであってよい。マルチコアプロセッサは対称性を有してもよいし、又は、非対称であってもよい。

情報処理デバイス２００とのユーザー相互作用を可能にするため、入力デバイス２２０は、任意の数の入力機構−たとえばスピーチ用マイクロホン、ジェスチャー又はグラフィック入力、キーボード、マウス、運動入力、スピーチ等用タッチ感受性スクリーン−を表してよい。出力デバイス２２２はまた、当業者に既知である多数の出力機構のうちの１つ以上であってもよい。場合によっては、マルチモーダルシステムによって、ユーザーは、情報処理デバイス２００と通信するための複数の種類の入力を供することが可能となり得る。通信インターフェース２２４は概して、ユーザー入力及びシステム出力を制御並びに管理してよい。任意の特別なハードウエア装置上での動作に制約はないので、基本機能は、開発に伴って、改良されたハードウエア又はファームウエア用に容易に置換され得る。

ストレージデバイス２１２は、不揮発性メモリで、かつ、ハードディスク又はコンピュータによってアクセス可能なデータを格納可能な他の種類のコンピュータ可読媒体−たとえば磁気カセット、フラッシュメモリカード、ソリッドステートメモリデバイス、デジタル多目的ディスク、カートリッジ、ランダムアクセスメモリ（ＲＡＭ）２１０、リードオンリーメモリ（ＲＯＭ）２０８及びこれらの組み合わせ−であってよい。

ストレージデバイス２１２は、プロセッサ２０４を制御するソフトウエアモジュール２１４，２１６，２１８を有してよい。他のハードウエア又はソフトウエアモジュールも考えられる。ストレージデバイス２１２はシステムバス２０２に接続されてよい。一の態様では、特定の機能を実行するハードウエアモジュールは、その機能を実行するのに必要なハードウエア構成要素−たとえばプロセッサ２０４、バス２０２、ディスプレイ２２２等−と関連する、コンピュータ可読媒体又はデバイス内に格納されるソフトウエア構成要素を有してよい。

図２Ｂは、説明された方法の実行、並びに、グラフィカルユーザーインターフェース（ＧＵＩ）の生成及び表示に利用可能なチップセットアーキテクチャを有するコンピュータシステム２５０を表している。コンピュータシステム２５０は、開示された技術を実施するのに用いられ得るコンピュータハードウエア、ソフトウエア、及びファームウエアの例である。システム２５０は、特定された情報処理を実行するように構成されたソフトウエア、ファームウエア、及びハードウエアを実行することが可能な物理的並びに／又は論理的に別個である任意の数の資源を表すプロセッサ２５２を有してよい。プロセッサ２５２は、プロセッサ２５２への入力及びプロセッサ２５２からの出力を制御し得るチップセット２５４と通信してよい。この例では、チップセット２５４は、出力デバイス２５６−たとえばディスプレイ−へ情報を出力し、かつ、ストレージデバイス２５８−たとえば磁気媒体及びソリッドステートメディアを含んでよい−に対して情報を読み書きしてよい。チップセット２５４はまたＲＡＭ２６６からデータを読み、かつ、ＲＡＭ２６６へデータを書き込んでもよい。チップセット２５４とのインターフェースとなるため、様々なユーザーインターフェースコンポーネント２６２のインターフェースとなるブリッジ２６０が供されてよい。そのようなユーザーインターフェースコンポーネント２６２は、キーボード、マイクロホン、タッチ検出及び処理回路、たとえばマウスのようなポインティングデバイス等を含んでよい。一般的には、システム２５０への入力は、様々なソース−機械によって生成されるもの及び／又は人間によって生成されるもの−に由来してよい。

チップセット２５４はまた、様々な物理インターフェースを有し得る１つ以上の通信インターフェース２６４のインターフェースとなってもよい。そのような通信インターフェースは、有線及び無線ローカルエリアネットワーク用、ブロードバンド無線ネットワーク用、及びパーソナルエリアネットワーク用のインターフェースを含んでよい。本願で開示されたＧＵＩを生成、表示、及び使用する方法の用途の一部には、機械自身によって、又は、ストレージ２５８又はＲＡＭ２６６内に格納されたデータを解析するプロセッサ２５２によって生成される物理インターフェースで命令されたデータ組を受信することが含まれる。さらに機械は、ユーザーインターフェースコンポーネント２６２を介してユーザーからの入力を受信し、かつ、適切な機能−たとえばプロセッサ２５２を用いてこれらの入力を解釈することによる機能の検索−を実行してよい。

典型的なシステム２００と２５０は、２つ以上のプロセッサ２０４を有するか、又は、より高い処理能力を供するように共にネットワークを構成する情報処理デバイスの群若しくはクラスタの一部であってよいことに留意して欲しい。

図３は、仮想ラックモジュールを有する典型的なデータセンターアーキテクチャを示している。典型的なデータセンター３００は、ネットワークを介して管理ソフトウエア３０４及び／又は他のネットワークノードに接続される１つ以上のラック３０２_１，３０２_２，３０２_３、．．．３０２_Ｎ（“３０２”と総称）で構成される。ネットワークは、ＬＡＮ３０６、又は、他の種類のネットワーク−たとえばＷＡＮ，ＶＸＬＡＮ，ＳＯＮＥＴ，ＳＤＨ、ストレージエリアネットワーク（ＳＡＮ）、光路等−であってよい。管理ソフトウエア３０４はたとえば、データセンターの物理的及び論理的アセットを管理できるデータセンターインフラストラクチャー管理（ＤＣＩＭ）ソフトウエアであってよい。ラック３０２は、様々なデバイス及び機器モジュール−たとえばサーバー、スイッチ、ルータ、ゲートウエイ、ストレージ等−を収容することが可能な物理フレーム、封止体、又はキャビネットであってよい。様々なデバイス及びモジュールはまた、ラックマウント、ラックマウント装置、ラックマウントシステムとも呼ばれ、かつ、ねじ又は他の固定手段によってラック３０２上に物理的に載置されてよい。

この例では、ラック１（３０２_１）は、内部に設置又は載置されたトップ・オブ・ラック（ＴｏＲ）スイッチ１（３０８_１）及びノード１−１（３１０_１−１）乃至ノード１−Ｎ（３１０_１−Ｎ）を有する。同様に、ＴｏＲスイッチ２（３０８_２）及びノード２−１乃至ノード２−Ｎ（３１０_２−１，３１０_２−２，．．．，３１０_２−Ｎ）はラック２（３０２_２）内に設置され、ＴｏＲスイッチ３（３０８_３）及びノード３−１乃至ノード３−Ｎ（３１０_３−１，３１０_３−２，．．．，３１０_３−Ｎ）はラック３（３０２_３）内に設置され、かつ、ＴｏＲスイッチＮ（３０８_Ｎ）及びノードＮ−１乃至ノードＮ−Ｎ（３１０_Ｎ−１，３１０_Ｎ−２，．．．，３１０_Ｎ−Ｎ）はラックＮ（３０２_Ｎ）内に設置される。当業者は、任意の数のラックが存在し得ること、及び、各ラックは内部に設置されたノードを有しても有していなくてもよいことを理解する。ラック３０２はすべて、内部に同数のノードを有している必要はない。ＴｏＲスイッチ−たとえば３０８_１，３０８_２，３０８_３、．．．３０８_Ｎ（“３０８”と総称）−は、ラック内に設置され、かつ、そのラック内のどのノードとも接続するスイッチ−たとえばイーサネット（登録商標）スイッチ−である。しかしＴｏＲスイッチ３０８は、ラック内のほとんど又はすべてのノードと接続されている限り、物理的にラックの上部に存在する必要はない。よって、ノード１−１乃至ノード１−Ｎは、ＴｏＲスイッチ１（３０８_１）に接続され、かつ、ＴｏＲスイッチ１（３０８_１）を介してネットワークの他の部分と通信する。同様に、ノード２−１乃至ノード２−Ｎは、ＴｏＲスイッチ２（３０８_２）等を介してＬＡＮ３０６及びネットワークの他の部分と通信してよい。しかも、ＴｏＲスイッチ３０８は、独自のインターネットプロトコル（ＩＰ）アドレスを有してよく、かつ、すべての個別のアドレス−たとえば各対応するラック内のすべてのノードのＩＰアドレス及びＢＭＣアドレスだけではなく場所のリストを管理してよい。たとえばＴｏＲスイッチ３（３０８_３）は、ノード３−１乃至ノード３−Ｎ（３１０_３−１，３１０_３−２，．．．，３１０_３−Ｎ）のＩＰアドレス、ＢＭＣ ＩＰアドレス、及び場所（たとえばラック３（３０２_３）内部のスロット番号）のすべてを記録してよい。

ラック管理モジュール（ＲＭＭ）は、ＴｏＲ上又はその付近で一般的にはラック内に設置されるコンピュータ、システム・オン・チップ（ＳｏＣ）又はコンピュータ・オン・チップ（ＣｏＭ）であってよい。たとえばＲＭＭは、ｘ８６プロセッサベースのコンピュータ上で動作するＬｉｎｕｘ（登録商標）ベースのＯＳ上で組み込み管理サービスを実行してよい。ＲＭＭは、ＴｏＲスイッチからラック内のノードのＢＭＣ ＩＰアドレスを取得し、かつ、そのＢＭＣ ＩＰアドレスを用いて各ノードを監視してよい。一般的には、各ラックは独自のＲＭＭを有し、かつ、管理ソフトウエア３０４は、ＲＭＭを監視及び管理してよい。しかし各ＲＭＭは、ラック内でさらなる電源、空間、及びケーブル配線を必要とするので、各ラック内でＲＭＭを有することは、データセンターアーキテクチャのコストと複雑さを増大させる。

しかし典型的なデータセンター３００では、すべてのラック３０２内に個別のＲＭＭを設置する代わりに、一のラック管理ノード３１２が、複数のラックのうちのただ一つのラック−ラック１（３０２_１）−内に設置されてよい。当業者は、ラック管理ノード３１２がラック３０２外部の別離した場所内に存在してもよいことを理解する。ラック管理ノード３１２はたとえば、標準的なラックマウントサーバーであってよい。さらにラック管理モジュール３１２はＯＳ３１４−たとえばＬｉｎｕｘ（登録商標）又はＵＮＩＸ（登録商標）ベースのＯＳ−を動作させてよい。ラック管理ノード３１２はまた、１つ以上の仮想マシン（ＶＭ）上で動作するハイパーバイザー３１６をも有してよい。それらのＶＭの各々は、ＲＭＭの仮想化版に基づいてよい。よってハイパーバイザー３１６は、仮想ラック管理モジュール（ｖＲＭＭ）−たとえばｖＲＭＭ＿１（３１８_１），ｖＲＭＭ＿２（３１８_２），ｖＲＭＭ＿３（３１８_３），... ，ｖＲＭＭ＿Ｎ（３１８_Ｎ）（“３１８”と総称）−の１つ以上のイメージを動かしてよい。ｖＲＭＭ３１８は物理ＲＭＭの仮想化版で、かつ、各々はラック３０２のうちの一に割り当てられる。この例では、ｖＲＭＭ＿１（３１８_１）はラック１（３０２_１）に登録され、ｖＲＭＭ＿２（３１８_２）はラック２（３０２_２）に登録され、ｖＲＭＭ＿３（３１８_３）はラック３（３０２_３）に登録され、…かつ、ｖＲＭＭ＿Ｎ（３１８_Ｎ）はラックＮ（３０２_Ｎ）に登録される。ｖＲＭＭ３１８はＲＭＭの同一イメージに基づいてよいし、又は、２つ以上の別個のイメージに基づいてもよい。換言すると、ｖＲＭＭ３１８は、様々なゲストＯＳ、様々なアプリケーション、様々なドライバ、様々なサービス等に関連付けられてよい。

１つ以上のｖＲＭＭ３１８がインスタンス化されてオンラインになるとき、管理ソフトウエア３０４、ラック管理ノード３１２、又は個別のｖＲＭＭは、ラック３０２のいずれかが依然として登録されるべきか否かを診断するようにチェックしてよい。未登録のラックが発見された場合には、管理ソフトウエア３０４、ラック管理ノード３１２、又は個別のｖＲＭＭは、自身をその未登録のラックに登録し、かつ、新たに登録されたラックの管理を開始してよい。よってたとえば、ｖＲＭＭ＿２（３１８_２）は、未登録ラック−たとえばラック２（３０２_２）−を発見し、かつ、そのＴｏＲスイッチ３０８_２と通信することで、そのノード３１０_２−１，３１０_２−２，．．．，３１０_２−Ｎに関する情報−たとえばＩＰアドレス、ＢＭＣ ＩＰアドレス、場所等−を取得してよい。一旦ｖＲＭＭ＿２（３１８_２）がすべての必要な情報をＴｏＲスイッチ３０８_２から取得すると、ｖＲＭＭ＿２（３１８_２）は、ラック２（３０２_２）内のノードの管理を開始してよい。よってデータセンターが新たなノードのラックをインスタンス化するとき、ラック管理ノード３１２は単純に、その空のｖＲＭＭ（３１８）のうちの一を新たなラックに割り当てるか、又は、新たなラック用のｖＲＭＭイメージによって新たなｖＲＭＭをインスタンス化してよい。管理ソフトウエア３０４又は任意の既存のｖＲＭＭイメージへのさらなる修正は必要ない。

図４は、ラック管理モジュール用の典型的なマッピングテーブルを示している。テーブル４００は、ノード、ラック、ＴｏＲスイッチ、ラック管理ノード、ハイパーバイザー、ｖＲＭＭ、及び／又は管理ソフトウエア内部に格納される典型的なリストすなわちデータ構造を表してよい。テーブル４００は、たとえばＴｏＲスイッチ４０２、アドレス４０４、ｖＲＭＭ４０６等のような列を有してよい。たとえば典型的なテーブル４００は、ＴｏＲスイッチ１が、１９２．１６８．１．１のＩＰアドレスを有し、かつ、ｖＲＭＭ１に登録されていることを示している。テーブル４００はまた、ＴｏＲスイッチ３が、１９２．１６８．１．１５のＩＰアドレスを有し、かつ、まだｖＲＭＭに登録されていないことをも示している。新たなｖＲＭＭがインスタンス化されるとき、又は、既存のｖＲＭＭが過去のＴｏＲスイッチから登録されていないとき、ｖＲＭＭはテーブル４００を参照して、未登録のＴｏＲスイッチ−たとえばＴｏＲスイッチ３又はＴｏＲスイッチ５−を発見してよい。ｖＲＭＭの登録状態に関する情報４０６が利用可能でない場合、新たなｖＲＭＭは、対応するＴｏＲスイッチの一が未登録であることを示唆するメッセージを返すまで、アドレス４０４の各々に−一回で一のアドレスに−登録リクエストを送ってもよい。一旦未登録のＴｏＲスイッチ（つまりは未登録ラック）が発見されると、ｖＲＭＭは未登録スイッチ（とその未登録ラック）を自身に登録し、かつ、そのＴｏＲスイッチを登録済みの印を付すことによってテーブル４００を更新してよい。

図５は、ラック管理情報の典型的なテーブルを示している。テーブル５００は、ｖＲＭＭによって対応するＴｏＲから取得される典型的なリストすなわちデータ構造を表してよい。たとえば一旦ｖＲＭＭがＴｏＲスイッチ（及び対応するノードのラック）に登録されると、そのｖＲＭＭは、そのＴｏＲスイッチと同一のラック内に設置されるノードに関する情報を取得し得る。ラック管理に使用されるその情報は、ノード識別子５０２、ＩＰアドレス５０４、ＢＭＣ ＩＰアドレス５０６、場所５０８等を含んでよい。ノード識別子５０２は、所与のサーバーラック上にマウントされるノードを固有に識別する数字又は文字数字の列であってよい。ノードは、コンピュータサーバー、ＶＭ、スイッチ、ルータ、ゲートウエイ、ネットワークデバイス等であってよい。ホスト／ノードのＩＰアドレス５０４はノードに関連付けられてよく、かつ、ｖＲＭＭは、ＩＰアドレス５０４を利用して対応するノードと通信してよい。ＢＭＣ ＩＰアドレス５０６は、サイドバンド又はアウトオブバンドチャネルを介して対応するノードに到達するのに用いられてよい。これらの通信チャネルはたとえば、インテリジェントプラットフォームマネージメントインターフェース（ＩＰＭＩ）に従って別個の専用管理ＬＡＮ接続であってよい。ＢＭＣ ＩＰアドレス５０６は、ノード内部に埋め込まれた個々のＢＭＣモジュールに割り当てられ、かつ、たとえそのノードがオフライン又は故障中のときでさえも、ｖＲＭＭ及び／又は管理ソフトウエアにそのノードの状態を監視させることを可能にし得る。場所５０８は、ラック内部の個々のノードの場所を表してよい。たとえば場所５０８は、ラック内部のノードのマウント数又はスロット数を表してよい。

いくつかの基本システム構成要素及び基本概念を開示してきたところで、本開示は図６に示された典型的な方法の実施形態に移る。感銘を期すため、当該方法は、当該方法を実施するように構成された図１のシステム１００で説明する。しかし典型的な方法は、たとえば既に開示された図２Ａのシステム２００、図２Ｂのシステム２５０、図３のデータセンター３００、図３の管理ソフトウエア３０４、図３のラック管理ノード３１２、図３のハイパーバイザー３１６、図３のｖＲＭＭ３１８のような任意のソフトウエア又はハードウエア構成要素、デバイス等によって実施され得る。本願で概略が説明される段階は典型例であり、かつ、ある段階の排除、追加、又は修正を含む任意の組み合わせで任意の順序において実施されてよい。

図６は、仮想ラック管理モジュールを登録する典型的な方法の実施形態を示している。システム１００は、ハイパーバイザー上で仮想ラック管理モジュールのイメージを実行してよい（６０２）。ハイパーバイザーは、ラック内に設置されたラック管理ノード上で実行してよい。ラック管理ノードはラックマウントサーバーであってよい。システム１００はアドレスのリストを特定してよい（６０４）。システム１００は、未登録トップ・オブ・ラックスイッチからの受取通知が受信されるまで、アドレスのリスト中の各アドレスへ登録リクエストを送ってよい（６０６）。受取通知は、登録リクエストのうちの一に応じて未登録トップ・オブ・ラックスイッチによって送られてよい。たとえばシステム１００は、リスト中のアドレスの各々に登録リクエストを−一回に一のリクエストで−送り、かつ、未登録トップ・オブ・ラックスイッチがこれらのリクエストのうちの一を受信するときには、受取通知をシステム１００へ送ってよい。受取通知は、未登録トップ・オブ・ラックスイッチの特定を示唆し得る。あるいはその代わりに、システム１００は、トップ・オブ・ラックスイッチを仮想ラック管理モジュールイメージでマッピングするマッピングテーブル内を参照することによって未登録トップ・オブ・ラックスイッチを発見し得る。

システム１００は、未登録トップ・オブ・ラックスイッチを仮想ラック管理モジュールイメージに登録することで、ラック内に設置されたノードの群に関連付けられる登録済みトップ・オブ・ラックスイッチを与えてよい（６０８）。ラックは、ラック管理ノードが設置されたラックと同一のラックであってよいし、又は、異なるラックであってもよい。ノードの群は、サーバー、コンピュータ、及び／又はネットワークデバイスを含んでよい。登録済みトップ・オブ・ラックスイッチは、ノードの群と同一のラック内に設置されてよい。仮想ラック管理モジュールイメージの登録は、未登録トップ・オブ・ラックスイッチからのノードアドレスの受信を含んでよい。複数のノードアドレスの各ノードアドレスはノードの群の各対応するノードに対応してよい。ノードアドレスはベースボードマネージメントコントローラＩＰアドレスであってよい。仮想ラック管理モジュールイメージの登録はまた、未登録トップ・オブ・ラックスイッチからの場所の受信を含んでよい。前記場所の各々は、ノードの群の各対応するノードのラック内部での各対応する場所に対応する。未登録トップ・オブ・ラックスイッチは、リスト中で登録済みの印が付されてよい。続いて仮想ラック管理モジュールイメージはノードの群を管理してよい（６１０）。

システム１００はまた、ハイパーバイザー上で第２仮想ラック管理モジュールイメージをも実行してよい。システム１００は、第２の受取通知が第２未登録トップ・オブ・ラックスイッチから受信されるまで、アドレスのリスト中の各アドレスへ第２登録リクエストを送ってよい。システム１００は、第２未登録トップ・オブ・ラックスイッチを第２仮想ラック管理モジュールイメージに登録することで、第２登録済みトップ・オブ・ラックスイッチを与えてよい。第２登録済みトップ・オブ・ラックスイッチは、第２ラック内に設置された第２ノード群に関連付けられてよい。よって第２仮想ラック管理モジュールイメージは第２ノード群を管理してよい。

説明の便宜上、一部の場合では、本願の技術は、デバイス、デバイス構成要素、ソフトウエア若しくはハードウエアとソフトウエアの組み合わせで実施される方法における段階又はルーチンを有する機能ブロックを含む個々の機能ブロックを含むものとして与えられてよい。コンピュータ可読ストレージデバイス及び媒体は明確に、一時的媒体−たとえばエネルギー、キャリア信号、電磁波、及び信号自体−を排除する。

上記の例による方法は、格納されているか又はコンピュータ可読媒体若しくはデバイスから利用可能なコンピュータ実行可能命令を用いて実装されてよい。そのような命令はたとえば、汎用コンピュータ、特殊用途向けコンピュータ、又は特殊用途向け処理装置にある機能（の群）を実行させる（ように構成される）命令及びデータを含んでよい。利用されるコンピュータ資源の一部はネットワークを介してアクセス可能である。コンピュータ実行可能命令はたとえば、二進数、中間形式−たとえばアセンブリ言語、ファームウエア、又はソースコード−の命令であってよい。命令、利用される情報、及び／又は、説明された例による方法の間に生成される情報を格納するのに用いることのできるコンピュータ可読媒体の例には、磁気又は光ディスク、フラッシュメモリ、不揮発性メモリが供されるＵＳＢデバイス、ネットワークストレージデバイス等が含まれる。

本開示による方法を実装するデバイスは、ハードウエア、ファームウエア、及び／又はソフトウエアを有し、かつ、様々な形状因子のうちの任意のものをとってよい。そのような形状因子の典型的な例には、ラップトップ、スマートフォン、小さな形状因子のパーソナルコンピュータ、個人情報端末（ＰＤＡ）、ラックマウントデバイス、スタンドアローンデバイス等が含まれる。本願で説明される機能は周辺機器又はアドインカードで実施されてもよい。そのような機能はまた、他の例として、様々なチップ又は単一デバイス内で実行される様々な処理装置に囲まれた回路基板上で実装されてよい。

命令、該命令を伝える媒体、該命令を実行する情報処理資源、及び、該情報処理資源を支援する他の構造は、本開示で説明された機能を供する手段である。

様々な例及び他の情報が添付の請求項の技術的範囲内の態様を説明するのに用いられてきたが、当業者はこれらの例を用いて広範な実施形態を導くことができるので、請求項の限定は、そのような例における特定の特徴又は構成に基づいては示唆されてはならない。さらに一部の発明特定事項が、構造上の特徴及び／又は方法の段階の例に固有な言語で表されたが、添付の請求項で定義される発明特定事項は、上記の説明された特徴又は処理に必ずしも限定されないことに留意して欲しい。たとえばそのような機能は、異なる分配がなされてよいし、又は、本願で特定された構成要素以外のもので実行されてもよい。むしろ説明された特徴及び段階は、添付の請求項の範囲内のシステム及び方法の構成要素の例として開示される。しかも請求項中のある組のうちの「少なくとも１つ」という記載は、その組のうちの１つの構成要素又はその組の複数の構成要素がその請求項を満足することを示唆する。

一の実施形態又は例を参照した本願の特徴又は構成は、本願の他の実施形態又は例において実装されてよいし、又は、組み合わせられてもよいことに留意して欲しい。つまり具体的な特徴又は構成を表すのに用いられる「実施形態」、「変化型」、「態様」、「例」、「構成」、「実装例」、「場合」、及び、実施形態を含意する他の用語は、それらに係る特徴又は構成を、（複数の）具体的又は別個の実施形態に限定することを意図せず、係る特徴又は構成は、他の実施形態、変化型、態様、例、構成、実装例、場合等を参照して説明される特徴又は構成と組み合わせられないことを示唆していると解されてはならない。換言すると、本願において具体例（たとえば実施形態、変化型、態様、構成、実装例、場合等）を参照しながら説明される特徴は、他の例を参照して説明された特徴と組み合わせられてよい。厳密には、当業者は、本願で説明される様々な実施形態又は例及びそれに係る特徴が互いに組み合わせ可能であることを容易に理解する。

たとえば「態様」のような語句は、係る態様が、対象となる技術にとって必須であることも意味せず、係る態様が対象となる技術の全構成に適用されることも意味しない。ある態様に関連する開示は、全構成又は１つ以上の構成に適用されてよい。たとえば、ある１つの態様のような語句は１つ以上の態様を指称してよいし、その反対も成り立つ。たとえば「構成」のような語句は、係る構成が、対象となる技術にとって必須であることも意味せず、係る態様が対象となる技術の全構成に適用されることも意味しない。ある態様に関連する開示は、全構成又は１つ以上の構成に適用されてよい。たとえば、ある１つの構成のような語句は１つ以上の構成を指称してよいし、その反対も成り立つ。「典型的な」という単語は本願では、「ある例を与える」という意味で用いられている。本願で「典型的な」ものとして説明されている任意の態様又は設計は、必ずしも他の態様又は設計よりも好適又は有利なものとして構築されない。しかも請求項中のある組のうちの「少なくとも１つ」という記載は、その組のうちの１つの構成要素又はその組の複数の構成要素がその請求項を満足することを示唆する。

１００ 情報処理デバイス、１０２ ＣＰＵ、１０４ インターフェース、１０６ バス、１０８ メモリ、１１０ プロセッサ、２００ システム、２０２ バス、２０４ プロセッサ、２０６ システムメモリ、２０８ ＲＯＭ、２１０ ＲＡＭ、２１２ ストレージデバイス、２１４ モジュール、２１６ モジュール、２１８ モジュール、２２０ 入力デバイス、２２２ 出力デバイス、２２４ 通信インターフェース、２５０ システム、２５２ プロセッサ、２５４ チップセット、２５６ 出力デバイス、２５８ ストレージデバイス、２６０ ブリッジ、２６２ ユーザーインターフェースコンポーネント、２６４ 通信インターフェース、２６６ ＲＡＭ。

Claims (10)

1. 第１トップ・オブ・ラックスイッチ、及び、該第１トップ・オブ・ラックスイッチがネットワークを介して接続される第１群のノードを含む第１ラック、
   前記ネットワークを介して前記第１トップ・オブ・ラックスイッチに接続される第２トップ・オブ・ラックスイッチ、及び、該第２トップ・オブ・ラックスイッチが前記ネットワークを介して接続される第２群のノードを含む第２ラック、並びに、
   前記第１ラックの前記第１群のノードを管理する第１仮想ラック管理モジュール、及び、前記第２ラックの前記第２群のノードを管理する第２仮想ラック管理モジュールを実行するハイパーバイザーを実行するラック管理ノード、
   を有するシステム。
2. 前記ラック管理ノードが第１ラック上にのみマウントされ、かつ、前記ラック管理ノードはラックマウントサーバーを有する、請求項１に記載のシステム。
3. 前記第１仮想ラック管理モジュールが、前記第１トップ・オブ・ラックスイッチからインターネットプロトコル（ＩＰ）アドレスのリストを取得するように構成され、
   前記ＩＰアドレスのリスト中の各ＩＰアドレスは前記第１群のノード中の対応するノードに関連付けられる、
   請求項１に記載のシステム。
4. 前記ＩＰアドレスの各々がベースボードマネージメントコントローラＩＰアドレスを有する、請求項３に記載のシステム。
5. 前記第１仮想ラック管理モジュールが、前記第１トップ・オブ・ラックスイッチから場所のリストを取得するように構成され、
   前記場所のリスト中の各場所は前記第１群のノード中の対応するノードに関連付けられる、
   請求項１に記載のシステム。
6. ハイパーバイザー上で仮想ラック管理モジュールイメージを実行する段階、
   アドレスのリストを特定する段階であって、前記リスト中の各アドレスは各対応するトップ・オブ・ラックスイッチに割り当てられる、段階、
   受け取り通知が未登録トップ・オブ・ラックスイッチから受信されるまで前記リスト中の各アドレスに登録リクエストを送る段階、
   前記未登録トップ・オブ・ラックスイッチを前記仮想ラック管理モジュールイメージに登録することで、ラック内に設置されたノードの群に関連付けられる登録済みトップ・オブ・ラックスイッチを与える段階、及び、
   前記仮想ラック管理モジュールイメージによって前記ノードの群を管理する段階、
   を有する方法。
7. 前記仮想ラック管理モジュールイメージに登録する段階は、各々が前記ノードの群の各対応するノードに関連付けられるノードアドレスを前記未登録トップ・オブ・ラックスイッチから受信する段階を含む、請求項６に記載の方法。
8. 前記仮想ラック管理モジュールイメージに登録する段階は、各々が前記ノードの群の各対応するノードに関連付けられる場所を前記未登録トップ・オブ・ラックスイッチから受信する段階を含む、請求項６に記載の方法。
9. 前記未登録トップ・オブ・ラックスイッチを前記アドレスのリスト中に登録済みとして印を付す段階をさらに有する、請求項６に記載の方法。
10. プロセッサによって実行されるときに、前記プロセッサに、
    ハイパーバイザー上で仮想ラック管理モジュールイメージを実行する段階、
    前記仮想ラック管理モジュールイメージによって、アドレスのリストを特定する段階であって、前記リスト中の各アドレスは各対応するトップ・オブ・ラックスイッチに割り当てられる、段階、
    前記仮想ラック管理モジュールイメージによって、受け取り通知が未登録トップ・オブ・ラックスイッチから受信されるまで前記リスト中の各アドレスに登録リクエストを送る段階、
    前記未登録トップ・オブ・ラックスイッチを前記仮想ラック管理モジュールイメージに登録することで、ラック内に設置されたノードの群に関連付けられる登録済みトップ・オブ・ラックスイッチを与える段階、及び、
    前記仮想ラック管理モジュールイメージによって前記ノードの群を管理する段階、
    を有する動作を実行させる命令を格納するコンピュータ可読ストレージデバイス。

Images