JP2010508584A - コンピュータクラスタをネットワーク化するためのシステム及び方法 - Google Patents

Abstract

方法の実施例では、コンピュータクラスタネットワークをネットワーク化する方法は、複数のサブアレイのそれぞれの複数のネットワークノードであって、各ネットワークノードがメッセージを転送、送信及び受信するよう動作可能な複数のネットワークノードを通信接続するステップを含む。本方法はまた、少なくとも１つのコアスイッチを介し少なくとも２つのサブアレイを通信接続するステップを含む。

Description

本発明は、コンピュータシステムに関し、特にスケーラビリティと帯域幅が向上したコンピュータネットワーククラスタに関する。

ハイパフォーマンスコンピューティングのためのコンピューティングニーズが拡大し続けている。コモディティプロセッサは、いくつかの問題に適用するのに十分強力なものとなってきたが、最大の問題を解くためには、しばしば数千又は数万のプロセッサにスケーリングされる必要がある。しかしながら、ネットワーク化されたコンピュータクラスタネットワークを構成するため、これらのプロセッサを相互接続する従来の方法は、各種理由のため問題がある。

特定の実施例では、コンピュータクラスタネットワークは、各ネットワークノードがメッセージを転送、送信及び受信するよう動作可能な複数のネットワークノードを各サブアレイが有する複数のサブアレイを含む。コンピュータクラスタネットワークはまた、各コアスイッチが少なくとも１つの他のコアスイッチに通信接続され、複数のサブアレイの少なくとも２つを通信接続する複数のコアスイッチを含む。

方法の実施例では、コンピュータクラスタネットワークをネットワーク化する方法は、複数のサブアレイのそれぞれの複数のネットワークノードであって、各ネットワークノードがメッセージを転送、送信及び受信するよう動作可能な複数のネットワークノードを通信接続するステップを含む。本方法はまた、少なくとも１つのコアスイッチを介し少なくとも２つのサブアレイを通信接続するステップを含む。

本発明の特定の実施例は、１以上の技術的効果を提供するかもしれない。いくつの実施例の教示は、極めてスケーラブルなコンピュータクラスタネットワークをサポートするネットワーク網アーキテクチャとラック搭載可能な実現形態とを認識した。各種実施例はさらに、従来のメッシュトポロジーに係るネットワークトラフィックの制約を最小限にする増大した帯域幅をサポートするかもしれない。いくつかの実施例では、帯域幅とスケーラビリティの向上は、部分的には、ネットワーク網がネットワークノード間で短い相互接続を有することによって、またより少数のスイッチが離れたネットワークノードの間の通信パスに配設することによって、実現される。さらに、いくつかの実施例は、ネットワークノードのサブアレイに基づくネットワーク網の実現形態をより実践的にするかもしれない。

本発明の特定の実施例は、上述した効果の一部又はすべてを提供するかもしれないし、又は何れも提供しないかもしれない。特定の実施例は、ここに含まれる図面、説明及び請求項から当業者に容易に明らかとなる１以上の他の技術的効果を提供するかもしれない。

本発明とその効果のより完全な理解のため、添付した図面と共に以下の説明が参照される。
図１は、コンピュータクラスタネットワークの一部の実施例を示すブロック図である。 図２は、図１のコンピュータクラスタネットワークのネットワークノードの１つの一実施例のブロック図を示す。 図３は、６×６の２次元サブアレイにおいて相互接続される図２の３６のネットワークノードを有する図１のコンピュータクラスタネットワークの一部の一実施例のブロック図を示す。 図４は、コアスイッチにより相互接続される図３の複数のサブアレイを有する図１のコンピュータクラスタネットワークの一部の一実施例のブロック図を示す。 図５は、単一の装置ラックに構成されるサブアレイのＸ軸次元を有する図１のコンピュータクラスタネットワークの一部の一実施例のブロック図を示す。 図６は、複数の装置ラックに構成されるサブアレイのＸ軸次元を有する図４のコンピュータクラスタネットワークの一部の一実施例のブロック図を示す。 図７は、複数の装置ラックを介し相互接続及び拡張したＹ軸接続を有する図４のコンピュータクラスタネットワークの一実施例のブロック図を示す。 図８は、図６及び７に示される複数のコンピュータラックのそれぞれの内部に配置される図４の各サブアレイを有する図１のコンピュータクラスタネットワークの一部の一実施例のブロック図を示す。

本発明の教示によると、改良されたネットワーク網を有するコンピュータクラスタネットワークとその方法が提供される。本発明の実施例とその効果は、同様の数字が各種図面の同様の及び対応する部分について使用される図１〜８を参照することによって理解される。本記載を通じて規定される特定の具体例は、単なる例示のためのものであり、本開示の範囲を限定するものでない。さらに、図１〜８の記載は、必ずしもスケーリングして描かれていない。

図１は、コンピュータクラスタネットワーク１００の一部の実施例を示すブロック図である。コンピュータクラスタネットワーク１００は、一般にネットワーク網１０４により通信接続又は相互接続される複数のネットワークノード１０２を有する。図示されるように、各種実施例では、コンピュータクラスタネットワーク１００は、スケーラブルかつコスト効果的なコンフィギュレーションにより高帯域幅動作をサポートするハイパフォーマンスコンピューティングシステムを有してもよい。

図２を参照して以下で詳細に説明されるように、ネットワークノード１０２は、一般にメッセージを転送、送信及び／又は受信することによって、ネットワーク網１０４と通信するよう動作可能な何れか適切な装置を表す。例えば、ネットワークノード１０２は、スイッチ、プロセッサ、メモリ、入出力及び上記の何れかの組み合わせを含むかもしれない。ネットワーク網１０４は、一般にオーディオ、ビデオ、信号、データ、メッセージ又は上記の何れかの組み合わせを通信可能な何れかの相互接続システムを表す。一般に、ネットワーク網１０４は、ネットワークノード１０２の間の通信パスを一緒になって確立する複数のネットワーキング要素及びコネクタを含む。図示されるように、各種実施例では、ネットワーク網１０４は、短い銅ケーブルにより相互接続される複数のスイッチを有してもよく、これにより、周波数及び帯域幅が向上する。

コンピュータパフォーマンスの向上に従って、より高い処理レートをサポートするのに必要とされるネットワークパフォーマンスがまた向上してきた。さらに、いくつかのコンピュータクラスタネットワークは、最大の問題を解くために、数千又は数万のプロセッサにスケーリングされる。多くの具体例では、従来のネットワーク網アーキテクチャは、帯域幅とスケーラビリティの双方を適切に対処していない。

例えば、多くの従来のネットワーク網は、しばしばコストがかかり、大きなケーブル長によりパフォーマンスが限定されるファット・ツリー（ｆａｔ−ｔｒｅｅ）アーキテクチャを利用する。メッシュトポロジーを利用する他の従来のネットワーク網は、ネットワークノードにスイッチング機能を分散させることによって、ケール長を制限するかもしれない。しかしながら、このようなメッシュトポロジーは、典型的には、各種通信パスに配置されるスイッチの増加により、ネットワークトラフィックの制約を有する。従って、本発明のいくつかの実施例の教示は、よりスケーラブルなコンピュータクラスタネットワークをサポートするネットワーク網１０２のアーキテクチャとラック搭載可能な実現形態を認識した。各種実施例はさらに、従来のメッシュトポロジーに係るネットワークトラフィックの制約を最小限にする増大した帯域幅をサポートするかもしれない。図示されるように、いくつかの実施例では、帯域幅とスケーラビリティの増大は、部分的には、ネットワーク網１０４がネットワークノード１０２の間に短い相互接続を有することと、より少ないスイッチが各ネットワークノード１０２の間の通信パスに配置されることによって、実現される。さらに、いくつかの実施例は、ネットワークノード１０２のサブアレイに基づくネットワーク網１０４の実現形態をより実践的なものにするかもしれない。２次元サブアレイについて構成されるネットワークノード１０２の実施例が、図２に示される。

図２は、図１のコンピュータクラスタネットワーク１００のネットワークノード１０２の１つの一実施例のブロック図を示す。本実施例では、ネットワークノード１０２は、一般に２次元ネットワーク網１０４での動作のため、外部インタフェース１１０，１１２，１１４，１１６を有するスイッチ１０８に接続される複数のクライアント１０６を有する。スイッチ１０８は、一般にオーディオ、ビデオ、信号、データ、メッセージ又はこれらの何れかの組み合わせを転送可能な何れかの装置を表す。クライアント１０６は、一般にメッセージを転送、通信及び／又は受信可能な何れかの装置を表す。例えば、クライアント１０６は、スイッチ、プロセッサ、メモリ、入出力及びこれらの何れかの組み合わせを含むかもしれない。本実施例では、クライアント１０６はスイッチ１０８に接続されるコモディティ又は市販のコンピュータ（ｃｏｍｍｏｄｉｔｙ ｃｏｍｐｕｔｅｒ）１０６である。スイッチ１０８の外部インタフェース１１０，１１２，１１４，１１６は、２次元サブアレイのそれぞれ−Ｘ，＋Ｘ，−Ｙ，＋Ｙの各方向の通信をサポートするよう動作可能な各コネクタに接続される。他の様々な実施例は、３以上の次元を有するネットワーク網をサポートするかもしれない。例えば、他の様々な実施例の３次元ネットワークノードは、−Ｘ，＋Ｘ，−Ｙ，＋Ｙ，−Ｚ，＋Ｚの各方向の通信をサポートするよう動作可能な６つのインタフェースを有してもよい。より高い次元によるネットワークは、ネットワークノード１０２から出るインタフェースの個数の適切な増加を必要とするかもしれない。２次元サブアレイに構成されるネットワークノード１０２の実施例が、図３に示される。

図３は、１２×６の２次元サブアレイ３００において相互接続される図２の３６のネットワークノード１０２を有する図１のコンピュータクラスタネットワーク１００の一部の一実施例のブロック図を示す。本実施例では、各ネットワークノード１０２は、物理的に近傍のネットワークノード１０２のそれぞれに接続され、これにより、極めて短いネットワーク網１０４の相互接続が可能となる。例えば、ネットワークノード１０２ｃは、インタフェース及び関連するコネクタ１１０，１１２，１１４，１１６を介しそれぞれネットワークノード１０２ｄ，１０２ｅ，１０２ｆ，１０２ｇに接続される。各種実施例では、短い相互接続は、極めて高いデータレートをサポートするよう動作可能な安価な銅線を用いて実現可能である。

本実施例では、ネットワークノード１０２ａと１０２ｂとの間の通信パスは、サブアレイ３００について最大数の中間ネットワークノード１０２又はスイッチホップを有する。本開示のため、スイッチ“ホップ”という用語は、特定のスイッチ１０８を介しメッセージを通信することを表す。例えば、本実施例では、コモディティコンピュータ１０６ａの１つからコモディティコンピュータ１０６ｂの１つへのメッセージは、各ネットワークノード１０２に係る１７のスイッチ１０８を通過又はホップする必要がある。＋Ｘ方向では、スイッチホップは、ネットワークノード１０２ａのスイッチを含む１２のネットワークノード１０２を含む。＋Ｙ方向では、ホップは、ネットワークノード１０２Ｂに係るスイッチ１０８を含む他の５つのネットワークノード１０２を含む。コンピュータクラスタ１００のサイズが増加すると、中間ネットワークノード１０２の個数と、各種通信パスの各スイッチホップとは、遅延や混雑が全体のパフォーマンスに影響を与えるポイントに達するかもしれない。

他の各種実施例は、例えば、各サブアレイについて３次元アーキテクチャを使用することによって、スイッチホップの最大数を減少させるかもしれない。説明のため、５７６のネットワークノード１０２の２次元サブアレイのコーナー間のスイッチホップの最大数は、２４＋２３＝４７ホップとなる。８×８×９のサブアレイとして構成される３次元アーキテクチャは、最大ホップカウントを８＋７＋２２＝２２ホップに減少させる。以下で詳細に説明されるように、アレイが２次元トーラスに変形される場合、ホップの最大数は、１３＋１２＝２５となる。８×８×９のアレイとして構成される３次元トーラスにサブアレイを変形することによって、ホップの最大数は、５＋４＋５＝１４に減少する。

コンピュータクラスタネットワーク１００は、複数のサブアレイ３００を有するかもしれない。各種実施例では、１つのサブアレイ３００のネットワークノード１０２は、他のサブアレイ３００のネットワークノード１０２と通信するよう動作可能であるかもしれない。コンピュータクラスタネットワーク１００の各サブアレイ３００の相互接続は、各種ネットワーク網１０２の何れかにより実現されてもよい。図４において、多次元サブアレイを相互接続するよう動作可能な１次元の等価なものを追加したネットワーク網１０４の実施例が示される。

図４は、コアスイッチ４１０により相互接続される図３の複数のサブアレイ３００を有する図１のコンピュータクラスタネットワーク１００の一部の一実施例のブロック図を示す。本開示のため及び以下の請求項において、“コアスイッチ”という用語は、あるサブアレイと少なくとも１つの他のサブアレイとを相互接続するスイッチを表す。本実施例では、コンピュータクラスタネットワーク１００は、一般に各サブアレイが１２の８−ポートコアスイッチ４１０に接続されるエッジを有する８つの個別の６×１２のサブアレイ（サブアレイ３００ａ，３００ｂなど）に区分けされる５７６のネットワークノード（ネットワークノード１０２ａ，１０２ｈ，１０２ｉ，１０２ｊなど）。あるいは、他の様々な実施例は、３次元サブアレイを使用するかもしれない。このような実施例では、各サブアレイは、例えば、サブアレイの２つの対角エッジに沿って１以上のコアスイッチに接続されるかもしれない。本実施例は、従来の２次元ネットワーク網と比較して、最大スイッチホップ数をほぼ２のファクタだけ減少させる。説明のため、ネットワークノード１０２ａと１０２ｈのコモディティコンピュータ１０６の間の通信は、本構成について最大で２４スイッチホップを含む。通信パスは、Ｙ軸の全体の長さと（１２のネットワークノード１０２を介し）、Ｘ軸の残りと（１１のネットワークノード１０２を介し）、８−ポートコアスイッチ４１０の１つを介したものを含むかもしれない。

他の様々な実施例は、スイッチホップの最大数をさらに減少させるかもしれない。例えば、各サブアレイ３００は、Ｘ軸のエッジに沿って配置された各ネットワークノードと反対のエッジ上に配置された各ネットワークノードとを相互接続することによって（例えば、クライアントノード１０２ａと１０２ｉとの相互接続など）、２次元トーラスに変形されてもよい。このようなコンフィギュレーションは、最大スイッチホップ数を６＋１１＋１＝１８に減少させる。さらに、各サブアレイ３００は、例えば、２つのサブアレイのＹ軸のエッジに沿って配置されたネットワークノードを相互接続することによって（１０２ａと１０２ｊとの相互接続など）、Ｙ軸に沿って変形されてもよい。このようなトーラスコンフィギュレーションでは、Ｘ軸とＹ軸とに沿った変形された接続によって、スイッチホップの最大数は６＋６＋１＝１３となり、これは、従来の３次元トーラスアーキテクチャにおいてすべてのネットワークノード１０２を配置することによって実現されるホップのより大きな減少をもたらす。コンピュータクラスタネットワーク１００の実際のシステムのメカニカルな制約への適合方法の各種実施例が、図５〜７に示される。

図５は、単一の装置ラック５００に構成されたサブアレイ３００のＸ軸次元を有する図１のコンピュータクラスタネットワーク１００の一部の一実施例のブロック図を示す。本実施例では、装置ラック５００は、一般に６つのブレードサーバ９Ｕシャーシ５１０，５２０，５３０，５４０，５５０，５６０を有する。各シャーシ５１０，５２０，５３０，５４０，５５０，５６０は、各シャーシが２次元アレイに接続されることを可能にする４つのネットワークインタフェースを有するスイッチに加えて、１２のデュアルプロセッサブレードを含む。銅ケーブル５０５は、図示されるように、シャーシ５１０，５２０，５３０，５４０，５５０，５６０を相互接続する。本例は銅ケーブルを使用しているが、何れか適当なコネクタが利用可能である。サブアレイのＸサイズが６未満である場合、サブアレイ接続は、図５に示されるように、単一のラックに含められてもよい。他の様々な実施例は、複数のラックを使用して、特定サイズの各サブアレイと接続してもよい。図６及び７において、このような複数ラックコンフィギュレーションのメカニカルなレイアウトを示す一実施例が示される。

図６は、複数の装置ラック（装置ラック６００，６０２など）に構成されるサブアレイ３００のＸ軸の次元を有する図４のコンピュータクラスタネットワーク１００の一部の一実施例のブロック図を示す。本実施例では、各装置ラック６００，６０２は、一般にそれぞれ６つのブレードサーバ９Ｕシャーシ６１０，６１５，６２０，６２５，６３０，６３５と、６４０，６４５，６５０，６５５，６６０，６６５とを有する。各シャーシ６１０，６１５，６２０，６２５，６３０，６３５，６４０，６４５，６５０，６５５，６６０，６６５は、各シャーシが２次元アレイにおいて銅ケーブル６０５により接続されることを可能にする４つのネットワークインタフェースを有するスイッチに加えて、１２のデュアルプロセッサブレードを含む。本例は銅ケーブルを使用しているが、何れか適当なコネクタが利用可能である。本実施例は、２つの装置ラック６００，６０２を使用して、各サブアレイ３００の１２ＸのＸ軸次元を有する。さらに、本実施例は、各サブアレイ３００の６ＸのＹ軸次元についてこれら２つの装置ラックを６倍に複製する。従って、各サブアレイ３００は１２の装置ラックに含まれる。

図７に示されるように、銅ケーブル７０５は、各サブアレイ３００のＹ軸接続を構成するため、装置ラック６００，６０２を介し相互接続及び拡張する。本例は銅ケーブルを使用しているが、何れか適当なコネクタが利用可能である。本実施例では、Ｙ軸のすべての接続は、キャビネットのエンドにおいて２つのラック内で露出される。これは、各サブアレイ３００のＹ軸が高帯域幅動作を可能にする短い銅ケーブルを用いてコアスイッチ４１０に相互接続することを可能にする。図８において、このような実施例を示す設置レイアウトが示される。

図８は、図６及び７に示される装置ラック６００，６０２のそれぞれの内部に配置された複数のサブアレイ３００を有する図４のコンピュータクラスタネットワーク１００の一部の一実施例のブロック図を示す。本実施例では、コンピュータクラスタネットワーク１００は、一般に９６の装置ラック（装置ラック６００，６０２など）の内部に配置された８つのサブアレイ（サブアレイ３００ａ，３００ｂなど）と、他の２つの装置ラック８１０，８１５の内部に配置された１２のコアスイッチ４１０とを有する。各サブアレイは、９６のサブアレイ装置ラックのうち１２個を含む。コアスイッチ装置ラック８１０，８１５は、装置ラック８１０，８１５と各サブアレイ（サブアレイ３００ａ，３００ｂなど）との間の接続の長さを最小化するため、コンピュータクラスタネットワーク１００の中央近くに配置される。ワイヤダクト８２０は、各サブアレイ３００とコアスイッチ４１０を含む装置ラック８１０，８１５との間の銅ケーブル接続を実現する。このコンフィグレーションでは、９８の装置ラック（装置ラック６００，６０２，８１０，８１５など）のすべての相互接続を含む、コンピュータクラスタネットワーク１００の最長のケーブルは６メートル未満である。例えば、６×４×３のサブアレイなど、３次元サブアレイを用いた実施例はさらに、最大ケーブル中継距離を減少させる。他の様々な実施例は、各ネットワークノード１０２を相互接続する完全に冗長な通信パスを有してもよい。完全に冗長な通信パスは、例えば、コアスイッチ４１０と２４のコアスイッチ４１０のすべてを２倍にすることによって実現可能である。

本発明が複数の実施例により説明されたが、各種変更、置換、変形、改良が当業者に示唆され、本発明は、このようなすべての変更、置換、変形、改良が添付した請求項の趣旨及び範囲内に属することを意図している。

Claims (20)

1. １以上の第１装置ラック内に配設される複数のネットワークノードであって、各ネットワークノードがメッセージを転送、送信及び受信するよう動作可能な複数のネットワークノードを各サブアレイが有する複数のサブアレイと、
   各コアスイッチが少なくとも１つの他のコアスイッチに通信接続され、前記複数のサブアレイの少なくとも２つを通信接続し、１以上の第２装置ラック内に配設される複数のコアスイッチと、
   各銅ケーブルが前記１以上の第１装置ラックの少なくとも１つと、前記１以上の第２装置ラックの少なくとも１つとを通信接続する複数の銅ケーブルと、
   を有するコンピュータクラスタネットワークであって、
   前記複数の銅ケーブルのうち最長の銅ケーブルは、１０メートル未満であり、
   前記１以上の第１装置ラックは、前記１以上の第２装置ラックの中央近くに配設されるコンピュータクラスタネットワーク。
2. 各ネットワークノードがメッセージを転送、送信及び受信するよう動作可能な複数のネットワークノードを各サブアレイが有する複数のサブアレイと、
   各コアスイッチが少なくとも１つの他のコアスイッチに通信接続され、前記複数のサブアレイの少なくとも２つを通信接続する複数のコアスイッチと、
   を有するコンピュータクラスタネットワーク。
3. 前記複数のネットワークノードの各ネットワークノードは、各スイッチがプロセッサ、メモリ要素、入出力要素及びコモディティコンピュータからなる群から選択される１以上のクライアントに通信接続される１以上のスイッチを有する、請求項２記載のコンピュータクラスタネットワーク。
4. 前記複数のサブアレイのそれぞれの複数のネットワークノードは、１次元アレイ、多次元アレイ及び多次元トーラスアレイからなる群から選択されるネットワークアーキテクチャを有する、請求項２記載のコンピュータクラスタネットワーク。
5. 各コアスイッチは、前記複数のサブアレイの少なくとも２つのそれぞれの前記複数のネットワークノードの少なくとも１つに通信接続される、請求項２記載のコンピュータクラスタネットワーク。
6. 前記複数のネットワークノードの少なくとも１つのそれぞれは、前記複数のサブアレイの少なくとも２つの少なくとも１つのエッジに沿って配設される、請求項５記載のコンピュータクラスタネットワーク。
7. 各第１装置ラックが前記複数のサブアレイのそれぞれの複数のネットワークノードを受け付けるよう動作可能な１以上の第１装置ラックと、各第２装置ラックが前記複数のコアスイッチを受け付けるよう動作可能な１以上の第２装置ラックとを有するキャビネットシステムをさらに有し、
   前記１以上の第１装置ラックは、前記キャビネットシステムの中央近くに配設される、請求項２記載のコンピュータクラスタネットワーク。
8. 各コネクタが前記１以上の第１装置ラックの少なくとも１つと前記第２装置ラックの少なくとも１つとを通信接続する複数のコネクタをさらに有する、請求項７記載のコンピュータクラスタネットワーク。
9. 前記複数のコネクタの最長のコネクタは、１０メートル未満である、請求項８記載のコンピュータクラスタネットワーク。
10. 前記複数のコネクタは、複数の銅ケーブルを有する、請求項８記載のコンピュータクラスタネットワーク。
11. コンピュータクラスタネットワークをネットワーク化する方法であって、
    複数のサブアレイのそれぞれの複数のネットワークノードであって、各ネットワークノードがメッセージを転送、送信及び受信するよう動作可能な複数のネットワークノードを通信接続するステップと、
    少なくとも１つのコアスイッチを介し前記複数のサブアレイの少なくとも２つを通信接続するステップと、
    を有する方法。
12. 前記複数のネットワークノードを通信接続するステップは、各スイッチがプロセッサ、メモリ要素、入出力要素及びコモディティコンピュータからなる群から選択される１以上のクライアントに通信接続される複数のスイッチを通信接続することを含む、請求項１１記載の方法。
13. １次元アレイ、多次元アレイ及び多次元トーラスアレイからなる群から選択されるネットワークアーキテクチャによって、複数のサブアレイの各サブアレイを構成するステップをさらに有する、請求項１３記載の方法。
14. 前記少なくとも１つのコアスイッチの１以上を介し、複数のサブアレイの各サブアレイと、前記複数のサブアレイの他の各サブアレイとを通信接続するステップをさらに有する、請求項１１記載の方法。
15. 前記少なくとも１つのコアスイッチのそれぞれと、前記複数のネットワークノードのそれぞれとを通信接続するステップをさらに有する、請求項１４記載の方法。
16. 前記少なくとも１つのコアスイッチのそれぞれと、前記複数のネットワークノードのそれぞれとを通信接続するステップは、前記少なくとも１つのコアスイッチのそれぞれと、複数のサブアレイのそれぞれの少なくとも１つのエッジに沿って配設された前記複数のネットワークノードのそれぞれとを通信接続することを含む、請求項１５記載の方法。
17. 前記複数のサブアレイのそれぞれおを１以上の第１装置ラックに搭載するステップと、
    前記少なくとも１つのコアスイッチのそれぞれを１以上の第２装置ラックに搭載するステップと、
    前記第２装置ラックを前記第１装置ラックの中央近くに配設するステップと、
    をさらに有する、請求項１１記載の方法。
18. 前記１以上の第１装置ラックの前記複数のサブアレイのそれぞれと、前記１以上の第２装置ラックの少なくとも１つのコアスイッチとの間を複数のコネクタを介し通信するステップをさらに有する、請求項１７記載の方法。
19. 前記複数のコネクタを介し通信するステップは、複数の銅ケーブルを介し通信することを含む、請求項１８記載の方法。
20. 前記複数の銅ケーブルを介し通信するステップは、各銅ケーブルが長さ１０メートル未満である複数の銅ケーブルを介し通信することを含む、請求項１９記載の方法。

Images