JP2016530787A - データセンタ内のフォトニックスイッチングおよびフォトニックスイッチングの制御のためのシステムおよび方法 - Google Patents

Abstract

一実施形態では、データセンタは、パケットスイッチングコアとフォトニックスイッチとを含む。フォトニックスイッチは、パケットスイッチングコアに光学的に結合された第1の複数のポートと、複数の周辺機器に光学的に結合されるように構成された第2の複数のポートであって、フォトニックスイッチは、複数の周辺機器とパケットスイッチングコアとの間でパケットをリンクするように構成される、第2の複数のポートとを含む。このデータセンタは、フォトニックスイッチに結合されたフォトニックスイッチコントローラと、パケットスイッチングコアとフォトニックスイッチコントローラとの間に結合された運用および管理センタとをも含む。

Description

関連出願の相互参照
本願は、その全体が再生されたかのように参照によって本明細書に組み込まれている、2013年8月7日に出願した米国特許出願第13/961663号、名称「System and Method for Photonic Switching and Controlling Photonic Switching in a Data Center」の優先権を主張するものである。

本発明は、通信のシステムおよび方法に関し、具体的には、データセンタにおけるフォトニックスイッチング(photonic switching)のシステムおよび方法に関する。

現在、データセンタが、非常に多数のサーバを有する場合がある。たとえば、あるデータセンタが、50000台を超えるサーバを有する場合がある。サーバをお互いおよび外部の世界に接続するために、データセンタが、コアスイッチング機能および周辺機器スイッチングデバイスを含む場合がある。

大規模データセンタが、非常に多数の相互接続を有する場合があり、この相互接続が、光ファイバ上の光信号として実施される場合がある。これらのコア相互接続は、多数の周辺機器スイッチングデバイスおよびコアスイッチング機能を接続する。コアスイッチング機能は、分散コアスイッチとして操作される少数の超大型コア電気スイッチとして実施され得る。一部のデータセンタでは、周辺機器スイッチングデバイスが、サーバ内で直接に実施され、サーバは、コアスイッチング機能に直接に相互接続する。他のデータセンタでは、サーバは、トップオブラック(TOR)スイッチの後方にあり、TORスイッチは、コア相互接続によってコアスイッチング機能に接続される。

実施形態のデータセンタは、パケットスイッチングコアとフォトニックスイッチとを含む。フォトニックスイッチは、パケットスイッチングコアに光学的に結合された第1の複数のポートと、複数の周辺機器に光学的に結合されるように構成された第2の複数のポートであって、フォトニックスイッチは、複数の周辺機器とパケットスイッチングコアとの間でパケットをリンクするように構成される、第2の複数のポートとを含む。このデータセンタは、フォトニックスイッチに結合されたフォトニックスイッチコントローラと、パケットスイッチングコアとフォトニックスイッチコントローラとの間に結合された運用および管理(operations and management)センタとをも含む。

データセンタ内のフォトニックスイッチを制御する実施形態の方法は、フォトニックスイッチコントローラによって、運用および管理センタから、第1のコンポーネントと第2のコンポーネントとの間の第1のトラフィックフロー内の状態を受信するステップであって、第1のトラフィックフローは、第1のコンポーネントとフォトニックスイッチとの間の第1の光リンクに沿った第2のトラフィックフローと、検出されるトラフィックフローを作るためのフォトニックスイッチと第2のコンポーネントとの間の第2の光リンクに沿った第3のトラフィックフローとを含む、受信するステップを含む。この方法は、追加の光リンクを追加することまたは除去される光リンクを除去することを含めて、フォトニックスイッチコントローラによって、検出されるトラフィックフローに従ってフォトニックスイッチ内の接続を調整するステップをも含む。

データセンタ内のフォトニックスイッチを制御する実施形態の方法は、周辺機器接続性レベルマップを入手するステップと、スイッチ接続性マップを判定するステップとを含む。この方法は、周辺機器接続性レベルマップとスイッチ接続性マップとに従ってフォトニックスイッチ接続性を判定するステップと、フォトニックスイッチ接続性に従ってフォトニックスイッチを構成するステップとをも含む。

前述は、以下の本発明の詳細な説明をよりよく理解できるようにするために、本発明の実施形態の特徴の概要をかなりおおまかに示した。本発明の実施形態の追加の特徴および利点は、以下で説明され、この説明は、本発明の特許請求の範囲の対象を形成する。当業者は、開示される概念および特定の実施形態が、本発明と同一の目的を実行するための他の構造またはプロセスを変更しまたは設計するための基礎としてたやすく利用され得ることを了解するに違いない。また、当業者は、そのような同等の構造物が、添付の特許請求の範囲に示された本発明の趣旨および範囲から逸脱しないことを認めるに違いない。

本発明およびその利点のより完全な理解のために、これから、添付図面に関連して解釈される以下の説明を参照する。

実施形態のデータセンタを示す図である。 フォトニックスイッチを有する実施形態のデータセンタを示す図である。 実施形態のジャンクタリングパターンを示す図である。 データセンタ内のフォトニックスイッチングのための実施形態の制御構造を示す図である。 トラフィックレベル対時刻のグラフを示す図である。 トラフィックレベル対曜日のグラフを示す図である。 トラフィックレベル対時刻のグラフを示す図である。 トラフィックレベル対時間のグラフを示す図である。 コアスイッチング障害を有する実施形態のデータセンタを示す図である。 フォトニックスイッチおよびコアスイッチング障害を有する実施形態のデータセンタを示す図である。 フォトニックスイッチおよびコアスイッチング障害を有する追加の実施形態のデータセンタを示す図である。 フォトニックスイッチおよびコアスイッチング障害を有するもう1つの実施形態のデータセンタを示す図である。 コアスイッチング障害を有する追加の実施形態のデータセンタを示す図である。 フォトニックスイッチおよびコアスイッチング障害を有する追加の実施形態のデータセンタを示す図である。 フォトニックスイッチおよびコアスイッチング障害を有するもう1つの実施形態のデータセンタを示す図である。 フォトニックスイッチおよびコアスイッチング障害を有する追加の実施形態のデータセンタを示す図である。 データセンタ内でのフォトニックスイッチングのためのもう1つの実施形態の制御構造を示す図である。 電源を切られたコアスイッチングモジュールを有する実施形態のデータセンタを示す図である。 電源を切られたコアスイッチングモジュールを有するフォトニックスイッチを有する実施形態のデータセンタを示す図である。 フォトニックスイッチおよび試験装置を有する実施形態のデータセンタを示す図である。 もう1つの実施形態のデータセンタを示す図である。 フォトニックスイッチおよび試験装置を有するもう1つの実施形態のデータセンタを示す図である。 フォトニックスイッチを有する追加の実施形態のデータセンタを示す図である。 フォトニックスイッチング構造を示す図である。 微小電気機械システム(MEMS)フォトニックスイッチを示す図である。 データセンタ内でパケットをリンクする実施形態の方法を示す図である。 データセンタ内でリンクを調整する実施形態の方法を示す図である。 データセンタ内でリンクを調整するもう1つの実施形態の方法を示す図である。 コンポーネント障害に応答してデータセンタ内でリンクを調整する実施形態の方法を示す図である。 データセンタ内でリンクを調整する追加の実施形態の方法を示す図である。 データセンタ内でコンポーネントを試験する実施形態の方法を示す図である。 データセンタ内でコンポーネントを試験する実施形態の方法を示す図である。 データセンタ内でフォトニックスイッチを制御するもう1つの実施形態の方法を示す図である。

異なる図面内の対応する符号および記号は、一般に、そうではないと示されない限り、対応する部分を指す。図面は、諸実施形態の関連する態様を明瞭に示すために描かれており、必ずしも原寸通りに描かれてはいない。

1つまたは複数の実施形態の例示的な実施態様が下で提供されるが、開示されるシステムおよび/または方法が、現在既知または既存のいずれかの、任意の個数の技法を使用して実施され得ることを、最初に理解されたい。本開示は、図示され、本明細書で説明される例示的な設計および実施態様を含む、下で示される例示的な実施態様、図面、および技法に全く限定されてはならず、添付の特許請求の範囲内で、その同等物の全範囲に沿って変更され得る。

データセンタは、サーバのラックからなる周辺機器の大量のアレイを使用する。各ラックは、トップオブラック(TOR)スイッチまたは統計マルチプレクサ(statistical multiplexer)に給電し、TORスイッチまたは統計マルチプレクサは、大容量リンクを介してコアパケットスイッチに多重化されたパケットデータストリームを供給する。一例では、大容量リンクは、光リンクである。図1に、データセンタ102を示す。データセンタ102のパケットスイッチングコア108は、パケットスイッチ110すなわちパケットスイッチングコア112の並列アレイを含む。パケットスイッチ110は、超大型パケットスイッチである。パケットスイッチ110は、4つのクオドラント114およびコアパケットスイッチングポート116または他の同様のパーティショニングを含むこともできる。

リンク100は、短距離光ファイバとすることができるが、パケットスイッチングコア108を周辺機器101に接続する。リンク100は、相互接続の固定された直交ジャンクタリングパターンに構成され、物理レベルにおいて接続性の固定されたマップを提供する。接続は、周辺機器101にまたがってスイッチ容量を分散させ、周辺機器101が複数のスイッチングユニットにアクセスすることを可能にするように設計され、したがって、コンポーネント障害は、周辺機器およびスイッチを立ち往生させるのではなく、容量を減らす。固定されたジャンクタリング構造は、変化、拡張、または変更に問題がある。データセンタは、40Gb/sの2000個の両方向リンクを有する場合があり、これは、80Tb/sすなわち10TB/sの容量を有することができる。これらのリンクが、より大きい容量を有する場合がある。

周辺機器101は、トップオブラック(TOR)スイッチ120を含むラック内に組み立てられ得るが、中央処理装置(CPU)118、ストレージユニット122、ファイヤウォールロードバランサ124、ルータ126、およびトランスポートインターフェース128を含むことができる。TORスイッチ120は、ラック内の個々のユニットからのパケットストリームをアセンブルし、あるレベルの統計多重化を提供する。また、TORスイッチ120は、大容量短距離光リンクを介して、パケットスイッチングコアへおよびパケットスイッチングコアから結果のデータストリームを駆動する。一例では、TORスイッチは、48個のユニットをサポートし、10Gb/sインターフェースを有する。CPU 118に関して、TORスイッチ120は、それぞれ、プロセッサから48×10Gb/sを受け取り、パケットスイッチングコア108に4×40Gb/sを供給することができる。これは、3:1レベルの帯域幅のデータ圧縮である。ストレージユニット122、ルータ126、およびトランスポートインターフェース128は、インターネット接続性または専用データネットワークを介して世界104の残りにインターフェースする。

運用および管理センタ(OMC)106は、複雑なデータセンタの運用機能、管理機能、および保守機能を監督する。OMC 106は、トラフィック容量を測定する能力を有する。たとえば、OMC 106は、周辺機器101とパケットスイッチングコア108との間のトラフィックリンクが、いつおよびどれほどしばしば、輻輳するのかを測定する。さらに、OMC 106は、保守のために、どのリンクが機能しているのかを測定する。

図1は、周辺機器の少数のラックならびに周辺機器101とパケットスイッチングコア108との間の相対的に少数のリンクを示すのみである。しかし、より多数の周辺機器およびリンクが存在してもよい。たとえば、データセンタが、パケットスイッチングコア108への2000個の40Gb/sリンクおよびパケットスイッチングコア108から周辺機器101への2000個の40Gb/sリンクを伴う、80Tb/sのスループットを有することができる。データセンタが、周辺機器の500個以上のラックを有することができる。1Pb/sのさらにより大きいデータセンタは、周辺機器の6000個以上のラックと共に、中央スイッチングコンプレックスとの間の25000個の両方向リンクを有することができる。

周辺機器101からのトラフィックは、パケットスイッチ110にまたがって並列に分散される。周辺機器101の負荷が、パケットスイッチングコア108にまたがって分散されるので、部分的なファブリック障害は、周辺機器を立ち往生させない。n個の大型パケットスイッチのうちの1つの障害は、各周辺機器ユニットから使用可能な全体的なスイッチング容量を(n-1)/nに減らす。たとえば、n=4の時に、スイッチング容量は、25%だけ減らされる。

図2に、とパケットスイッチングコア108とコアパケットスイッチングポートとの間に低損失フォトニックスイッチ132を含むデータセンタ130を示す。フォトニックスイッチ132は、周辺機器101とパケットスイッチングコア108との間のリンクを調整するように構成される。フォトニックスイッチ132は、たとえば2000個以上のポートを有する、超大型フォトニックスイッチとすることができる。超大型フォトニックスイッチは、複数の潜在的なアーキテクチャの1つにおいて、それぞれ200〜300ポートのより小さいファブリックから組み立てられたマルチステージスイッチとすることができる。一例では、フォトニックスイッチ132は、ノンブロッキングフォトニックスイッチである。もう1つの例では、フォトニックスイッチ132は、再配置可能にノンブロッキングなフォトニックスイッチである。コアパケットスイッチポート116の一部またはすべてを、フォトニックスイッチ132上で終端することができる。一例では、フォトニックスイッチ132は、現在は未使用の追加のポート容量を有する。フォトニックスイッチ132は、周辺機器101とパケットスイッチングコア108との間でジャンクタリングパターンを動的にセットアップし、変更することを可能にする。したがって、物理的な周辺機器ポートと物理的なスイッチポートとの関連付けは、固定されない。リンク138は、周辺機器101とフォトニックスイッチ132とを接続し、リンク139は、フォトニックスイッチ132とパケットスイッチングコア108とを接続する。

フォトニックスイッチコントローラ134は、OMC 136の制御の下でフォトニックスイッチ132に関するフォトニックスイッチ交差接続マップを制御する。OMC 136は、パケットスイッチングコア108および周辺機器101から、機器が機能していること、トラフィックレベル、およびコンポーネントまたはリンクが正しく動作しているのかまたは障害を有するのかに関するアラームおよび状況レポートを受け取る。また、OMC 136は、周辺機器101とパケットスイッチングコア108との間のリンクに関するリアルタイムトラフィック占有率およびリンク機能性データを収集する。

一例では、OMC 136は、収集されたデータをフォトニックスイッチコントローラ134に渡す。もう1つの例では、フォトニックスイッチコントローラ134が、トラフィックデータを直接に収集する。両方の例において、フォトニックスイッチコントローラ134は、収集されたデータを処理し、その計算の結果に基づいてフォトニックスイッチを操作する。処理は、実施される応用例に依存し、この応用例は、トラフィックレベル変化、ヒストリカル予測に基づく時刻変化および曜日変化などのスケジューリングされた制御にリアルタイムで動的に応答すること、リンク障害またはパケットスイッチコア部分的障害に動的に応答すること、ならびに電源を切られたデバイスを回避するための再構成を含むことができる。たとえば、周期ごとが、データに適当なインターバルであり、これは、リンク障害応答のための1秒、増加するトラフィックホットスポットを識別するための数十秒から数分、時刻予測のための数時間またはそのかなりの部分、曜日予測のための数日またはそのかなりの部分、ならびに他の時間期間より大幅に短い可能性がある。

トラフィック容量データは、周辺機器101とパケットスイッチングコア108との間のリンク容量を判定するのに、フォトニックスイッチコントローラ134によって使用される。一例では、リンク容量は、実際の測定されたトラフィック需要に基づいて動的に計算される。もう1つの例では、リンク容量は、時刻または曜日など、ヒストリカルデータに基づいて計算される。代替案では、リンク容量は、リンク障害またはコンポーネント障害など、予期されないイベントの検出に基づいて計算される。いくつかの応用例では、リンク容量は、ヒストリカルデータに純粋に基づいて達成される。たとえば、平日の午後6時30分に、ビデオサーバに関する容量の需要が、ヒストリカルに増加し、したがって、追加のリンク容量が、これらのサーバとパケットスイッチングコアとの間に追加される。その後、容量は、真夜中に、ヒストリカルデータがトラフィック負荷下落を示す時に減らされる。他の応用例は、需要またはリンク飽和に基づいてリンク容量が追加されまたは除去されることを伴う。たとえば、あるTORスイッチが、そのTORスイッチへのすべてのリンク上である時間期間の間にトラフィック容量しきい値を超えるトラフィックを有する場合があり、したがって、システムは、そのTORスイッチが追加のトラフィックを搬送することを可能にするために、予備リンクのプールからリンクを追加する。リンクの追加に関するしきい値は、トラフィックレベルと時間期間との両方に依存するものとすることができる。たとえば、しきい値を、10分にわたる75%を超える容量、2分にわたる85%を超える容量、または10秒にわたる95%を超える容量とすることができる。しきい値は、トラフィックフローの統計的性質によって引き起こされる非常に短い過負荷に応答することを要求されない。というのは、これがフロー制御バッファリングによって処理されるからである。また、低速のスイッチであるMEMSスイッチが使用される場合に、MEMSスイッチは、極端にすばやく応答することができない。30〜100ms領域内の応答時間を有するスイッチを用いると、フォトニック接続のスイッチングは、数秒未満から数分まで(less than multiple seconds to several minutes)の持続時間のイベントに関する有効な解決策ではない。し
たがって、遅いトラフィック変化の長い期間が、このプロセスによって処理され、十分な容量が、バッファおよび/またはソースへのバックプレッシャ(back-pressure)を用いる従来の形で処理される短持続時間トラフィックピークのために保持される。使用されるフォトニックスイッチを、より高速に、たとえば3〜10ms内でセットアップすることができる場合には、1秒程度のトラフィックバーストに応答することができる。もう1つの例では、リンクは、トラフィックの突然の変化に応答して追加されまたは変更される。たとえば、あるリンクが、機能しなくなり、TORスイッチにその4つのリンクのうちの3つだけが残され、したがって、これらのリンク上のトラフィックが、68%から95%に跳ね上がり、この値は高すぎる。その後、そのTORスイッチは、機能しないリンクと置換するために別のリンクを受け取る。

要求されるリンク容量レベルが、フォトニックスイッチコントローラ134によって判定された後に、その要求されるリンク容量レベルが、実際に提供されるレベルと比較され、容量レベルの差が、判定される。この差は、差が重大であるかどうかを判定するのに使用されるルールを取り込むために、ジャンクタリングトラフィックレベルアルゴリズムを使用して分析される。重大でない差は、アクションなしに関してマークされ、重大な差は、アクションに関してマークされる。アクションは、周辺機器からパケットスイッチポート容量を除去すること、周辺機器にパケットスイッチポート容量を追加すること、またはパケットスイッチングコアと周辺機器との間のリンクを変更することとすることができる。

容量変更が、リンクレベルまたはリンク容量に関して判定済みである時に、フォトニックスイッチコントローラ134は、特定のリンクアイデンティティに基づいて、これらの変更を実際のリンクに適用する。たとえば、あるTORスイッチが、4つのリンクを提供され、トラフィックレベルが、2つのリンクへの減少を正当化する場合に、リンクのうちの2つが、そのTORスイッチから切断されるはずである。対応するパケットスイッチングコアリンクも、除去され、予備リンクインベントリに返される。そのTORスイッチとフォトニックスイッチ132との間の物理リンクは、特定のスイッチポートおよびTORポートに関連付けられ、他のスイッチポートまたはTORポートに再構成はされ得ない。もう1つの例では、TORスイッチが、非常に占有された3つのリンク上で動作しつつあり、フォトニックスイッチコントローラ134が、そのTORスイッチが第4のリンクを有しなければならないと判定する。インベントリ内の予備リンクが、識別され、そのリンクが、そのTORスイッチの使用可能容量を増やし、遅延、パケットバッファリング、パケットバッファオーバーフロー、およびトラフィックの消失を減らすことによってその輻輳を減らすために、そのTORスイッチに割り振られる。

したがって、パケットスイッチングコア108の容量は、必要な場合に動的に割り振られ、過剰な容量が検出される場合に回復される。パケットスイッチングコア108の有限の容量は、ピークトラフィック需要をサポートするための容量を保持しながら、より多くの周辺機器にまたがってより効率的に利用され得る。この改善は、異なる周辺機器のピークトラフィック需要が異なる時に発生する時に、より実質的である。

フォトニックスイッチ132の使用は、パケットスイッチングコアによってサポートされ得る周辺機器の台数と、サポートされ得る周辺機器あたりのピークトラフィックとを増やすことができる。図3に、4つのデータセンタシナリオを示す。シナリオ1では、フォトニックスイッチがなく、パケットスイッチングコア450は、それぞれが静的ジャンクタリングパターンのm個の物理リンクを有するN個のTORスイッチ452に結合される。TORスイッチあたりのm個の物理リンクのピークトラフィック負荷容量は、すべてのTORスイッチ上のピークトラフィックが同時に発生するのか、TORスイッチあたりのトラフィックピークのタイミングが時間において分散されるのかにかかわりなく、使用可能である。それぞれがm個の物理リンクを有するN個のTORスイッチおよびm個の物理リンクのピークトラフィック負荷は、N*mポートを有するパケットスイッチングコアを必要とする。

シナリオ2、3、および4では、フォトニックスイッチ454が、パケットスイッチングコア450とTORスイッチ452との間に結合される。フォトニックスイッチ454は、フォトニックスイッチコントローラ134の制御の下で、パケットスイッチポートとTORスイッチポートとの間のジャンクタリング接続を再配置するのに使用される。TORスイッチトラフィックピークが、すべてのTORスイッチにまたがって同時ではない時には、容量が改善した。

シナリオ2では、TORスイッチあたりm個の物理リンクを有するN個のTORスイッチが示されている。このTORスイッチは、ピークトラフィック容量に同時にアクセスする必要がないので、TORスイッチとスイッチポートとの間のリンクは、十分な負荷を有しないTORスイッチがそのポート容量の一部を放棄することを可能にするために、フォトニックスイッチコントローラ134およびフォトニックスイッチ454によって適応的に再マッピングされる。これは、スイッチポートの個数をN*mからN*pに減らすことを可能にし、ここで、pは、適度なトラフィックフローを提供するためのTORスイッチあたりのポートの平均個数である。適度なトラフィックフローは、必要な平均トラフィックレベルではなく、平均トラフィックフローにその平均値付近の短期トラフィック変動内の2〜3標準偏差を加えたものであり、ここで、短期は、システムが提示されたトラフィック負荷の変化に応答する時間期間である。区別(cutoff)は、ポート上の輻輳およびその結果のバッファリングの使用、パケット消失、ならびに伝送制御プロトコル(TCP)再送信の確率である。平均トラフィックレベルが使用される場合には、輻輳の確率が高いが、平均値および2〜3標準偏差が使用される場合には、トラフィックがしきい値を超える確率は低い。アクティブTORスイッチあたりのアクティブリンクの平均個数は、約pであり、TORスイッチあたりのアクティブリンクのピーク個数は、mである。

シナリオ3では、フォトニックスイッチコントローラ134が、不必要なTORパケットスイッチリンクを除去し、それらを予備プールに返すので、重い負荷を有するTORスイッチに割り振られるリンクの個数を増やすことができる。TORスイッチ452からフォトニックスイッチ454のTORスイッチ側への固定されたリンクを増やすことができるはずであり、TORスイッチあたりのリンクが、m個からq個になり、ここで、q>mである。このシナリオでは、同一の個数のTORスイッチを、同一のパケットスイッチによってサポートすることができるが、TORスイッチあたりのピークトラフィックは、ピークが同時ではない場合に、m個からq個のリンクに増やされる。TORスイッチあたりのピークトラフィックは、すべてのTORスイッチが同時にピーク負荷に出会う場合に、m個のリンクとすることができる。TORスイッチあたりのリンクの平均個数は、約m個であり、TORスイッチあたりのアクティブリンクのピーク個数は、qである。

シナリオ4では、パケットスイッチ容量、ピークTORスイッチ要求トラフィック容量、およびTORスイッチあたりのリンク数は、同一のままになる。これは、リンクを動的に再構成する能力に起因する。したがって、TORスイッチの個数を、NからRに増やすことができ、ここで、R>Nである。TORスイッチあたりのアクティブリンクの平均個数は、約m*N/Rであり、TORスイッチあたりのアクティブリンクのピーク個数は、mである。

p、q、およびRのレベルは、実際のトラフィック統計と、フォトニックスイッチコントローラ134の精度および応答性とに依存する。一例では、フォトニックスイッチコントローラおよびフォトニックスイッチの展開は、より小さいコアパケットスイッチが、同一のトラフィックピークを有するオリジナルの個数のTORスイッチをサポートすることを可能にする。代替案では、同一のサイズのパケットスイッチが、同一個数のTORスイッチをサポートすることができるが、追加のTORリンクが提供される場合には、同一個数のTORスイッチにより高いピーク帯域幅を提供することができる。もう1つの例では、同一のサイズのパケットスイッチが、同一のピークトラフィック需要を有するより多数のTORスイッチをサポートする。

汎用データセンタにおいては、一部のTORスイッチが、ビデオオンデマンドサーバなどの常駐サーバのラックに関連し、他のTORスイッチが、ゲーミングサーバのラックに関連し、追加のTORスイッチが、ビジネスサーバのラックに関連するので、TORスイッチのピークトラフィック負荷は、一致する可能性が低い。常駐サーバは、平日の夜および週末にピークになる傾向があり、ビジネスサーバは、平日の午前中および昼下がりにピークになる傾向がある。その後、ある時間変動するリンク容量を、ピーク負荷状態ではないTORスイッチ上の他のTORコアスイッチリンクから移動し、これらのリンクを、ピーク負荷を経験しつつあるTORスイッチに適用することによって、各TOR-コアスイッチ負荷の時間変動するピークを処理することができる。

データセンタ130内では、周辺機器に接続可能な最大容量は、周辺機器とフォトニックスイッチ132との間のリンクの個数に基づく。これらの固定されたリンクは、周辺機器のピークトラフィック需要を満足するために提供される。フォトニックスイッチ132のパケットスイッチングコア側では、提供されるすべての周辺機器リンク容量の合計が、フォトニックスイッチへのパケットスイッチコアリンクの容量を超えないならば、リンクは、周辺機器-フォトニックスイッチリンク容量によってサポートされる最大値までの任意の量の容量を任意の周辺機器に割り振ることによって、すべての周辺機器にまたがって共有され得る。フォトニックスイッチ132とパケットスイッチングコア108との間のリンクは、各周辺機器によって経験されるトラフィックの実際のレベルに関して実際に必要な要求される容量を提供することだけを必要とする。たとえば、パケットスイッチングコア108が、1組の周辺機器(それぞれが4つのポートとこの4つのポートを完全に利用するピークトラフィック需要とを有するが、2.5ポートと同等のトラフィックレベルの平均需要(平均値+2〜3標準偏差)を有する)にサービスする100個のポートを有し、フォトニックスイッチ132およびフォトニックスイッチコントローラ134の使用を伴わない場合に、パケットスイッチングコア108は、100/4=25個のTORスイッチをサポートできるはずである。平均して、パケットスイッチングコア108は、最大容量の2.5/4=62.5%で動作する。フォトニックスイッチ132およびフォトニックスイッチコントローラ134の追加の後に、パケットスイッチングコア108は、総トラフィックが平均値未満に留まる理想的な状況において、100/2.5=40個までの周辺機器をサポートすることができる。実際には、重大な利益、たとえば、25から30または35への周辺機器台数の増加を実現することができる。

フォトニックスイッチ132は、極端に大型とすることができる。一例では、フォトニックスイッチ132は、1つのフォトニックスイッチングファブリックを含む。もう1つの例では、フォトニックスイッチ132は、2つのフォトニックスイッチングファブリックを含む。2つのフォトニックスイッチングファブリックが使用される時に、1つのファブリックは、周辺機器出力トラフィックをパケットスイッチングコア入力ポートに交差接続し、第2のフォトニックスイッチングファブリックは、パケットスイッチングコア出力トラフィックを周辺機器入力にスイッチングする。2つのフォトニックスイッチングファブリックを用いると、任意のリンクを周辺機器101とパケットスイッチングコア108との間でセットアップすることができるが、周辺機器-周辺機器リンク、スイッチループバック、または周辺機器ループバックは、使用可能ではない。1つのフォトニックスイッチングファブリックを用いると、フォトニックスイッチングファブリックは、2倍の個数の入力および出力を有し、任意の周辺機器またはパケットスイッチングコアの出力が、任意の周辺機器またはパケットスイッチングコアの入力に接続され得る。したがって、1つのフォトニックスイッチングファブリックのシナリオは、周辺機器-周辺機器リンク、スイッチループバック、周辺機器リンクバック、およびC-Through能力すなわち周辺機器の間の直接データ回路を提供し、パケットスイッチングコアをバイパスする方法を容易にする。

フォトニックスイッチコントローラ134を使用して交差接続経路を適当にセットアップすることによって、フォトニックスイッチ132は、データセンタ102内と同一のジャンクタリングパターンをセットアップすることができる。しかし、フォトニックスイッチコントローラ134を使用して、他の能力を達成するためにフォトニックスイッチ132内の接続を調整することができる。ジャンクタリングは、コントローラの制御の下で、さまざまな入力、予測、測定値、および計算によって刺激されてフォトニックスイッチを動作させることによって変更され得る。たとえば、ジャンクタリングパターンは、ヒストリカル測定値に基づくトラフィック負荷の予期された変化を処理するために時刻に基づいて調整され得る。代替案では、ジャンクタリングパターンは、周辺機器上またはパケットスイッチングコア上で近リアルタイムで測定される変化する集計されたトラフィック負荷に応答して動的に調整され得、軽い負荷を有する周辺機器と重い負荷を有する周辺機器との間で予備容量を移動することによって、より小さいパケットスイッチングコアによって周辺機器をサポートすることを容易にする。サービスを提供するためのデータセンタの容量に対する部分的な機器障害の影響は、各TORによって要求される負荷をサポートするデータセンタの能力に対する障害の影響に基づいて、障害を発生した機器から離れてトラフィックをルーティングすることによって減らされ得る。低トラフィックの期間中に機器の電源を切ることは、電源を切られた機器から離れてトラフィックをルーティングすることによって改善され得る。周辺機器および/またはパケットスイッチングモジュールは、低トラフィックの期間中に電源を切られ得る。動作、保守、機器プロビジョニング、および/または開始を自動化することができる。データセンタを、最小限の混乱を伴ってすばやく再構成し、かつ/または拡張することができる。また、異なるまたは複数世代の機器の統合を強化することができる。

一実施形態では、実際のトラフィック負荷の時間、日、または週による時間変動レコードならびに同一の時刻、曜日などの連続するインスタンス化にわたって測定されたそのトラフィックの標準偏差を含む、ある時間期間にわたる周辺機器あたりの負荷のヒストリが、作り上げられる。その後、このヒストリは、容量割振り予想に使用され、これによって、特定の時の軽いトラフィック負荷のヒストリを有するTORが、その容量の一部を、その時刻に重い負荷のレコードをヒストリカルに有するTORに与えることを容易にする。負荷の標準偏差の測定およびその標準偏差の効果を含めるためのトラフィックレベルのセッティングは、帯域幅のさらなる再割振りが、平凡な出来事になる可能性が低くなるのに十分なマージンを保持するという効果を有する。予想と実際の負荷との間の重大な不一致の場合には、これが、オプションで、たとえば代替のリアルタイム制御手法を使用することによって、リアルタイムで調整され得る。

ヒストリに基づいて周辺機器の負荷をセットアップすることの代替案として、またはヒストリカルデータが適用された後の例外的なケースを処理するために、各周辺機器またはTORスイッチのサーバ負荷が、準リアルタイムで測定される。ラックごとまたはTORスイッチごとのサーバ負荷を、ユーザサービスのセットに集計することができる。サーバラックが、そのリンク容量の使い果たしに近づく時に、追加のリンクが、その周辺機器に割り振られる。逆に、トラフィックレベルが、割り振られたリンクの個数を正当化しないレベルに下落する場合には、一部のリンク容量を、リンクプールに返すことができる。周辺機器が、その後により多数のリンクを必要とする場合には、リンクをすばやく返すことができる。

図4は、制御構造140を示し、この制御構造140は、周辺機器とパケットスイッチングコアとの間のリンクを割り振ることができる。制御構造140は、たとえばフォトニックスイッチコントローラ134内で使用され得る。制御構造140は、たとえばヒストリカルデータに基づくスケジューリングされたジャンクタリング接続性および/または周辺機器のリアルタイムトラフィックの必要に基づく動的接続性に基づいて、周辺機器とパケットスイッチングコアとの間に結合されたフォトニックスイッチを制御することによって、データセンタのジャンクタリングパターンを調整する。

制御構造140のうちで「レベル」というラベルを付けられた部分は、周辺機器へのリンク割振りを決定し、リンクのアイデンティティには関係なく、リンクの個数のみに関係する。制御構造140のうちで「リンク」というラベルを付けられた部分は、ジャンクタリングパターンを調整し、リンクのアイデンティティに関係する。

トラフィックレベル統計は、たとえば周辺機器101から直接にまたはOMC 136から、制御構造140に入る。フィルタリングブロック154は、当初に、トラフィックレベル統計を重大データに処理する。たとえば、トラフィックレベル上のデータは、ミリ秒インターバル内に受け取られる場合があるが、制御構造140は、従来のMEMSスイッチを使用する場合に約30ミリ秒から約100ミリ秒のセットアップ時間を伴ってフォトニックスイッチを制御し、この従来のMEMSスイッチは、2ミリ秒持続時間の過負荷に実用的に応答することができず、TCP/IPレイヤ内のバッファリングおよびフロー制御によって処理されるはずである。トラフィックレベルデータは、下にフィルタリングされ、たとえば集計され、平均をとられて、たとえばサブ1秒レートでの、周辺機器あたりの実際のトラフィックレベルの移動するビューを作る。追加のフィルタリングを実行することができる。いくつかの追加のフィルタリングは、非線形とすることができる。たとえば、初期フィルタリングは、ゆっくり変化するトラフィックレベルなどの他のイベントに対するよりもすばやく、リンクが障害を発生する時の接続性の消失メッセージなどの一部のイベントに応答することができる。初期フィルタリングは、大きい変化がより深刻なバッファ過負荷/フロー制御イベントを作成するので、小さいトラフィック変化に対するよりもすばやく、大きいトラフィック変化に応答することができる。

フィルタリングされたデータは、周辺機器トラフィックマップ152に渡される。このデータは、さまざまな形で受け取られ得る。たとえば、このデータは、Table 1(表1)による内のように、周期的に更新されるテーブルとして受け取られ得る。周辺機器トラフィックマップ152は、適当な粒度で、周辺機器の実際のトラフィック負荷の現在のビューを維持する。また、周辺機器トラフィックマップ152は、実際の応用例の現在の必要を維持する。下のTable 2(表2)に、周辺機器トラフィックマップ152によって維持されるデータを示す。

実際の測定された周辺機器あたりのトラフィックレベルは、周辺機器トラフィックマップ152から処理ブロック150に渡される。処理ブロック150は、周辺機器あたりのトラフィックレベルを、処理され記憶されたヒストリカルデータと組み合わせる。記憶されたヒストリカルデータは、1時間前、24時間前、7日前、1年前、および他の関連する時間期間からのデータを含むことができる。

処理ブロック150からの予測されたマップは、時刻レベルブロック142内に記憶され、この時刻レベルブロック142は、たとえば数値表の形での、期待され、統計的広がりに基づく時刻変動トラフィックレベルの規則的に更新されるヒストリカルビューを含む。処理ブロック150内で使用される計算時間オフセットの粒度および複雑さに依存して、時刻レベルブロック142は、周辺機器による他のトラフィックレベル予想をも含む場合がある。たとえば、曜日による我々の時刻の時刻(time of our time of day by day of week)またはデータセンタの位置に基づく法定休日を記録することができる。

図5に、たとえばビジネスサービスを扱うTORのバンクに関する、時刻による平均トラフィックレベルおよび標準偏差のグラフの例を示す。曲線512は、時刻による平均トラフィックレベルを示し、曲線514は、TORの同一のバンクに関する時刻による標準偏差を示す。この例では、夜間より昼日中により多くのトラフィックがあり、夜間により多くの変動がある。

図6に、曜日による平均トラフィックレベルおよび標準偏差のグラフの例を示す。曲線522は、曜日による平均トラフィックレベルを示し、曲線525は、TORの同一の例のバンクに関する曜日による標準偏差を示す。1週間の間に、週末により多くのトラフィックがあり、週末中により多くの変動がある。

図7に、平日、土曜日、および日曜日に関する、時刻に関する平均トラフィックレベルおよび標準偏差のグラフのもう1つの例を示す。曲線532は、平日の平均トラフィックレベル対時刻を示し、曲線534は、平日の時刻によるトラフィックの標準偏差を示し、曲線540は、土曜日の時刻による平均トラフィックレベルを示し、曲線542は、土曜日の時刻によるトラフィックの標準偏差を示し、曲線536は、日曜日の時刻による平均トラフィックレベルを示し、曲線538は、日曜日の時刻によるトラフィックの標準偏差を示す。トラフィックは、平日の日中に最多であり、平日の深夜に最少である。トラフィックは、土曜日および日曜日の深夜と土曜日の夜にもピークに達する。

ゲームサーバのバンク、エンターテイメント/ビデオオンデマンドサーバのバンク、または一般的なインターネットアクセスおよび検索と共に使用される他のTORは、図5〜図7のビジネスサーバおよびTORのバンクのパターンに対して完全に異なる時刻トラフィックパターン、週の時刻トラフィックパターンを示すはずである。たとえば、TORのこれらのバンクは、夕方および週末の間に高いレベルのトラフィックを示し、仕事日中には低いレベルを示す可能性がある。したがって、このパターンが予想されるか検出され得る場合に、コアスイッチング容量を、そのグループのトラフィックの必要に基づいて、あるサーバグループから別のサーバグループに自動的に移動することができる。

周辺機器トラフィックマップブロック152は、実際の測定されたトラフィックに関するデータを限界周辺機器リンク容量ブロック156に供給もする。限界周辺機器リンクブロックは、リンクレベルおよび接続性マップブロック158内の現在の実際のリンク接続マップから、実際の提供されるリンク容量のリアルタイムビューまたは各リンクのトラフィック容量を乗じられた周辺機器あたりのアクティブリンクの個数にもアクセスする。

リンクレベルおよび接続性マップブロック158は、フォトニックスイッチ接続性計算ブロック176から入手される周辺機器あたりのアクティブリンクマップを含む。リンクレベルおよび接続性マップブロック158は、そのマップ内の周辺機器あたりの提供されるリンクをカウントすることと、その結果にリンクあたりのデータ帯域幅容量を乗算することとによって、周辺機器あたりの実際の使用可能なトラフィック容量を計算する。

したがって、限界周辺機器リンク容量ブロック156は、2組のデータを受け取り、一方の組のデータは、個々の周辺機器とパケットスイッチングコアとの間を流れる実際のトラフィック帯域幅を識別し、他方の組のデータは、周辺機器あたりの提供されるリンク容量を提供する。このデータから、限界周辺機器リンク容量ブロック156は、どの周辺機器が限界リンク容量を有し、どの周辺機器が過剰な容量を有するのかを判定する。トラフィックの平均値および標準偏差が、考慮される。これは、複数の形で計算され得る。一例では、利用される実際のトラフィック容量が、2σ点または3σ点すなわち平均値+2〜3標準偏差において、提供されるリンクの帯域幅容量によって除算される。この方法は、リンク強化が適当である低マージン周辺機器についてより大きい数につながる。また、この方法は、リンク減少が適当である高マージン周辺機器について小さい数につながる。たとえば、これは、低マージン周辺機器について1に近い数、たとえば0.8をもたらし、高マージン周辺機器について0に近い数、たとえば0.2をもたらす可能性がある。適度であるが過剰ではないリンク容量を有するほとんどの周辺機器は、0.4〜0.6の範囲内の数を返す。意思決定点で適用されるリンク強化アルゴリズムは、0.75を超える周辺機器マージン数が計算される場合に、リンクが追加されなければならず、0.25未満の周辺機器マージン数が計算される場合に、リンクが除去され、0.25と0.75との間の値について、アクションが実行されないこととすることができる。

限界周辺機器リンク容量ブロック156は、周辺機器リンク容量マージンの時間変動するストリームを作る。低マージン周辺機器は、周辺機器あたりのリンク容量デバイスのビュー内でフラグを立てられ、更新される。

もう1つの例では、追加処理が実行され、この追加処理は、ポート容量の過剰なトグルを回避するために接続性変更を行う前に、提供可能なレベルにおける時刻態様または追加の時間変動フィルタリングを考慮することができる。これは、時間変動するマスキングおよびヒステリシスが結果に適用されることを必然的に伴う。たとえば、動作マージンのほぼ完全な消失は、かなり迅速に応答されなければならないが、ボーダーラインの低マージンに関しては、より低速の応答が適当である。図8に、トラフィック変化に対する応答をフィルタリングするのに使用され得る時間変動マスク550を示す。曲線552は、それを超えるとリンクの個数が直ちに増加するしきい値を示す。曲線552と曲線554との間には、トグルを最小にするためのヒステリシス領域がある。このヒステリシス領域内では、リンクの個数は、最近の変化がなかった時に限って増やされる。曲線554と曲線556との間では、アクションは実行されない。曲線556と曲線558との間には、もう1つのヒステリシス領域があり、ここでは、最近の変化がなかった場合に、リンクの個数が減らされる。曲線558の下では、リンクの個数が直ちに減らされる。

データ重みアッテネータブロック144、データ重みアッテネータブロック148、周辺機器あたり接続性レベルマップ146、および周辺機器あたりリンクレベルデルタブロック168は、いつリンクを変更すべきかを決定する。これらのブロックは、理想化されたターゲットの周辺機器あたり接続容量マップを作るために一緒に動作する。予測されたきわめて近い将来の必要に基づくスケジューリングされた考慮事項およびトラフィックレベルの測定された変化と、実際の現在の接続性容量レベルマップ、したがってリンク割振りに対するモチベーションの基礎を提供する現在の必要における測定された変化と。

限界周辺機器リンク容量ブロック156は、周辺機器接続性レベルマップ146に、優先順位に関してフラグを立てられた、限界リンク容量および過剰なリンク容量を有する周辺機器に関する周辺機器あたりのトラフィックレベルの現在のビューを与える。周辺機器接続性レベルマップ146は、トラフィックレベル限界周辺機器リンク容量ブロック156から、ヒストリカルデータから必要になると予測されるトラフィックレベルをも受け取る。これらのデータストリームは、それぞれデータ重みアッテネータブロック148およびデータ重みアッテネータブロック144を介して供給される。データ重みアッテネータブロック144およびデータ重みアッテネータブロック148は、別々のブロックとして描かれているが、これらを、単一のモジュールとしてまたは周辺機器接続性レベルマップ146の一部として実施することができる。

データ重みアッテネータブロック144およびデータ重みアッテネータブロック148は、スケジューリングされたジャンクタリングとリアルタイム動的ジャンクタリングとの間のバランスを選択する。たとえば、データ重みアッテネータブロック144に関する1の値およびデータ重みアッテネータ148に関する0の値は、純粋にリアルタイムのトラフィック制御を選択し、データ重みアッテネータブロック144に関する0の値およびデータ重みアッテネータ148に関する1の値は、純粋にスケジューリングされたトラフィック制御を選択し、中間の値は、スケジューリングされたトラフィック制御とリアルタイムトラフィック制御との組合せを選択する。

もう1つの例では、データ重みアッテネータブロック144およびデータ重みアッテネータブロック148は、周辺機器接続性レベルマップ146の入力ポート上の測定されたトラフィックレベルおよび予測されたトラフィックレベルのうちの大きい方の値を使用する機能など、論理機能を含む。これは、リンク容量飽和および遅延の低いレベルの確率をもたらすが、より低い帯域幅効率をもたらす。一例では、データ重みアッテネータブロック144およびデータ重みアッテネータブロック148によって使用される値は、すべての周辺機器について同一である。もう1つの例では、データ重みアッテネータブロック144およびデータ重みアッテネータ148によって使用される値は、周辺機器ごとにまたは周辺機器のグループごとにカスタマイズされる。たとえば、測定されたトラフィックレベルおよび予測されたトラフィックレベルのうちの大きい方の値が、遅延が非常に問題であるアクションゲーミングに関連する周辺機器上で使用され得る。他の周辺機器は、時折遅延を有するより高いリスクを伴うより効率的な動作を可能にするより保守的な手法を使用することができる。

周辺機器接続性レベルマップ146は、各周辺機器に提供されなければならない容量のレベルに関するデータセンタ内で使用可能な容量の全体的なレベルの理想的なマッピングを作成する。

理想的なレベル(周辺機器ごとのリンクの個数)のマップは、周辺機器あたりリンクレベルデルタブロック168に渡される。周辺機器あたりリンクレベルデルタブロック168は、リンクレベルおよび接続性マップ158から現在の周辺機器あたりリンクレベルに関するデータをも受け取る。その後、周辺機器あたりリンクレベルデルタ168は、周辺機器あたりデータ理想レベルと実際のレベルとを比較し、これらの周辺機器に関するマージンの実際の値と一緒に、不一致のランク順序付けされたリストを作る。

このリストは、計算ブロック172に渡され、計算ブロック172は、ジャンクタリング設計ルールおよびアルゴリズム170からのリストから導出されるルールを適用する。これらのルールは、判断プロセスの時間変動する性質を導入し、これらのルールは、周辺機器ごとの要求されるリンク性能などの追加の要件をカバーする。計算およびルールは、スイッチ接続性マップ164からの使用可能な予備容量に依存するものとすることができる。具体的には、マップ内の予備スイッチポート接続のインベントリが、予備スイッチポートの個数をカウントすることによって判定される。

計算ブロック172の出力は、余分な容量を有する周辺機器および不十分な容量を有する周辺機器に関する改訂された接続レベルのテーブルの形で、リンクレベル容量割振り要求ブロック174に渡される。一例では、適当な容量を有する周辺機器は、このテーブルに含まれない。もう1つの例では、すべての周辺機器の接続レベルが出力される。

このテーブルは、フォトニックスイッチ接続性計算ブロック176に渡される。フォトニックスイッチ接続性計算ブロック176は、リンクレベル情報からの変化と、ジャンクタリング接続ルールおよびアルゴリズムブロック178からのアルゴリズムとに基づいて、リンクマップに対する変更を計算する。これらのルールは、スイッチ接続性マップ164からのリンク、計算された予備容量、およびスイッチ接続性マップ164からの識別された予備スイッチリンクに基づくものとすることができる。当初に、フォトニックスイッチ接続性計算ブロック176は、周辺機器から除去され得るリンクのリンク識別番号(ID)によってリンクを計算することによって、接続性マップ変更を計算する。これらのリンクは、予備容量プールに返される。次に、フォトニックスイッチ接続性計算ブロック176は、リンクレベル容量リストから、過剰な容量を最も必要としている周辺機器へのリンクIDによる予備リンクの全体的なプールの再割振りを計算する。その後、これらの追加されるリンクは、フォトニックスイッチによって実施される。

フォトニックスイッチ接続性計算ブロック176は、リンクに対する変更を行う時に、リンクレベルおよび接続性マップ158を更新する。変更は、コアパケットスイッチルーティングマップ制御にも出力され、したがって、コアパケットスイッチは、新しい周辺機器リンクを接続するためにパケットを正しいポートIDにルーティングすることができる。

計算ブロック160は、リンクレベルおよび接続性マップ158からスイッチ接続性マップを計算する。その後、計算ブロック160は、計算されたマップをスイッチ接続性マップ164に出力する。

フォトニックスイッチコントローラを有するデータセンタを使用して、パケットスイッチングコア全体に障害が発生することなく、パケットスイッチングコアの一部に障害が発生する時に、パケットスイッチングセグメントの障害を処理することができる。これは、たとえば、局所化された火事もしくは停電、またはパケットスイッチングコアのパケットスイッチのうちの1つの部分的なもしくは完全な障害と共に発生する可能性がある。任意の特定の周辺機器の機能性に対する影響は、その周辺機器がパケットスイッチングコンポーネントの影響を受ける部分に全体的に接続されるのか、部分的にか、接続されるのか、接続されないのかに依存する。障害を発生したスイッチングコンポーネントに強く接続される周辺機器は、最も大きく影響を受ける。固定されたジャンクタリングパターンを用いて、可能な範囲まで、部分的なスイッチングコンプレックス障害の影響が、分散され、一部のユーザへのサービスの完全な消失ではなく、低下したサービスレベルおよびより長いサービス遅延につながる。

周辺機器とパケットスイッチングコアとの間にフォトニックスイッチを挿入することによって、周辺機器リンクを再配置することが可能になる。障害の場合に、周辺機器リンクを再配置して、すべての周辺機器にまたがって劣化を等化し、あるいは、優先順位またはトラフィック負荷に依存して周辺機器へのさまざまなレベルのコア接続性を維持することができる。障害の影響を分散させることによって、ピーク時を除いて、個々のユーザに対する影響を、無視できるものにし、あるいは少なくとも最小にすることができる。

図9に、フォトニックスイッチがなく、障害を発生したパケットスイッチ194を有するデータセンタ192を示す。パケットスイッチ194が障害を発生する時には、接続性の25%が失われる。その25%は、周辺機器101が軽い負荷を有する(L)、重い負荷を有する(H)、または適度な負荷を有する(M)のいずれであるのかにかかわりなく、周辺機器101にまたがって均等に分散される。これは、障害を発生したパケットスイッチ194からのリンクが固定されているからである。しかし、周辺機器101が、異なるトラフィック負荷を有するので、その容量の25%の消失は、異なる周辺機器に対して異なる影響を有し、軽い負荷を有する周辺機器は、それでも十分な動作マージンを有する可能性が高い。重い負荷を有する周辺機器は、リンク輻輳および遅延によって深刻な影響を受ける可能性が高い。適度な負荷を有する周辺機器は、適度に動作するが、理想的なリンク容量マージンより少ないリンク容量マージンで動作する可能性が高い。

図10、図11、および図12に、フォトニックスイッチおよびその制御システムが存在する時の、同一の障害の影響および修正措置を行う能力を示す。

図10に、フォトニックスイッチ204、障害を発生したパケットスイッチ194、およびフォトニックスイッチコントローラ206を有するデータセンタ202を示した。パケットスイッチ194の障害の直後に、周辺機器101は、その容量の25%を失う。しかし、この消失およびパケットスイッチ194の障害は、周辺機器101およびパケットスイッチ194によってOMC 136に報告される。OMC 136は、周辺機器101のトラフィック負荷のレコードをすでに有する可能性がある。代替案では、OMC 136は、周辺機器101に問い合わせて、周辺機器101の負荷情報を入手する。この知識に基づいて、他のパケットスイッチ内で使用可能な予備スイッチ容量を、必要に従って再展開することができる。

図11では、リンク138およびリンク139が、障害を発生したパケットスイッチ194の障害に基づいて、データセンタ212内で再調整される。データセンタ212内では、予備コアパケットスイッチング容量が、すべての周辺機器に容量を完全に復元するのに不適切である。予備容量は、最大トラフィックの周辺機器に割り振られ、容量の消失がデータセンタ212全体の容量を15%だけ減らすことをもたらす。というのは、この例において、不適切な予備容量が、障害全体をカバーするために保持されたが、高トラフィック周辺機器が、完全な接続性に復元されるからである。

一部の周辺機器は、低トラフィックレベルで動作しつつあり、通常は、減らされた個数のリンクを用いて動作する可能性がある。高トラフィックレベルで動作する他の周辺機器は、単一のリンクの消失によって影響を受ける。適度な容量で動作する周辺機器は、単一のリンクの消失の後にマージンを有しない可能性がある。図12に、一部のリンクが、軽い負荷を有し、したがって多少の容量を放棄することができることが測定された周辺機器からフォトニックスイッチ制御システムによって除去され、このリンクが、その後に必要に基づいて高トラフィックまたは中トラフィックの周辺機器に再割り当てされる、データセンタ222内の回復プロセス内のさらなるステップを示す。この特定の例では、高トラフィック周辺機器の100%が、完全な接続性を有するが、適度な負荷を有する周辺機器の67%が、完全な接続性を有する。低トラフィック周辺機器は、少なくとも2つのリンクを有し、このリンクは、その周辺機器が低トラフィック状態のままである間に十分な容量である可能性が高い。低トラフィック周辺機器のトラフィック負荷が増える場合には、リンクは、前に説明したプロセスによって、その時に再調整される。

したがって、障害のタイプおよび位置と各TOR上の実際のトラフィック負荷/需要との制御システム知識に基づいてジャンクタ接続を再配置するフォトニックスイッチの動作によって、障害の影響を実質的に改善し、特にクリティカルな高トラフィックレベル周辺機器を最大容量に復元することが可能である。この処置が完了した後に、前に説明したトラフィック負荷の進行中のリアルタイム測定およびやがて来るトラフィックの予想の使用が、障害を発生した機器が稼働状態に復元される時まで、機器機能停止の影響を最小にし続けるために適用され続ける。

図13〜図16に、コントローラの制御の下でのリンクのフォトニックスイッチングを伴わないおよびこれを伴う、1つのコアパケットスイッチの1つの部分での機能停止の影響を示す。

図13に、フォトニックスイッチを伴わず、コアスイッチング容量の1/16に影響する1つのパケットスイッチの障害234 1クオドラントの障害234を伴うデータセンタ232を示す。この障害は、少数の周辺機器だけに影響し、それらの周辺機器のそれぞれは、その容量の25%を失う。

図14に、フォトニックスイッチ204を伴い、1つのパケットスイッチの1クオドラントの障害234を伴うデータセンタ242を示す。データセンタ252には、すべての周辺機器が適当な容量を維持するのに十分な予備容量がある。当初に、障害の影響は、データセンタ232におけるものと同一である。しかし、この障害は、パケットスイッチングコア236およびその障害によって影響される周辺機器によって検出される。障害は、OMC 136に報告される。その後、予備容量が展開される。

この例では、影響を受ける周辺機器のリンク容量を完全に復元するのに十分な予備容量があり、障害の影響が0まで減らされる。図15は、影響を受ける周辺機器へのリンク容量が、影響を受けるリンクを再構成するためにフォトニックスイッチ204を動作させるフォトニックスイッチコントローラによって復元されている、データセンタ252を示す。

図16に、1つのパケットスイッチの1クオドラントの障害234とフォトニックスイッチ204とを伴うデータセンタ262を示す。データセンタ262は、予備容量を全く有しない。この場合に、OMC 136は、障害ゾーンの外部の低トラフィック周辺機器から、障害によって影響を受ける高トラフィック容量周辺機器にリンクを移動する。この例では、障害のゾーンの外部の適度なトラフィックおよび高トラフィックの周辺機器は、普通に動作する。3つの低トラフィック周辺機器は、そのポート容量に対する影響を見るが、これらの周辺機器は、低トラフィック周辺機器として、その容量を完全には利用していないので、この影響は瑣末なものである可能性が高い。影響を受ける低トラフィック周辺機器が、トラフィックの増加を受けるか、時刻予測に起因するトラフィックの増加を必要とすると予測される場合には、これらの周辺機器は、追加のリンクを動的に割り振られ得、このプロセスは、障害を発生したスイッチングユニットが修理され、稼働状態に戻されるまで継続する。

図17に、パケットスイッチングコア障害から回復するためにフォトニックスイッチコントローラ206として使用され得る制御構造270を示す。制御構造270は、制御構造140に類似する。制御構造270は、周辺機器からのリンクの消失アラートのための入力を有する。リンクの消失アラートは、リンクレベルマップ更新272によって受け取られる。たとえば、パケットスイッチングコアのさまざまなレベルの障害が発生し得る。単一のポート、マルチポートオーバーオールポート(multi-port overall port)カードもしくはモジュール、またはパケットスイッチ全体が、障害を発生する可能性がある。リンクの消失アラートを受け取る時に、リンクレベルマップ更新272は、改訂されたマップをリンクレベルおよび接続性マップ158に書き込む前に、リンクレベルおよび接続性マップのコピーを変更して、障害を発生したリンクが使用不能であることを示す。リンクレベルおよび接続性マップ158は、改訂されたマップに基づいて変更を出力する。

障害を発生したリンクに関連する周辺機器は、移動されるトラフィックを他のリンク上に配置し、占有率を高めることを自動的に試みる。この増加は、フィルタリングブロック154、周辺機器トラフィックマップ152、および限界周辺機器リンク容量ブロック156のトラフィック測定処理を介して検出される。これらのリンクは、適当である場合に、限界容量リンクとしてタグを付けられる。その後、より多くのリンクが、輻輳を軽減するために割り振られる。障害を発生したリンクは、現在は使用不能としてマークされているので、回避される。

障害が、重大なパケットスイッチングコア障害、たとえばパケットスイッチ全体の障害によって引き起こされる時に、フォトニックスイッチと障害を発生したパケットスイッチとの間の接続のすべてが、動作不能である。障害の範囲を識別するメッセージが、リンクレベルおよび接続性マップ158に送られる。障害を発生したリンクは、サービス不能としてマークされ、スイッチ接続性マップ164に書き込まれる。その間に、障害を発生したパケットスイッチ上で終端する、周辺機器とフォトニックスイッチとの間のリンクは、トラフィックをサポートすることができず、周辺機器は、トラフィックを他のパケットスイッチへのリンクに迂回させ、これらのリンクの占有率を高まらせる。この増加は、フィルタリングブロック154、周辺機器トラフィックマップ152、および限界周辺機器リンク容量ブロック156によって検出される。これらのリンクは、適宜、限界容量リンクとしてタグを付けられる。

もう1つの例では、データセンタ内でパケットスイッチングコアと周辺機器との間に挿入されたフォトニックスイッチは、低需要期間中にコンポーネントの電源を切るのに使用される。大規模データセンタの電力は、毎年数百万ドル(many millions of dollars)の費用がかかる可能性がある。電源を切るシナリオでは、一部の周辺機器は、需要が軽い時にも電源を切られ得る。それと同時に、コアスイッチングリソースの電源を切ることができる。コアスイッチングリソースへの周辺機器の固定されたマッピングを用いると、電源を切られた周辺機器に接続されたコアスイッチングリソースだけが、電源を切られ得、柔軟性が制限される。フォトニックスイッチが、周辺機器とパケットスイッチングコアとの間にある時には、接続を変更して、電源を入れられている周辺機器を完全に接続された状態に保つことができる。

データセンタ内では、コアパケットスイッチが大量の電力を消費するが、周辺機器はさらに多くの電力を消費する。したがって、軽負荷条件の下では、コアスイッチング容量の一部ではなく周辺機器の一部の電源を切ることが一般的である。というのは、コアスイッチの一部の電源を切ることが、残りの周辺機器の容量に影響し、その周辺機器の一部が、いくつかの電源を切られた周辺機器の負荷を受け取って、高容量で動作しつつあるからである。これは、固定されたジャンクタパターンによって引き起こされ、これが、すべての周辺機器への容量を減らさずにコアパケットスイッチの一部の電源を切ることを妨げる。しかし、スイッチ-周辺機器ジャンクタパターンを再構成する能力があれば、この問題を克服することができる。図18および図19に、それぞれリンクのフォトニックスイッチングがない場合およびリンクの制御されたフォトニックスイッチングの場合の、電源を切られたコアパケットスイッチングセグメントを有するデータセンタを示す。

図18に、一部の周辺機器とパケットスイッチングコア282のいくつかの部分とが電源を切られている、データセンタ280を示す。周辺機器のアレイがスイッチのアレイによってスイッチングされるスイッチング構造においては、直交相互接続またはジャンクタリングが、各周辺機器の容量の一部をスイッチの各部分におよびその逆に接続するのに使用される。これは、すべてのコアパケットスイッチが動作しつつある時に、相対的に均等にマッチングされたトラフィックハンドリング容量を有する構造をもたらす。

しかし、図18に示されているように、周辺機器およびパケットスイッチングモジュールが、故意に電源を切られる場合には、この構造はいくつかの制限を有する。パケットスイッチングモジュールのX%が、たとえば軽トラフィックの期間中に電源を切ることによって、除去される場合には、各周辺機器は、そのリンク容量のX%を失い、その相互接続容量の(100-X)%が残される。周辺機器のY%が電源を切られる場合には、スイッチングコアへのリンクのY%が動作不能になり、ノードスループットは、(100-Y)%である。データセンタ内のトラフィックが、周辺機器の大きいパーセンテージの電源を切るのに十分に低い時には、パケットスイッチングモジュールの大きいパーセンテージの電源を切ることも望ましい可能性がある。しかし、スイッチのX%および周辺機器のY%が電源を切られる場合に、周辺機器の残りの(100-Y)%は、そのリンクのX%が除去され、全容量の(100-X)%が残され、全体的な容量が(100-Y)(100-X)%になるのを見る。たとえば、スイッチ容量の50%および周辺機器容量の50%を除去することは、元の容量の25%へのデータセンタスループットの低下を生じる。下のTable 3(表3)に、パケットスイッチングモジュールおよび周辺機器の電源を切ることの影響を示す。

失われた容量の合成が生じるのは、部分的に電源を切ることが発生する時に、固定されたジャンクタリングパターンが、各電源を入れられたパケットスイッチングモジュールのいくつかのポートと各電源を入れられた周辺機器上のいくつかのポートとを立ち往生したままにするからである。周辺機器は、一般に、それらをサポートするパケットスイッチングモジュールより多くの電力を要するので、スイッチング容量ではなく、周辺機器だけが、電源を切られる可能性がある。たとえば、データセンタ負荷が、その容量をその最大容量の40%まで減らすことを可能にする場合に、周辺機器の60%およびパケットスイッチングモジュールの0%が、電源を切られ得、パケットスイッチングモジュールの60%および周辺機器の0%が、電源を切られ得、周辺機器の50%およびパケットスイッチングモジュールの20%が、電源を切られ得、あるいは、周辺機器の40%およびパケットスイッチングモジュールの30%が、電源を切られ得る。周辺機器は、パケットスイッチングモジュールより多くの電力を利用するので、周辺機器の60%およびパケットスイッチングモジュールの0%の電源を切ることが、意味をなす。

図19に、いくつかの周辺機器およびいくつかのスイッチングコアモジュールが電源を切られる、フォトニックスイッチ204を伴うデータセンタ292を示す。ジャンクタリングパターンは、フォトニックスイッチ204内の接続を介して制御され、リセットされ得る。電源を入れられたパケットスイッチングモジュールおよび周辺機器は、完全に使用されまたは使用され得る。

データセンタ292内の例においては、周辺機器容量より多くのパケットスイッチング容量が、除去され、したがって、残りの電源を入れられた周辺機器は、容量の小さい減少を見る。パケットスイッチング容量の減少が、周辺機器容量の減少より少ない場合には、周辺機器は、接続性の消失を見ないはずである。下のTable 4(表4)に、データセンタ容量と除去されるパケットスイッチング容量および周辺機器容量のパーセンテージとの間の関係を示す。

結果の容量改善を、Table 5(表5)に示す。パケットスイッチング容量と周辺機器容量との同一のパーセンテージを、容量の過剰な損失なしで電源を切ることができる。

制御構造270は、フォトニックスイッチコントローラ206として使用され得、入力は、障害ではなく電源を切る意図に関連する。リンク構造の変化は、障害に反応することではなく電源を切る前に、事前に計算され得る。

もう1つの実施形態では、データセンタ内で周辺機器とパケットスイッチングコアとの間に挿入されるフォトニックスイッチを、周辺機器および/またはパケットスイッチングコアなどのコンポーネントの運用および保守に使用することができる。コンポーネントを、非稼働中にし、フォトニックスイッチによって切断し、たとえばフォトニックスイッチ上の予備ポートを使用して、試験および診断システムなどの代替リソースに接続することができる。これを、周辺機器またはパケットスイッチングモジュールを検証するために決まった周期的な基礎で、または診断すべき問題に応答して、実行することができる。これを実行して、周辺機器の電源を切る前にその周辺機器の高速バックアップを実行することもできる。これは、たとえば、C-throughマッシブバックアップをトリガすることによって、または周辺機器に接続する前にその周辺機器が正しく電源を入れられたことを検証するために、トリガすることができる。

図20に、スイッチ試験装置304および周辺機器試験装置306にインターフェースされたフォトニックスイッチ204を有するデータセンタ302を示す。周辺機器またはパケットスイッチングモジュールは、フォトニックスイッチ204内で適当な接続をセットアップするためにOMC 136がフォトニックスイッチコントローラ206に指令することに基づいて、スイッチ試験装置304または周辺機器試験装置306に接続される。その後、試験装置が制御され、データが、試験装置とOMC 136との間のデータリンクを介して装置から収集される。

1つのインスタンス化では、図17のコントローラ機能は、障害が発生した後にトラフィックの再割り当てを完了する時に、切断された/障害を報告したスイッチポートまたは周辺機器ポートを図20内の試験装置304および306に接続することができる。

そのような試験セットアップは、さまざまな状況で使用され得る。パケットスイッチングモジュールまたは周辺機器などのコンポーネントが、欠陥があるものとして検出される時に、そのコンポーネント、それは、非稼働中にされ、故障の特徴を表すか診断するために、適当な試験装置に接続され得る。新しいコンポーネント、交換コンポーネント、または修理されたコンポーネントは、稼働状態にされる前に、正しい機能性を保証するために試験装置によって正しい動作について試験され得る。パケットスイッチングモジュールまたは周辺機器は、ある時間期間にわたって電源を切られた後に、データセンタに再接続される前に、正しい機能性を保証するために電源投入時に試験され得る。新たに電源を入れられるデバイスは、データセンタに接続される前に、新しいサーバソフトウェアなどの更新を受け取ることができる。

もう1つの例では、フォトニックスイッチは、データセンタの拡張を容易にすることができる。データセンタトラフィックが増加する時に、追加の周辺機器およびパケットスイッチング容量を追加することができる。この追加の容量を、作動させることができ、データセンタは、新しい項目がフォトニックスイッチを介して古い項目に接続される場合に、より少ない混乱を伴って、新しいコンポーネントをよりすばやく効率的に統合するために再構成される。また、古いコンポーネントを、フォトニックスイッチを使用してよりすばやく再構成することができる。

図21に、周辺機器およびスイッチング容量がフォトニックスイッチを使用せずに追加されるデータセンタ312を示す。スイッチング容量は、第5の並列パケットスイッチ316を追加することによって、約25%拡張される。また、「N」というラベルを付けられた複数の新しい周辺機器が追加されている。新しい周辺機器およびスイッチは、先在するスイッチおよび周辺機器と通信できなければならないので、新しい周辺機器およびスイッチは、そのリンクの一部をそれぞれ先在するスイッチおよび周辺機器に向かわせなければならない。これは、手作業で行われるジャンクタリング接続の大規模なリワークもたらす。このプロセスは、破壊的であり、時間を消費し、誤りが生じやすく、高価である。これらの問題のゆえに、準最適ジャンクタリングパターンが、過剰な再構成コストを回避するためにセットアップされる場合があり、これは、トラフィック輻輳などのトラフィック増加時の問題または特定の周辺機器とスイッチ要素との間のブロックにつながる。

図22に、周辺機器およびパケットスイッチング容量を追加するためのフォトニックスイッチ204を有するデータセンタ322を示す。パケットスイッチングコア314は、追加のスイッチを追加することによって拡張され、図22の右側に示された新しい周辺機器を有する。フォトニックスイッチ204は、拡張される必要があってもなくてもよい。新しいパケットスイッチおよび新しい周辺機器からの高速短距離光リンクは、フォトニックスイッチ204上のポートに単純に接続され、新しいジャンクタリングパターンが、OMC 136フォトニックスイッチコントローラ206がフォトニックスイッチ204内の接続を調整することによってセットアップされる。新しいコンポーネントは、稼働状態にされる前に、スイッチ試験装置304および周辺機器試験装置306などの試験装置を使用して試験され得る。

追加の例では、フォトニックスイッチは、異なるコンポーネントの統合を容易にする。データセンタは、金銭、機器、不動産、電力、および冷却能力の膨大な投資を伴い、したがって、できる限り長くこの投資を活用することが望ましい。データセンタのコンポーネントの技術は、すばやく進化する。データセンタが加齢する(age)時に、データセンタは、存立できる可能性はあるが、トラフィック増加の結果として、拡張を必要とする可能性がある。新しい技術と古い技術との両方が一緒に動作できる場合には、古い可能性がある以前の世代の技術ではなく新しい世代の技術を用いて拡張することが有益である可能性がある。これは、データセンタ相互接続のジャンクタリングパターンが、すべてのコンポーネントがすべての他のコンポーネントに接続することを可能にする時にあてはまる可能性がある。

新しい技術における1つの一般的な変化が、相互接続速度である。たとえば、オリジナルのデータセンタコンポーネントが、短距離40Gb/s光リンクに基づく場合があり、新しいコンポーネントが、100Gb/s動作に最適化されている可能性があり、40Gb/sインターフェースを有しない場合がある。図23に、フォトニックスイッチ204のフォーマット、プロトコル、およびビットレート独立性を活用することによって新しいデバイスの統合を容易にするデータセンタ332を示す。また、フォトニックスイッチ204の予備ポートは、レート変換、プロトコル変換、および互換性のための他の変換のために、アダプタ334に接続される。

データセンタ332は、黒の実線および灰色の実線によって示される2つの異なるスイッチングコアフォーマットと、黒の実線、灰色の実線、黒の点線、および灰色の点線によって示される4つの異なる周辺機器フォーマットとを含む。たとえば、黒の実線は、40Gb/sリンクを示すものとすることができ、灰色の実線は、100Gb/sリンクを示すものとすることができる。同一のビットレートを有するリンクの間の接続は、フォトニックスイッチ204がビットレート、フォーマット、プロトコル、および波長に依存しない(bit rate, format, protocol, and wavelength agnostic)ので、ビットレートコンバータを使用せずに行うことができる。しかし、異なるビットレートのリンクが接続される時には、ビットレートコンバータが使用される。

変換は、変換の性質に依存してさまざまな形で実行され得る。たとえば、光波長、ビットレート、変調方式もしくはコーディング方式、インターネットプロトコル(IP)からイーサネット（登録商標）へのマッピングなどのマッピングレベル、アドレス変換、パケットフォーマット、および/または構造変換を実行することができる。

データセンタ内のパケットスイッチングコアと周辺機器との間のフォトニックスイッチは、大型フォトニックスイッチでなければならない。大型フォトニックスイッチは、並列の複数のスイッチング要素を使用する、CLOSスイッチなどのマルチステージスイッチとすることができる。スイッチは、ブロッキングファブリック、条件ノンブロッキング(conditionally non-blocking)ファブリック、または完全ノンブロッキングファブリックを作成するために、ステージの間の複雑なジャンクタリングパターンを含むことができる。ノンブロッキングマルチステージファブリックは、たとえばnから2n01までの、中央ステージ内のある度合の膨張(dilation)を使用し、ここで、nは、各入力ステージスイッチングモジュールの入力上のポートの個数である。

図24に、CLOSスイッチ440すなわち、16×16フォトニックスイッチから製造される3ステージCLOSスイッチを示す。CLOSスイッチ440は、入力441を含み、この入力441は、入力ステージファブリック442すなわちX×Yスイッチに供給される。接続186のジャンクタリングパターンは、入力ステージファブリック442および中央ステージファブリック444すなわちZ×Zスイッチを接続する。X、Y、およびZは、正の整数である。また、接続187のジャンクタリングパターンは、各ステージ内のすべてのファブリックをスイッチの次のステージ内のすべてのファブリックに同等に接続するために、中央ステージファブリック444および出力ステージファブリック446すなわちY×Xスイッチを接続する。出力ステージファブリック446は、出力447を作る。4つの入力ステージファブリック442、中央ステージファブリック444、および出力ステージファブリック446が図示されているが、より少数またはより多数のステージまたはステージあたりのファブリックを使用することができる。一例では、異なる個数の中央ステージファブリック444と共に、同一の個数の入力ステージファブリック442および出力ステージファブリック446があり、Zは、Yに入力ステージ数を乗じ、中央ステージ数によって除算したものと等しい。CLOSスイッチ440の有効ポートカウントは、入力ステージファブリックの個数にXを乗じたもの×出力ステージファブリックの個数にXを乗じたものと等しい。一例では、Yは、2X-1と等しく、CLOSスイッチ440は、ノンブロッキングである。別の例では、XはYと等しく、CLOSスイッチ440は、条件ノンブロッキングである。ノンブロッキングスイッチは、他の入力または出力上のトラフィック構成にかかわりなく、N個の入力をN個の出力に任意の組合せで接続するスイッチである。同様の構造を、より大きいファブリックについて、直列の2つの入力ステージと直列の2つの出力ステージとを有する5つのステージを用いて作成することができる。

微小電気機械システム(MEMS)スイッチを、データセンタ内で使用することができる。図25に、MEMSフォトニックスイッチ470を示す。MEMSフォトニックスイッチ470のスイッチング速度は、約30msからほぼ100msまでとすることができる。この低いスイッチング速度は、多くの応用例には遅すぎるが、平均トラフィック変化および機器機能停止またはデータセンタ内での再構成/追加に応答してジャンクタリングパターンを管理するのに使用されるフォトニックスイッチは、有用であるために特に高速のスイッチング速度を有することを必要としないが、高い速度は、回復時間を多少改善する。これは、スイッチング時間が、故障検出分析および処理の時間またはトラフィック分析検出と直列になっているという事実に起因する。処理時間は、有限の長さの時間を要し、かつ/または予報とすることができる。さらに、十分な容量が、短期間トラフィックバーストが、TCP/IPレイヤにおけるバッファリングおよびフロー制御と組み合わされた過剰に提供された容量(2〜3標準偏差)によって処理され得るようにするために、保持される。しかし、いくつかの応用例、特に故障検出および回復に関して、できる限り高速のフォトニックスイッチングが望ましい。

MEMSフォトニックスイッチ470は、低損失、事実上クロストークなし、偏光効果または非線形性、およびマルチキャリア光信号を処理する能力を含む、優れた光学性能をも有する。一例では、MEMSフォトニックスイッチ470が、単独で使用される。もう1つの例では、MEMSフォトニックスイッチ470は、CLOSスイッチ440または別のマルチステージファブリック内で使用される。これは、50000×50000本以上のファイバのノンブロッキングスイッチを可能にすることができる。光増幅器をMEMSフォトニックスイッチ470と共に使用して、光学損失をオフセットすることができる。MEMSフォトニックスイッチ470は、ステアリング可能な鏡面474および476を含む。光は、たとえば光ファイバから、ビームコリメータ472を介して入り、ステアリング可能な鏡面474に衝突する。ステアリング可能な鏡面474は、光にステアリング可能な鏡面476の適当な鏡に衝突させるように、2つの平面内の角度において調整される。ステアリング可能な鏡面476の鏡は、特定の出力ポートに関連する。これらの鏡も、適当な出力ポートへの結合を引き起こすように、2つの平面内の角度において調整される。その後、光は、ビームエクスパンダ478内で、たとえば光ファイバに出る。

一例では、MEMSスイッチは、CLOSスイッチ440など、マルチステージスイッチとして配置される。3ステージノンブロッキングMEMSスイッチは、300×300 MEMSスイッチングモジュールを有し、ダイレーテッドノンブロッキング構造(dilated non-blocking structure)において約45000波長またはアンダイレーテッド条件ノンブロッキング構造(undilated conditionally non-blocking structure)において約090000波長を提供することができる。下のTable 6(表6)に、ノンブロッキングスイッチに関する1:2膨張を有するMEMSフォトニックスイッチを用いる構成要素模型(constituent model)のさまざまなサイズに関する最大スイッチファブリックサイズのスケーリングを示す。非常に高いポート容量およびスループットが、入手可能である。

もう1つの例では、MEMSスイッチは、マルチプレーンスイッチとして配置される。マルチプレーンスイッチは、スイッチングされるトランスポートレイヤが、高密度WDM (DWDM)フォーマットであり、所与の波長の光搬送波を、同一の波長を受け入れる他のポートに、あるいはアドポート(add port)、ドロップポート(drop port)、または波長変換ポートに接続することだけができるという事実に頼る。これは、波長と同数のより小さいファブリックからスイッチを作り上げることを可能にする。DWDMを用いると、40波長または80波長がある可能性があり、40個または80個のより小さいスイッチが、1つの大きいファブリックの仕事を行うことが可能になる。

図26に、データセンタ内で周辺機器およびパケットスイッチングコアをリンクする方法の流れ図340を示す。当初に、ステップ344では、周辺機器が、1つまたは複数のパケットをフォトニックスイッチに送信する。パケットは、固定された光リンクに沿って光学的に送信され得る。

次に、ステップ346では、フォトニックスイッチが、パケットをパケットスイッチングコアの適当な部分に向ける。フォトニックスイッチの入力とフォトニックスイッチの出力との間の適当な接続は、すでにセットされている。パケットは、固定された光リンク上でパケットスイッチングコアの所望の部分に送信される。

ステップ348では、パケットスイッチングコアが、パケットをスイッチングする。スイッチングされたパケットは、別の固定された光リンクに沿ってフォトニックスイッチに戻って送信される。

その後、ステップ350では、フォトニックスイッチが、パケットを適当な周辺機器にルーティングする。パケットは、入力ポート上の接続からフォトニックスイッチの出力ポート上の接続にルーティングされる。入力ポートと出力ポートとの間の接続は、所望の位置に事前にセットされる。パケットは、固定された光リンク上で適当な周辺機器に送信される。

最後に、ステップ352では、パケットが、周辺機器によって受信される。

図27に、フォトニックスイッチを使用するデータセンタ内でリンクを調整する方法の流れ図370を示す。当初に、ステップ372では、データセンタが、コンポーネントからのリンク上の過剰な負荷を検出する。一例では、コンポーネントは、周辺機器である。別の例では、コンポーネントは、パケットスイッチングモジュールである。過剰な負荷は、リアルタイムで動的に検出され得る。代替案では、過剰な負荷は、スケジュールに基づいて、たとえばヒストリカルトラフィック負荷に基づいて判定される。

次に、ステップ374では、データセンタが、使用可能な予備リンクがあるかどうかを判定する。使用可能な予備リンクがある場合には、ステップ376で、予備リンクを追加して、輻輳を減らす。

予備リンクが使用可能ではない時には、ステップ378で、データセンタが、十分利用されていない使用可能なリンクがあるかどうかを判定する。十分利用されていない使用可能なリンクがある時には、ステップ380で、そのリンクを転送して、過負荷リンクの輻輳を減らす。

十分利用されていない使用可能なリンクがない時には、データセンタは、ステップ382で、使用可能な別のより低い優先順位のリンクがあるかどうかを判定する。別のより低い優先順位のリンクがある時には、ステップ384で、そのより低い優先順位のリンクを転送する。より低い優先順位のコンポーネントへのリンクがない時には、この方法は、ステップ386で終了する。

図28に、フォトニックスイッチを使用するデータセンタ内で十分利用されていないリンクを除去する方法の流れ図390を示す。当初に、ステップ392では、十分利用されていないリンクを判定する。一例では、十分利用されていないリンクは、リアルタイムで動的に検出される。もう1つの例では、十分利用されていないリンクは、スケジュールに基づいて、たとえばヒストリカルデータに基づいて判定される。周辺機器リンクとパケットスイッチングコアリンクとの両方が、同時に、たとえば真夜中または低トラフィックの他の時間に、十分利用されなくなる可能性がある。

次に、ステップ394では、十分利用されていないリンクを除去する。コンポーネントとフォトニックスイッチとの間の他のリンクは、十分利用されていないリンクによって以前に送信されたトラフィックを包含するのに十分である。その後、除去されたリンクは、予備容量に移動される。このコンポーネントへのリンクが、その後に過剰に利用されるようになった場合には、除去されたリンクを、その時にたやすく追加することができる。予備リンクを、他の目的に使用することもできる。

図29に、フォトニックスイッチを使用するデータセンタ内でコンポーネント障害に対処する方法の流れ図360を示す。当初に、ステップ362では、コンポーネント障害を検出する。障害を発生したコンポーネントは、1つもしくは複数のパケットスイッチングモジュール、1つもしくは複数の周辺機器、または周辺機器もしくはパケットスイッチングモジュールの一部である可能性がある。

ステップ364では、障害を発生したコンポーネントを切断する。その後、障害を発生したコンポーネントを試験装置に接続して、障害の原因を判定することができる。

最後に、ステップ366では、障害を発生したコンポーネントに以前に接続されていたコンポーネントを、まだ動作可能である別のコンポーネントに接続する。この再接続は、たとえば流れ図370のステップ374〜386を使用して実行することができる。

図30に、フォトニックスイッチを用いるデータセンタ内でコンポーネントの電源を切る方法の流れ図460を示す。当初に、ステップ462では、データセンタが、コンポーネントの過剰な容量を判定する。コンポーネントの電源を切るためには、大きい過剰な容量が判定されなければならない。電源を切られるコンポーネントは、周辺機器および/またはパケットスイッチングモジュールとすることができる。

その後、ステップ464では、コンポーネントの電源を切る。電源を切られたコンポーネントからのリンクは、除去され、未使用リンクプール内に配置される。

ステップ466では、電源を切られたコンポーネントに接続されていたコンポーネントを切断し、未使用リンクを過剰容量内に配置する。必要に応じて、コンポーネントは、他のコンポーネントに再接続される。いくつかの場合に、接続されたコンポーネントの一部も、電源を切られる。

図31に、フォトニックスイッチを使用するデータセンタ内でコンポーネントを試験する方法の流れ図560を示す。コンポーネントは、周辺機器またはパケットスイッチングモジュールである可能性がある。当初に、ステップ562では、データセンタが、コンポーネントを試験すると判断する。一例では、コンポーネントは、間欠的な障害または完全な障害など、検出された障害に起因して試験される。もう1つの例では、コンポーネントは、スケジューリングされた保守をルーティングするために試験される。これは、低トラフィックの時、たとえば真夜中に実行することができる。

その後、ステップ564では、コンポーネントが、それが接続されているコンポーネントから切断される。これは、接続フォトニックスイッチを調整することによって実行される。

ステップ566では、切断されたコンポーネントを、その必要に基づいて別のコンポーネントに接続することができる。また、ステップ568では、試験されるコンポーネントを、試験装置、たとえば自動化された試験装置に接続する。パケットスイッチングモジュールとさまざまな周辺機器とに関して、異なる試験装置があってもよい。ステップ568は、ステップ566の前またはステップ566の後に実行されてもよい。

次に、ステップ570では、コンポーネントを試験する。試験は、コンポーネントが接続された試験装置によって実行される。コンポーネントが合格しない時には、障害が、ステップ574でさらに調査される。コンポーネントのさらなる試験があってもよく、またはコンポーネントを修理してもよい。代替案では、コンポーネントは、非稼働中にされる。コンポーネントが合格する時には、ステップ576で、そのコンポーネントを稼働状態に戻す。コンポーネントは、他のコンポーネントに接続され、リンクが、平衡化のために再調整される。代替案では、コンポーネントは、合格する時に、必要とされるまで電源を切られる。

図32に、フォトニックスイッチを使用するデータセンタ内でリンク容量を割り振る方法の流れ図580を示す。この方法を、フォトニックスイッチコントローラによって実行することができる。当初に、ステップ582では、フォトニックスイッチコントローラが、トラフィックレベル統計を受け取る。一例では、トラフィックレベル統計は、OMCによって受け取られ、フォトニックスイッチコントローラに渡される。他の例では、トラフィックレベル統計は、フォトニックスイッチコントローラによって、周辺機器およびパケットスイッチングコアから直接に受け取られる。

次に、ステップ584では、トラフィックレベル統計をフィルタリングする。このフィルタリングは、リアルタイムトラフィックレベル測定値のストリームを重大データに縮約する。たとえば、データを、集計し、平均をとって、周辺機器あたりトラフィックレベルの移動するビューを作ることができる。追加のフィルタリングを実行することができる。追加のフィルタリングは、非線形とし、たとえばイベントの重要性に基づくものとすることができる。たとえば、コンポーネント障害に、トラフィックの徐々の増加よりもすばやく応答することができる。

その後、ステップ586では、周辺機器トラフィックマップを、フィルタリングされたトラフィックレベル統計に基づいて作成する。

周辺機器トラフィックマップに基づいて、ステップ588では、周辺機器あたりのトラフィックレベルを判定する。これは、周辺機器内のリアルタイムトラフィックレベルである。

また、ステップ590では、限界周辺機器リンク容量を判定する。大きい容量を有するリンクの値と小さい容量を有するリンクの値とを記録することができる。代替案では、すべてのリンクの値が記録される。

ステップ592では、リンクが、動的要因、スケジューリングされた要因、またはその組合せのどれに基づいて判定されるのかを判定する。リンクは、完全に動的トラフィック測定値に基づいて、完全にスケジューリングされた考慮事項に基づいて、または動的トラフィック要因とスケジューリングされたトラフィック要因との混合に基づいて、判定され得る。

次に、ステップ594では、フォトニックスイッチコントローラが、周辺機器接続性レベルマップを生成する。周辺機器接続性レベルマップは、必要なリンクリソースを提供する。

その後、ステップ596では、周辺機器あたりリンクレベルデルタを判定する。このステップでは、フォトニックスイッチコントローラが、どのリンクを変更すべきかを判定する。

最後に、ステップ598では、フォトニックスイッチコントローラが、リンクレベル割振り容量を判定する。これは、容量と優先順位とに基づいてリンクを割り振ることによって行われる。

図33に、フォトニックスイッチを使用するデータセンタ内でリンクを調整する方法の流れ図480を示す。この方法を、フォトニックスイッチコントローラによって実行することができる。当初に、ステップ482では、フォトニックスイッチコントローラが、周辺機器マップを受け取る。これは、流れ図580によって作成された周辺機器マップとすることができる。

その後、ステップ484では、フォトニックスイッチコントローラが、スイッチ接続性マップを判定する。これは、たとえば、リンクレベル接続性マップに基づいて行われる。

ステップ486では、フォトニックスイッチコントローラが、周辺機器接続性レベルを判定する。これは、スイッチ接続性マップと周辺機器マップとに基づくものとすることができる。

最後に、ステップ488では、フォトニックスイッチコントロールが、周辺機器接続性レベルを反映するために、フォトニックスイッチ内の接続を調整する。

複数の実施形態が本開示で提供されたが、開示されるシステムおよび方法を、本開示の趣旨または範囲から逸脱せずに多数の他の特定の形態において実施できることを理解されたい。本例(the present examples)は、例示的であって制限的ではないと考えられなければならず、その意図は、本明細書で与えられる詳細に限定されない。たとえば、さまざまな要素またはコンポーネントを、別のシステム内で組み合わせるか一体化することができ、あるいは、ある種の特徴を省略するか実施しないものとすることができる。

さらに、さまざまな実施形態において別個または別々として説明され図示された技法、システム、サブシステム、および方法を、本開示の範囲から逸脱せずに他のシステム、モジュール、技法、または方法を用いて組み合わせるか一体化することができる。結合され、直接に結合され、またはお互いに通信するものとして図示されまたは議論された他の項目は、電気的に、機械的に、または他の形でのいずれであれ、何らかのインターフェース、デバイス、または中間コンポーネントを介して間接的に結合されまたは通信することができる。変更、置換、および代替物の他の例は、当業者によって確かめられ得、本明細書で開示される趣旨および範囲から逸脱せずに作られ得る。

100 リンク
101 周辺機器
102 データセンタ
104 世界
106 運用および管理センタ(OMC)
108 パケットスイッチングコア
110 パケットスイッチ
112 パケットスイッチングコア
114 クオドラント
116 コアパケットスイッチングポート
118 中央処理装置(CPU)
120 トップオブラック(TOR)スイッチ
122 ストレージユニット
124 ファイヤウォールロードバランサ
126 ルータ
128 トランスポートインターフェース
130 データセンタ
132 フォトニックスイッチ
134 フォトニックスイッチコントローラ
136 OMC
138 リンク
139 リンク
140 制御構造
142 時刻レベルブロック
144 データ重みアッテネータブロック
146 周辺機器接続性レベルマップ
148 データ重みアッテネータブロック
150 処理ブロック
152 周辺機器トラフィックマップ
154 フィルタリングブロック
156 限界周辺機器リンク容量ブロック
158 リンクレベルおよび接続性マップブロック
160 計算ブロック
164 スイッチ接続性マップ
168 周辺機器あたりリンクレベルデルタブロック
170 ジャンクタリング設計ルールおよびアルゴリズム
172 計算ブロック
174 リンクレベル容量割振り要求ブロック
176 フォトニックスイッチ接続性計算ブロック
178 ジャンクタリング接続ルールおよびアルゴリズムブロック
186 接続
187 接続
192 データセンタ
194 パケットスイッチ
202 データセンタ
204 フォトニックスイッチ
206 フォトニックスイッチコントローラ
212 データセンタ
222 データセンタ
232 データセンタ
234 障害
236 パケットスイッチングコア
242 データセンタ
252 データセンタ
262 データセンタ
270 制御構造
272 リンクレベルマップ更新
280 データセンタ
282 パケットスイッチングコア
292 データセンタ
302 データセンタ
304 スイッチ試験装置
306 周辺機器試験装置
312 データセンタ
314 パケットスイッチングコア
316 第5の並列パケットスイッチ
322 データセンタ
332 データセンタ
334 アダプタ
340 流れ図
360 流れ図
370 流れ図
390 流れ図
440 CLOSスイッチ
441 入力
442 入力ステージファブリック
444 中央ステージファブリック
446 出力ステージファブリック
447 出力
450 パケットスイッチングコア
452 TORスイッチ
454 フォトニックスイッチ
460 流れ図
470 MEMSフォトニックスイッチ
472 ビームコリメータ
474 ステアリング可能な鏡面
476 ステアリング可能な鏡面
478 ビームエクスパンダ
480 流れ図
512 曲線
514 曲線
522 曲線
525 曲線
532 曲線
534 曲線
536 曲線
538 曲線
540 曲線
542 曲線
550 時間変動マスク
552 曲線
554 曲線
556 曲線
558 曲線
560 流れ図
580 流れ図

関連出願の相互参照
本願は、その全体が再生されたかのように参照によって本明細書に組み込まれている、2013年8月7日に出願した米国特許出願第13/961663号、名称「System and Method for Photonic Switching and Controlling Photonic Switching in a Data Center」の優先権を主張するものである。

本発明は、通信のシステムおよび方法に関し、具体的には、データセンタにおけるフォトニックスイッチング(photonic switching)のシステムおよび方法に関する。

現在、データセンタが、非常に多数のサーバを有する場合がある。たとえば、あるデータセンタが、50000台を超えるサーバを有する場合がある。サーバをお互いおよび外部の世界に接続するために、データセンタが、コアスイッチング機能および周辺機器スイッチングデバイスを含む場合がある。

大規模データセンタが、非常に多数の相互接続を有する場合があり、この相互接続が、光ファイバ上の光信号として実施される場合がある。これらのコア相互接続は、多数の周辺機器スイッチングデバイスおよびコアスイッチング機能を接続する。コアスイッチング機能は、分散コアスイッチとして操作される少数の超大型コア電気スイッチとして実施され得る。一部のデータセンタでは、周辺機器スイッチングデバイスが、サーバ内で直接に実施され、サーバは、コアスイッチング機能に直接に相互接続する。他のデータセンタでは、サーバは、トップオブラック(TOR)スイッチの後方にあり、TORスイッチは、コア相互接続によってコアスイッチング機能に接続される。

実施形態のデータセンタは、パケットスイッチングコアとフォトニックスイッチとを含む。フォトニックスイッチは、パケットスイッチングコアに光学的に結合された第1の複数のポートと、複数の周辺機器に光学的に結合されるように構成された第2の複数のポートであって、フォトニックスイッチは、複数の周辺機器とパケットスイッチングコアとの間でパケットをリンクするように構成される、第2の複数のポートとを含む。このデータセンタは、フォトニックスイッチに結合されたフォトニックスイッチコントローラと、パケットスイッチングコアとフォトニックスイッチコントローラとの間に結合された運用および管理(operations and management)センタとをも含む。

データセンタ内のフォトニックスイッチを制御する実施形態の方法は、フォトニックスイッチコントローラによって、運用および管理センタから、第1のコンポーネントと第2のコンポーネントとの間の第1のトラフィックフロー内の状態を受信するステップであって、第1のトラフィックフローは、第1のコンポーネントとフォトニックスイッチとの間の第1の光リンクに沿った第2のトラフィックフローと、検出されるトラフィックフローを作るためのフォトニックスイッチと第2のコンポーネントとの間の第2の光リンクに沿った第3のトラフィックフローとを含む、受信するステップを含む。この方法は、追加の光リンクを追加することまたは除去される光リンクを除去することを含めて、フォトニックスイッチコントローラによって、検出されるトラフィックフローに従ってフォトニックスイッチ内の接続を調整するステップをも含む。

データセンタ内のフォトニックスイッチを制御する実施形態の方法は、周辺機器接続性レベルマップを入手するステップと、スイッチ接続性マップを判定するステップとを含む。この方法は、周辺機器接続性レベルマップとスイッチ接続性マップとに従ってフォトニックスイッチ接続性を判定するステップと、フォトニックスイッチ接続性に従ってフォトニックスイッチを構成するステップとをも含む。

前述は、以下の本発明の詳細な説明をよりよく理解できるようにするために、本発明の実施形態の特徴の概要をかなりおおまかに示した。本発明の実施形態の追加の特徴および利点は、以下で説明され、この説明は、本発明の特許請求の範囲の対象を形成する。当業者は、開示される概念および特定の実施形態が、本発明と同一の目的を実行するための他の構造またはプロセスを変更しまたは設計するための基礎としてたやすく利用され得ることを了解するに違いない。また、当業者は、そのような同等の構造物が、添付の特許請求の範囲に示された本発明の趣旨および範囲から逸脱しないことを認めるに違いない。

本発明およびその利点のより完全な理解のために、これから、添付図面に関連して解釈される以下の説明を参照する。

実施形態のデータセンタを示す図である。 フォトニックスイッチを有する実施形態のデータセンタを示す図である。 実施形態のジャンクタリングパターンを示す図である。 データセンタ内のフォトニックスイッチングのための実施形態の制御構造を示す図である。 トラフィックレベル対時刻のグラフを示す図である。 トラフィックレベル対曜日のグラフを示す図である。 トラフィックレベル対時刻のグラフを示す図である。 トラフィックレベル対時間のグラフを示す図である。 コアスイッチング障害を有する実施形態のデータセンタを示す図である。 フォトニックスイッチおよびコアスイッチング障害を有する実施形態のデータセンタを示す図である。 フォトニックスイッチおよびコアスイッチング障害を有する追加の実施形態のデータセンタを示す図である。 フォトニックスイッチおよびコアスイッチング障害を有するもう1つの実施形態のデータセンタを示す図である。 コアスイッチング障害を有する追加の実施形態のデータセンタを示す図である。 フォトニックスイッチおよびコアスイッチング障害を有する追加の実施形態のデータセンタを示す図である。 フォトニックスイッチおよびコアスイッチング障害を有するもう1つの実施形態のデータセンタを示す図である。 フォトニックスイッチおよびコアスイッチング障害を有する追加の実施形態のデータセンタを示す図である。 データセンタ内でのフォトニックスイッチングのためのもう1つの実施形態の制御構造を示す図である。 電源を切られたコアスイッチングモジュールを有する実施形態のデータセンタを示す図である。 電源を切られたコアスイッチングモジュールを有するフォトニックスイッチを有する実施形態のデータセンタを示す図である。 フォトニックスイッチおよび試験装置を有する実施形態のデータセンタを示す図である。 もう1つの実施形態のデータセンタを示す図である。 フォトニックスイッチおよび試験装置を有するもう1つの実施形態のデータセンタを示す図である。 フォトニックスイッチを有する追加の実施形態のデータセンタを示す図である。 フォトニックスイッチング構造を示す図である。 微小電気機械システム(MEMS)フォトニックスイッチを示す図である。 データセンタ内でパケットをリンクする実施形態の方法を示す図である。 データセンタ内でリンクを調整する実施形態の方法を示す図である。 データセンタ内でリンクを調整するもう1つの実施形態の方法を示す図である。 コンポーネント障害に応答してデータセンタ内でリンクを調整する実施形態の方法を示す図である。 データセンタ内でリンクを調整する追加の実施形態の方法を示す図である。 データセンタ内でコンポーネントを試験する実施形態の方法を示す図である。 データセンタ内でコンポーネントを試験する実施形態の方法を示す図である。 データセンタ内でフォトニックスイッチを制御するもう1つの実施形態の方法を示す図である。

異なる図面内の対応する符号および記号は、一般に、そうではないと示されない限り、対応する部分を指す。図面は、諸実施形態の関連する態様を明瞭に示すために描かれており、必ずしも原寸通りに描かれてはいない。

1つまたは複数の実施形態の例示的な実施態様が下で提供されるが、開示されるシステムおよび/または方法が、現在既知または既存のいずれかの、任意の個数の技法を使用して実施され得ることを、最初に理解されたい。本開示は、図示され、本明細書で説明される例示的な設計および実施態様を含む、下で示される例示的な実施態様、図面、および技法に全く限定されてはならず、添付の特許請求の範囲内で、その同等物の全範囲に沿って変更され得る。

データセンタは、サーバのラックからなる周辺機器の大量のアレイを使用する。各ラックは、トップオブラック(TOR)スイッチまたは統計マルチプレクサ(statistical multiplexer)に給電し、TORスイッチまたは統計マルチプレクサは、大容量リンクを介してコアパケットスイッチに多重化されたパケットデータストリームを供給する。一例では、大容量リンクは、光リンクである。図1に、データセンタ102を示す。データセンタ102のパケットスイッチングコア108は、パケットスイッチ110すなわちパケットスイッチングコア112の並列アレイを含む。パケットスイッチ110は、超大型パケットスイッチである。パケットスイッチ110は、4つのクオドラント114およびコアパケットスイッチングポート116または他の同様のパーティショニングを含むこともできる。

リンク100は、短距離光ファイバとすることができるが、パケットスイッチングコア108を周辺機器101に接続する。リンク100は、相互接続の固定された直交ジャンクタリングパターンに構成され、物理レベルにおいて接続性の固定されたマップを提供する。接続は、周辺機器101にまたがってスイッチ容量を分散させ、周辺機器101が複数のスイッチングユニットにアクセスすることを可能にするように設計され、したがって、コンポーネント障害は、周辺機器およびスイッチを立ち往生させるのではなく、容量を減らす。固定されたジャンクタリング構造は、変化、拡張、または変更に問題がある。データセンタは、40Gb/sの2000個の両方向リンクを有する場合があり、これは、80Tb/sすなわち10TB/sの容量を有することができる。これらのリンクが、より大きい容量を有する場合がある。

周辺機器101は、トップオブラック(TOR)スイッチ120を含むラック内に組み立てられ得るが、中央処理装置(CPU)118、ストレージユニット122、ファイヤウォールロードバランサ124、ルータ126、およびトランスポートインターフェース128を含むことができる。TORスイッチ120は、ラック内の個々のユニットからのパケットストリームをアセンブルし、あるレベルの統計多重化を提供する。また、TORスイッチ120は、大容量短距離光リンクを介して、パケットスイッチングコアへおよびパケットスイッチングコアから結果のデータストリームを駆動する。一例では、TORスイッチは、48個のユニットをサポートし、10Gb/sインターフェースを有する。CPU 118に関して、TORスイッチ120は、それぞれ、プロセッサから48×10Gb/sを受け取り、パケットスイッチングコア108に4×40Gb/sを供給することができる。これは、3:1レベルの帯域幅のデータ圧縮である。ストレージユニット122、ルータ126、およびトランスポートインターフェース128は、インターネット接続性または専用データネットワークを介して世界104の残りにインターフェースする。

運用および管理センタ(OMC)106は、複雑なデータセンタの運用機能、管理機能、および保守機能を監督する。OMC 106は、トラフィック容量を測定する能力を有する。たとえば、OMC 106は、周辺機器101とパケットスイッチングコア108との間のトラフィックリンクが、いつおよびどれほどしばしば、輻輳するのかを測定する。さらに、OMC 106は、保守のために、どのリンクが機能しているのかを測定する。

図1は、周辺機器の少数のラックならびに周辺機器101とパケットスイッチングコア108との間の相対的に少数のリンクを示すのみである。しかし、より多数の周辺機器およびリンクが存在してもよい。たとえば、データセンタが、パケットスイッチングコア108への2000個の40Gb/sリンクおよびパケットスイッチングコア108から周辺機器101への2000個の40Gb/sリンクを伴う、80Tb/sのスループットを有することができる。データセンタが、周辺機器の500個以上のラックを有することができる。1Pb/sのさらにより大きいデータセンタは、周辺機器の6000個以上のラックと共に、中央スイッチングコンプレックスとの間の25000個の両方向リンクを有することができる。

周辺機器101からのトラフィックは、パケットスイッチ110にまたがって並列に分散される。周辺機器101の負荷が、パケットスイッチングコア108にまたがって分散されるので、部分的なファブリック障害は、周辺機器を立ち往生させない。n個の大型パケットスイッチのうちの1つの障害は、各周辺機器ユニットから使用可能な全体的なスイッチング容量を(n-1)/nに減らす。たとえば、n=4の時に、スイッチング容量は、25%だけ減らされる。

図2に、とパケットスイッチングコア108とコアパケットスイッチングポートとの間に低損失フォトニックスイッチ132を含むデータセンタ130を示す。フォトニックスイッチ132は、周辺機器101とパケットスイッチングコア108との間のリンクを調整するように構成される。フォトニックスイッチ132は、たとえば2000個以上のポートを有する、超大型フォトニックスイッチとすることができる。超大型フォトニックスイッチは、複数の潜在的なアーキテクチャの1つにおいて、それぞれ200〜300ポートのより小さいファブリックから組み立てられたマルチステージスイッチとすることができる。一例では、フォトニックスイッチ132は、ノンブロッキングフォトニックスイッチである。もう1つの例では、フォトニックスイッチ132は、再配置可能にノンブロッキングなフォトニックスイッチである。コアパケットスイッチポート116の一部またはすべてを、フォトニックスイッチ132上で終端することができる。一例では、フォトニックスイッチ132は、現在は未使用の追加のポート容量を有する。フォトニックスイッチ132は、周辺機器101とパケットスイッチングコア108との間でジャンクタリングパターンを動的にセットアップし、変更することを可能にする。したがって、物理的な周辺機器ポートと物理的なスイッチポートとの関連付けは、固定されない。リンク138は、周辺機器101とフォトニックスイッチ132とを接続し、リンク139は、フォトニックスイッチ132とパケットスイッチングコア108とを接続する。

フォトニックスイッチコントローラ134は、OMC 136の制御の下でフォトニックスイッチ132に関するフォトニックスイッチ交差接続マップを制御する。OMC 136は、パケットスイッチングコア108および周辺機器101から、機器が機能していること、トラフィックレベル、およびコンポーネントまたはリンクが正しく動作しているのかまたは障害を有するのかに関するアラームおよび状況レポートを受け取る。また、OMC 136は、周辺機器101とパケットスイッチングコア108との間のリンクに関するリアルタイムトラフィック占有率およびリンク機能性データを収集する。

一例では、OMC 136は、収集されたデータをフォトニックスイッチコントローラ134に渡す。もう1つの例では、フォトニックスイッチコントローラ134が、トラフィックデータを直接に収集する。両方の例において、フォトニックスイッチコントローラ134は、収集されたデータを処理し、その計算の結果に基づいてフォトニックスイッチを操作する。処理は、実施される応用例に依存し、この応用例は、トラフィックレベル変化、ヒストリカル予測に基づく時刻変化および曜日変化などのスケジューリングされた制御にリアルタイムで動的に応答すること、リンク障害またはパケットスイッチコア部分的障害に動的に応答すること、ならびに電源を切られたデバイスを回避するための再構成を含むことができる。たとえば、周期ごとが、データに適当なインターバルであり、これは、リンク障害応答のための1秒、増加するトラフィックホットスポットを識別するための数十秒から数分、時刻予測のための数時間またはそのかなりの部分、曜日予測のための数日またはそのかなりの部分、ならびに他の時間期間より大幅に短い可能性がある。

トラフィック容量データは、周辺機器101とパケットスイッチングコア108との間のリンク容量を判定するのに、フォトニックスイッチコントローラ134によって使用される。一例では、リンク容量は、実際の測定されたトラフィック需要に基づいて動的に計算される。もう1つの例では、リンク容量は、時刻または曜日など、ヒストリカルデータに基づいて計算される。代替案では、リンク容量は、リンク障害またはコンポーネント障害など、予期されないイベントの検出に基づいて計算される。いくつかの応用例では、リンク容量は、ヒストリカルデータに純粋に基づいて達成される。たとえば、平日の午後6時30分に、ビデオサーバに関する容量の需要が、ヒストリカルに増加し、したがって、追加のリンク容量が、これらのサーバとパケットスイッチングコアとの間に追加される。その後、容量は、真夜中に、ヒストリカルデータがトラフィック負荷下落を示す時に減らされる。他の応用例は、需要またはリンク飽和に基づいてリンク容量が追加されまたは除去されることを伴う。たとえば、あるTORスイッチが、そのTORスイッチへのすべてのリンク上である時間期間の間にトラフィック容量しきい値を超えるトラフィックを有する場合があり、したがって、システムは、そのTORスイッチが追加のトラフィックを搬送することを可能にするために、予備リンクのプールからリンクを追加する。リンクの追加に関するしきい値は、トラフィックレベルと時間期間との両方に依存するものとすることができる。たとえば、しきい値を、10分にわたる75%を超える容量、2分にわたる85%を超える容量、または10秒にわたる95%を超える容量とすることができる。しきい値は、トラフィックフローの統計的性質によって引き起こされる非常に短い過負荷に応答することを要求されない。というのは、これがフロー制御バッファリングによって処理されるからである。また、低速のスイッチであるMEMSスイッチが使用される場合に、MEMSスイッチは、極端にすばやく応答することができない。30〜100ms領域内の応答時間を有するスイッチを用いると、フォトニック接続のスイッチングは、数秒未満から数分まで(less than multiple seconds to several minutes)の持続時間のイベントに関する有効な解決策ではない。したがって、遅いトラフィック変化の長い期間が、このプロセスによって処理され、十分な容量が、バッファおよび/またはソースへのバックプレッシャ(back-pressure)を用いる従来の形で処理される短持続時間トラフィックピークのために保持される。使用されるフォトニックスイッチを、より高速に、たとえば3〜10ms内でセットアップすることができる場合には、1秒程度のトラフィックバーストに応答することができる。もう1つの例では、リンクは、トラフィックの突然の変化に応答して追加されまたは変更される。たとえば、あるリンクが、機能しなくなり、TORスイッチにその4つのリンクのうちの3つだけが残され、したがって、これらのリンク上のトラフィックが、68%から95%に跳ね上がり、この値は高すぎる。その後、そのTORスイッチは、機能しないリンクと置換するために別のリンクを受け取る。

要求されるリンク容量レベルが、フォトニックスイッチコントローラ134によって判定された後に、その要求されるリンク容量レベルが、実際に提供されるレベルと比較され、容量レベルの差が、判定される。この差は、差が重大であるかどうかを判定するのに使用されるルールを取り込むために、ジャンクタリングトラフィックレベルアルゴリズムを使用して分析される。重大でない差は、アクションなしに関してマークされ、重大な差は、アクションに関してマークされる。アクションは、周辺機器からパケットスイッチポート容量を除去すること、周辺機器にパケットスイッチポート容量を追加すること、またはパケットスイッチングコアと周辺機器との間のリンクを変更することとすることができる。

容量変更が、リンクレベルまたはリンク容量に関して判定済みである時に、フォトニックスイッチコントローラ134は、特定のリンクアイデンティティに基づいて、これらの変更を実際のリンクに適用する。たとえば、あるTORスイッチが、4つのリンクを提供され、トラフィックレベルが、2つのリンクへの減少を正当化する場合に、リンクのうちの2つが、そのTORスイッチから切断されるはずである。対応するパケットスイッチングコアリンクも、除去され、予備リンクインベントリに返される。そのTORスイッチとフォトニックスイッチ132との間の物理リンクは、特定のスイッチポートおよびTORポートに関連付けられ、他のスイッチポートまたはTORポートに再構成はされ得ない。もう1つの例では、TORスイッチが、非常に占有された3つのリンク上で動作しつつあり、フォトニックスイッチコントローラ134が、そのTORスイッチが第4のリンクを有しなければならないと判定する。インベントリ内の予備リンクが、識別され、そのリンクが、そのTORスイッチの使用可能容量を増やし、遅延、パケットバッファリング、パケットバッファオーバーフロー、およびトラフィックの消失を減らすことによってその輻輳を減らすために、そのTORスイッチに割り振られる。

したがって、パケットスイッチングコア108の容量は、必要な場合に動的に割り振られ、過剰な容量が検出される場合に回復される。パケットスイッチングコア108の有限の容量は、ピークトラフィック需要をサポートするための容量を保持しながら、より多くの周辺機器にまたがってより効率的に利用され得る。この改善は、異なる周辺機器のピークトラフィック需要が異なる時に発生する時に、より実質的である。

フォトニックスイッチ132の使用は、パケットスイッチングコアによってサポートされ得る周辺機器の台数と、サポートされ得る周辺機器あたりのピークトラフィックとを増やすことができる。図3に、4つのデータセンタシナリオを示す。シナリオ1では、フォトニックスイッチがなく、パケットスイッチングコア450は、それぞれが静的ジャンクタリングパターンのm個の物理リンクを有するN個のTORスイッチ452に結合される。TORスイッチあたりのm個の物理リンクのピークトラフィック負荷容量は、すべてのTORスイッチ上のピークトラフィックが同時に発生するのか、TORスイッチあたりのトラフィックピークのタイミングが時間において分散されるのかにかかわりなく、使用可能である。それぞれがm個の物理リンクを有するN個のTORスイッチおよびm個の物理リンクのピークトラフィック負荷は、N*mポートを有するパケットスイッチングコアを必要とする。

シナリオ2、3、および4では、フォトニックスイッチ454が、パケットスイッチングコア450とTORスイッチ452との間に結合される。フォトニックスイッチ454は、フォトニックスイッチコントローラ134の制御の下で、パケットスイッチポートとTORスイッチポートとの間のジャンクタリング接続を再配置するのに使用される。TORスイッチトラフィックピークが、すべてのTORスイッチにまたがって同時ではない時には、容量が改善した。

シナリオ2では、TORスイッチあたりm個の物理リンクを有するN個のTORスイッチが示されている。このTORスイッチは、ピークトラフィック容量に同時にアクセスする必要がないので、TORスイッチとスイッチポートとの間のリンクは、十分な負荷を有しないTORスイッチがそのポート容量の一部を放棄することを可能にするために、フォトニックスイッチコントローラ134およびフォトニックスイッチ454によって適応的に再マッピングされる。これは、スイッチポートの個数をN*mからN*pに減らすことを可能にし、ここで、pは、適度なトラフィックフローを提供するためのTORスイッチあたりのポートの平均個数である。適度なトラフィックフローは、必要な平均トラフィックレベルではなく、平均トラフィックフローにその平均値付近の短期トラフィック変動内の2〜3標準偏差を加えたものであり、ここで、短期は、システムが提示されたトラフィック負荷の変化に応答する時間期間である。区別(cutoff)は、ポート上の輻輳およびその結果のバッファリングの使用、パケット消失、ならびに伝送制御プロトコル(TCP)再送信の確率である。平均トラフィックレベルが使用される場合には、輻輳の確率が高いが、平均値および2〜3標準偏差が使用される場合には、トラフィックがしきい値を超える確率は低い。アクティブTORスイッチあたりのアクティブリンクの平均個数は、約pであり、TORスイッチあたりのアクティブリンクのピーク個数は、mである。

シナリオ3では、フォトニックスイッチコントローラ134が、不必要なTORパケットスイッチリンクを除去し、それらを予備プールに返すので、重い負荷を有するTORスイッチに割り振られるリンクの個数を増やすことができる。TORスイッチ452からフォトニックスイッチ454のTORスイッチ側への固定されたリンクを増やすことができるはずであり、TORスイッチあたりのリンクが、m個からq個になり、ここで、q>mである。このシナリオでは、同一の個数のTORスイッチを、同一のパケットスイッチによってサポートすることができるが、TORスイッチあたりのピークトラフィックは、ピークが同時ではない場合に、m個からq個のリンクに増やされる。TORスイッチあたりのピークトラフィックは、すべてのTORスイッチが同時にピーク負荷に出会う場合に、m個のリンクとすることができる。TORスイッチあたりのリンクの平均個数は、約m個であり、TORスイッチあたりのアクティブリンクのピーク個数は、qである。

シナリオ4では、パケットスイッチ容量、ピークTORスイッチ要求トラフィック容量、およびTORスイッチあたりのリンク数は、同一のままになる。これは、リンクを動的に再構成する能力に起因する。したがって、TORスイッチの個数を、NからRに増やすことができ、ここで、R>Nである。TORスイッチあたりのアクティブリンクの平均個数は、約m*N/Rであり、TORスイッチあたりのアクティブリンクのピーク個数は、mである。

p、q、およびRのレベルは、実際のトラフィック統計と、フォトニックスイッチコントローラ134の精度および応答性とに依存する。一例では、フォトニックスイッチコントローラおよびフォトニックスイッチの展開は、より小さいコアパケットスイッチが、同一のトラフィックピークを有するオリジナルの個数のTORスイッチをサポートすることを可能にする。代替案では、同一のサイズのパケットスイッチが、同一個数のTORスイッチをサポートすることができるが、追加のTORリンクが提供される場合には、同一個数のTORスイッチにより高いピーク帯域幅を提供することができる。もう1つの例では、同一のサイズのパケットスイッチが、同一のピークトラフィック需要を有するより多数のTORスイッチをサポートする。

汎用データセンタにおいては、一部のTORスイッチが、ビデオオンデマンドサーバなどの常駐サーバのラックに関連し、他のTORスイッチが、ゲーミングサーバのラックに関連し、追加のTORスイッチが、ビジネスサーバのラックに関連するので、TORスイッチのピークトラフィック負荷は、一致する可能性が低い。常駐サーバは、平日の夜および週末にピークになる傾向があり、ビジネスサーバは、平日の午前中および昼下がりにピークになる傾向がある。その後、ある時間変動するリンク容量を、ピーク負荷状態ではないTORスイッチ上の他のTORコアスイッチリンクから移動し、これらのリンクを、ピーク負荷を経験しつつあるTORスイッチに適用することによって、各TOR-コアスイッチ負荷の時間変動するピークを処理することができる。

データセンタ130内では、周辺機器に接続可能な最大容量は、周辺機器とフォトニックスイッチ132との間のリンクの個数に基づく。これらの固定されたリンクは、周辺機器のピークトラフィック需要を満足するために提供される。フォトニックスイッチ132のパケットスイッチングコア側では、提供されるすべての周辺機器リンク容量の合計が、フォトニックスイッチへのパケットスイッチコアリンクの容量を超えないならば、リンクは、周辺機器-フォトニックスイッチリンク容量によってサポートされる最大値までの任意の量の容量を任意の周辺機器に割り振ることによって、すべての周辺機器にまたがって共有され得る。フォトニックスイッチ132とパケットスイッチングコア108との間のリンクは、各周辺機器によって経験されるトラフィックの実際のレベルに関して実際に必要な要求される容量を提供することだけを必要とする。たとえば、パケットスイッチングコア108が、1組の周辺機器(それぞれが4つのポートとこの4つのポートを完全に利用するピークトラフィック需要とを有するが、2.5ポートと同等のトラフィックレベルの平均需要(平均値+2〜3標準偏差)を有する)にサービスする100個のポートを有し、フォトニックスイッチ132およびフォトニックスイッチコントローラ134の使用を伴わない場合に、パケットスイッチングコア108は、100/4=25個のTORスイッチをサポートできるはずである。平均して、パケットスイッチングコア108は、最大容量の2.5/4=62.5%で動作する。フォトニックスイッチ132およびフォトニックスイッチコントローラ134の追加の後に、パケットスイッチングコア108は、総トラフィックが平均値未満に留まる理想的な状況において、100/2.5=40個までの周辺機器をサポートすることができる。実際には、重大な利益、たとえば、25から30または35への周辺機器台数の増加を実現することができる。

フォトニックスイッチ132は、極端に大型とすることができる。一例では、フォトニックスイッチ132は、1つのフォトニックスイッチングファブリックを含む。もう1つの例では、フォトニックスイッチ132は、2つのフォトニックスイッチングファブリックを含む。2つのフォトニックスイッチングファブリックが使用される時に、1つのファブリックは、周辺機器出力トラフィックをパケットスイッチングコア入力ポートに交差接続し、第2のフォトニックスイッチングファブリックは、パケットスイッチングコア出力トラフィックを周辺機器入力にスイッチングする。2つのフォトニックスイッチングファブリックを用いると、任意のリンクを周辺機器101とパケットスイッチングコア108との間でセットアップすることができるが、周辺機器-周辺機器リンク、スイッチループバック、または周辺機器ループバックは、使用可能ではない。1つのフォトニックスイッチングファブリックを用いると、フォトニックスイッチングファブリックは、2倍の個数の入力および出力を有し、任意の周辺機器またはパケットスイッチングコアの出力が、任意の周辺機器またはパケットスイッチングコアの入力に接続され得る。したがって、1つのフォトニックスイッチングファブリックのシナリオは、周辺機器-周辺機器リンク、スイッチループバック、周辺機器リンクバック、およびC-Through能力すなわち周辺機器の間の直接データ回路を提供し、パケットスイッチングコアをバイパスする方法を容易にする。

フォトニックスイッチコントローラ134を使用して交差接続経路を適当にセットアップすることによって、フォトニックスイッチ132は、データセンタ102内と同一のジャンクタリングパターンをセットアップすることができる。しかし、フォトニックスイッチコントローラ134を使用して、他の能力を達成するためにフォトニックスイッチ132内の接続を調整することができる。ジャンクタリングは、コントローラの制御の下で、さまざまな入力、予測、測定値、および計算によって刺激されてフォトニックスイッチを動作させることによって変更され得る。たとえば、ジャンクタリングパターンは、ヒストリカル測定値に基づくトラフィック負荷の予期された変化を処理するために時刻に基づいて調整され得る。代替案では、ジャンクタリングパターンは、周辺機器上またはパケットスイッチングコア上で近リアルタイムで測定される変化する集計されたトラフィック負荷に応答して動的に調整され得、軽い負荷を有する周辺機器と重い負荷を有する周辺機器との間で予備容量を移動することによって、より小さいパケットスイッチングコアによって周辺機器をサポートすることを容易にする。サービスを提供するためのデータセンタの容量に対する部分的な機器障害の影響は、各TORによって要求される負荷をサポートするデータセンタの能力に対する障害の影響に基づいて、障害を発生した機器から離れてトラフィックをルーティングすることによって減らされ得る。低トラフィックの期間中に機器の電源を切ることは、電源を切られた機器から離れてトラフィックをルーティングすることによって改善され得る。周辺機器および/またはパケットスイッチングモジュールは、低トラフィックの期間中に電源を切られ得る。動作、保守、機器プロビジョニング、および/または開始を自動化することができる。データセンタを、最小限の混乱を伴ってすばやく再構成し、かつ/または拡張することができる。また、異なるまたは複数世代の機器の統合を強化することができる。

一実施形態では、実際のトラフィック負荷の時間、日、または週による時間変動レコードならびに同一の時刻、曜日などの連続するインスタンス化にわたって測定されたそのトラフィックの標準偏差を含む、ある時間期間にわたる周辺機器あたりの負荷のヒストリが、作り上げられる。その後、このヒストリは、容量割振り予想に使用され、これによって、特定の時の軽いトラフィック負荷のヒストリを有するTORが、その容量の一部を、その時刻に重い負荷のレコードをヒストリカルに有するTORに与えることを容易にする。負荷の標準偏差の測定およびその標準偏差の効果を含めるためのトラフィックレベルのセッティングは、帯域幅のさらなる再割振りが、平凡な出来事になる可能性が低くなるのに十分なマージンを保持するという効果を有する。予想と実際の負荷との間の重大な不一致の場合には、これが、オプションで、たとえば代替のリアルタイム制御手法を使用することによって、リアルタイムで調整され得る。

ヒストリに基づいて周辺機器の負荷をセットアップすることの代替案として、またはヒストリカルデータが適用された後の例外的なケースを処理するために、各周辺機器またはTORスイッチのサーバ負荷が、準リアルタイムで測定される。ラックごとまたはTORスイッチごとのサーバ負荷を、ユーザサービスのセットに集計することができる。サーバラックが、そのリンク容量の使い果たしに近づく時に、追加のリンクが、その周辺機器に割り振られる。逆に、トラフィックレベルが、割り振られたリンクの個数を正当化しないレベルに下落する場合には、一部のリンク容量を、リンクプールに返すことができる。周辺機器が、その後により多数のリンクを必要とする場合には、リンクをすばやく返すことができる。

図4は、制御構造140を示し、この制御構造140は、周辺機器とパケットスイッチングコアとの間のリンクを割り振ることができる。制御構造140は、たとえばフォトニックスイッチコントローラ134内で使用され得る。制御構造140は、たとえばヒストリカルデータに基づくスケジューリングされたジャンクタリング接続性および/または周辺機器のリアルタイムトラフィックの必要に基づく動的接続性に基づいて、周辺機器とパケットスイッチングコアとの間に結合されたフォトニックスイッチを制御することによって、データセンタのジャンクタリングパターンを調整する。

制御構造140のうちで「レベル」というラベルを付けられた部分は、周辺機器へのリンク割振りを決定し、リンクのアイデンティティには関係なく、リンクの個数のみに関係する。制御構造140のうちで「リンク」というラベルを付けられた部分は、ジャンクタリングパターンを調整し、リンクのアイデンティティに関係する。

トラフィックレベル統計は、たとえば周辺機器101から直接にまたはOMC 136から、制御構造140に入る。フィルタリングブロック154は、当初に、トラフィックレベル統計を重大データに処理する。たとえば、トラフィックレベル上のデータは、ミリ秒インターバル内に受け取られる場合があるが、制御構造140は、従来のMEMSスイッチを使用する場合に約30ミリ秒から約100ミリ秒のセットアップ時間を伴ってフォトニックスイッチを制御し、この従来のMEMSスイッチは、2ミリ秒持続時間の過負荷に実用的に応答することができず、TCP/IPレイヤ内のバッファリングおよびフロー制御によって処理されるはずである。トラフィックレベルデータは、下にフィルタリングされ、たとえば集計され、平均をとられて、たとえばサブ1秒レートでの、周辺機器あたりの実際のトラフィックレベルの移動するビューを作る。追加のフィルタリングを実行することができる。いくつかの追加のフィルタリングは、非線形とすることができる。たとえば、初期フィルタリングは、ゆっくり変化するトラフィックレベルなどの他のイベントに対するよりもすばやく、リンクが障害を発生する時の接続性の消失メッセージなどの一部のイベントに応答することができる。初期フィルタリングは、大きい変化がより深刻なバッファ過負荷/フロー制御イベントを作成するので、小さいトラフィック変化に対するよりもすばやく、大きいトラフィック変化に応答することができる。

フィルタリングされたデータは、周辺機器トラフィックマップ152に渡される。このデータは、さまざまな形で受け取られ得る。たとえば、このデータは、Table 1(表1)による内のように、周期的に更新されるテーブルとして受け取られ得る。周辺機器トラフィックマップ152は、適当な粒度で、周辺機器の実際のトラフィック負荷の現在のビューを維持する。また、周辺機器トラフィックマップ152は、実際の応用例の現在の必要を維持する。下のTable 2(表2)に、周辺機器トラフィックマップ152によって維持されるデータを示す。

実際の測定された周辺機器あたりのトラフィックレベルは、周辺機器トラフィックマップ152から処理ブロック150に渡される。処理ブロック150は、周辺機器あたりのトラフィックレベルを、処理され記憶されたヒストリカルデータと組み合わせる。記憶されたヒストリカルデータは、1時間前、24時間前、7日前、1年前、および他の関連する時間期間からのデータを含むことができる。

処理ブロック150からの予測されたマップは、時刻レベルブロック142内に記憶され、この時刻レベルブロック142は、たとえば数値表の形での、期待され、統計的広がりに基づく時刻変動トラフィックレベルの規則的に更新されるヒストリカルビューを含む。処理ブロック150内で使用される計算時間オフセットの粒度および複雑さに依存して、時刻レベルブロック142は、周辺機器による他のトラフィックレベル予想をも含む場合がある。たとえば、曜日による我々の時刻の時刻(time of our time of day by day of week)またはデータセンタの位置に基づく法定休日を記録することができる。

図5に、たとえばビジネスサービスを扱うTORのバンクに関する、時刻による平均トラフィックレベルおよび標準偏差のグラフの例を示す。曲線512は、時刻による平均トラフィックレベルを示し、曲線514は、TORの同一のバンクに関する時刻による標準偏差を示す。この例では、夜間より昼日中により多くのトラフィックがあり、夜間により多くの変動がある。

図6に、曜日による平均トラフィックレベルおよび標準偏差のグラフの例を示す。曲線522は、曜日による平均トラフィックレベルを示し、曲線525は、TORの同一の例のバンクに関する曜日による標準偏差を示す。1週間の間に、週末により多くのトラフィックがあり、週末中により多くの変動がある。

図7に、平日、土曜日、および日曜日に関する、時刻に関する平均トラフィックレベルおよび標準偏差のグラフのもう1つの例を示す。曲線532は、平日の平均トラフィックレベル対時刻を示し、曲線534は、平日の時刻によるトラフィックの標準偏差を示し、曲線540は、土曜日の時刻による平均トラフィックレベルを示し、曲線542は、土曜日の時刻によるトラフィックの標準偏差を示し、曲線536は、日曜日の時刻による平均トラフィックレベルを示し、曲線538は、日曜日の時刻によるトラフィックの標準偏差を示す。トラフィックは、平日の日中に最多であり、平日の深夜に最少である。トラフィックは、土曜日および日曜日の深夜と土曜日の夜にもピークに達する。

ゲームサーバのバンク、エンターテイメント/ビデオオンデマンドサーバのバンク、または一般的なインターネットアクセスおよび検索と共に使用される他のTORは、図5〜図7のビジネスサーバおよびTORのバンクのパターンに対して完全に異なる時刻トラフィックパターン、週の時刻トラフィックパターンを示すはずである。たとえば、TORのこれらのバンクは、夕方および週末の間に高いレベルのトラフィックを示し、仕事日中には低いレベルを示す可能性がある。したがって、このパターンが予想されるか検出され得る場合に、コアスイッチング容量を、そのグループのトラフィックの必要に基づいて、あるサーバグループから別のサーバグループに自動的に移動することができる。

周辺機器トラフィックマップブロック152は、実際の測定されたトラフィックに関するデータを限界周辺機器リンク容量ブロック156に供給もする。限界周辺機器リンクブロックは、リンクレベルおよび接続性マップブロック158内の現在の実際のリンク接続マップから、実際の提供されるリンク容量のリアルタイムビューまたは各リンクのトラフィック容量を乗じられた周辺機器あたりのアクティブリンクの個数にもアクセスする。

リンクレベルおよび接続性マップブロック158は、フォトニックスイッチ接続性計算ブロック176から入手される周辺機器あたりのアクティブリンクマップを含む。リンクレベルおよび接続性マップブロック158は、そのマップ内の周辺機器あたりの提供されるリンクをカウントすることと、その結果にリンクあたりのデータ帯域幅容量を乗算することとによって、周辺機器あたりの実際の使用可能なトラフィック容量を計算する。

したがって、限界周辺機器リンク容量ブロック156は、2組のデータを受け取り、一方の組のデータは、個々の周辺機器とパケットスイッチングコアとの間を流れる実際のトラフィック帯域幅を識別し、他方の組のデータは、周辺機器あたりの提供されるリンク容量を提供する。このデータから、限界周辺機器リンク容量ブロック156は、どの周辺機器が限界リンク容量を有し、どの周辺機器が過剰な容量を有するのかを判定する。トラフィックの平均値および標準偏差が、考慮される。これは、複数の形で計算され得る。一例では、利用される実際のトラフィック容量が、2σ点または3σ点すなわち平均値+2〜3標準偏差において、提供されるリンクの帯域幅容量によって除算される。この方法は、リンク強化が適当である低マージン周辺機器についてより大きい数につながる。また、この方法は、リンク減少が適当である高マージン周辺機器について小さい数につながる。たとえば、これは、低マージン周辺機器について1に近い数、たとえば0.8をもたらし、高マージン周辺機器について0に近い数、たとえば0.2をもたらす可能性がある。適度であるが過剰ではないリンク容量を有するほとんどの周辺機器は、0.4〜0.6の範囲内の数を返す。意思決定点で適用されるリンク強化アルゴリズムは、0.75を超える周辺機器マージン数が計算される場合に、リンクが追加されなければならず、0.25未満の周辺機器マージン数が計算される場合に、リンクが除去され、0.25と0.75との間の値について、アクションが実行されないこととすることができる。

限界周辺機器リンク容量ブロック156は、周辺機器リンク容量マージンの時間変動するストリームを作る。低マージン周辺機器は、周辺機器あたりのリンク容量デバイスのビュー内でフラグを立てられ、更新される。

もう1つの例では、追加処理が実行され、この追加処理は、ポート容量の過剰なトグルを回避するために接続性変更を行う前に、提供可能なレベルにおける時刻態様または追加の時間変動フィルタリングを考慮することができる。これは、時間変動するマスキングおよびヒステリシスが結果に適用されることを必然的に伴う。たとえば、動作マージンのほぼ完全な消失は、かなり迅速に応答されなければならないが、ボーダーラインの低マージンに関しては、より低速の応答が適当である。図8に、トラフィック変化に対する応答をフィルタリングするのに使用され得る時間変動マスク550を示す。曲線552は、それを超えるとリンクの個数が直ちに増加するしきい値を示す。曲線552と曲線554との間には、トグルを最小にするためのヒステリシス領域がある。このヒステリシス領域内では、リンクの個数は、最近の変化がなかった時に限って増やされる。曲線554と曲線556との間では、アクションは実行されない。曲線556と曲線558との間には、もう1つのヒステリシス領域があり、ここでは、最近の変化がなかった場合に、リンクの個数が減らされる。曲線558の下では、リンクの個数が直ちに減らされる。

データ重みアッテネータブロック144、データ重みアッテネータブロック148、周辺機器あたり接続性レベルマップ146、および周辺機器あたりリンクレベルデルタブロック168は、いつリンクを変更すべきかを決定する。これらのブロックは、理想化されたターゲットの周辺機器あたり接続容量マップを作るために一緒に動作する。予測されたきわめて近い将来の必要に基づくスケジューリングされた考慮事項およびトラフィックレベルの測定された変化と、実際の現在の接続性容量レベルマップ、したがってリンク割振りに対するモチベーションの基礎を提供する現在の必要における測定された変化と。

限界周辺機器リンク容量ブロック156は、周辺機器接続性レベルマップ146に、優先順位に関してフラグを立てられた、限界リンク容量および過剰なリンク容量を有する周辺機器に関する周辺機器あたりのトラフィックレベルの現在のビューを与える。周辺機器接続性レベルマップ146は、トラフィックレベル限界周辺機器リンク容量ブロック156から、ヒストリカルデータから必要になると予測されるトラフィックレベルをも受け取る。これらのデータストリームは、それぞれデータ重みアッテネータブロック148およびデータ重みアッテネータブロック144を介して供給される。データ重みアッテネータブロック144およびデータ重みアッテネータブロック148は、別々のブロックとして描かれているが、これらを、単一のモジュールとしてまたは周辺機器接続性レベルマップ146の一部として実施することができる。

データ重みアッテネータブロック144およびデータ重みアッテネータブロック148は、スケジューリングされたジャンクタリングとリアルタイム動的ジャンクタリングとの間のバランスを選択する。たとえば、データ重みアッテネータブロック144に関する1の値およびデータ重みアッテネータ148に関する0の値は、純粋にリアルタイムのトラフィック制御を選択し、データ重みアッテネータブロック144に関する0の値およびデータ重みアッテネータ148に関する1の値は、純粋にスケジューリングされたトラフィック制御を選択し、中間の値は、スケジューリングされたトラフィック制御とリアルタイムトラフィック制御との組合せを選択する。

もう1つの例では、データ重みアッテネータブロック144およびデータ重みアッテネータブロック148は、周辺機器接続性レベルマップ146の入力ポート上の測定されたトラフィックレベルおよび予測されたトラフィックレベルのうちの大きい方の値を使用する機能など、論理機能を含む。これは、リンク容量飽和および遅延の低いレベルの確率をもたらすが、より低い帯域幅効率をもたらす。一例では、データ重みアッテネータブロック144およびデータ重みアッテネータブロック148によって使用される値は、すべての周辺機器について同一である。もう1つの例では、データ重みアッテネータブロック144およびデータ重みアッテネータ148によって使用される値は、周辺機器ごとにまたは周辺機器のグループごとにカスタマイズされる。たとえば、測定されたトラフィックレベルおよび予測されたトラフィックレベルのうちの大きい方の値が、遅延が非常に問題であるアクションゲーミングに関連する周辺機器上で使用され得る。他の周辺機器は、時折遅延を有するより高いリスクを伴うより効率的な動作を可能にするより保守的な手法を使用することができる。

周辺機器接続性レベルマップ146は、各周辺機器に提供されなければならない容量のレベルに関するデータセンタ内で使用可能な容量の全体的なレベルの理想的なマッピングを作成する。

理想的なレベル(周辺機器ごとのリンクの個数)のマップは、周辺機器あたりリンクレベルデルタブロック168に渡される。周辺機器あたりリンクレベルデルタブロック168は、リンクレベルおよび接続性マップ158から現在の周辺機器あたりリンクレベルに関するデータをも受け取る。その後、周辺機器あたりリンクレベルデルタ168は、周辺機器あたりデータ理想レベルと実際のレベルとを比較し、これらの周辺機器に関するマージンの実際の値と一緒に、不一致のランク順序付けされたリストを作る。

このリストは、計算ブロック172に渡され、計算ブロック172は、ジャンクタリング設計ルールおよびアルゴリズム170からのリストから導出されるルールを適用する。これらのルールは、判断プロセスの時間変動する性質を導入し、これらのルールは、周辺機器ごとの要求されるリンク性能などの追加の要件をカバーする。計算およびルールは、スイッチ接続性マップ164からの使用可能な予備容量に依存するものとすることができる。具体的には、マップ内の予備スイッチポート接続のインベントリが、予備スイッチポートの個数をカウントすることによって判定される。

計算ブロック172の出力は、余分な容量を有する周辺機器および不十分な容量を有する周辺機器に関する改訂された接続レベルのテーブルの形で、リンクレベル容量割振り要求ブロック174に渡される。一例では、適当な容量を有する周辺機器は、このテーブルに含まれない。もう1つの例では、すべての周辺機器の接続レベルが出力される。

このテーブルは、フォトニックスイッチ接続性計算ブロック176に渡される。フォトニックスイッチ接続性計算ブロック176は、リンクレベル情報からの変化と、ジャンクタリング接続ルールおよびアルゴリズムブロック178からのアルゴリズムとに基づいて、リンクマップに対する変更を計算する。これらのルールは、スイッチ接続性マップ164からのリンク、計算された予備容量、およびスイッチ接続性マップ164からの識別された予備スイッチリンクに基づくものとすることができる。当初に、フォトニックスイッチ接続性計算ブロック176は、周辺機器から除去され得るリンクのリンク識別番号(ID)によってリンクを計算することによって、接続性マップ変更を計算する。これらのリンクは、予備容量プールに返される。次に、フォトニックスイッチ接続性計算ブロック176は、リンクレベル容量リストから、過剰な容量を最も必要としている周辺機器へのリンクIDによる予備リンクの全体的なプールの再割振りを計算する。その後、これらの追加されるリンクは、フォトニックスイッチによって実施される。

フォトニックスイッチ接続性計算ブロック176は、リンクに対する変更を行う時に、リンクレベルおよび接続性マップ158を更新する。変更は、コアパケットスイッチルーティングマップ制御にも出力され、したがって、コアパケットスイッチは、新しい周辺機器リンクを接続するためにパケットを正しいポートIDにルーティングすることができる。

計算ブロック160は、リンクレベルおよび接続性マップ158からスイッチ接続性マップを計算する。その後、計算ブロック160は、計算されたマップをスイッチ接続性マップ164に出力する。

フォトニックスイッチコントローラを有するデータセンタを使用して、パケットスイッチングコア全体に障害が発生することなく、パケットスイッチングコアの一部に障害が発生する時に、パケットスイッチングセグメントの障害を処理することができる。これは、たとえば、局所化された火事もしくは停電、またはパケットスイッチングコアのパケットスイッチのうちの1つの部分的なもしくは完全な障害と共に発生する可能性がある。任意の特定の周辺機器の機能性に対する影響は、その周辺機器がパケットスイッチングコンポーネントの影響を受ける部分に全体的に接続されるのか、部分的にか、接続されるのか、接続されないのかに依存する。障害を発生したスイッチングコンポーネントに強く接続される周辺機器は、最も大きく影響を受ける。固定されたジャンクタリングパターンを用いて、可能な範囲まで、部分的なスイッチングコンプレックス障害の影響が、分散され、一部のユーザへのサービスの完全な消失ではなく、低下したサービスレベルおよびより長いサービス遅延につながる。

周辺機器とパケットスイッチングコアとの間にフォトニックスイッチを挿入することによって、周辺機器リンクを再配置することが可能になる。障害の場合に、周辺機器リンクを再配置して、すべての周辺機器にまたがって劣化を等化し、あるいは、優先順位またはトラフィック負荷に依存して周辺機器へのさまざまなレベルのコア接続性を維持することができる。障害の影響を分散させることによって、ピーク時を除いて、個々のユーザに対する影響を、無視できるものにし、あるいは少なくとも最小にすることができる。

図9に、フォトニックスイッチがなく、障害を発生したパケットスイッチ194を有するデータセンタ192を示す。パケットスイッチ194が障害を発生する時には、接続性の25%が失われる。その25%は、周辺機器101が軽い負荷を有する(L)、重い負荷を有する(H)、または適度な負荷を有する(M)のいずれであるのかにかかわりなく、周辺機器101にまたがって均等に分散される。これは、障害を発生したパケットスイッチ194からのリンクが固定されているからである。しかし、周辺機器101が、異なるトラフィック負荷を有するので、その容量の25%の消失は、異なる周辺機器に対して異なる影響を有し、軽い負荷を有する周辺機器は、それでも十分な動作マージンを有する可能性が高い。重い負荷を有する周辺機器は、リンク輻輳および遅延によって深刻な影響を受ける可能性が高い。適度な負荷を有する周辺機器は、適度に動作するが、理想的なリンク容量マージンより少ないリンク容量マージンで動作する可能性が高い。

図10、図11、および図12に、フォトニックスイッチおよびその制御システムが存在する時の、同一の障害の影響および修正措置を行う能力を示す。

図10に、フォトニックスイッチ204、障害を発生したパケットスイッチ194、およびフォトニックスイッチコントローラ206を有するデータセンタ202を示した。パケットスイッチ194の障害の直後に、周辺機器101は、その容量の25%を失う。しかし、この消失およびパケットスイッチ194の障害は、周辺機器101およびパケットスイッチ194によってOMC 136に報告される。OMC 136は、周辺機器101のトラフィック負荷のレコードをすでに有する可能性がある。代替案では、OMC 136は、周辺機器101に問い合わせて、周辺機器101の負荷情報を入手する。この知識に基づいて、他のパケットスイッチ内で使用可能な予備スイッチ容量を、必要に従って再展開することができる。

図11では、リンク138およびリンク139が、障害を発生したパケットスイッチ194の障害に基づいて、データセンタ212内で再調整される。データセンタ212内では、予備コアパケットスイッチング容量が、すべての周辺機器に容量を完全に復元するのに不適切である。予備容量は、最大トラフィックの周辺機器に割り振られ、容量の消失がデータセンタ212全体の容量を15%だけ減らすことをもたらす。というのは、この例において、不適切な予備容量が、障害全体をカバーするために保持されたが、高トラフィック周辺機器が、完全な接続性に復元されるからである。

一部の周辺機器は、低トラフィックレベルで動作しつつあり、通常は、減らされた個数のリンクを用いて動作する可能性がある。高トラフィックレベルで動作する他の周辺機器は、単一のリンクの消失によって影響を受ける。適度な容量で動作する周辺機器は、単一のリンクの消失の後にマージンを有しない可能性がある。図12に、一部のリンクが、軽い負荷を有し、したがって多少の容量を放棄することができることが測定された周辺機器からフォトニックスイッチ制御システムによって除去され、このリンクが、その後に必要に基づいて高トラフィックまたは中トラフィックの周辺機器に再割り当てされる、データセンタ222内の回復プロセス内のさらなるステップを示す。この特定の例では、高トラフィック周辺機器の100%が、完全な接続性を有するが、適度な負荷を有する周辺機器の67%が、完全な接続性を有する。低トラフィック周辺機器は、少なくとも2つのリンクを有し、このリンクは、その周辺機器が低トラフィック状態のままである間に十分な容量である可能性が高い。低トラフィック周辺機器のトラフィック負荷が増える場合には、リンクは、前に説明したプロセスによって、その時に再調整される。

したがって、障害のタイプおよび位置と各TOR上の実際のトラフィック負荷/需要との制御システム知識に基づいてジャンクタ接続を再配置するフォトニックスイッチの動作によって、障害の影響を実質的に改善し、特にクリティカルな高トラフィックレベル周辺機器を最大容量に復元することが可能である。この処置が完了した後に、前に説明したトラフィック負荷の進行中のリアルタイム測定およびやがて来るトラフィックの予想の使用が、障害を発生した機器が稼働状態に復元される時まで、機器機能停止の影響を最小にし続けるために適用され続ける。

図13〜図16に、コントローラの制御の下でのリンクのフォトニックスイッチングを伴わないおよびこれを伴う、1つのコアパケットスイッチの1つの部分での機能停止の影響を示す。

図13に、フォトニックスイッチを伴わず、コアスイッチング容量の1/16に影響する1つのパケットスイッチの障害234 1クオドラントの障害234を伴うデータセンタ232を示す。この障害は、少数の周辺機器だけに影響し、それらの周辺機器のそれぞれは、その容量の25%を失う。

図14に、フォトニックスイッチ204を伴い、1つのパケットスイッチの1クオドラントの障害234を伴うデータセンタ242を示す。データセンタ252には、すべての周辺機器が適当な容量を維持するのに十分な予備容量がある。当初に、障害の影響は、データセンタ232におけるものと同一である。しかし、この障害は、パケットスイッチングコア236およびその障害によって影響される周辺機器によって検出される。障害は、OMC 136に報告される。その後、予備容量が展開される。

この例では、影響を受ける周辺機器のリンク容量を完全に復元するのに十分な予備容量があり、障害の影響が0まで減らされる。図15は、影響を受ける周辺機器へのリンク容量が、影響を受けるリンクを再構成するためにフォトニックスイッチ204を動作させるフォトニックスイッチコントローラによって復元されている、データセンタ252を示す。

図16に、1つのパケットスイッチの1クオドラントの障害234とフォトニックスイッチ204とを伴うデータセンタ262を示す。データセンタ262は、予備容量を全く有しない。この場合に、OMC 136は、障害ゾーンの外部の低トラフィック周辺機器から、障害によって影響を受ける高トラフィック容量周辺機器にリンクを移動する。この例では、障害のゾーンの外部の適度なトラフィックおよび高トラフィックの周辺機器は、普通に動作する。3つの低トラフィック周辺機器は、そのポート容量に対する影響を見るが、これらの周辺機器は、低トラフィック周辺機器として、その容量を完全には利用していないので、この影響は瑣末なものである可能性が高い。影響を受ける低トラフィック周辺機器が、トラフィックの増加を受けるか、時刻予測に起因するトラフィックの増加を必要とすると予測される場合には、これらの周辺機器は、追加のリンクを動的に割り振られ得、このプロセスは、障害を発生したスイッチングユニットが修理され、稼働状態に戻されるまで継続する。

図17に、パケットスイッチングコア障害から回復するためにフォトニックスイッチコントローラ206として使用され得る制御構造270を示す。制御構造270は、制御構造140に類似する。制御構造270は、周辺機器からのリンクの消失アラートのための入力を有する。リンクの消失アラートは、リンクレベルマップ更新272によって受け取られる。たとえば、パケットスイッチングコアのさまざまなレベルの障害が発生し得る。単一のポート、マルチポートオーバーオールポート(multi-port overall port)カードもしくはモジュール、またはパケットスイッチ全体が、障害を発生する可能性がある。リンクの消失アラートを受け取る時に、リンクレベルマップ更新272は、改訂されたマップをリンクレベルおよび接続性マップ158に書き込む前に、リンクレベルおよび接続性マップのコピーを変更して、障害を発生したリンクが使用不能であることを示す。リンクレベルおよび接続性マップ158は、改訂されたマップに基づいて変更を出力する。

障害を発生したリンクに関連する周辺機器は、移動されるトラフィックを他のリンク上に配置し、占有率を高めることを自動的に試みる。この増加は、フィルタリングブロック154、周辺機器トラフィックマップ152、および限界周辺機器リンク容量ブロック156のトラフィック測定処理を介して検出される。これらのリンクは、適当である場合に、限界容量リンクとしてタグを付けられる。その後、より多くのリンクが、輻輳を軽減するために割り振られる。障害を発生したリンクは、現在は使用不能としてマークされているので、回避される。

障害が、重大なパケットスイッチングコア障害、たとえばパケットスイッチ全体の障害によって引き起こされる時に、フォトニックスイッチと障害を発生したパケットスイッチとの間の接続のすべてが、動作不能である。障害の範囲を識別するメッセージが、リンクレベルおよび接続性マップ158に送られる。障害を発生したリンクは、サービス不能としてマークされ、スイッチ接続性マップ164に書き込まれる。その間に、障害を発生したパケットスイッチ上で終端する、周辺機器とフォトニックスイッチとの間のリンクは、トラフィックをサポートすることができず、周辺機器は、トラフィックを他のパケットスイッチへのリンクに迂回させ、これらのリンクの占有率を高まらせる。この増加は、フィルタリングブロック154、周辺機器トラフィックマップ152、および限界周辺機器リンク容量ブロック156によって検出される。これらのリンクは、適宜、限界容量リンクとしてタグを付けられる。

もう1つの例では、データセンタ内でパケットスイッチングコアと周辺機器との間に挿入されたフォトニックスイッチは、低需要期間中にコンポーネントの電源を切るのに使用される。大規模データセンタの電力は、毎年数百万ドル(many millions of dollars)の費用がかかる可能性がある。電源を切るシナリオでは、一部の周辺機器は、需要が軽い時にも電源を切られ得る。それと同時に、コアスイッチングリソースの電源を切ることができる。コアスイッチングリソースへの周辺機器の固定されたマッピングを用いると、電源を切られた周辺機器に接続されたコアスイッチングリソースだけが、電源を切られ得、柔軟性が制限される。フォトニックスイッチが、周辺機器とパケットスイッチングコアとの間にある時には、接続を変更して、電源を入れられている周辺機器を完全に接続された状態に保つことができる。

データセンタ内では、コアパケットスイッチが大量の電力を消費するが、周辺機器はさらに多くの電力を消費する。したがって、軽負荷条件の下では、コアスイッチング容量の一部ではなく周辺機器の一部の電源を切ることが一般的である。というのは、コアスイッチの一部の電源を切ることが、残りの周辺機器の容量に影響し、その周辺機器の一部が、いくつかの電源を切られた周辺機器の負荷を受け取って、高容量で動作しつつあるからである。これは、固定されたジャンクタパターンによって引き起こされ、これが、すべての周辺機器への容量を減らさずにコアパケットスイッチの一部の電源を切ることを妨げる。しかし、スイッチ-周辺機器ジャンクタパターンを再構成する能力があれば、この問題を克服することができる。図18および図19に、それぞれリンクのフォトニックスイッチングがない場合およびリンクの制御されたフォトニックスイッチングの場合の、電源を切られたコアパケットスイッチングセグメントを有するデータセンタを示す。

図18に、一部の周辺機器とパケットスイッチングコア282のいくつかの部分とが電源を切られている、データセンタ280を示す。周辺機器のアレイがスイッチのアレイによってスイッチングされるスイッチング構造においては、直交相互接続またはジャンクタリングが、各周辺機器の容量の一部をスイッチの各部分におよびその逆に接続するのに使用される。これは、すべてのコアパケットスイッチが動作しつつある時に、相対的に均等にマッチングされたトラフィックハンドリング容量を有する構造をもたらす。

しかし、図18に示されているように、周辺機器およびパケットスイッチングモジュールが、故意に電源を切られる場合には、この構造はいくつかの制限を有する。パケットスイッチングモジュールのX%が、たとえば軽トラフィックの期間中に電源を切ることによって、除去される場合には、各周辺機器は、そのリンク容量のX%を失い、その相互接続容量の(100-X)%が残される。周辺機器のY%が電源を切られる場合には、スイッチングコアへのリンクのY%が動作不能になり、ノードスループットは、(100-Y)%である。データセンタ内のトラフィックが、周辺機器の大きいパーセンテージの電源を切るのに十分に低い時には、パケットスイッチングモジュールの大きいパーセンテージの電源を切ることも望ましい可能性がある。しかし、スイッチのX%および周辺機器のY%が電源を切られる場合に、周辺機器の残りの(100-Y)%は、そのリンクのX%が除去され、全容量の(100-X)%が残され、全体的な容量が(100-Y)(100-X)%になるのを見る。たとえば、スイッチ容量の50%および周辺機器容量の50%を除去することは、元の容量の25%へのデータセンタスループットの低下を生じる。下のTable 3(表3)に、パケットスイッチングモジュールおよび周辺機器の電源を切ることの影響を示す。

失われた容量の合成が生じるのは、部分的に電源を切ることが発生する時に、固定されたジャンクタリングパターンが、各電源を入れられたパケットスイッチングモジュールのいくつかのポートと各電源を入れられた周辺機器上のいくつかのポートとを立ち往生したままにするからである。周辺機器は、一般に、それらをサポートするパケットスイッチングモジュールより多くの電力を要するので、スイッチング容量ではなく、周辺機器だけが、電源を切られる可能性がある。たとえば、データセンタ負荷が、その容量をその最大容量の40%まで減らすことを可能にする場合に、周辺機器の60%およびパケットスイッチングモジュールの0%が、電源を切られ得、パケットスイッチングモジュールの60%および周辺機器の0%が、電源を切られ得、周辺機器の50%およびパケットスイッチングモジュールの20%が、電源を切られ得、あるいは、周辺機器の40%およびパケットスイッチングモジュールの30%が、電源を切られ得る。周辺機器は、パケットスイッチングモジュールより多くの電力を利用するので、周辺機器の60%およびパケットスイッチングモジュールの0%の電源を切ることが、意味をなす。

図19に、いくつかの周辺機器およびいくつかのスイッチングコアモジュールが電源を切られる、フォトニックスイッチ204を伴うデータセンタ292を示す。ジャンクタリングパターンは、フォトニックスイッチ204内の接続を介して制御され、リセットされ得る。電源を入れられたパケットスイッチングモジュールおよび周辺機器は、完全に使用されまたは使用され得る。

データセンタ292内の例においては、周辺機器容量より多くのパケットスイッチング容量が、除去され、したがって、残りの電源を入れられた周辺機器は、容量の小さい減少を見る。パケットスイッチング容量の減少が、周辺機器容量の減少より少ない場合には、周辺機器は、接続性の消失を見ないはずである。下のTable 4(表4)に、データセンタ容量と除去されるパケットスイッチング容量および周辺機器容量のパーセンテージとの間の関係を示す。

結果の容量改善を、Table 5(表5)に示す。パケットスイッチング容量と周辺機器容量との同一のパーセンテージを、容量の過剰な損失なしで電源を切ることができる。

制御構造270は、フォトニックスイッチコントローラ206として使用され得、入力は、障害ではなく電源を切る意図に関連する。リンク構造の変化は、障害に反応することではなく電源を切る前に、事前に計算され得る。

もう1つの実施形態では、データセンタ内で周辺機器とパケットスイッチングコアとの間に挿入されるフォトニックスイッチを、周辺機器および/またはパケットスイッチングコアなどのコンポーネントの運用および保守に使用することができる。コンポーネントを、非稼働中にし、フォトニックスイッチによって切断し、たとえばフォトニックスイッチ上の予備ポートを使用して、試験および診断システムなどの代替リソースに接続することができる。これを、周辺機器またはパケットスイッチングモジュールを検証するために決まった周期的な基礎で、または診断すべき問題に応答して、実行することができる。これを実行して、周辺機器の電源を切る前にその周辺機器の高速バックアップを実行することもできる。これは、たとえば、C-throughマッシブバックアップをトリガすることによって、または周辺機器に接続する前にその周辺機器が正しく電源を入れられたことを検証するために、トリガすることができる。

図20に、スイッチ試験装置304および周辺機器試験装置306にインターフェースされたフォトニックスイッチ204を有するデータセンタ302を示す。周辺機器またはパケットスイッチングモジュールは、フォトニックスイッチ204内で適当な接続をセットアップするためにOMC 136がフォトニックスイッチコントローラ206に指令することに基づいて、スイッチ試験装置304または周辺機器試験装置306に接続される。その後、試験装置が制御され、データが、試験装置とOMC 136との間のデータリンクを介して装置から収集される。

1つのインスタンス化では、図17のコントローラ機能は、障害が発生した後にトラフィックの再割り当てを完了する時に、切断された/障害を報告したスイッチポートまたは周辺機器ポートを図20内の試験装置304および306に接続することができる。

そのような試験セットアップは、さまざまな状況で使用され得る。パケットスイッチングモジュールまたは周辺機器などのコンポーネントが、欠陥があるものとして検出される時に、そのコンポーネント、それは、非稼働中にされ、故障の特徴を表すか診断するために、適当な試験装置に接続され得る。新しいコンポーネント、交換コンポーネント、または修理されたコンポーネントは、稼働状態にされる前に、正しい機能性を保証するために試験装置によって正しい動作について試験され得る。パケットスイッチングモジュールまたは周辺機器は、ある時間期間にわたって電源を切られた後に、データセンタに再接続される前に、正しい機能性を保証するために電源投入時に試験され得る。新たに電源を入れられるデバイスは、データセンタに接続される前に、新しいサーバソフトウェアなどの更新を受け取ることができる。

もう1つの例では、フォトニックスイッチは、データセンタの拡張を容易にすることができる。データセンタトラフィックが増加する時に、追加の周辺機器およびパケットスイッチング容量を追加することができる。この追加の容量を、作動させることができ、データセンタは、新しい項目がフォトニックスイッチを介して古い項目に接続される場合に、より少ない混乱を伴って、新しいコンポーネントをよりすばやく効率的に統合するために再構成される。また、古いコンポーネントを、フォトニックスイッチを使用してよりすばやく再構成することができる。

図21に、周辺機器およびスイッチング容量がフォトニックスイッチを使用せずに追加されるデータセンタ312を示す。スイッチング容量は、第5の並列パケットスイッチ316を追加することによって、約25%拡張される。また、「N」というラベルを付けられた複数の新しい周辺機器が追加されている。新しい周辺機器およびスイッチは、先在するスイッチおよび周辺機器と通信できなければならないので、新しい周辺機器およびスイッチは、そのリンクの一部をそれぞれ先在するスイッチおよび周辺機器に向かわせなければならない。これは、手作業で行われるジャンクタリング接続の大規模なリワークもたらす。このプロセスは、破壊的であり、時間を消費し、誤りが生じやすく、高価である。これらの問題のゆえに、準最適ジャンクタリングパターンが、過剰な再構成コストを回避するためにセットアップされる場合があり、これは、トラフィック輻輳などのトラフィック増加時の問題または特定の周辺機器とスイッチ要素との間のブロックにつながる。

図22に、周辺機器およびパケットスイッチング容量を追加するためのフォトニックスイッチ204を有するデータセンタ322を示す。パケットスイッチングコア314は、追加のスイッチを追加することによって拡張され、図22の右側に示された新しい周辺機器を有する。フォトニックスイッチ204は、拡張される必要があってもなくてもよい。新しいパケットスイッチおよび新しい周辺機器からの高速短距離光リンクは、フォトニックスイッチ204上のポートに単純に接続され、新しいジャンクタリングパターンが、OMC 136フォトニックスイッチコントローラ206がフォトニックスイッチ204内の接続を調整することによってセットアップされる。新しいコンポーネントは、稼働状態にされる前に、スイッチ試験装置304および周辺機器試験装置306などの試験装置を使用して試験され得る。

追加の例では、フォトニックスイッチは、異なるコンポーネントの統合を容易にする。データセンタは、金銭、機器、不動産、電力、および冷却能力の膨大な投資を伴い、したがって、できる限り長くこの投資を活用することが望ましい。データセンタのコンポーネントの技術は、すばやく進化する。データセンタが加齢する(age)時に、データセンタは、存立できる可能性はあるが、トラフィック増加の結果として、拡張を必要とする可能性がある。新しい技術と古い技術との両方が一緒に動作できる場合には、古い可能性がある以前の世代の技術ではなく新しい世代の技術を用いて拡張することが有益である可能性がある。これは、データセンタ相互接続のジャンクタリングパターンが、すべてのコンポーネントがすべての他のコンポーネントに接続することを可能にする時にあてはまる可能性がある。

新しい技術における1つの一般的な変化が、相互接続速度である。たとえば、オリジナルのデータセンタコンポーネントが、短距離40Gb/s光リンクに基づく場合があり、新しいコンポーネントが、100Gb/s動作に最適化されている可能性があり、40Gb/sインターフェースを有しない場合がある。図23に、フォトニックスイッチ204のフォーマット、プロトコル、およびビットレート独立性を活用することによって新しいデバイスの統合を容易にするデータセンタ332を示す。また、フォトニックスイッチ204の予備ポートは、レート変換、プロトコル変換、および互換性のための他の変換のために、アダプタ334に接続される。

データセンタ332は、黒の実線および灰色の実線によって示される2つの異なるスイッチングコアフォーマットと、黒の実線、灰色の実線、黒の点線、および灰色の点線によって示される4つの異なる周辺機器フォーマットとを含む。たとえば、黒の実線は、40Gb/sリンクを示すものとすることができ、灰色の実線は、100Gb/sリンクを示すものとすることができる。同一のビットレートを有するリンクの間の接続は、フォトニックスイッチ204がビットレート、フォーマット、プロトコル、および波長に依存しない(bit rate, format, protocol, and wavelength agnostic)ので、ビットレートコンバータを使用せずに行うことができる。しかし、異なるビットレートのリンクが接続される時には、ビットレートコンバータが使用される。

変換は、変換の性質に依存してさまざまな形で実行され得る。たとえば、光波長、ビットレート、変調方式もしくはコーディング方式、インターネットプロトコル(IP)からイーサネット（登録商標）へのマッピングなどのマッピングレベル、アドレス変換、パケットフォーマット、および/または構造変換を実行することができる。

データセンタ内のパケットスイッチングコアと周辺機器との間のフォトニックスイッチは、大型フォトニックスイッチでなければならない。大型フォトニックスイッチは、並列の複数のスイッチング要素を使用する、CLOSスイッチなどのマルチステージスイッチとすることができる。スイッチは、ブロッキングファブリック、条件ノンブロッキング(conditionally non-blocking)ファブリック、または完全ノンブロッキングファブリックを作成するために、ステージの間の複雑なジャンクタリングパターンを含むことができる。ノンブロッキングマルチステージファブリックは、たとえばnから2n01までの、中央ステージ内のある度合の膨張(dilation)を使用し、ここで、nは、各入力ステージスイッチングモジュールの入力上のポートの個数である。

図24に、CLOSスイッチ440すなわち、16×16フォトニックスイッチから製造される3ステージCLOSスイッチを示す。CLOSスイッチ440は、入力441を含み、この入力441は、入力ステージファブリック442すなわちX×Yスイッチに供給される。接続186のジャンクタリングパターンは、入力ステージファブリック442および中央ステージファブリック444すなわちZ×Zスイッチを接続する。X、Y、およびZは、正の整数である。また、接続187のジャンクタリングパターンは、各ステージ内のすべてのファブリックをスイッチの次のステージ内のすべてのファブリックに同等に接続するために、中央ステージファブリック444および出力ステージファブリック446すなわちY×Xスイッチを接続する。出力ステージファブリック446は、出力447を作る。4つの入力ステージファブリック442、中央ステージファブリック444、および出力ステージファブリック446が図示されているが、より少数またはより多数のステージまたはステージあたりのファブリックを使用することができる。一例では、異なる個数の中央ステージファブリック444と共に、同一の個数の入力ステージファブリック442および出力ステージファブリック446があり、Zは、Yに入力ステージ数を乗じ、中央ステージ数によって除算したものと等しい。CLOSスイッチ440の有効ポートカウントは、入力ステージファブリックの個数にXを乗じたもの×出力ステージファブリックの個数にXを乗じたものと等しい。一例では、Yは、2X-1と等しく、CLOSスイッチ440は、ノンブロッキングである。別の例では、XはYと等しく、CLOSスイッチ440は、条件ノンブロッキングである。ノンブロッキングスイッチは、他の入力または出力上のトラフィック構成にかかわりなく、N個の入力をN個の出力に任意の組合せで接続するスイッチである。同様の構造を、より大きいファブリックについて、直列の2つの入力ステージと直列の2つの出力ステージとを有する5つのステージを用いて作成することができる。

微小電気機械システム(MEMS)スイッチを、データセンタ内で使用することができる。図25に、MEMSフォトニックスイッチ470を示す。MEMSフォトニックスイッチ470のスイッチング速度は、約30msからほぼ100msまでとすることができる。この低いスイッチング速度は、多くの応用例には遅すぎるが、平均トラフィック変化および機器機能停止またはデータセンタ内での再構成/追加に応答してジャンクタリングパターンを管理するのに使用されるフォトニックスイッチは、有用であるために特に高速のスイッチング速度を有することを必要としないが、高い速度は、回復時間を多少改善する。これは、スイッチング時間が、故障検出分析および処理の時間またはトラフィック分析検出と直列になっているという事実に起因する。処理時間は、有限の長さの時間を要し、かつ/または予報とすることができる。さらに、十分な容量が、短期間トラフィックバーストが、TCP/IPレイヤにおけるバッファリングおよびフロー制御と組み合わされた過剰に提供された容量(2〜3標準偏差)によって処理され得るようにするために、保持される。しかし、いくつかの応用例、特に故障検出および回復に関して、できる限り高速のフォトニックスイッチングが望ましい。

MEMSフォトニックスイッチ470は、低損失、事実上クロストークなし、偏光効果または非線形性、およびマルチキャリア光信号を処理する能力を含む、優れた光学性能をも有する。一例では、MEMSフォトニックスイッチ470が、単独で使用される。もう1つの例では、MEMSフォトニックスイッチ470は、CLOSスイッチ440または別のマルチステージファブリック内で使用される。これは、50000×50000本以上のファイバのノンブロッキングスイッチを可能にすることができる。光増幅器をMEMSフォトニックスイッチ470と共に使用して、光学損失をオフセットすることができる。MEMSフォトニックスイッチ470は、ステアリング可能な鏡面474および476を含む。光は、たとえば光ファイバから、ビームコリメータ472を介して入り、ステアリング可能な鏡面474に衝突する。ステアリング可能な鏡面474は、光にステアリング可能な鏡面476の適当な鏡に衝突させるように、2つの平面内の角度において調整される。ステアリング可能な鏡面476の鏡は、特定の出力ポートに関連する。これらの鏡も、適当な出力ポートへの結合を引き起こすように、2つの平面内の角度において調整される。その後、光は、ビームエクスパンダ478内で、たとえば光ファイバに出る。

一例では、MEMSスイッチは、CLOSスイッチ440など、マルチステージスイッチとして配置される。3ステージノンブロッキングMEMSスイッチは、300×300 MEMSスイッチングモジュールを有し、ダイレーテッドノンブロッキング構造(dilated non-blocking structure)において約45000波長またはアンダイレーテッド条件ノンブロッキング構造(undilated conditionally non-blocking structure)において約090000波長を提供することができる。下のTable 6(表6)に、ノンブロッキングスイッチに関する1:2膨張を有するMEMSフォトニックスイッチを用いる構成要素模型(constituent model)のさまざまなサイズに関する最大スイッチファブリックサイズのスケーリングを示す。非常に高いポート容量およびスループットが、入手可能である。

もう1つの例では、MEMSスイッチは、マルチプレーンスイッチとして配置される。マルチプレーンスイッチは、スイッチングされるトランスポートレイヤが、高密度WDM (DWDM)フォーマットであり、所与の波長の光搬送波を、同一の波長を受け入れる他のポートに、あるいはアドポート(add port)、ドロップポート(drop port)、または波長変換ポートに接続することだけができるという事実に頼る。これは、波長と同数のより小さいファブリックからスイッチを作り上げることを可能にする。DWDMを用いると、40波長または80波長がある可能性があり、40個または80個のより小さいスイッチが、1つの大きいファブリックの仕事を行うことが可能になる。

図26に、データセンタ内で周辺機器およびパケットスイッチングコアをリンクする方法の流れ図340を示す。当初に、ステップ344では、周辺機器が、1つまたは複数のパケットをフォトニックスイッチに送信する。パケットは、固定された光リンクに沿って光学的に送信され得る。

次に、ステップ346では、フォトニックスイッチが、パケットをパケットスイッチングコアの適当な部分に向ける。フォトニックスイッチの入力とフォトニックスイッチの出力との間の適当な接続は、すでにセットされている。パケットは、固定された光リンク上でパケットスイッチングコアの所望の部分に送信される。

ステップ348では、パケットスイッチングコアが、パケットをスイッチングする。スイッチングされたパケットは、別の固定された光リンクに沿ってフォトニックスイッチに戻って送信される。

その後、ステップ350では、フォトニックスイッチが、パケットを適当な周辺機器にルーティングする。パケットは、入力ポート上の接続からフォトニックスイッチの出力ポート上の接続にルーティングされる。入力ポートと出力ポートとの間の接続は、所望の位置に事前にセットされる。パケットは、固定された光リンク上で適当な周辺機器に送信される。

最後に、ステップ352では、パケットが、周辺機器によって受信される。

図27に、フォトニックスイッチを使用するデータセンタ内でリンクを調整する方法の流れ図370を示す。当初に、ステップ372では、データセンタが、コンポーネントからのリンク上の過剰な負荷を検出する。一例では、コンポーネントは、周辺機器である。別の例では、コンポーネントは、パケットスイッチングモジュールである。過剰な負荷は、リアルタイムで動的に検出され得る。代替案では、過剰な負荷は、スケジュールに基づいて、たとえばヒストリカルトラフィック負荷に基づいて判定される。

次に、ステップ374では、データセンタが、使用可能な予備リンクがあるかどうかを判定する。使用可能な予備リンクがある場合には、ステップ376で、予備リンクを追加して、輻輳を減らす。

予備リンクが使用可能ではない時には、ステップ378で、データセンタが、十分利用されていない使用可能なリンクがあるかどうかを判定する。十分利用されていない使用可能なリンクがある時には、ステップ380で、そのリンクを転送して、過負荷リンクの輻輳を減らす。

十分利用されていない使用可能なリンクがない時には、データセンタは、ステップ382で、使用可能な別のより低い優先順位のリンクがあるかどうかを判定する。別のより低い優先順位のリンクがある時には、ステップ384で、そのより低い優先順位のリンクを転送する。より低い優先順位のコンポーネントへのリンクがない時には、この方法は、ステップ386で終了する。

図28に、フォトニックスイッチを使用するデータセンタ内で十分利用されていないリンクを除去する方法の流れ図390を示す。当初に、ステップ392では、十分利用されていないリンクを判定する。一例では、十分利用されていないリンクは、リアルタイムで動的に検出される。もう1つの例では、十分利用されていないリンクは、スケジュールに基づいて、たとえばヒストリカルデータに基づいて判定される。周辺機器リンクとパケットスイッチングコアリンクとの両方が、同時に、たとえば真夜中または低トラフィックの他の時間に、十分利用されなくなる可能性がある。

次に、ステップ394では、十分利用されていないリンクを除去する。コンポーネントとフォトニックスイッチとの間の他のリンクは、十分利用されていないリンクによって以前に送信されたトラフィックを包含するのに十分である。その後、除去されたリンクは、予備容量に移動される。このコンポーネントへのリンクが、その後に過剰に利用されるようになった場合には、除去されたリンクを、その時にたやすく追加することができる。予備リンクを、他の目的に使用することもできる。

図29に、フォトニックスイッチを使用するデータセンタ内でコンポーネント障害に対処する方法の流れ図360を示す。当初に、ステップ362では、コンポーネント障害を検出する。障害を発生したコンポーネントは、1つもしくは複数のパケットスイッチングモジュール、1つもしくは複数の周辺機器、または周辺機器もしくはパケットスイッチングモジュールの一部である可能性がある。

ステップ364では、障害を発生したコンポーネントを切断する。その後、障害を発生したコンポーネントを試験装置に接続して、障害の原因を判定することができる。

最後に、ステップ366では、障害を発生したコンポーネントに以前に接続されていたコンポーネントを、まだ動作可能である別のコンポーネントに接続する。この再接続は、たとえば流れ図370のステップ374〜386を使用して実行することができる。

図30に、フォトニックスイッチを用いるデータセンタ内でコンポーネントの電源を切る方法の流れ図460を示す。当初に、ステップ462では、データセンタが、コンポーネントの過剰な容量を判定する。コンポーネントの電源を切るためには、大きい過剰な容量が判定されなければならない。電源を切られるコンポーネントは、周辺機器および/またはパケットスイッチングモジュールとすることができる。

その後、ステップ464では、コンポーネントの電源を切る。電源を切られたコンポーネントからのリンクは、除去され、未使用リンクプール内に配置される。

ステップ466では、電源を切られたコンポーネントに接続されていたコンポーネントを切断し、未使用リンクを過剰容量内に配置する。必要に応じて、コンポーネントは、他のコンポーネントに再接続される。いくつかの場合に、接続されたコンポーネントの一部も、電源を切られる。

図31に、フォトニックスイッチを使用するデータセンタ内でコンポーネントを試験する方法の流れ図560を示す。コンポーネントは、周辺機器またはパケットスイッチングモジュールである可能性がある。当初に、ステップ562では、データセンタが、コンポーネントを試験すると判断する。一例では、コンポーネントは、間欠的な障害または完全な障害など、検出された障害に起因して試験される。もう1つの例では、コンポーネントは、スケジューリングされた保守をルーティングするために試験される。これは、低トラフィックの時、たとえば真夜中に実行することができる。

その後、ステップ564では、コンポーネントが、それが接続されているコンポーネントから切断される。これは、接続フォトニックスイッチを調整することによって実行される。

ステップ566では、切断されたコンポーネントを、その必要に基づいて別のコンポーネントに接続することができる。また、ステップ568では、試験されるコンポーネントを、試験装置、たとえば自動化された試験装置に接続する。パケットスイッチングモジュールとさまざまな周辺機器とに関して、異なる試験装置があってもよい。ステップ568は、ステップ566の前またはステップ566の後に実行されてもよい。

次に、ステップ570では、コンポーネントを試験する。試験は、コンポーネントが接続された試験装置によって実行される。コンポーネントが合格しない時には、障害が、ステップ574でさらに調査される。コンポーネントのさらなる試験があってもよく、またはコンポーネントを修理してもよい。代替案では、コンポーネントは、非稼働中にされる。コンポーネントが合格する時には、ステップ576で、そのコンポーネントを稼働状態に戻す。コンポーネントは、他のコンポーネントに接続され、リンクが、平衡化のために再調整される。代替案では、コンポーネントは、合格する時に、必要とされるまで電源を切られる。

図32に、フォトニックスイッチを使用するデータセンタ内でリンク容量を割り振る方法の流れ図580を示す。この方法を、フォトニックスイッチコントローラによって実行することができる。当初に、ステップ582では、フォトニックスイッチコントローラが、トラフィックレベル統計を受け取る。一例では、トラフィックレベル統計は、OMCによって受け取られ、フォトニックスイッチコントローラに渡される。他の例では、トラフィックレベル統計は、フォトニックスイッチコントローラによって、周辺機器およびパケットスイッチングコアから直接に受け取られる。

次に、ステップ584では、トラフィックレベル統計をフィルタリングする。このフィルタリングは、リアルタイムトラフィックレベル測定値のストリームを重大データに縮約する。たとえば、データを、集計し、平均をとって、周辺機器あたりトラフィックレベルの移動するビューを作ることができる。追加のフィルタリングを実行することができる。追加のフィルタリングは、非線形とし、たとえばイベントの重要性に基づくものとすることができる。たとえば、コンポーネント障害に、トラフィックの徐々の増加よりもすばやく応答することができる。

その後、ステップ586では、周辺機器トラフィックマップを、フィルタリングされたトラフィックレベル統計に基づいて作成する。

周辺機器トラフィックマップに基づいて、ステップ588では、周辺機器あたりのトラフィックレベルを判定する。これは、周辺機器内のリアルタイムトラフィックレベルである。

また、ステップ590では、限界周辺機器リンク容量を判定する。大きい容量を有するリンクの値と小さい容量を有するリンクの値とを記録することができる。代替案では、すべてのリンクの値が記録される。

ステップ592では、リンクが、動的要因、スケジューリングされた要因、またはその組合せのどれに基づいて判定されるのかを判定する。リンクは、完全に動的トラフィック測定値に基づいて、完全にスケジューリングされた考慮事項に基づいて、または動的トラフィック要因とスケジューリングされたトラフィック要因との混合に基づいて、判定され得る。

次に、ステップ594では、フォトニックスイッチコントローラが、周辺機器接続性レベルマップを生成する。周辺機器接続性レベルマップは、必要なリンクリソースを提供する。

その後、ステップ596では、周辺機器あたりリンクレベルデルタを判定する。このステップでは、フォトニックスイッチコントローラが、どのリンクを変更すべきかを判定する。

最後に、ステップ598では、フォトニックスイッチコントローラが、リンクレベル割振り容量を判定する。これは、容量と優先順位とに基づいてリンクを割り振ることによって行われる。

図33に、フォトニックスイッチを使用するデータセンタ内でリンクを調整する方法の流れ図480を示す。この方法を、フォトニックスイッチコントローラによって実行することができる。当初に、ステップ482では、フォトニックスイッチコントローラが、周辺機器マップを受け取る。これは、流れ図580によって作成された周辺機器マップとすることができる。

その後、ステップ484では、フォトニックスイッチコントローラが、スイッチ接続性マップを判定する。これは、たとえば、リンクレベル接続性マップに基づいて行われる。

ステップ486では、フォトニックスイッチコントローラが、周辺機器接続性レベルを判定する。これは、スイッチ接続性マップと周辺機器マップとに基づくものとすることができる。

最後に、ステップ488では、フォトニックスイッチコントロールが、周辺機器接続性レベルを反映するために、フォトニックスイッチ内の接続を調整する。

当業者は、上の開示が、とりわけ、データセンタ内のフォトニックスイッチを制御する方法を教示したことを了解する。この方法は、周辺機器接続性レベルマップを入手するステップと、スイッチ接続性マップを判定するステップと、周辺機器接続性レベルマップとスイッチ接続性マップとに従ってフォトニックスイッチ接続性を判定するステップと、フォトニックスイッチ接続性に従ってフォトニックスイッチを構成するステップとを含む。オプションで、周辺機器マップを入手するステップは、複数のリンクのリンクレベルを判定するステップを含む。もう1つのオプションは、複数の周辺機器からトラフィックレベル統計を受信するステップと、トラフィックレベル統計に従って時刻レベルを判定するステップと、トラフィックレベル統計に従って周辺機器トラフィックマップを判定するステップとによって周辺機器接続性レベルマップを入手することを可能にする。さらなるオプションでは、スイッチ接続性マップを判定するステップは、リンクレベル接続性マップに従って実行される。

複数の実施形態が本開示で提供されたが、開示されるシステムおよび方法を、本開示の趣旨または範囲から逸脱せずに多数の他の特定の形態において実施できることを理解されたい。本例(the present examples)は、例示的であって制限的ではないと考えられなければならず、その意図は、本明細書で与えられる詳細に限定されない。たとえば、さまざまな要素またはコンポーネントを、別のシステム内で組み合わせるか一体化することができ、あるいは、ある種の特徴を省略するか実施しないものとすることができる。

さらに、さまざまな実施形態において別個または別々として説明され図示された技法、システム、サブシステム、および方法を、本開示の範囲から逸脱せずに他のシステム、モジュール、技法、または方法を用いて組み合わせるか一体化することができる。結合され、直接に結合され、またはお互いに通信するものとして図示されまたは議論された他の項目は、電気的に、機械的に、または他の形でのいずれであれ、何らかのインターフェース、デバイス、または中間コンポーネントを介して間接的に結合されまたは通信することができる。変更、置換、および代替物の他の例は、当業者によって確かめられ得、本明細書で開示される趣旨および範囲から逸脱せずに作られ得る。

100 リンク
101 周辺機器
102 データセンタ
104 世界
106 運用および管理センタ(OMC)
108 パケットスイッチングコア
110 パケットスイッチ
112 パケットスイッチングコア
114 クオドラント
116 コアパケットスイッチングポート
118 中央処理装置(CPU)
120 トップオブラック(TOR)スイッチ
122 ストレージユニット
124 ファイヤウォールロードバランサ
126 ルータ
128 トランスポートインターフェース
130 データセンタ
132 フォトニックスイッチ
134 フォトニックスイッチコントローラ
136 OMC
138 リンク
139 リンク
140 制御構造
142 時刻レベルブロック
144 データ重みアッテネータブロック
146 周辺機器接続性レベルマップ
148 データ重みアッテネータブロック
150 処理ブロック
152 周辺機器トラフィックマップ
154 フィルタリングブロック
156 限界周辺機器リンク容量ブロック
158 リンクレベルおよび接続性マップブロック
160 計算ブロック
164 スイッチ接続性マップ
168 周辺機器あたりリンクレベルデルタブロック
170 ジャンクタリング設計ルールおよびアルゴリズム
172 計算ブロック
174 リンクレベル容量割振り要求ブロック
176 フォトニックスイッチ接続性計算ブロック
178 ジャンクタリング接続ルールおよびアルゴリズムブロック
186 接続
187 接続
192 データセンタ
194 パケットスイッチ
202 データセンタ
204 フォトニックスイッチ
206 フォトニックスイッチコントローラ
212 データセンタ
222 データセンタ
232 データセンタ
234 障害
236 パケットスイッチングコア
242 データセンタ
252 データセンタ
262 データセンタ
270 制御構造
272 リンクレベルマップ更新
280 データセンタ
282 パケットスイッチングコア
292 データセンタ
302 データセンタ
304 スイッチ試験装置
306 周辺機器試験装置
312 データセンタ
314 パケットスイッチングコア
316 第5の並列パケットスイッチ
322 データセンタ
332 データセンタ
334 アダプタ
340 流れ図
360 流れ図
370 流れ図
390 流れ図
440 CLOSスイッチ
441 入力
442 入力ステージファブリック
444 中央ステージファブリック
446 出力ステージファブリック
447 出力
450 パケットスイッチングコア
452 TORスイッチ
454 フォトニックスイッチ
460 流れ図
470 MEMSフォトニックスイッチ
472 ビームコリメータ
474 ステアリング可能な鏡面
476 ステアリング可能な鏡面
478 ビームエクスパンダ
480 流れ図
512 曲線
514 曲線
522 曲線
525 曲線
532 曲線
534 曲線
536 曲線
538 曲線
540 曲線
542 曲線
550 時間変動マスク
552 曲線
554 曲線
556 曲線
558 曲線
560 流れ図
580 流れ図

Claims (25)

1. パケットスイッチングコアと、
   フォトニックスイッチであって、
   前記パケットスイッチングコアに光学的に結合された第1の複数のポートと、
   複数の周辺機器に光学的に結合されるように構成された第2の複数のポートであって、前記フォトニックスイッチは、前記複数の周辺機器と前記パケットスイッチングコアとの間でパケットをリンクするように構成される、第2の複数のポートと
   を含むフォトニックスイッチと、
   前記フォトニックスイッチに結合されたフォトニックスイッチコントローラと、
   前記パケットスイッチングコアと前記フォトニックスイッチコントローラとの間に結合された運用および管理センタと
   を含むデータセンタ。
2. 前記フォトニックスイッチは、微小電気機械システム(MEMS)光スイッチを含む、請求項1に記載のデータセンタ。
3. 前記MEMS光スイッチは、マルチステージMEMSスイッチである、請求項2に記載のデータセンタ。
4. 前記フォトニックスイッチコントローラは、周辺機器あたりの時刻トラフィック予想または周辺機器あたりの曜日トラフィック予想に従って前記フォトニックスイッチを制御するように構成される、請求項1に記載のデータセンタ。
5. 前記フォトニックスイッチコントローラは、測定された負荷レベルと複数の提供される周辺機器あたりリンクとに従って前記フォトニックスイッチを制御するように構成される、請求項1に記載のデータセンタ。
6. 前記フォトニックスイッチコントローラは、時間変動するヒステリシスまたはレベル変動するヒステリシスに従って前記フォトニックスイッチを制御するようにさらに構成される、請求項5に記載のデータセンタ。
7. 前記フォトニックスイッチは、
   パケットを前記複数の周辺機器から前記パケットスイッチングコアにリンクするように構成された第1のスイッチングファブリックと、
   パケットを前記パケットスイッチングコアから前記複数の周辺機器にリンクするように構成された第2のスイッチングファブリックと
   を含む、請求項1に記載のデータセンタ。
8. 前記第1のスイッチングファブリックおよび前記第2のスイッチングファブリックは、マルチステージMEMSスイッチである、請求項7に記載のデータセンタ。
9. 前記第1のスイッチングファブリックの出力ポートは、前記第2のスイッチングファブリックの入力ポートに接続され、前記複数の周辺機器のうちの第1の周辺機器の出力は、前記複数の周辺機器のうちの第2の周辺機器の入力に結合される、請求項7に記載のデータセンタ。
10. 前記フォトニックスイッチに結合された試験装置をさらに含む、請求項1に記載のデータセンタ。
11. 前記フォトニックスイッチに結合された複数のアダプタをさらに含む、請求項1に記載のデータセンタ。
12. データセンタ内のフォトニックスイッチを制御する方法であって、
    フォトニックスイッチコントローラによって、運用および管理センタから、第1のコンポーネントと第2のコンポーネントとの間の第1のトラフィックフロー内の状態を受信するステップであって、前記第1のトラフィックフローは、
    前記第1のコンポーネントと前記フォトニックスイッチとの間の第1の光リンクに沿った第2のトラフィックフローと、
    検出されるトラフィックフローを作るための前記フォトニックスイッチと前記第2のコンポーネントとの間の第2の光リンクに沿った第3のトラフィックフローと
    を含む、受信するステップと、
    追加の光リンクを追加することまたは除去される光リンクを除去することを含めて、前記フォトニックスイッチコントローラによって、前記検出されるトラフィックフローに従って前記フォトニックスイッチ内の接続を調整するステップと
    を含む方法。
13. 前記第1のコンポーネントは、周辺機器であり、前記第2のコンポーネントは、パケットスイッチングモジュールである、請求項12に記載の方法。
14. 前記第1のコンポーネントは、パケットスイッチングコアであり、前記第2のコンポーネントは、周辺機器である、請求項12に記載の方法。
15. 前記状態を検出するステップは、前記第1の光リンク上の過剰な負荷を検出するステップを含み、前記フォトニックスイッチ内の接続を調整するステップは、前記第1のコンポーネントと前記フォトニックスイッチとの間に前記追加される光リンクを追加するステップを含む、請求項12に記載の方法。
16. 前記第1のコンポーネントと前記フォトニックスイッチとの間で前記除去される光リンクを除去するステップをさらに含む、請求項15に記載の方法。
17. 前記状態を検出するステップは、前記第1のコンポーネントの障害を検出するステップを含み、前記フォトニックスイッチ内の接続を調整するステップは、前記フォトニックスイッチと第3のコンポーネントとの間に前記追加される光リンクを追加するステップを含み、前記方法は、前記第1の光リンクを除去するステップをさらに含む、請求項12に記載の方法。
18. 前記状態を検出するステップは、前記第1の光リンク内の障害を検出するステップを含み、前記フォトニックスイッチ内の接続を調整するステップは、前記フォトニックスイッチと第3のコンポーネントとの間に前記追加される光リンクを追加するステップを含み、前記方法は、前記第1の光リンクを除去するステップをさらに含む、請求項12に記載の方法。
19. 前記状態を検出するステップは、前記第1の光リンク内で過剰な容量を検出するステップを含み、前記フォトニックスイッチを調整するステップは、前記追加される光リンクを除去するステップを含み、前記除去される光リンクは、前記第1の光リンクであり、前記方法は、前記第2の光リンクを除去するステップをさらに含む、請求項12に記載の方法。
20. 前記第1のコンポーネントの電源を切るステップをさらに含む、請求項19に記載の方法。
21. 前記状態を検出するステップは、前記第2のコンポーネントを試験すると判断するステップを含み、前記フォトニックスイッチを調整するステップは、前記除去される光リンクを除去するステップを含み、前記除去される光リンクは、前記第1の光リンクであり、前記方法は、前記第2のコンポーネントを試験装置に結合するステップをさらに含む、請求項12に記載の方法。
22. データセンタ内のフォトニックスイッチを制御する方法であって、
    周辺機器接続性レベルマップを入手するステップと、
    スイッチ接続性マップを判定するステップと、
    前記周辺機器接続性レベルマップと前記スイッチ接続性マップとに従ってフォトニックスイッチ接続性を判定するステップと、
    前記フォトニックスイッチ接続性に従って前記フォトニックスイッチを構成するステップと
    を含む方法。
23. 前記周辺機器マップを入手するステップは、複数のリンクのリンクレベルを判定するステップを含む、請求項22に記載の方法。
24. 前記周辺機器接続性レベルマップを入手するステップは、
    複数の周辺機器からトラフィックレベル統計を受信するステップと、
    前記トラフィックレベル統計に従って時刻レベルを判定するステップと、
    前記トラフィックレベル統計に従って周辺機器トラフィックマップを判定するステップと
    を含む、請求項22に記載の方法。
25. 前記スイッチ接続性マップを判定するステップは、リンクレベル接続性マップに従って実行される、請求項22に記載の方法。

Images