JP2017153052A - 光スイッチネットワーク - Google Patents

Abstract

【課題】 データセンタ等のネットワークで、ラック間を高効率、かつダイナミックに接続することのできる光スイッチネットワークを提供する【解決手段】 複数のサーバーを格納するラック間をつなぐ光スイッチネットワークは、ラックごとに前記複数のサーバーを集約する集約スイッチと、前記ラック間で送受信されるデータの方路を設定する２以上の光クロスコネクトスイッチと、前記集約スイッチと前記光クロスコネクトスイッチの間に配置され、前記光クロスコネクトスイッチの方路設定動作よりも高速に動作して前記光クロスコネクトスイッチのいずれかを選択する一対の光スイッチと、を有する。【選択図】図２

Description

本発明は、データセンタ内のネットワークに適用される光スイッチネットワークに関する。

近年、サーバーやストレージがデータセンタに集約されている。サーバー、ストレージ等はラック内に収容されている。データセンタのラック内で、サーバーやストレージを束ねる集約スイッチが用いられている。ラックごとにサーバー等を集約するスイッチは、通常はラック内の最上位に配置されることから、ＴｏＲ（Top of Rack：トップ・オブ・ラック）スイッチと呼ばれている。

データセンタへのトラヒックは年ごとに増加している。また、サーバーの高性能化と小型化によりラック当たりのデータ処理量が増大し、ラック間のトラヒックも急増している。ＴｏＲスイッチ間は、従来は電気配線ケーブルと電気スイッチによって接続されているのが一般的であった。最近では、大量に発生するトラヒックに対処するために、電気スイッチと光スイッチを混在させたハイブリッド型のスイッチアーキテクチャが提案されている（たとえば、非特許文献１参照）。

図１は、電気スイッチ３０と光回路スイッチ１１０を用いたハイブリッド型のアーキテクチャの概略図である。データセンタ等のネットワークにおいて、ラック２０−１〜２０−ｎ（以下、適宜「ラック２０」と総称する）内に、それぞれ複数のサーバー２２ａ〜２２ｋが収容されている。ラック２０内の最上段には、ＴｏＲスイッチ２１が実装されている。ＴｏＲスイッチ２１間は、イーサネット（Ethernet;登録商標）スイッチ等の電気スイッチ３０によって接続されている。ネットワークのスループットが上がると、電気スイッチ３０でのエネルギー消費が大きくなる。

ラック２０間の大量のデータ伝送に対処するため、ＴｏＲスイッチ２１間に光ファイバ１０１を敷設して、光ファイバ１０１間を半固定的なＭＥＭＳ（Micro Electro Mechanical System）の光回路スイッチ１１０で接続する。光回路スイッチ１１０の使用により、電気スイッチ３０を通るデータフローの一部を光パスにオフロードして、トラヒックの集中を軽減する。光回路スイッチ１１０の消費電力は、電気スイッチ３０と比較して１／５００以下（消費電力低減効果は５００倍以上）であることが知られており（たとえば、非特許文献２参照）、光パスに巨大なデータフローを収容することで、省エネルギー化を図っている。

Nathan Farrington, et al., "Helios: A Hybrid Electrical/Optical Switch Architecture for Modular Data Centers", ACM SIGCOMM, 3, August, 2010 Naoki Yamanaka, et al., "Creating Future Energy Efficient Network Services through Optical Technologies", 2013 International Symposium on Computing and Networking-Access Practical Development and Theoretical Research (CANDAR 2013)

ＭＥＭＳは、一般的に比較的大規模に実現できるが、データセンタの規模が大きくなると、光回路スイッチ１１０を用いてすべてのラック２０間に光パスを作ることは現実的ではない。また、ＭＥＭＳの光回路スイッチ１１０のスイッチング速度は数百ミリ秒（ｍｓ）程度と低速であり、トラヒック状況に追従して高速に光パスを切り替えることができない。

これらの問題は、トラヒックが特定のラック２０間に片寄っている場合は顕在化しにくい。しかし、データセンタのネットワークの場合、データのコピー、ミラーリング、ライブマイグレーションといった大規模なデータの移動が任意のラック２０間で発生する。また、仮想サーバー（仮想マシン）のダイナミックな移動が頻発している。大規模なデータフローが発生すると光パスが利用されるが、低速の光回路スイッチ１１０を切り替える間にマイグレーションが停止し、十分に光ネットワークの性能を利用することができない。

そこで、本発明はデータセンタ等のネットワークで、ラック間を高効率、かつダイナミックに接続することのできる光スイッチネットワークを提供することを課題とする。

上記の課題を解決するために、実施形態では、ＭＥＭＳのような低速の光スイッチと、小規模で超高速の光スイッチを組み合わせて、ダイナミックにＴｏＲスイッチ間を接続する。特に、低速の光スイッチによる光クロスコネクトのプレーンを２面以上用意し、光クロスコネクトスイッチ間を、高速の光スイッチで切り換えることで、光パスの利用効率を向上する。

具体的には、本発明の一態様において、複数のサーバーが格納されたラック間をつなぐ光スイッチネットワークは、
ラックごとに前記複数のサーバーを集約する集約スイッチと、
前記ラック間で送受信されるデータの方路を設定する２以上の光クロスコネクトスイッチと、
前記集約スイッチと前記光クロスコネクトスイッチの間に配置され、前記光クロスコネクトスイッチの方路設定動作よりも高速に動作して前記光クロスコネクトスイッチのいずれかを選択する一対の光スイッチと、
を有する。

上記の構成により、データセンタ等のネットワークで、ラック間を高効率、かつダイナミックに光接続することができる。

その結果、電気パスのトラヒックを軽減して、ネットワーク全体での消費電力を低減することができる。

従来の電気／光スイッチ混在型のスイッチアーキテクチャの概略図である。 第１実施形態の光スイッチネットワークの概略図である。 図２の光スイッチネットワークの変形例である。 ＴｏＲスイッチの構成例を示す図である。 ＭＥＭＳ面の切り替え動作の一例を示す図である。 第１実施形態の切り替え動作による効果を示す図である。 第２実施形態のＭＥＭＳ面の切り替え動作を示す図である。 第２実施形態のＴｏＲスイッチの構成例を示す図である。 ＴｏＲスイッチの出力変更タイミングの一例を示す図である。 第３実施形態の光スイッチネットワークの概略図である。 スケジューラコントローラによるＴｏＲスイッチモニタ結果の一例を示す図である。 第４実施形態の光スイッチネットワークの概略図である。 トラヒックモニタで用いられるフロー選択カウンタの一例である。

以下で、図面を参照して本発明の実施の形態を説明する。
＜第１実施形態＞
（１）光スイッチネットワーク構成
図２は、第１実施形態の光スイッチネットワーク１Ａの概略図である。光スイッチネットワーク１Ａは、データセンタ等のネットワーク１００に適用される。ネットワーク１００は、ラック２０−１〜２０−ｎと、Ethernet（登録商標）スイッチ等の電気スイッチ３０と、光スイッチネットワーク１を含む。光スイッチネットワーク１Ａは、ラック２０−１〜２０−ｎ内の最上段に実装されるＴｏＲスイッチ２１と、複数の光クロスコネクトスイッチ１０−１，２０−２と、光クロスコネクトスイッチ１０−１と２０−２の間を高速に切り換える光スイッチ４０を有する。

各ラック２０には、サーバー２２ａ〜２２ｋ（以下、適宜「サーバー２２」と総称する）が収容されている。ラック内２０のサーバー２２の変更、更新の頻度は比較的高く、サーバー２２間は一般的な電気ケーブル配線で接続されていてもよい。あるいは、光インターコネクト技術が適用される場合は、光コネクタ付きの光配線でサーバー２２間を接続してもよい。ラック２０内のサーバー２２ａ〜２２ｋは、ＴｏＲスイッチ２１によって集約されている。

ＴｏＲスイッチ２１と電気スイッチ３０の間は、電気ケーブル３で接続されている。既存のデータセンタでは、ＴｏＲスイッチ２１間をレイヤ２（データリンク層）の電気スイッチ、あるいはIP/Ethernetスイッチ等のレイヤ３（ネットワーク層）の電気スイッチで接続しているところが多い。また、ラック２０の配置変更に柔軟に対処できることや、コスト効率の観点から、電気スイッチ３０と電気ケーブル３を基本とするネットワーク構成への需要は未だに高い。図２では図示の便宜上、単一の電気スイッチ３０が描かれているが通常は複数の電気スイッチ３０が用いられる。

ＴｏＲスイッチ２１は光スイッチネットワーク１Ａにも接続され、光ファイバ４と光スイッチ４０により、光クロスコネクトスイッチ１０−１及び１０−２に接続されている。データセンタでは、エレファントフローと呼ばれる継続的な巨大フローがある。ＴｏＲスイッチ２１を光スイッチネットワーク１Ａ側に切り替えて、エレファントフローを光パスに収容することで省電力化を図っている。

第１実施形態の特徴として、光スイッチネットワーク１Ａにおいて、複数の光クロスコネクトスイッチ１０−１及び１０−２の間を、小型で高速の光スイッチ４０で切り換えて光クロスコネクトを複数面で用いている。

光クロスコネクトスイッチ１０−１、１０−２は、たとえば、ＭＥＭＳチルトミラーの二次元アレイとマイクロレンズアレイを組み合わせた３次元（３Ｄ）ＭＥＭＳスイッチである。光クロスコネクトスイッチ１０−１、１０−２の各々が、Ｎ個の方路からの入力をＮ個の方路への出力に接続するＮ×Ｎスイッチである。

光クロスコネクトスイッチ１０−２は、新たに光クロスコネクトスイッチ１０−２専用の光ファイバを追加して各ＴｏＲスイッチ２１に接続されるものではないことに留意されたい。光クロスコネクトスイッチ１０−１と１０−２は時分割方式で切り換えられ、光クロスコネクトスイッチ１０−１または１０−２のいずれかが、ＴｏＲスイッチ２１群に接続される。この意味で、光クロスコネクトスイッチ１０−１と２０−２を「２面」のスイッチと称してもよい。たとえば、光クロスコネクトスイッチ１０−１を第１面の「ＭＥＭＳ＃０」、光クロスコネクトスイッチ１０−２を第２面の「ＭＥＭＳ＃１」とする。２面の光クロスコネクトスイッチ１０−１と２０−２で、光クロスコネクトプレーン１０５を形成する。

光クロスコネクトスイッチ１０−１と１０−２の間は、高速の光スイッチ４０により切り替えられる。より具体的には、ＴｏＲスイッチ２１から光クロスコネクトプレーン１０５への上りリンクで、光クロスコネクトスイッチ１０−１と１０−２のいずれかを選択する１×２の高速の光スイッチ４０ＵＬが用いられる。下りリンクでは、光クロスコネクトスイッチ１０−１と１０−２のいずれかをＴｏＲスイッチ２１群に接続する２×１の光スイッチ４０ＤＬが用いられる。一対の高速の光スイッチ４０ＵＰと４０ＤＬを、適宜「光スイッチ４０」と総称する。光クロスコネクトスイッチ１０−１と１０−２の間を切り替える光スイッチ４０ＵＰと４０ＤＬの動作は、同期して行われる。

高速の光スイッチ４０ＵＰと４０ＤＬは、たとえばＰＬＺＴ光スイッチである。ＰＬＺＴ（(Pb,La)(Zr,Ti）O₃；ランタンドープジルコン酸チタン酸鉛)は、ナノ秒のオーダーで応答する電気光学効果を有する。第１実施形態の光スイッチ４０の動作速度は、１０ｎｓ未満である。

低速の光クロスコネクトスイッチ１０−１と１０−２の間を、高速の光スイッチ４０で切り換えることで、異なる宛先ラックへのデータ伝送を見かけ上パラレルで行い、光パスの利用効率を向上する。

各光ファイバ４は、一方の端部でＴｏＲスイッチ２１と接続され、他方の端部で光スイッチ４０（より正確には、一対の高速の光スイッチ４０ＵＬと４０ＤＬ）に接続されている。光ファイバ４が多心の光ファイバケーブルの場合は、上りリンクと下りリンクで異なる光ファイバを用いてもよいし、一心の光ファイバ４を上りと下りで時分割に使い分けてもよい。

光クロスコネクトスイッチ１０の数は２つに限定されず、Ｍ個（Ｍは２以上の整数）の光クロスコネクトスイッチ１０−１〜１０−Ｍで、Ｍ面の光クロスコネクトプレーン１０５を形成してもよい。Ｍ面の光クロスコネクトスイッチ１０−１〜１０−Ｍの間を、小型で高速の光スイッチ４０を用いて切り替える。この場合、１×Ｍの高速の光スイッチ４０ＵＬと、Ｍ×１の高速の光スイッチ４０ＤＬを用いて、光クロスコネクトスイッチ１０−１〜１０−Ｍのいずれかを選択する。

光クロスコネクトスイッチ１０−１〜１０Ｍの間を高速に切り替える光スイッチ４０の数は、一組の光スイッチ４０ＵＰと４０ＤＬに限定されない。この例を図３に示す。

図３は、図２の光スイッチネットワーク１Ａの変形例として、光スイッチネットワーク１Ｂを示す。光スイッチネットワーク１Ｂは、光クロスコネクトスイッチ１０−１及び１０−２を有し、光クロスコネクトスイッチ１０−１と１０−２の間を、小型で高速の光スイッチ４０−１〜４０−ｍで切り換えている（ｍは２以上の整数）。

光スイッチ４０−１〜４０−ｍの各々は、それぞれ１×２の高速の光スイッチ４０ＵＰと２×１の高速の光スイッチ４０ＤＬの組である。光スイッチ４０ＵＰ及び４０ＤＬとして、ＰＬＺＴ光スイッチを用いることができる。

１組以上の高速の光スイッチ４０−１〜４０−ｍを用いて、光クロスコネクトスイッチ１０−１と１０−２の間を切り替える。たとえば、エレファントトラヒックの発生傾向等に応じて、ｎ個のＴｏＲスイッチ２１をグループ分けし、各グループに１組の高速の光スイッチ４０ＵＬと４０ＤＬを配置してもよい。

ラック２０−１〜２０−ｉに収容されるサーバー２２間で１または複数のエレファントトラヒックが発生しやすく、ラック２０−(i+1)〜２０−ｎに収容されるサーバー２２間で別のエレファントトラヒックが発生しやすい場合を考える。ラック２０−１〜２０−ｎを２つのグループに分けて、それぞれのグループに、高速の光スイッチ４０ＵＰと４０ＤＬを設ける。これにより、エレファントトラヒックが発生した場合の光パスへのカットスル―を効率的に行うことができる。なお、通常のデータトラヒックは電気スイッチ３０を介して送受信されている。
（２）ＴｏＲスイッチ構成
図４は、ＴｏＲスイッチ２１の概略構成図である。ＴｏＲスイッチ２１は、電気インタフェース２１１、光インタフェース２１２、振り分け部２１３、制御部２１５、トラヒックモニタ２１６、物理バッファ２１７、及び入力インタフェース２１８を有する。

トラヒックモニタ２１６は、入力インタフェース２１８を介して各サーバー２２から入力されネットワーク１００に出力されるトラヒックを監視する。トラヒックモニタ２１６はたとえば宛先ラック別の仮想キューを有し、リーキーバケットアルゴリズム等を用いて宛先ラック別にトラヒック量を監視する。モニタ結果は制御部２１５に供給される。

制御部２１５は、モニタ結果に基づいて発生したトラヒックを電気インタフェース２１１と光インタフェース２１２のいずれかに振り分ける。通常のトラヒック量を有するデータは、振り分け部２１３により電気インタフェース２１１に出力され、電気スイッチ３０を介してネットワーク１００内の他のラック２０に転送される。トラヒックの多い宛先のラック２０については、データは振り分け部２１３により光インタフェース２１２に出力され、光回線を用いて宛先ラックに送信される。

制御部２１５は、光インタフェース２１２を選択する場合は、パケット（レイヤ２通信の場合はフレーム）の宛先アドレスとトラヒックの発生・継続状態に応じて、宛先ラック情報とＭＥＭＳ面の指定情報を含む方路変更信号を、光スイッチ４０ＵＬと４０ＤＬに同期して出力してもよい。

振り分け部２１３と光インタフェース２１２の間に物理バッファ２１７が配置されている。物理バッファ２１７は、後述するように、Ｎ×Ｎの光クロスコネクトスイッチ１０−１、１０−２における方路変更の動作（ＭＥＭＳ内の動作）と連動して、光パスへ送出するデータを一時的に保存する。

この構成により、複数の光クロスコネクトスイッチ１０−１，１０−２間を高速の光スイッチ４０を用いて切り替える光スイッチネットワーク１Ａまたは１Ｂに適したＴｏＲスイッチ２１が提供される。
（３）光クロスコネクトスイッチの切り替え動作
以下で、第１実施形態の光クロスコネクトスイッチ１０−１、１０−２間の切り替え動作を説明する。第１実施形態では、光クロスコネクトスイッチ１０−１と１０−２の間の切り替えは、一定周期で定期的に行われる。

図５は、光クロスコネクトスイッチ１０−１と１０−２の間の切り替え動作の一例である。横軸は時間（ｔ）、縦軸は、時分割で用いられる光クロスコネクトスイッチ１０−１（ＭＥＭＳ＃０）と光クロスコネクトスイッチ１０−２（ＭＥＭＳ＃１）である。

光クロスコネクトスイッチ１０−１（ＭＥＭＳ＃０）と、光クロスコネクトスイッチ１０−２（ＭＥＭＳ＃１）は、ｔ秒間隔で周期的に切り替えられる。換言すると、光スイッチ４０の切り替え動作は、あらかじめ一定周期に設定されている。各ＴｏＲスイッチ２１は、切り替え周期ｔを知っている。

ｔ秒という時間間隔は、光クロスコネクトスイッチ１０−１，１０−２を構成するＮ×ＮのＭＥＭＳスイッチで方路変更に要する時間（たとえば１００ミリ秒）よりも長い。ＭＥＭＳ＃０とＭＥＭＳ＃１の間の選択自体は、高速の光スイッチ４０によって１０ナノ秒のオーダーで切り替えられるが、各ＭＥＭＳでの方路変更にかかる時間は、それよりもはるかに長い。一例として、光クロスコネクトスイッチ１０−１と１０−２の切り替え周期ｔを、０．５秒〜６０秒の間で設定する。

ラック２０−１（ラック＃１）のＴｏＲスイッチ２１で、ラック＃１からラック＃４への大量のトラヒックがモニタされたとする。制御部２１５は、このトラヒックを光インタフェース２１２に送り、ＭＥＭＳ＃０（光クロスコネクトスイッチ１０−１）にセットアップする。このとき、ＭＥＭＳ＃１（光クロスコネクトスイッチ１０−２）でもラック＃１の入力ポートが、ラック＃４への出力ポートに設定されていれば、高速の光スイッチ４０の周期的な切り替え動作に関わらず、ラック＃１からラック＃４宛てのトラヒックは、見かけ上連続してラック＃４に送られる。

これに対し、ラック＃１からラック＃４への大量のトラヒックの発生とともに、ラック＃１（の別のサーバー２２）からラック＃６への大量のトラヒックの発生がモニタされたとする。制御部２１５は、ラック＃１からラック＃４へのトラヒックをＭＥＭＳ＃０にセットアップするとともに、ラック＃１からラック＃６へのトラヒックをＭＥＭＳ＃１にセットアップする。また、それぞれの宛先ラック情報とＭＥＭＳ面の指定を示す制御信号を、自装置の識別情報とともに高速の光スイッチ４０へ出力する。

光スイッチ４０ＵＰは、ＭＥＭＳ面の切り替えのタイミングｔ１で、ラック＃１からラック＃６へのトラヒックを通知する制御信号をＭＥＭＳ＃１に通した後に、光クロスコネクト面をＭＥＭＳ＃０に切り替えて、ラック＃１からラック＃４へのトラヒックをＭＥＭＳ＃０に接続する。その後のｔ秒間は、ＭＥＭＳ＃０が使用されてデータがラック＃４に送られる。

ＭＥＭＳ＃０が運用されている間は、ＭＥＭＳ＃１はスタンバイ中である。スタンバイ中にＭＥＭＳ＃１で方路の変更（または書き換え）が行われる。ＭＥＭＳは機械的な構成で光パスを切り替えるため、その切り替え動作にたとえば１００ミリ秒かかる。ＭＥＭＳ＃０で光伝送が行われている裏面で、ＭＥＭＳ＃１で次の動作タイミングのための方路の切り替え準備を行なう。この間、ラック＃６宛てのデータは、ＴｏＲスイッチ２１の物理バッファ２１７に一時的に保存される。

時間ｔ２で、光クロスコネクト面はＭＥＭＳ＃０からＭＥＭＳ＃１に切り替わる。ｔ２の時点では、ＭＥＭＳ＃１で指定された方路（ラック＃１からラック＃６）への設定動作が完了している。ラック＃１のＴｏＲスイッチ２１の物理バッファ２１７からラック＃６宛てのデータが出力される。データは、光インタフェース２１２を介して、光スイッチ４０ＵＬ、ＭＥＭＳ＃１、光スイッチ４０ＤＬを含む光回線で、宛先のラック＃６に転送される。

ＭＥＭＳ＃１の運用中に、ＭＥＭＳ＃０での方路に変更がない場合は、ＭＥＭＳ＃０の状態は維持される。次の面切り替えのタイミングｔ３でＭＥＭＳ＃０が運用中となり、ラック＃１からラック＃４へのデータ転送が行われる。

この例では、時間ｔ２でＭＥＭＳ＃０の方路に変更がない場合を示しているが、ラック＃１からラック＃７への大量のデータが発生した場合は、ＴｏＲスイッチ２１の制御部２１５から光スイッチ４０に、宛先ラック情報とＭＥＭＳ＃０の指定情報が通知される。この場合、時間ｔ２からｔ３までのＭＥＭＳ＃１の運用中に、スタンバイ状態のＭＥＭＳ＃０でラック＃７への方路の変更が行われる。

各ラック２０でのデータの発生状態に応じて、低速の光クロスコネクトスイッチ１０−１，１０−２を使い分けることで、光クロスコネクトスイッチが未使用となる時間を極力低減して、光回線を有効利用することができる。

図６は、第１実施形態の光スイッチネットワーク１Ａの省エネルギー効果を、従来のＭＥＭＳ型のカットスル―構成（図１）と比較して示す図である。図６の縦軸は正規化された省エネルギー効果の概算値を示し、横軸は、データ量を示す。正規化において、１００％電気スイッチを使用するときのエネルギー量を「１」とし、電気スイッチの使用割合が低いほど、省エネルギー効果が高いものとする。

従来のＭＥＭＳ型のカットスル―構成では、ＭＥＭＳでの方路切り替えに時間がかかるため、光クロスコネクトスイッチ１０へのカットスル―を利用する場合であっても、省エネルギー効果の発現が緩やかである。

これに対し、第１実施形態の構成では、２面以上のＭＥＭＳスイッチを高速の光スイッチ４０で切り替え、一方のＭＥＭＳスイッチ（ＭＥＭＳ＃０）の運用中に、他方のＭＥＭＳスイッチ（ＭＥＭＳ＃１）で、次の光伝送タイミングのための方路設定を行う。次の光伝送タイミングでは、高速の光スイッチ４０で瞬時にＭＥＭＳの面が切り替えられる。光パスが高効率で最大限に活用され、図６の実線で示すように、データ発生後、短時間で光パス利用の効果が現れる。

たとえば、図５のように、ＭＥＭＳ＃０でのラック＃１からラック＃４へのデータ転送と、ＭＥＭＳ＃１でのラック＃１からラック＃６へのデータ転送を交互に行うことで、２つのラックに対するカットスル―が見かけ上パラレルに行われる。また、必ずしも特定のラックへの交互転送に限定されず、データ発生状態に応じて、一方のＭＥＭＳスイッチの運用中に、他方のＭＥＭＳスイッチでさらに別のラックへの方路設定が可能である。これにより、光パスを利用して多くのラックに対するカットスル―が適応的に行われる。
＜第２実施形態＞
図７は、第２実施形態のＭＥＭＳスイッチの切り替え動作を示す図である。第１実施形態では、高速の光スイッチ４０を用いて、ＭＥＭＳ＃０とＭＥＭＳ＃１を一定周期で定期的に切り換えていた。

第２実施形態では、ＴｏＲスイッチ２１からの切り替え制御信号により、光スイッチ４０の切り替えタイミングを制御する。

図７で、ＭＥＭＳ＃０を用いてラック＃１からラック＃４へのデータ転送が行われている間、ＭＥＭＳ＃１では、ラック＃１からラック＃６への方路変更動作が行われている。

時間ｔ１で、ＴｏＲスイッチ２１の制御部２１５から高速の光スイッチ４０に切り替え制御信号が出力される。光スイッチ４０は、光クロスコネクト面をＭＥＭＳ＃０からＭＥＭＳ＃１に切り替える。第１実施形態と同様に、上りリンク用の光スイッチ４０ＵＬ（図２参照）と、下りリンク用の光スイッチ４０ＤＬ（図２参照）が同期して、光クロスコネクト面の切り替え動作を行う。ｔ１の時点で、ＭＥＭＳ＃１では方路変更の動作が完了している。光スイッチ４０の切り替えのタイミングと同期して、ラック＃１のＴｏＲスイッチ２１からのデータ出力も、ラック＃６宛てのデータに切り替えられる。

ＭＥＭＳ＃１の運用中は、ＭＥＭＳ＃０で次の方路への変更の準備が行われる。時間ｔ１での切り替え制御信号には、スタンバイ状態になるＭＥＭＳ＃０の方路の変更（書き換え）情報が含まれ、ＭＥＭＳの切り替えのタイミングで、ＭＥＭＳ＃０で宛先ラック＃７への方路の変更が開始される。

時間ｔ２で、ＴｏＲスイッチ２１から次の切り替え制御信号が供給される。ＴｏＲスイッチ２１からの切り替え制御信号の出力のタイミングは、対応するラックでのデータ発生状態に依存して可変である。ただし、ＭＥＭＳスイッチでの方路変更に要する時間（たとえば１００ミリ秒）よりも長い時間間隔で、次の切り替え制御信号が出力される。

時間ｔ２で、光クロスコネクト面はＭＥＭＳ＃１からＭＥＭＳ＃０に切り替えられる。この時点で、ＭＥＭＳ＃０の方路の変更は完了しており、ラック＃１の入力ポートはラック＃７への出力ポートに接続されている。ＴｏＲスイッチ２１の出力も、ラック＃７宛てのデータに切り替えられ、ＭＥＭＳ＃０を用いたラック＃７へのデータ転送が行われる。

ＭＥＭＳ＃０の運用中は、ＭＥＭＳ＃１が再度、スタンバイ状態となる。時間ｔ２での切り替え制御信号に、スタンバイ状態になるＭＥＭＳ＃１の方路の変更（書き換え）情報が含まれ、ＭＥＭＳの切り替えのタイミングで、ＭＥＭＳ＃１で宛先ラック＃４への方路の変更が開始される。

このように、第２実施形態では、光クロスコネクトスイッチ１０−１と１０−２の間の切り替えタイミングがＴｏＲスイッチ２１によって制御される。これにより、よりダイナミックで適応的な光パスの活用が実現する。

図８は、第２実施形態のＴｏＲスイッチ２１の構成を示す。ＴｏＲスイッチ２１の構成自体は、図４のＴｏＲスイッチ２１と同じであり、同じ構成要素は同じ符号で示されている。第２実施形態では、制御部２１５は、光インタフェース２１２を介して、光スイッチ４０の切り替えタイミングを制御する切り替え制御信号を出力する。切り替え制御信号には、スタンバイ中のＭＥＭＳ面での方路の変更を指定する方路変更情報が含まれている。

切り替え制御信号の出力に応じて、制御部２１５は、物理バッファ２１７から光パスに出力されるデータを切り替える。これにより、光クロスコネクト面の切り替えと同期して光パスにカットスルーされるデータパケットが光インタフェース２１２から出力される。

なお、通常のトラヒック量のデータは、電気インタフェース２１１から電気スイッチ３０により宛先ラックへと転送される。

図９は、ＴｏＲスイッチ２１での出力変更のタイミングを示す。この出力変更のタイミングは、ＭＥＭＳ面を切り替える高速の光スイッチ４０の切り替えタイミングと同期している。図７と関連して、たとえば時間ｔ１で光クロスコネクト面がＭＥＭＳ＃１に切り替わるタイミングで、ラック＃６宛てのデータが出力される。

時間ｔ２で光クロスコネクト面がＭＥＭＳ＃０に切り替わるタイミングで、ラック＃７へのデータが出力される。以下同様に、たとえば時間ｔ３でラック＃４宛てのデータが出力され、時間ｔ４でラック＃６宛てのデータが出力される。時間ｔ２〜ｔ３の間は、スタンバイ状態のＭＥＭＳ＃１で方路の変更が行われている。時間ｔ３〜ｔ４の間は、スタンバイ状態のＭＥＭＳ＃０で方路の変更が行われている。

光クロスコネクト面の切り替えタイミングはデータ量に応じて可変であり、たとえばｔ１に至る前のラック＃４への出力時間は５秒、ｔ１〜ｔ２にかけての時間は２秒、ｔ２〜ｔ３までの時間は６秒などである。

この方式により、光クロスコネクトスイッチ１０−１及び１０−２が未使用となる時間を極力低減して、光回線の活用効率を向上することができる。
＜第３実施形態＞
図１０は、第３実施形態の光スイッチネットワーク１Ｃの概略図である。光スイッチネットワーク１Ｃは、スケジュールコントローラ５０を有する。スケジュールコントローラは、光スイッチネットワーク１Ｃに含まれるすべてのＴｏＲスイッチ２１と、高速切り替え用の光スイッチ４０−１〜４０−ｍと、光クロスコネクトスイッチ１０−１及び１０−２を制御する。

光クロスコネクトスイッチ１０-１及び１０−２と、高速の光スイッチ４０−１〜４０−ｍで光スイッチ４５を形成する。第１実施形態と同様に、光クロスコネクトスイッチ１０の数は２つに限定されない。高速の光スイッチ４０の各々は、上りリンク用の切り替えスイッチ４０ＵＬと下りリンク用の切り替えスイッチ４０ＤＬの組を含み、少なくとも１組の光スイッチ４０が用いられる。各ラック２０−１〜２０−ｎの構成は、図２及び図３と同様である。

スケジュールコントローラ５０は、各ＴｏＲスイッチ２１でのエレファントフローの発生状態をモニタする。

図１１は、スケジュールコントローラ５０でのモニタ結果の一例を示す。縦列の左側の列が、入力ポート側のＴｏＲスイッチが配置されるラック番号である。横列の上段が出力ポート側のＴｏＲスイッチが配置されるラック番号である。スケジュールコントローラ５０は、エレファントトラヒックのサイズが大きい順にＮ×Ｎの光クロスコネクトスイッチ１０の入力ポートと出力ポートの接続を設定する。

図１１の例では、第１面のＭＥＭＳ＃０のために、ラック＃１→ラック＃２、ラック＃２→ラック＃１、…、ラックＮ→ラック＃３のトラヒックが、光クロスコネクトスイッチ１０−１で設定される。

第２面のＭＥＭＳ＃１での方路設定準備のために、ラック＃３→ラック＃１、…、ラック＃１→ラック＃Ｎへのトラフックが光クロスコネクトスイッチ１０−２で設定される。

スケジュールコントローラ５０は、最も効率的なマッチングを選択する。入力ポートと出力ポートの接続の組み合わせを最適にすることで、光スイッチネットワーク１Ｃのトータルのスループットが最大になる。

第３実施形態の光スイッチネットワーク１Ｃでは、スケジュールコントローラ５０が高速切り替え用の光スイッチ４０の切り替えタイミングと、光クロスコネクトスイッチ１０−１，１０−２の入出力ポート間の接続設定と、各ＴｏＲスイッチ２１の出力とを制御する。これによりネットワークスループットが最大化される。
＜第４実施形態＞
図１２は、第４実施形態の光スイッチネットワーク１Ｄの概略図である。第４実施形態では、光クロスコネクトスイッチ１０−１及び１０−２と、高速の光スイッチ４０の切り替え制御をスイッチスケジューラ５１で行う。図１２では、光クロスコネクトスイッチ１０−１及び２０−２と光スイッチ４０を合わせて、「光スイッチ４５」と表記している。

また、タスクスケジューラ５２により、各ラック２０−１〜２０−ｎのサーバー２２ａ〜２２ｋへのタスクの分配を制御する。タスクスケジューラ５２として、たとえば「Ｈａｄｏｏｐ（登録商標）」などの分散制御機能を実装したコントローラまたはプロセッサを用いることができる。

スイッチスケジューラ５１による光スイッチ４５のコンフィギュレーションと、タスクスケジューラ５２を連携させることで、光スイッチ４５の切り替えを減らし、かつ性能の良いデータ処理を行う。

たとえば、タスクスケジューラ５２により、データの送受信の多い仮想マシン（サーバー）のあるラック２０を分析し、スイッチスケジューラ５１で光スイッチ４５を制御してそのラックへのデータまたはそのラックからのデータを光回線にカットスル―する。

別の例として、スイッチスケジューラ５１により、運用中のＭＥＭＳ＃０（または光クロスコネクトスイッチ１０−１）で、ラック＃１→ラック＃８への接続が設定されているとする。この場合、タスクスケジューラ５２は、ラック＃１にある仮想マシンからのマイグレーションやデータの移動先を、ラック＃８内にある仮想マシン８の中から選択するようにリソース管理を行ってもよい。ＭＥＭＳ＃０の設定状態を利用して、ラック＃１の仮想マシンからのデータは、光回線によるカットスルーパスでラック＃８内の仮想マシンに送られる。

このように、スイッチスケジューラ５１とタスクスケジューラ５２の強調により、光パスに接続されているラックに積極的にタスクを送る。これにより、光スイッチの切り替えを減らしつつ、性能の良いデータ処理を行うことができる。
＜変形例＞
図１３は、ＴｏＲスイッチ２１のトラヒックモニタ２１６に適用可能なフロー選択カウンタ２２０の一例を示す。このフロー選択カウンタ２２０は、第１〜第４実施形態を通して、適用可能である。

フロー選択カウンタ２２０は、宛先ラックごとに発生したパケット（レイヤ２の場合はフレーム）を順次格納する第１のキュー２２１と、光パスへ転送すべき宛先ラックのパケット（またはフレーム）を格納する第２のキュー２２２を有する。第１のキュー２２１は宛先ラックごとのデータ（パケットまたはフレーム）の発生回数をカウントするカウンタＣＴＲを含む。

あるラック２０内で他のラック宛てのデータが発生すると、発生した順番に第１のキュー２２１に書き込まれる。上から順に新しいデータが書き込まれ、古いデータは下側へシフトする。途中で同じ宛先（たとえばラック＃４）が発生すると、下側へシフトされていたデータは再度先頭に入れられる。

カウンタＣＴＲは、単位時間内に第１のキュー２２１の先頭に来た宛先ラックを計数する。先頭に来た回数が所定の回数以上（たとえば１０回以上）になると、第２のキュー２２２に移動される。

第２のキュー２２２も、新しいデータが上から順番に書き込まれ、最も古くなったデータ（最下段のデータ）から削除される。しかし、第２のキュー２２２に書き込まれるのは所定回数以上発生したデータだけであり、第２のキュー２２２の変動は第１のキュー２２２の変動に比較して、穏やかである。第２のキュー２２２に書き込まれたデータの出力先は光インタフェース２１２に設定される。これにより、高い頻度で発生する大容量のデータが光パスへカットスル―される。第２のキュー２２２への書き込みの頻度は小さく、光パスへ出力されるべきデータが待ち行例の最下段から削除されることを防止できる。

別の変形例として、第１実施形態での光クロスコネクト面（たとえばＭＥＭＳ＃０とＭＥＭＳ＃１）の周期的な切り替えを、時間帯や曜日に応じて変更してもよい。トラヒックの種別は人間の生活に密着しており、ある程度パターン化することができる。

たとえば、夕方から深夜帯では、映像コンテンツを扱うＷｅｂサーバーにトラフィックが集中し、通勤時はＳＮＳ（Social Network Service）などのゲームコンテンツサーバーにトラヒックが集中する。トラヒックが集中する特定の時間帯は、コンテンスサーバーを有するラック２０を光クロスコネクトスイッチ１０-１及び１０−２と、高速の光スイッチ４０による光回線に接続する。比較的低いトラヒックで複数のデータフローが混在している時間帯は、各ＴｏＲスイッチ２１の出力先を電気スイッチ３０に切り替える。

これにより、光回線の利用時に遅延の少ないサービスを提供するとともに、電気スイッチ３０で発生する消費電力を低減することができる。

このようなスケジューリングは、第１実施形態や第２実施形態のようにＴｏＲスイッチ２１の制御部２１５で行ってもよいし、第３実施形態のようにスケジュールコントローラ５０で行ってもよい。また、第４実施形態のようにスイッチスケジューラ５１とタスクスケジューラ５２の連携で行ってもよい。

いずれの場合も、光パスの利用効率を向上して、ネットワーク全体の消費電力を低減することができる。

実施形態及び変形例の構成を採用することで、新しい省エネルギー型のデータセンタの構築が実現される。

光スイッチ４０を用いた高速でダイナミックな光パスの切り替えを、サーバーリソース割り当ての動的変更に追従させることで、未使用のラックを積極的に作ってパワーオフすることも可能である。また、電気スイッチ３０を流れるトラヒック量を現象させることで未使用の電気スイッチを作り、パワーオフにすることも可能である。ラック２０間の光スイッチネットワーク１Ａ〜１Ｄを一つのデータセンタに限定せずに、外部の光ネットワークに接続してもよい。この場合、外部の光ネットワークを通して、分散するデータセンタのリソースを利用することもできる。

１Ａ〜１Ｄ 光スイッチネットワーク
１０、１０−１、１０−２ 光クロスコネクトスイッチ
２０、２０−１〜２０−ｎ ラック
２１ ＴｏＲスイッチ（集約スイッチ）
２２ａ〜２２ｋ サーバー
３０ 電気スイッチ
４０、４０ＵＬ、４０ＤＬ、４０−１〜４０−ｍ 光スイッチ
５０ スケジュールコントローラ
５１ スイッチスケジューラ
５２ タスクスケジューラ
２１１ 電気インタフェース
２１２ 光インタフェース
２１３ 振り分け部
２１５ 制御部
２１６ トラヒックモニタ
２１８ 入力インタフェース
２２０ フロー選択カウンタ
２２１ 第１のキュー
２２２ 第２のキュー

Claims (11)

1. 複数のサーバーが格納されたラック間をつなぐ光スイッチネットワークにおいて、
   ラックごとに前記複数のサーバーを集約する集約スイッチと、
   前記ラック間で送受信されるデータの方路を設定する２以上の光クロスコネクトスイッチと、
   前記集約スイッチと前記光クロスコネクトスイッチの間に配置され、前記光クロスコネクトスイッチの方路設定動作よりも高速に動作して前記光クロスコネクトスイッチのいずれかを選択する一対の光スイッチと、
   を有することを特徴とする光スイッチネットワーク。
2. Ｍ個（Ｍは２以上の整数）の前記光クロスコネクトスイッチが用いられ、
   前記一対の光スイッチは、前記集約スイッチから前記光クロスコネクトスイッチへの上りリンクで用いられる１×Ｍスイッチと、前記光クロスコネクトスイッチから前記集約スイッチへの下りリンクで用いられるＭ×１スイッチとを有し、
   前記１×Ｍスイッチと前記Ｍ×１スイッチによる切り替え動作は、同期して行われることを特徴とする請求項１に記載の光スイッチネットワーク。
3. 前記集約スイッチは、宛先ラックごとのトラヒックを観測するモニタを有し、
   前記モニタで一定量以上のトラヒックが観測された場合に、前記データは前記集約スイッチから前記光クロスコネクトスイッチに出力されることを特徴とする請求項１又は２に記載の光スイッチネットワーク。
4. いずれかの前記光クロスコネクトスイッチを用いてデータ転送が行われている間、他の光クロスコネクトスイッチは方路変更の準備を行っていることを特徴とする請求項１〜３のいずれか１項に記載の光スイッチネットワーク。
5. 前記１対の光スイッチは、一定の周期で切り替えられることを特徴とする請求項１〜４のいずれか１項に記載の光スイッチネットワーク。
6. 前記集約スイッチは、前記一対の光スイッチを同時に切り替える制御信号を前記光スイッチに供給することを特徴とする請求項１〜４のいずれか１項に記載の光スイッチネットワーク。
7. 前記集約スイッチは、前記制御信号の供給のタイミングで、前記データの宛先ラックを切り替えることを特徴とする請求項６に記載の光スイッチネットワーク。
8. 前記集約スイッチ、前記光クロスコネクトスイッチ、及び前記一対の光スイッチの動作を制御するスケジュールコントローラ、
   をさらに有し、前記スケジュールコントローラにより、前記光クロスコネクトスイッチの選択と前記光スイッチによる切り替え動作、及び前記集約スイッチからのデータの出力タイミングが制御されることを特徴とする請求項１〜４のいずれか１項に記載の光スイッチネットワーク。
9. 前記光クロスコネクトスイッチ及び前記一対の光スイッチの動作をスケジューリングするスイッチスケジューラと、
   前記サーバー内の処理を割り振るタスクスケジューラ、
   とをさらに有し、前記スイッチスケジューラと前記タスクスケジューラにより、宛先ラックへの前記データの転送を調整することを特徴とする請求項１〜４のいずれか１項に記載の光スイッチネットワーク。
10. 前記タスクスケジューラは、前記スイッチスケジューラにより前記光クロスコネクトスイッチと光接続されているラックを特定し、前記ラック内の仮想サーバーから前記データを出力させることを特徴とする請求項９に記載の光スイッチネットワーク。
11. 前記集約スイッチは、
    前記ラックで発生したデータを宛先ラックごとに順次格納する第１のキューと、
    単位時間内に、前記第１のキューに書き込まれた回数が所定回数を超える宛先ラックが書き込まれる第２のキューと、
    を有し、前記第２のキューに書き込まれた宛先ラックへのデータを前記光クロスコネクトスイッチへ出力することを特徴とする請求項１〜１０のいずれか１項に記載の光スイッチネットワーク。

Images