JP2021189462A - ストレージ装置 - Google Patents

Abstract

【課題】ストレージ装置において、コントローラがスイッチのポートステータスを短時間で読み出す。【解決手段】ストレージ装置は、スイッチと、複数のストレージコントローラとを含む。スイッチは、スイッチプロセッサと、複数のデータポートと、スイッチ集積回路と、メモリと、管理インターフェースとを含む。複数のデータポートの一つと管理インターフェースの管理ポートとが接続されている。スイッチプロセッサは、スイッチ集積回路から取得した複数のデータポートのステータスを、メモリに格納する。複数のストレージコントローラは、複数のデータポートと管理ポートとを介して管理インターフェースにアクセスし、管理インターフェースからメモリに格納された複数のデータポートのステータスを受信する。【選択図】図６

Description

本発明は、複数のストレージコントローラがスイッチを介してして通信するストレージ装置に関する。

複数のストレージノードを集めたクラスタ構成のストレージ装置は、各ストレージノードを並列に稼働させることにより、並列アクセスによる高いデータアクセス性能を実現すると共に、データの冗長化による高可用を実現できる。たとえば特許文献１では、複数のストレージノードをネットワークで相互接続することで大規模なストレージ装置を構成することが開示されている。以下の説明及び図面において、複数のストレージノードを接続したストレージ装置の内部ネットワークを、ストレージ内部ネットワークと呼ぶことにする。また、ストレージノードを単にノードと呼ぶことがある。

ストレージノードは、一般的に、ストレージコントローラと、ランダムアクセス可能な不揮発性記録媒体とを有する。この記録媒体は、例えば、不揮発性半導体メモリドライブやハードディスクドライブを多数備えたドライブボックスである。ストレージコントローラは、上位装置（ホストシステム等）を接続するためのフロントエンドインターフェースと、ドライブボックスを接続するためのバックエンドインターフェースと、上位装置がドライブボックスに対して読み書きするユーザーデータを一時的に保存するキャッシュメモリを有する。更に、ストレージコントローラは、ストレージコントローラ内で扱う制御データを格納する制御メモリと、ユーザーデータ及び制御データのデータ転送を制御するためのプロセッサを有する。複数のストレージノードを接続したストレージ装置においては、複数のストレージノードがストレージ内部ネットワークを介して、ユーザーデータや制御データをノード間で送受信する。

また、ストレージノードをはじめとする、計算機ノード間の接続に好適なネットワークの標準規格としてはイーサーネットが知られている。ストレージ内部ネットワークにイーサーネットを適用したストレージ装置は、複数のストレージノードをイーサーネットスイッチで接続する。

一般的に、イーサーネットスイッチは、複数のストレージノードを接続するための複数のデータポートと、管理ネットワークに接続するための管理ポートを備える。さらにイーサーネットスイッチは、一般的に、データポート間のデータ転送を実現するＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、以下、スイッチＡＳＩＣと呼ぶ）を含む。

さらに、イーサーネットスイッチは、スイッチＡＳＩＣを制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、以下、スイッチＣＰＵと呼ぶ）と、スイッチＣＰＵが実行するプログラムや参照するデータを格納するためのメモリ（以下、スイッチメモリと呼ぶ）を含む。イーサーネットスイッチは、さらに、管理ポートを備えスイッチＣＰＵと接続される管理インターフェースを備える。

ストレージコントローラは、データ転送先となる他のストレージコントローラの障害を検出するため、イーサーネットスイッチのポートステータスを監視する。例えばストレージコントローラの電源に障害が発生した場合、そのストレージコントローラを接続するイーサーネットスイッチのポートがダウンする。従って、正常なストレージコントローラは、イーサーネットスイッチのポートステータスを読み出すことにより、他のストレージコントローラの電源障害等を検出することができる。

イーサーネットスイッチのポートステータスを読み出す従来技術としては、ＳＮＭＰ（Ｓｉｍｐｌｅ Ｎｅｔｗｏｒｋ Ｍａｎａｇｅｍｅｎｔ Ｐｒｏｔｏｃｏｌ）やＴｅｌｅｍｅｔｒｙが知られている。これらにおいては、一般的に、管理サーバが管理ネットワークを介して、イーサーネットスイッチの管理ポートからデータポートのステータス読み出す。そしてその読み出しには、１秒以上の時間がかかっていた。

ホストシステムとストレージをイーサーネットで接続した場合は、一般的に、ホストシステムとストレージとの間には交替パスが用意されている。さらにイーサーネットの上位のトランスポート層の機構により、ロスしたパケットは再送される。従って、ストレージコントローラの障害によりイーサーネットスイッチのポートがダウンした場合に、ＳＮＭＰまたはＴｅｌｅｍｅｔｒｙによるポートステータス読み出しに１秒かかっても、ホストシステムとストレージ間のデータ転送は継続できる。以上より、従来のイーサーネットスイッチの使い方では、ポートステータス読み出しに１秒以上かかっても問題は無かった。

米国特許第１０４５９７９１号明細書

ストレージコントローラのプロセッサは、ストレージ装置の機能を実現するため、ストレージ制御プログラムを実行する。ストレージ制御プログラムは、例えば、最大で数百個からなるストレージコントローラ内プロセッサの各コアで動作する。多数コアで動作するストレージ制御プログラムが同時にスイッチのポートステータスを読み出す場合もあり得る。この読み出し時間が長いと、ストレージ制御プログラムにおけるプロセッサ待ち時間が長くなり、ストレージ装置の性能低下につながる。

ストレージ内部のコントローラ間ネットワークに適用するスイッチは、多数のコアがスイッチにアクセスする場合でも短時間で、例えば、１ミリ秒程度以内でポートステータスを読み出せる必要がある。しかし従来技術では、上述の通り、ポートステータス読み出しに１秒以上かかっていた。また、管理サーバ１台あたり多数のスイッチを管理するので、同時に多数クライアント（この場合は管理サーバ）からのポートステータスの読み出し要求をスイッチが処理することも考慮されていなかった。

本発明の一実態様の目的は、ストレージ内部ネットワークにおける要件を満たす、スイッチのポートステータス読み出し方法及びそれを用いたストレージ装置を提供することである。

本発明の一態様のストレージ装置は、スイッチと、前記スイッチを介して通信する複数のストレージコントローラと、を含む。前記スイッチは、スイッチプロセッサと、複数のデータポートと、前記データポート間でデータを転送するスイッチ集積回路と、メモリと、管理インターフェースと、を含む。前記複数のデータポートの一つと管理インターフェースの管理ポートとが接続されている。前記スイッチプロセッサは、前記スイッチ集積回路から取得した前記複数のデータポートのステータスを、前記メモリに格納する。前記複数のストレージコントローラは、前記複数のデータポートと前記管理ポートとを介して前記管理インターフェースにアクセスし、前記管理インターフェースから前記メモリに格納された前記複数のデータポートのステータスを受信する。

スイッチに接続されたストレージコントローラがスイッチのポートステータスを短時間で読み出すことができる。

図１は、実施例１のストレージ装置を説明する図である。 図２は、ストレージノードを説明する図である。 図３は、ストレージコントローラ間の論理的な接続を説明する図である。 図４は、ストレージ装置のＲｅａｄ動作を説明する図である。 図５は、ストレージ装置のＷｒｉｔｅ動作を説明する図である。 図６は、イーサーネットスイッチの構成を説明する図である。 図７は、実施例１におけるＩＰアドレス設定を説明する図である。 図８は、ストレージコントローラとイーサーネットスイッチ間の論理的な接続を説明する図である。 図９は、実施例１におけるポート管理テーブルを説明する図である。 図１０は、実施例１におけるデータ種別とデータ転送優先度とトラフィッククラスの対応を説明する図である。 図１１は、ストレージコントローラがイーサーネットスイッチからポート管理テーブルを読み出すシーケンスを説明する図である。 図１２は、実施例２におけるＩＰアドレス設定を説明する図である。 図１３は、実施例３におけるイーサーネットスイッチを説明する図である。 図１４は、実施例４におけるストレージコントローラからイーサーネットスイッチのデータポートのダウンを指示する場合のシーケンスを説明する図である。 図１５は、実施例４におけるポート管理テーブルを説明する図である。 図１６は、実施例４におけるポート管理テーブルを説明する図である。 図１７は、実施例４におけるポート管理テーブルを説明する図である。 図１８は、実施例４におけるポート管理テーブルを説明する図である。 図１９は、ストレージコントローラがイーサーネットスイッチからポート管理テーブルを読み出すシーケンスを説明する図である。 図２０は、更新管理テーブルを説明する図である。

以下、図面を参照しながら、本発明の幾つかの実施例を説明する。なお、全ての実施例を通して、同一符号が付されている構成要素は、実質的に同じものであるとする。また、「プログラム」を主語として処理を説明する場合がある。そのプログラムは、プロセッサ、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって実行されるもので、定められた処理をするものである。なお、プロセッサが実行する処理は、適宜に記憶資源（例えばメモリ）及び通信インターフェース装置（例えば、通信ポート）を用いながら行うため、処理の主語がプロセッサとされてもよい。プロセッサは、ＣＰＵの他に専用ハードウェアを有していても良い。

図１から図１１を参照して、実施例１に係るストレージ装置の説明を行う。図１は、実施例１におけるストレージ装置のハードウェア構成を説明する図である。実施例１のストレージ装置１００は、内部ネットワークにより相互接続されたストレージノード１０１、１１１を含む複数のストレージノードを有する。図１では、２個のストレージノードを図示しているが、内部ネットワークに接続されるストレージノード数は任意である。この内部ネットワークを、本明細書ではストレージ内部ネットワークと呼ぶ。

実施例１に係るストレージ装置１００では、ストレージ内部ネットワークに、たとえばイーサーネット（登録商標）規格のスイッチやリンクで構築されたネットワークが用いられる。ストレージノード１０１、１１１は、イーサーネットスイッチ１２０、１３０を介して相互接続される。なお、イーサーネットスイッチの数は任意であり、イーサーネットと異なるプロトコルのスイッチ及びリンクが使用されてもよい。

ストレージノード１０１は、その内部に２個のストレージコントローラ１０２、１０３を有する。ストレージコントローラ１０２は、イーサーネットスイッチ１２０、１３０と接続するためのエッジインターフェース（ＥＩＦ）１０４を有する。同様に、ストレージコントローラ１０３は、イーサーネットスイッチ１２０、１３０と接続するためのエッジインターフェース（ＥＩＦ）１０５を有する。ストレージノード１１１は、ストレージノード１０１と同様の構成を有している。なお、ストレージノード内のストレージコントローラの数は任意であり。異なるストレージコントローラが異なる構成を有してもよい。

図２は、実施例１におけるストレージノードのハードウェア構成を説明する図である。ストレージノード１０１は、ストレージコントローラ１０２、１０３と、複数のハードディスクドライブ（ＨＤＤ）または複数のソリッドステートドライブ（ＳＳＤ）を有するドライブボックス２３０を含む。

ストレージコントローラ１０２は、プロセッサ（ＭＰ）２００と、メモリ２０２と、フロントエンドインターフェース（ＦＥ）２０４と、バックエンドインターフェース（ＢＥ）２０５を有する。同様に、ストレージコントローラ１０３は、プロセッサ（ＭＰ）２１０と、メモリ２１２と、フロントエンドインターフェース（ＦＥ）２１４と、バックエンドインターフェース（ＢＥ）２１５を有する。プロセッサ２００、２１０は、それぞれ複数のプロセッサコア２０１、２１１を有する。

ストレージ装置１００にアクセスするホストシステム（非図示）は、フロントエンドインターフェース２０４、２１４を介して、ストレージ装置１００に接続される。ホストシステムとフロントエンドインターフェース２０４、２１４との間は、ファイバチャネルケーブルやイーサーネットケーブル等の伝送線で接続される。

あるいはホストシステムとフロントエンドインターフェース２０４、２１４が、複数の伝送線と複数のスイッチで構成されたストレージエリアネットワークを介して接続される構成でも良い。フロントエンドインターフェース２０４、２１４は、ホストシステムとストレージノード１０１間のデータ転送プロトコルと、ストレージコントローラ１０２、１０３内のデータ転送プロトコルを変換する。

ドライブボックス２３０は、バックエンドインターフェース２０５、２１５を介して、ストレージコントローラ１０２、１０３に接続される。バックエンドインターフェース２０５、２１５は、ストレージコントローラ１０２、１０３内のデータ転送プロトコルと、ストレージコントローラ１０２、１０３とドライブボックス２３０との間のデータ転送プロトコルを変換する。なお、ドライブボックス内のドライブがＰＣＩｅ接続のＮＶＭｅＳＳＤの場合、バックエンドインターフェース２０５、２１５は、プロトコル変換を行わないＰＣＩｅスイッチである。

プロセッサ２００、２１０は、フロントエンドインターフェース２０４、２１４を介して接続したホストシステムと、バックエンドインターフェース２０５、２１５を介して接続したドライブボックス２３０との間のデータ転送を制御する。さらに、プロセッサ２００、２１０は、ストレージノード間のデータ転送を制御する。

メモリ２０２、２１２は、それぞれ、プロセッサ２００、２１０の主記憶であり、プロセッサ２００、２１０が実行するプログラム（ストレージ制御プログラム等）や、プロセッサ２００、２１０が参照する管理テーブル等を格納する。また、メモリ２０２、２１２は、それぞれストレージコントローラ１０２、１０３のキャッシュメモリとしても使用される。

さらに、ストレージコントローラ１０２、１０３は、それぞれ、ＰＣＩ Ｅｘｐｒｅｓｓによりプロセッサ２００、２１０に接続されているＮＴＢ（Ｎｏｎ−Ｔｒａｎｓｐａｒｅｎｔ Ｂｒｉｄｇｅ）２０３、２１３と、エッジインターフェース（ＥＩＦ）１０４、１０５とを有する。

ＮＴＢ２０３とＮＴＢ２１３との間は、Ｎｏｎ−Ｔｒａｎｓｐａｒｅｎｔリンク２２０で接続されている。プロセッサ２００と２１０は、Ｎｏｎ−Ｔｒａｎｓｐａｒｅｎｔリンク２２０を介して相互に通信可能である。このようにして、ストレージノード１０１は、２個のコントローラ１０２、１０３によりデュアルコントローラを構成する。

エッジインターフェース１０４、１０５はそれぞれ、イーサーネットのリンクを接続するための物理ポートを１以上有する。以下、この物理ポートのことをイーサーネットポートと呼ぶ。本実施例に係るストレージ装置１００では、エッジインターフェース１０４は少なくともイーサーネットポート２０７を有し、エッジインターフェース１０５は少なくともイーサーネットポート２１７を有する。プロセッサ２００、２１０は、それぞれイーサーネットポート２０７、２１７を介して、図１のイーサーネットスイッチ１２０、１３０に接続している。その結果、異なるストレージノードに属するストレーコントローラは、相互に通信可能になっている。

図３は、実施例１におけるストレージコントローラ間のイーサーネットワークによる論理的な接続を説明する図である。

本実施例のストレージ装置１００では、ストレージコントローラ間のデータ転送にＲｏＣＥ（ＲＤＭＡ ｏｖｅｒ Ｃｏｎｖｅｒｇｅｄ Ｅｔｈｅｒｎｅｔ）を用いる。ＲｏＣＥは、イーサーネット上でＲＤＭＡによるデータ転送を可能にするプロトコルである。ストレージコントローラ間を接続するエッジインターフェース１０４、１０５は、ＲｏＣＥによるＲＤＭＡデータ転送が可能である。

各ストレージコントローラ内のメモリ（図２のメモリ２０２及びメモリ２１２）は、ホストシステムから受信したユーザーデータを格納するユーザーデータメモリ領域と、ストレージ装置内の制御データを格納する制御メモリ領域を有する。ユーザーデータメモリ領域には、ストレージノードのキャッシュメモリや、フロントエンドインターフェースまたはバックエンドインターフェースが使用するバッファ領域が割り当てられる。

図３において、ストレージノード１（１０１）内のストレージコントローラ１０２は、ユーザーデータメモリ領域３０１と制御メモリ領域３０２を有する。同様に、ストレージノード２（３２０）内のストレージコントローラ３２７は、ユーザーデータメモリ領域３２１と制御メモリ領域３２２を有する。ストレージノードｎ（３３０）内のストレージコントローラ３３７は、ユーザーデータメモリ領域３３１と制御メモリ領域３３２を有する。

ＲｏＣＥでは、各ストレージコントローラ内のプロセッサ上で動作するプログラムが通信を行う際、論理的な通信ポート（論理ポート）であるＱｕｅｕｅ Ｐａｉｒ（ＱＰ）を用いる。ＲｏＣＥのＲＣ（Ｒｅｌｉａｂｌｅ Ｃｏｎｎｅｃｔｉｏｎ）サービスでは、通信相手となるストレージコントローラ毎と、ＱＰを操作するプログラムのプロセス毎にＱＰが必要となる。さらに、ユーザーデータと制御データを異なるデータ転送の優先度で転送する場合には、データ転送メモリ領域（ユーザーデータメモリ領域及び制御メモリ領域）毎にＱＰが必要となる。

従って、各ストレージコントローラは、少なくともメモリ領域毎と接続するストレージコントローラ毎に、個別のＱＰを備える。例えば、ストレージコントローラ１０２は、ユーザーデータメモリ領域３０１のデータをストレージコントローラ３２７のユーザーデータメモリ領域３２１へ転送するためのＱＰ３０３を有する。また、ストレージコントローラ１０２は、ユーザーデータメモリ領域３０１のデータをストレージコントローラ３３７のユーザーデータメモリ領域３３１へ転送するためのＱＰ３０４を有する。

さらに、ストレージコントローラ１０２は、制御メモリ領域３０２のデータをストレージコントローラ３２７の制御メモリ領域３２２へ転送するためのＱＰ３０５を有する。さらにまた、ストレージコントローラ１０２は、制御メモリ領域３０２のデータをストレージコントローラ３３７の制御メモリ領域３３２へ転送するためのＱＰ３０６を有する。

同様に、ストレージコントローラ３２７は、ユーザーデータメモリ領域３２１のデータをストレージコントローラ１０２のユーザーデータメモリ領域３０１へ転送するためのＱＰ３２３を有する。また、ストレージコントローラ３２７は、ユーザーデータメモリ領域３２１のデータをストレージコントローラ３３７のユーザーデータメモリ領域３３１へ転送するためのＱＰ３２４を有する。

さらに、ストレージコントローラ３２７は、制御メモリ領域３２２のデータをストレージコントローラ１０２の制御メモリ領域３０２へ転送するためのＱＰ３２５を有する。さらにまた、ストレージコントローラ３２７は、制御メモリ領域３２２のデータをストレージコントローラ３３７の制御メモリ領域３３２へ転送するためのＱＰ３２６を有する。

同様に、ストレージコントローラ３３７は、ユーザーデータメモリ領域３３１のデータをストレージコントローラ１０２のユーザーデータメモリ領域３０１へ転送するためのＱＰ３３３を有する。また、ストレージコントローラ３３７は、ユーザーデータメモリ領域３３１のデータをストレージコントローラ３２７のユーザーデータメモリ領域３２１へ転送するためのＱＰ３３４を有する。

さらに、ストレージコントローラ３３７は、制御メモリ領域３３２のデータをストレージコントローラ１０２の制御メモリ領域３０２へ転送するためのＱＰ３３５を有する。さらにまた、ストレージコントローラ３３７は、制御メモリ領域３３２のデータをストレージコントローラ３２７の制御メモリ領域３２２へ転送するためのＱＰ３３６を有する。なお、２個のＱＰ間では双方向通信が可能である。

図４は、実施例１のストレージ装置１００における、ホストシステムからＲｅａｄ要求を受信した場合の動作を説明する図である。ホストシステム４００は、ストレージノード１（１０１）内のストレージコントローラ１０２のフロントエンドインターフェース２０４に接続している。フロントエンドインターフェース２０４がホストシステム４００からのＲｅａｄ要求を受信したとする。そして、ホストシステム４００に要求されたデータは、ストレージノード２（３２０）内のストレージコントローラ３２７のキャッシュメモリ（ＣＭ）４２１に格納されているとする。

ストレージコントローラ１０２のプロセッサ２００は、エッジインターフェース１０４からエッジインターフェース４２３に対して、キャッシュメモリ４２１内のデータ読み出し要求を送信する。具体的には、データ転送制御プログラムがプロセッサ２００で実行されることにより、プロセッサ２００はストレージコントローラ１０２内に用意されている複数のＱＰのうち、ストレージコントローラ３２７との通信用のＱＰに対してデータ読み出し用のリクエスト（たとえばＲＤＭＡ Ｒｅａｄリクエスト）をポストする。ポストは、（メモリ２０２内の）ＱＰの送信キューにリクエストを格納する動作を意味する。これによりＲＤＭＡ Ｒｅａｄリクエストがエッジインターフェース１０４からエッジインターフェース４２３へ送信される。

このリクエストを受信したエッジインターフェース４２３は、キャッシュメモリ４２１内の読み出しデータを、プロセッサ４２２、エッジインターフェース４２３、イーサーネットスイッチ１２０、エッジインターフェース１０４、プロセッサ２００を経由する経路４０２で、メモリ２０２内のバッファ領域４０１に転送する。この転送において、データはプロセッサ４２２、２００のポートを通過するが、これらコアはデータ転送に関与しない。これは、ＲＤＭＡによる他の転送例に対して同様である。フロントエンドインターフェース２０４は、バッファ領域４０１に格納された読み出しデータを、ホストシステム４００に転送する（４０３）。

あるいは、キャッシュメモリ４２１内のデータを、ストレージコントローラ３２７からストレージコントローラ１０２へ、ＲＤＭＡ Ｗｒｉｔｅリクエストを使って送信するように制御してもよい。その場合、先ず、プロセッサ２００が、ストレージコントローラ３２７との通信用のＱＰに対して、読み出しデータ送信をプロセッサ４２２に依頼するメッセージを転送するリクエスト（例えばＲＤＭＡ Ｗｒｉｔｅリクエスト）をポストする。メッセージを受信したプロセッサ４２２は、ストレージコントローラ１０２との通信用のＱＰに対して、読み出しデータを転送するＲＤＭＡ Ｗｒｉｔｅリクエストをポストする。

図５は、実施例１のストレージ装置１００における、ホストシステムからのＷｒｉｔｅ要求を受信した場合の動作を説明する図である。ホストシステム４００から受信した書き込みデータは、先ず、メモリ２０２内のバッファ領域４０１に格納される（５０１）。ホストシステム４００から受信した書き込みデータの書き込み先として、ストレージコントローラ３２７内のキャッシュメモリ４２１が、ストレージ制御プログラムにより指示されたとする。

プロセッサ２００は、バッファ領域４０１内の書き込みデータを、エッジインターフェース１０４と４２３のＲＤＭＡデータ転送機能を使って、イーサーネットスイッチ１２０、プロセッサ４２２（のポート）を介して、ストレージコントローラ３２７のキャッシュメモリ４２１へ転送する（５０２）。

さらに書き込みデータを冗長化するため、プロセッサ４２２は、書き込みデータを、ＮＴＢ５１１、ＮＴＢ５１２、プロセッサ５１０を介して、ストレージコントローラ５２７のキャッシュメモリ５２１へ転送する（５０３）。ストレージノード２（３２０）内の２個のキャッシュメモリ（４２１、５２１）への書き込みが完了した後、フロントエンドインターフェース２０４は、ホストシステム４００に対して、書き込みが完了を通知する。

この場合も、ホストシステムからのＲｅａｄ要求を受信した場合の処理と同様に、プロセッサ２００は、ストレージコントローラ１０２内に用意されている複数のＱＰのうち、ストレージコントローラ３２７との通信用のＱＰに対してデータ書き込み用のリクエスト（たとえばＲＤＭＡ Ｗｒｉｔｅリクエスト）をポストしてもよい。これにより、エッジインターフェース１０４と４２３がＲＤＭＡデータ転送を行うことができる。

図６は、イーサーネットスイッチの構成例を説明する図である。イーサーネットスイッチ１２０は、各ストレージコントローラ内のエッジインターフェース１０４と１対１で接続するデータポート６１０と、複数のデータポート間のデータ転送を実現するスイッチＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）６０１と、スイッチＡＳＩＣ６０１を設定及び制御するスイッチＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６２０を有する。スイッチＡＳＩＣ及びスイッチＣＰＵは、それぞれ、スイッチ集積回路及びスイッチプロセッサの例である。

さらにイーサーネットスイッチ１２０は、スイッチＣＰＵ６２０が実行するプログラムや参照するデータを格納するためのスイッチメモリ６３０、及び管理インターフェース６４０を備える。管理インターフェース６４０は、例えばＲＤＭＡをサポートするネットワークインターフェースカードまたはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）カードとして提供される。さらに管理インターフェース６４０は、イーサーネットポートである管理ポート６４１を備える。

スイッチＣＰＵ６２０とスイッチＡＳＩＣ６０１は、ＰＣＩ Ｅｘｐｒｅｓｓ（ＰＣＩｅ）６２２で接続されている。スイッチＣＰＵ６２０と管理インターフェース６４０は、ＰＣＩ Ｅｘｐｒｅｓｓ（ＰＣＩｅ）６２３で接続されている。スイッチＣＰＵ６２０とスイッチメモリ６３０は、メモリバス６２１で接続されている。

管理ポート６４１とデータポート６１１は、イーサーネットスイッチの筐体内部で、イーサーネットリンク６１２で接続されている。イーサーネットリンク６１２は、各ストレージコントローラからポート管理テーブルを読み出すのに十分な帯域を有する。例えばデータポート６１１が１００Ｇｂｐｓの帯域を有していても、ポート管理テーブル読み出しには１Ｇｂｐｓから１０Ｇｂｐｓで十分であれば、イーサーネットリンク６１２は１０Ｇｂｐｓ以下で且つ管理ネットワークの速度（例えば１Ｇｂｐｓ）より高速なリンクとする。

データポートと管理ポートを接続するリンクの帯域が、ストレージコントローラとデータポートを接続するリンクの帯域より小さいことで、管理ポート６４１とイーサーネットリンク６１２が１００Ｇｂｐｓ等高速リンク対応不要になり、イーサーネットスイッチの構成を簡便化できる。

スイッチメモリ６３０は共有メモリ６３１を含む。共有メモリ６３１は、スイッチＣＰＵ６２０及び管理インターフェース６４０に共有され、それらからアクセス可能な領域である。共有メモリ６３１はポート管理テーブル６３２を格納する。スイッチＣＰＵ６２０は、スイッチＡＳＩＣ６０１からデータポート６１０の現在のステータスを読み出し、その値を共有メモリ６３１内のポート管理テーブル６３２に格納する。スイッチＣＰＵ６２０がポート管理テーブル６３２にポートステータスを格納するプロセスと、管理インターフェース６４０からポート管理テーブル６３２をストレージコントローラへ送信するプロセスがポート管理テーブルを共有するため、管理テーブル６３２を共有メモリ６３１内に格納している。

管理インターフェース６４０はＲＤＭＡによるデータ転送が可能でる。管理インターフェース６４０は、スイッチＣＰＵ６２０のコアの関与なく、管理ポート６４１から受信したデータをスイッチメモリ６３０に格納し、スイッチメモリ６３０内データを管理ポート６４１から送信することができる。管理インターフェース６４０のＲＤＭＡデータ転送の対象となるメモリリージョンとして共有メモリ６３１を登録し、その中にポート管理テーブル６３２が含まれるようにする。

管理ポート６４１とデータポート６１１はイーサーネットリンク６１２で接続されているので、各ストレージコントローラはデータポート６１０及びスイッチＡＳＩＣ６０１を通るデータ経路、つまりインバンドで、ＲＤＭＡデータ転送によりポート管理テーブル６３２を読み出すことができる。イーサーネットスイッチ１３０もイーサーネットスイッチ１２０と同様の構成である。

図７は、実施例１におけるＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレス設定を説明する図である。実施例１のストレージ装置１００では、イーサーネットスイッチ１２０をＩＰレイヤ３のスイッチとして設定している。レイヤ３のイーサーネットスイッチの各データポートには、ＩＰアドレスが割り当てられる。例えばデータポートｉには、１０．０．０．２ｉのＩＰアドレスが割り当てられる。図７の例では、ｉは０から８の整数である。各データポートと接続されるエッジインターフェースのポートには、１０．０．０．２ｉ＋１のＩＰアドレスが割り当てられる。データポートとエッジインターフェースポートのＩＰアドレスのネットマスクは３１である。

つまり、実施例１のストレージ装置では、サブネットを構成するＩＰアドレス数は２であり、各データポートとそれに接続されるエッジインターフェースポート毎にサブネットが異なる。例えば、データポート６１０のＩＰアドレスは１０．０．０．０／３１であり、それと接続されるエッジインターフェース１０４のポートのＩＰアドレスは１０．０．０．１／３１である。データポート６１１は、管理ポート６４１と、イーサーネットスイッチ内部で接続されている。データポート６１１のＩＰアドレスは１０．０．０．１６／３１であり、管理ポート６４１のＩＰアドレスは１０．０．０．１７／３１である。

図８は、ストレージコントローラとイーサーネットスイッチ間の論理的な接続を説明する図である。イーサーネットスイッチ１２０の共有メモリ６３１内のデータを、ストレージノード１（１０１）内のストレージコントローラ１０２の制御メモリ領域３０２へ転送するため、ストレージコントローラ１０２はＱＰ８０１を、イーサーネットスイッチ１２０はＱＰ８１１を有する。

同様に、イーサーネットスイッチ１２０の共有メモリ６３１内のデータをストレージノードｎ（３３０）内のストレージコントローラ３３７の制御メモリ領域３３２へ転送するため、ストレージコントローラ３３７はＱＰ８０２を、イーサーネットスイッチ１２０はＱＰ８１２を有する。このように各ストレージコントローラは、異なるストレージノードに属するストレージコントローラ間のデータ転送用のＱＰ（図３）とは別に、イーサーネットスイッチからポート管理テーブルを読み出すためのＱＰを有する。

図９は、実施例１におけるポート管理テーブルを説明する図である。ポート管理テーブル６３２は、データポートの識別情報９０１と、各データポートの管理ステート９０２と、各データポートの稼働ステータス９０３を含む。管理ステートは、スイッチＣＰＵ６２０がスイッチＡＳＩＣ６０１に指示した、各データポートステートの設定値である。稼働ステータスは、各データポートの実際のステータスである。

正常状態では、管理ステート９０２と稼働ステータス９０３は一致することが望まれる。例えば、管理ステート９０２がｕｐ（ｄｏｗｎ）ならば、稼働ステータス９０３もｕｐ（ｄｏｗｎ）となる。ただし、接続先のストレージコントローラに障害が発生した場合等は、管理ステート９０２がｕｐでも、稼働ステータス９０３がｄｏｗｎになることもあり得る。「ｕｐ」は通信可能な状態を示し、「ｄｏｗｎ」は通信不可能な状態を示す。

また、ポート管理テーブル６３２には、テーブル更新情報９０４が含まれる。この情報は、例えば、スイッチＣＰＵ６２０がポート管理テーブル６３２を更新した時刻に関連する情報である。イーサーネットスイッチ１２０からポート管理テーブル６３２を読み出したストレージコントローラ１０２内のプロセッサ２００は、このテーブル更新情報９０４を参照し、例えば現在時刻と比較することにより、読み出したポート管理テーブルが最新のものかを確認することができる。

図１０は、実施例１におけるデータ転送用途と、データ転送優先度と、トラフィッククラスの対応を説明する図である。トラフィッククラスは、データ転送に使用するリソースを指す。データ転送の用途毎にデータ転送リソースを分けることにより、例えばユーザーデータ転送の混雑が、制御データ転送に影響しないようにすることができる。

データ転送優先度管理テーブル１０００は、データ転送の用途１００１と、割り当てられたデータ転送優先度１００２と、そのデータ転送優先度に対応付けされたトラフィッククラス１００３との対応を示す。データ転送優先度１００２の数字が大きいほど、優先度が高い。

実施例１のストレージ装置１００は、ユーザーデータ転送１０１１を行うためのＱＰにデータ転送優先度０を設定し、トラフィッククラス０を割り当てる。また、ストレージ装置１００は、制御データ転送１０１２を行うためのＱＰにデータ転送優先度１を設定し、トラフィッククラス１を割り当てる。さらに、ストレージ装置１００は、イーサーネットスイッチからのポート管理テーブル読み出し１０１３を行うためのＱＰにデータ転送優先度２を設定し、トラフィッククラス２を割り当てる。

データ転送優先度が高いほどデータ転送の優先度が高くなる。また、データ転送の用途別にトラフィッククラスを割り当てているので、たとえイーサーネットリンク上でユーザーデータ転送による混雑が生じていても、イーサーネットスイッチからのポート管理テーブル読み出しのためのデータは優先して転送されることになる。

もし、イーサーネットリンクに割り当て可能なトラフィッククラス数が少ない場合は、例えば、制御データとイーサーネットスイッチからのポート管理テーブル読み出しに一つのトラフィッククラスを共有させて、少なくともユーザーデータ転送に対してポート管理テーブル読み出しのデータ転送優先度を高く設定する。また、少なくともユーザーデータ転送とイーサーネットスイッチからのポート管理テーブル読み出しには、異なるトラフィッククラスを割り当てる。これにより、ポート管理テーブルの読み出しの遅延を抑制できる。

図１１は、ストレージコントローラ内のプロセッサがエッジインターフェースを介して、イーサーネットスイッチ１２０から共有メモリ６３１内のポート管理テーブル６３２を読み出すシーケンスを説明する図である。

スイッチＣＰＵ６２０は、スイッチＡＳＩＣ６０１から、データポートのステータスを繰り返して読み出している（１１１１）。スイッチＣＰＵ６２０は、読み出したデータポートのステータスを共有メモリ６３１内のポート管理テーブル６３２に繰り返し書き込む（１１１２）。

ストレージコントローラがポート管理テーブル６３２を読み出すため、エッジインターフェース１０４から管理インターフェース６４０へＲＤＭＡ Ｒｅａｄリクエストを送信する。そのＲＤＭＡ Ｒｅａｄリクエストを受信した管理インターフェース６４０は、ポート管理テーブル６３２をエッジインターフェース１０４へ返送する（１１１３）。同様に、別のストレージコントローラのエッジインターフェース１１０１からＲＤＭＡ Ｒｅａｄリクエストを受信した管理インターフェース６４０は、ポート管理テーブル６３２をエッジインターフェース１１０１へ返送する（１１１４）。

以上述べたように、実施例１に係るストレージ装置は、一般的な管理ネットワークよりも高速なストレージ内部のコントローラ間ネットワークを使うことにより、ストレージコントローラが、イーサーネットスイッチからポートステータスを短時間に読み出すことができる。

スイッチＣＰＵ６２０がスイッチＡＳＩＣ６０１からデータポートのステータスを読み出し、その値をポート管理テーブル６３２に格納するのにかかる時間は、高々１００マイクロ秒程度である。そして、各ストレージコントローラと共有メモリ６３１との間のＲＤＭＡ Ｒｅａｄデータ転送時間は高々１０マイクロ秒である。従って、実施例１のストレージ装置によれば、１ミリ秒以下の時間で、各ストレージコントローラからイーサーネットスイッチのポートステータスを読み出すことができる。

また、ストレージコントローラがＲＤＭＡコマンドでポート管理テーブルを読み出すことにより、スイッチＣＰＵ６２０にポート管理テーブル読み出しに伴う負荷がかからないようにすることができる。そして、多数のストレージコントローラからでも、ポート管理テーブルを短い時間で読み出すことができる。なお、ストレージコントローラ及び管理インターフェースがＲＤＭＡ転送をサポートせず、ストレージコントローラが、スイッチＣＰＵ６２０への割り込みのような他の方法で、データポートの現在ステータスを取得してもよい。

また、ストレージコントローラがインバンドでイーサーネットスイッチの管理インターフェース及びスイッチＣＰＵにアクセスできるので、ストレージ内部ネットワークを管理するための管理ネットワークを省略できる。

図１２を参照して、実施例２に係るストレージ装置の説明を行う。実施例２のストレージ装置のその他の構成は、実施例１のストレージ装置と同様であるので、説明を省略する。

図１２は、実施例２におけるＩＰアドレス設定を説明する図である。実施例２のストレージ装置では、イーサーネットスイッチ１２０をＩＰレイヤ２のスイッチとして設定している。さらに、ストレージ内部ネットワークに３個のＶＬＡＮ（Ｖｉｒｔｕａｌ Ｌａｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）１２０１、１２０２、１２０３を設けている。ＶＬＡＮ１２０１は、ユーザーデータ転送用に使うネットワークで、そのＶＬＡＮ ＩＤは１０００である。ＶＬＡＮ１２０２は、制御データ転送用に使うネットワークで、そのＶＬＡＮ ＩＤは２０００である。ＶＬＡＮ１２０３は、ストレージコントローラがイーサーネットスイッチからのポート管理テーブル読み出しに使うネットワークで、そのＶＬＡＮ ＩＤは３０００である。

各エッジインターフェースのイーサーネットポートには、３個のＶＬＡＮに対応した３個のＩＰアドレスが割り当てられる。例えば、イーサーネットスイッチ１２０のデータポート６１０に接続されるエッジインターフェース（ＥＩＦ０）のイーサーネットポートは、ＶＬＡＮ１２０１に対応して、ＩＰアドレス１９２．１６８．１．１／２４が割り当てられる（１２１１）。

また、エッジインターフェース（ＥＩＦ０）のイーサーネットポートは、ＶＬＡＮ１２０２に対応して、ＩＰアドレス１９２．１６８．２．１／２４が割り当てられる（１２１２）。さらにまた、エッジインターフェース（ＥＩＦ０）のイーサーネットポートは、ＶＬＡＮ１２０３に対応して、ＩＰアドレス１９２．１６８．３．１／２４が割り当てられる（１２１３）。

ここで、ＩＰアドレスのネットマスクは２４である。図７の場合とは異なり、レイヤ２のイーサーネットスイッチのデータポートには、ＩＰアドレスが割り当てられない。データポート６１１とイーサーネットスイッチ１２０内部で接続される管理ポート６４１のＩＰアドレスは、ＶＬＡＮ１２０３に対応して、１９２．１６８．３．１７／２４である。各ストレージコントローラは、ＶＬＡＮ１２０３を介して管理ポート６４１にアクセスでき、イーサーネットスイッチ１２０からポート管理テーブルを読み出すことができる。

実施例２のストレージ装置では、イーサーネットスイッチ１２０のスイッチＣＰＵにアクセスできるＶＬＡＮ１２０３とその他のデータ転送用のＶＬＡＮ１２０１、１２０２を分けている。この設定により、ポート管理テーブル読み出し以外のトラフィックがスイッチＣＰＵに流れ込んでスイッチＣＰＵが過負荷になることを防ぐことができる。スイッチＣＰＵが過負荷になれば、イーサーネットスイッチの動作に支障をきたす恐れがある。なお、他の例において、ユーザーデータ転送用のＶＬＡＮと制御データ転送用のＶＬＡＮは同一でもよい。

図１３を参照して、実施例３に係るストレージ装置の説明を行う。実施例３のストレージ装置のイーサーネットスイッチ以外の構成は、実施例１のストレージ装置と同様であるので、説明を省略する。

図１３は、図６のイーサーネットスイッチの構成に、さらに管理ネットワーク接続用のイーサーネットポートを備えたイーサーネットスイッチを説明する図である。図１３のイーサーネットスイッチ１２０において、管理インターフェース６４０は、管理ポート６４１の他にイーサーネットポート１３０１を備える。イーサーネットポート１３０１は、イーサーネットスイッチ１２０の管理ポート１３０２に接続している。さらに、管理ポート１３０２は、管理ネットワーク１３０３に接続している。

管理サーバ１３０４は、管理ネットワーク１３０３を介して、イーサーネットスイッチ１２０の管理ポート１３０２にアクセスできる。管理サーバ１３０４は、ＳＮＭＰやＴｅｌｅｍｅｔｒｙ等の標準的な手段を使ってイーサーネットスイッチ１２０の管理情報を送受信し、イーサーネットスイッチ１２０を管理することができる。換言すれば、ＳＮＭＰやＴｅｌｅｍｅｔｒｙが使えればいいので、管理インターフェース６４０は、イーサーネットポート１３０１を介して、ＲＤＭＡデータ転送を行う必要はない。

図１３のイーサーネットスイッチ１２０のその他の構成は、図６のイーサーネットスイッチ１２０と同様であるので、説明を省略する。

実施例３のストレージ装置によれば、管理ネットワーク経由の従来型のネットワーク管理が必須の環境でも、イーサーネットスイッチを含めたストレージ内部ネットワークを管理することができる。それに加えて実施例１と同様な、ストレージコントローラからイーサーネットスイッチへのインバンドアクセスによる管理も可能である。

図１４から図１８を参照して、実施例４に係るストレージ装置の説明を行う。実施例４のストレージ装置のその他の構成は、実施例１のストレージ装置と同様であるので、説明を省略する。

実施例４のストレージ装置は、ストレージコントローラからの指示を受けたイーサーネットスイッチが、データポートのステートを変更する点に特徴を有する。これは、例えば、障害が発生したストレージコントローラが接続されたデータポートを、別の正常なストレージコントローラからの指示により、イーサーネットスイッチがダウンさせる場合等に有用である。

図１４は、ストレージコントローラ内のプロセッサがエッジインターフェースを介して、データポートのステート変更指示と、イーサーネットスイッチ１２０から共有メモリ６３１内のポート管理テーブルを読み出すシーケンスを説明する図である。

実施例４のストレージ装置において、ストレージコントローラは、ＲＤＭＡ Ｗｒｉｔｅ ｗｉｔｈ Ｉｍｍｅｄｉａｔｅリクエスト使いイーサーネットスイッチ内のポート管理テーブルを更新すると共に、スイッチＣＰＵにデータポートのステート変更を指示する。

ＲＤＭＡ Ｗｒｉｔｅ ｗｉｔｈ Ｉｍｍｅｄｉａｔｅリクエストは、ＲＤＭＡ Ｗｒｉｔｅの動作に加えて、送信元のＱＰから送信先のＱＰにＩｍｍｅｄｉａｔｅ Ｄａｔａを送信することができるリクエストである。スイッチＣＰＵ６２０は、ＲＤＭＡ Ｗｒｉｔｅ ｗｉｔｈ Ｉｍｍｅｄｉａｔｅを受信したＱＰに接続されたコンプリーションキューからＩｍｍｅｄｉａｔｅ Ｄａｔａを取り出すことができる。

ストレージコントローラはエッジインターフェース１０４からＲＤＭＡ Ｗｒｉｔｅ ｗｉｔｈ Ｉｍｍｅｄｉａｔｅリクエストを送信する（１４０１）。このリクエストを受信した管理インターフェース６４０は、共有メモリ６３１内のポート管理テーブルを更新する。

次に、スイッチＣＰＵ６２０は、コンプリーションキューからコンプリーションエントリを回収し、その中に含まれているＩｍｍｅｄｉａｔｅ Ｄａｔａを受信する（１４０２）。このＩｍｍｅｄｉａｔｅ Ｄａｔａには、特定のデータポートをダウンさせる指示が含まれている。

Ｉｍｍｅｄｉａｔｅ Ｄａｔａを受信したスイッチＣＰＵ６２０は、スイッチＡＳＩＣ６０１のポートステートの変更を指示する（１４０３）。スイッチＣＰＵ６２０は、スイッチＡＳＩＣ６０１から、データポートのステータスを繰り返して読み出している（１４０４）。スイッチＣＰＵ６２０は、読み出したデータポートのステータスを共有メモリ６３１内のポート管理テーブルに書き込む（１４０５）。

ストレージコントローラがポート管理テーブルを読み出すため、エッジインターフェース１０４から管理インターフェース６４０へＲＤＭＡ Ｒｅａｄリクエストを送信する。そのＲＤＭＡ Ｒｅａｄリクエストを受信した管理インターフェース６４０は、ポート管理テーブルをエッジインターフェース１０４へ返送する（１４０６、１４０８）。同様に、別のストレージコントローラのエッジインターフェース１１０１からＲＤＭＡ Ｒｅａｄリクエストを受信した管理インターフェース６４０は、ポート管理テーブルをエッジインターフェース１１０１へ返送する（１４０７、１４０９）。

次に、図１５から図１８を用いて、実施例４のストレージ装置におけるポート管理テーブルに格納されているデータ内容の、図１４のシーケンスに伴う変更を説明する。

図１５は、実施例４のストレージ装置におけるポート管理テーブル１５００を説明する図である。ポート管理テーブル１５００は、実施例１のポート管理テーブル６３２と同様に、イーサーネットスイッチ１２０の共有メモリ６３１内に格納されている。ポート管理テーブル１５００は、データポートの識別情報１５０１と、ストレージコントローラから変更を指示された場合の変更後のステートを示す受諾ステート１５０２と、各データポートの管理ステート１５０３と、各データポートの稼働ステータス１５０４を含む。また、ポート管理テーブル１５００は、実施例１のテーブル更新情報９０４と同様なテーブル更新情報１５０５を含む。

図１５のポート管理テーブル１５００は、Ｐｏｒｔ Ｉｄが「０」のデータポートについて、受諾ステート１５０２、管理ステート１５０３、稼働ステータス１５０４が全てｕｐであることを示している。

図１６は、ストレージコントローラからＰｏｒｔ Ｉｄが０のデータポートをｄｏｗｎさせる指示を受信した直後のポート管理テーブル１５００を示す。ポート管理テーブル１５００の内容がストレージコントローラからのＲＤＭＡ Ｗｒｉｔｅによって、スイッチＣＰＵ６２０を介さずに直接書き換えられた結果、受諾ステート１５０２がｄｏｗｎに変更されている。

図１７は、Ｉｍｍｅｄｉａｔｅ Ｄａｔａを受信したスイッチＣＰＵ６２０が、スイッチＡＳＩＣ６０１にＰｏｒｔ Ｉｄが「０」のデータポートをｄｏｗｎさせる指示をした直後のポート管理テーブル１５００を示す。受諾ステート１５０２と管理ステート１５０３がｄｏｗｎに変更されている。

図１８は、スイッチＡＳＩＣ６０１によるＰｏｒｔ Ｉｄが「０」のデータポートのステート変更完了後のポート管理テーブル１５００を示す。受諾ステート１５０２と管理ステート１５０３と稼働ステータスがｄｏｗｎに変更されている。

スイッチＡＳＩＣ６０１がデータポートのステート変更を指示した場合、実際にデータポートのステートが変更されるまでには時間がかかる。そこで、実施例４のストレージ装置では、ポート管理テーブル１５００に受諾ステート１５０２を追加して、間もなくダウンする予定のデータポートの情報を、複数のストレージコントローラ間で共有できるようにしている。これにより、ダウンさせるデータポートに接続されているストレージコントローラへの無効なデータ転送を防止することができる。

上述の例では、ストレージコントローラがデータポートをダウンさせる場合を説明したが、同様な手順により、交換または増設したストレージコントローラを接続したデータポートをアップさせてもよい。

また、エッジインターフェースまたは管理インターフェースの何れかがＲＤＭＡ Ｗｒｉｔｅ ｗｉｔｈ Ｉｍｍｅｄｉａｔｅリクエストをサポートしない場合は、ストレージコントローラがデータポートのステート変更指示をＲＤＭＡ Ｓｅｎｄリクエストで送信し、スイッチＣＰＵが管理インターフェースを介してＲＤＭＡ Ｒｅｃｅｉｖｅリクエストで受信するようにしてもよい。

この場合、ストレージコントローラが送信するポート管理テーブル更新用のＲＤＭＡ Ｗｒｉｔｅとデータポート変更指示用のＲＤＭＡ Ｓｅｎｄは、連続していればそれらの送信順序はどちらが先でもよい。また、ストレージコントローラがエッジインターフェースからＲＤＭＡ Ｗｒｉｔｅ ｗｉｔｈ Ｉｍｍｅｄｉａｔｅリクエストを送信する代わりに、スイッチＣＰＵ６２０へ割込みを送信してもよい。その場合、割込みを受信したスイッチＣＰＵ６２０は、データポートのステートを変更する。

図１９から図２０を参照して、実施例５に係るストレージ装置の説明を行う。実施例５のストレージ装置のその他の構成は、実施例１のストレージ装置と同様であるので、説明を省略する。

実施例５のストレージ装置は、ストレージコントローラからの指示を受けたイーサーネットスイッチが、ポート管理テーブルの内容を更新する点に特徴を有する。これは、例えば、ストレージコントローラが、最新の内容に更新されたポート管理テーブルを読み出したことを確認する場合に有用である。

図１９は、実施例５のストレージ装置における、ストレージコントローラからのポート管理テーブル読み出しシーケンスを説明する図である。先ず、ストレージコントローラは、エッジインターフェース１０４から管理インターフェースへＲＤＭＡ Ｗｒｉｔｅリクエストを送信する（１９０１）。このリクエストは共有メモリ内に格納された更新管理テーブルの更新フラグを０にクリアする。次に、この更新管理テーブルについて説明した後、図１９のシーケンスの説明に戻る。

図２０は、更新管理テーブル２０００を説明する図である。更新管理テーブル２０００は、エッジインターフェースとストレージ制御プログラムが動作するプロセッサコアとを識別する情報２００１と、更新フラグ２００２を含む。更新フラグは、例えば、「０」の場合はポート管理テーブルが未更新であることを示し、「１」の場合はポート管理テーブルが更新済みであることを示す。

更新管理テーブル２０００は，エッジインターフェース及びプロセッサコア毎に更新フラグを設定可能になっている。これにより、ストレージコントローラは、各プロセッサコア上で動作するストレージ制御プログラム及びエッジインターフェース毎にポート管理テーブルの更新状況を確認することができる。

図１９の説明に戻る。次に、ストレージコントローラは、スイッチＣＰＵ６２０に、ポート管理テーブルの更新を指示するための割込みを送信する（１９０２）。ここで、ストレージコントローラは割込みを送信する代わりに、実施例４と同様にＲＤＭＡ Ｗｒｉｔｅ ｗｉｔｈ Ｉｍｍｅｄｉａｔｅリクエストを送信することにより、スイッチＣＰＵ６２０にポート管理テーブル更新を指示してもよい。

割込みを受信したスイッチＣＰＵ６２０は、スイッチＡＳＩＣ６０１のポートステータスを読み出し（１９０３）、その結果をポート管理テーブルに書き込む（１９０４）。さらにスイッチＣＰＵ６２０は、更新管理テーブル２０００のエッジインターフェース１０４及びストレージコントローラのコアに対応する更新フラグ２００２に、更新済みであることを示す「１」を書き込む。

ストレージコントローラは、ポート管理テーブルを読み出すため、エッジインターフェース１０４から管理インターフェース６４０へＲＤＭＡ Ｒｅａｄリクエストを送信する。そのＲＤＭＡ Ｒｅａｄリクエストを受信した管理インターフェース６４０は、ポート管理テーブルをエッジインターフェース１０４へ返送する（１９０５）。その際、ストレージコントローラが更新管理テーブル２０００も同時に読み出す。

図１９のシーケンスでは、ストレージコントローラがポート管理テーブルを読み出す前に更新フラグをクリアしていたが（１９０１）、ポート管理テーブル読み出し後に更新フラグをクリアしてもよい。その場合、ストレージコントローラは、ポート管理テーブルを読み出した後、ＲＤＭＡ Ｗｒｉｔｅリクエストを送信して更新管理テーブル２０００の上記更新フラグ２００２に、未更新を示す「０」を書き込む。ストレージコントローラは、エッジインターフェース１０４に対応する更新フラグを読み出すことにより、ポート管理テーブルが更新済みか否かを確認することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成・機能・処理部等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスクドライブ、ソリッドステートドライブ等の記録装置の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。

１００ ストレージ装置、１２０、１３０ イーサーネットスイッチ、１０１、１１１、３２０、３３０ ストレージノード、１０４、１０５、４２３ エッジインターフェース
１０２、１０３、３２７、３３７、５２７ ストレージコントローラ、２００、２１０、４２２、５１０ プロセッサ、２０１、２１１ プロセッサコア、２０２、２１２ メモリ、２０３、２１３、５１１、５１２ ＮＴＢ、２０４、２１４ フロントエンドインターフェース、２０５、２１５ バックエンドインターフェース、２０７、２１７ イーサーネットポート、２２０ ＮＴＢリンク、２３０ ドライブボックス、３０１、３２１、３３１ ユーザーデータメモリ、３０２、３２２、３３２ 制御データメモリ、３０３、３０４、３０５、３０６、３２３、３２４、３２５、３２６、３３３、３３４、３３５、３３６、８０１、８０２、８１１、８１２ ＱＰ、４００ ホストシステム、４０１ バッファ領域、４２１、５２１ キャッシュメモリ、６０１ スイッチＡＳＩＣ、６１０ データポート、６２０ スイッチＣＰＵ、６３０ スイッチメモリ、６３１ 共有メモリ、６３２ ポート管理テーブル、６４０ 管理インターフェース、６４１ １３０２ 管理ポート、１３０１ イーサーネットポート

Claims (15)

1. ストレージ装置であって、
   スイッチと、
   前記スイッチを介して通信する複数のストレージコントローラと、を含み、
   前記スイッチは、
   スイッチプロセッサと、
   複数のデータポートと、
   前記複数のデータポート間でデータを転送するスイッチ集積回路と、
   メモリと、
   管理インターフェースと、を含み、
   前記複数のデータポートの一つと管理インターフェースの管理ポートとが接続され、
   前記スイッチプロセッサは、前記スイッチ集積回路から取得した前記複数のデータポートのステータスを、前記メモリに格納し、
   前記複数のストレージコントローラは、前記複数のデータポートと前記管理ポートとを介して前記管理インターフェースにアクセスし、前記管理インターフェースから前記メモリに格納された前記複数のデータポートのステータスを受信する、ストレージ装置。
2. 請求項１記載のストレージ装置であって、
   前記複数のストレージコントローラ及び前記管理インターフェースは、リモート直接メモリアクセスによるデータ転送が可能であり、
   前記スイッチプロセッサは、前記複数のデータポートのステータスを前記メモリ内の共有メモリ領域に格納し、
   前記複数のストレージコントローラは、前記管理インターフェースに前記リモート直接メモリアクセスのコマンドを送信して、前記共有メモリ領域から前記複数のデータポートのステータスを取得する、ストレージ装置。
3. 請求項１記載のストレージ装置であって、
   前記複数のストレージコントローラと前記管理インターフェースとの間のデータ転送は、前記複数のストレージコントローラ間のデータ転送より高い優先度に設定される、ストレージ装置。
4. 請求項１記載のストレージ装置であって、
   前記複数のストレージコントローラと前記管理インターフェースとの間のデータ転送を行う仮想ネットワークは、前記複数のストレージコントローラ間のデータ転送を行う仮想ネットワークと異なる仮想ネットワークである、ストレージ装置。
5. 請求項１記載のストレージ装置であって、
   前記複数のデータポートの一つと前記管理ポートを接続するリンクの帯域は、前記複数のストレージコントローラと前記複数のデータポートとを接続するリンクの帯域より小さい、ストレージ装置。
6. 請求項１記載のストレージ装置であって、
   前記管理インターフェースは、さらに管理ネットワークに接続されるイーサーネットポートを含む、ストレージ装置。
7. 請求項１記載のストレージ装置であって、
   前記複数のストレージコントローラが、前記スイッチプロセッサに、前記複数のデータポートのステート変更を指示する、ストレージ装置。
8. 請求項１記載のストレージ装置であって、
   前記複数のストレージコントローラが、前記スイッチプロセッサに、前記複数のデータポートのステータスを前記スイッチ集積回路から取得することを指示する、ストレージ装置。
9. ストレージ装置において、スイッチのデータポートステータスを読み出す方法であって、
   前記ストレージ装置は、
   スイッチと、
   前記スイッチを介して通信する複数のストレージコントローラと、を含み、
   前記スイッチは、
   スイッチプロセッサと、
   複数のデータポートと、
   前記複数のデータポート間でデータを転送するスイッチ集積回路と、
   メモリと、
   管理インターフェースと、を含み、
   前記複数のデータポートの一つと管理インターフェースの管理ポートとが接続され、
   前記方法は、
   前記スイッチプロセッサが、前記スイッチ集積回路から取得した前記複数のデータポートのステータスを、前記メモリに格納し、
   前記複数のストレージコントローラが、前記複数のデータポートと前記管理ポートとを介して前記管理インターフェースにアクセスし、前記管理インターフェースから前記メモリに格納された前記複数のデータポートのステータスを受信する、ことを含む方法。
10. 請求項９に記載の方法であって、
    前記複数のストレージコントローラが、前記スイッチプロセッサに、前記複数のデータポートのステート変更を指示する、ことを含む方法。
11. 請求項９に記載の方法であって、
    前記複数のストレージコントローラが、前記スイッチプロセッサに、前記複数のデータポートのステータスを前記スイッチ集積回路から取得することを指示する、ことを含む方法。
12. 請求項９に記載の方法であって、
    前記方法は、
    前記スイッチプロセッサが、前記複数のデータポートのステータスを前記メモリ内の共有メモリ領域に格納し、
    前記複数のストレージコントローラが、前記管理インターフェースにリモート直接メモリアクセスのコマンドを送信して、前記共有メモリ領域から前記複数のデータポートのステータスを取得する、ことを含む方法。
13. 請求項９に記載の方法であって、
    前記複数のストレージコントローラと前記管理インターフェースとの間のデータ転送は、前記複数のストレージコントローラ間のデータ転送より高い優先度に設定される、方法。
14. 請求項９に記載の方法であって、
    前記複数のストレージコントローラと前記管理インターフェースとの間のデータ転送を行う仮想ネットワークは、前記複数のストレージコントローラ間のデータ転送を行う仮想ネットワークと異なる仮想ネットワークである、方法。
15. 請求項９に記載の方法であって、
    前記複数のデータポートの一つと前記管理ポートを接続するリンクの帯域は、前記複数のストレージコントローラと前記複数のデータポートとを接続するリンクの帯域より小さい、方法。

Images