JP2005505814A - 記憶ネットワーク中の負荷平衡 - Google Patents

Abstract

【課題】サーバーと記憶装置とを接続する記憶ネットワークを提供する。
【解決手段】本発明の実施の形態では、記憶アクセスのためのサービスの品質（ＱｏＳ）を提供するスイッチ（２０４）を備える。ＱｏＳは、記憶装置（２０６）の自動的プール化と、これらのプール（８０２）からの仮想ターゲットの提供により部分的に可能化される。ＱｏＳは、各接続について帯域幅を指定された範囲内に維持することにより、より詳細には、イニシエーター（サーバー、２０２）からの許容される同時的要求数を制御することにより、行われる。負荷平衡も本発明の実施の形態では提供されて、要求に対する応答時間を改良して、さらに、ＱｏＳを提供することを容易にする。
【選択図】図８

Description

【技術分野】
【０００１】
関連出願
本願は、２００１年９月２８日出願の米国仮出願シリアル番号第６０／３２５，７０４号、「記憶エリア・ネットワークのための記憶スイッチ」の優先権を主張する。ここに参照により組み込む。
【０００２】
また、本願は同時に出願された次の出願にも関係する。ここに参照により組み込む。
「記憶エリア・ネットワークのための記憶スイッチ」
米国シリアル番号第１０／０５１，３２１号
「記憶システム内のプロトコル翻訳」
米国シリアル番号第１０／０５１，４１５号
「サーバー無し記憶サービス」
米国シリアル番号第１０／０５１，１６４号
「記憶システム内のパケット分類」
米国シリアル番号第１０／０５１，０９３号
「記憶システムの仮想化」
米国シリアル番号第１０／０５１，３９６号
「記憶ネットワーク内のサービスの品質の実行」
米国シリアル番号第１０／０５１，３３９号
「記憶ネットワーク内の記憶資源の供給とプーリング」
米国シリアル番号第１０／０５０，９７４号
【０００３】
技術分野
本発明は、一般に、記憶エリア・ネットワークに関連する。
【０００４】
背景技術
データ集中アプリケーションの急激な成長は生データ記憶容量に対する需要を増加し続けている。企業がｅコマース、オンライン取引、及びデータベースにより依存するにつれて、管理及び記憶する必要のある情報量が巨大となる。この結果、より多くの記憶を追加し、より多くのユーザにサービスし、そしてより多くのデータをバックアップの進行する必要性は、とても厄介な作業となる。
【０００５】
データのこの成長する需要を満たすために、記憶エリア・ネットワーク（ＳＡＮ）の概念が人気を得ている。ＳＡＮは、記憶ネットワーク産業協会（ＳＮＩＡ）により、コンピュータ・システムと記憶要素との間、及び記憶要素間のデータ転送を主要な目的とするネットワークとして定義される。記憶装置をサーバーに直接に、例えば、ＳＣＳＩ接続により接続するのとは異なり、イーサネット（登録商標）（例えば、ＮＡＳシステム）等の伝統的なイーサネットによりＬＡＮに記憶装置を追加するのとは異なり、ＳＡＮは、直接接続ＳＣＳＩ及びＮＡＳカウンタパートのように同じ帯域幅限界を持つ傾向がない本質的に独立なネットワークを形成し、また、増大した構成可能性とスケーラビリテイを提供する。
【０００６】
より詳細には、ＳＡＮ環境では、記憶装置（例えば、テープ・ドライブ及びＲＡＩＤ配列）及びサーバーは、一般にさまざまなスイッチ及び装置を経由して相互接続される。普通、スイッチ及び装置への接続は、ファイバー・チャンネルである。一般に、この構造は、ＳＡＮ上のいずれのサーバーもいずれの記憶装置に通信可能にし、また、この逆も可能にする。さらに、サーバーから記憶装置への代替的経路を提供する。換言すると、もし、特定のサーバーが遅い又は完全に利用不可能な場合、ＳＡＮ上の別のサーバーが記憶装置へのアクセスを提供できる。また、ＳＡＮは、複数のコピーを可能にするミラー・データを可能にし、従って、データの利用可能性の信頼性を高める。より多くの記憶が必要とされる場合、追加の記憶装置を特定のサーバーに接続する必要無くしてＳＡＮに追加でき、新規な装置を記憶ネットワークに単純に追加でき、いずれのポイントからもアクセスできる。
【０００７】
図１の機能ブロック図に、ＳＡＮの一例がシステム１００中に示されている。図示するように、１つ又は複数のサーバー１０２が存在する。これらのサーバー１０２は例示目的ためにのみ示す。サーバー１０２は、イーサネット接続を介してＬＡＮ１０６及び／又はルーター１０８へ接続され、そして、インターネットなどのＷＡＮ１１０に接続される。さらに、各サーバー１０２は、時々、ＳＡＮの「ファブリック」と呼ばれる複数のファイバー・チャンネル・スイッチ１１２の各々にファイバー・チャンネル接続を介して接続されている。２つのスイッチ１１２が、説明目的のためにのみ示されている。そして、各スイッチ１１２が、複数のＳＡＮ装置１１４の各々に接続されている。２つの装置１１４は説明目的のためにのみ示されている。そして、各装置は、テープ・ドライブ、光ドライブ、又はＲＡＩＤ配列などの複数の記憶装置の各々に接続されている。さらに、各スイッチ１１２と装置１１４はルーター１０８に接続されたゲートウェイ１１８に接続されていて、最終的には、インターネットなどのワイド・エリア・ネットワーク（ＷＡＮ）１８へ接続されている。図１は、スイッチ１１２、装置１１４、記憶装置１１６、及びゲートウェイ１１８を含むＳＡＮ１１９の可能な構成の一例を示す。他の構成も可能である。例えば、１つの装置が全てのスイッチよりも少なく接続してもよい。
【０００８】
装置１１４は、ＳＡＮの記憶管理を実行する。装置１１４がデータを受信すると、それは装置１１４内のメモリにデータを記憶する。そして、プロセッサ（また、装置内にある）により、データを正しい記憶装置へ転送するためにデータを解析して操作する。この、記憶そして転送プロセスは、典型的にデータ・アクセスの速度を低下する。
【０００９】
装置はあるスイッチングを実行するが、多数のサーバーが存在し（３つよりも多数）、各装置はわずかなポートを持つため（普通、２つ又は４つのみ）、スイッチ１１２が多くのサーバーを少ない装置へ接続するために必要とされる。それにもかかわらず、スイッチ１１２はほとんどビルトイン・インテリジェンスを持たず、単に、データを選択された装置１１４へ転送するだけである。装置の１つの限界は、多くの装置がしばしば制限された又は設定数のポートを持つという事実である。ポートを装置に追加することは可能であるが、典型的に大変に高価である。各１つ又は２つのポートは高価なＣＰＵ又はサーバー・カードによりサポートされている。従って、ポートを追加することは、全ファイル・カード（記憶及び転送機能と仮想化を実行する）を装置に追加しなければならず、普通は大変に高価である。代替的には、装置を単にＳＡＮに追加することである。しかし、これは大変に費用がかかる傾向を持つ。
【００１０】
さらに、ＳＡＮは、普通、装置１１４内で「仮想化」として知られる機能を一般に実行する。仮想化は、１つ又は複数の物理的記憶装置の空間が特定のユーザに割当てられるが、その空間の物理的位置がユーザに未知のままに留まる時に発生する。例えば、ユーザはその会社の「エンジニアリング記憶空間」ＥＮＧ：をアクセスすることができる。彼又は彼女が取付けられたディスク装置をアクセスして又は「見る」時、仮想空間ＥＮＧ：にアクセスして「見る」。それにもかかわらず、ＥＮＧ：空間は、いくつかの物理記憶装置上に分割でき、又は、単一記憶装置上で断片化さえできる。従って、サーバーが仮想装置（例えば、ＥＮＧ：）及びブロック番号を要求する時、装置は、要求された仮想装置と物理的に相互に関連する記憶装置を決定し、それにデータを送らなければならない。
【００１１】
ＳＡＮは、数年前に導入されたが、幅広い使用については、相互操作性問題、利用可能な熟練の欠如、及び高い導入コストが、大きな障害として残っている。例えば、現在のＳＡＮは、高い配備コストと高い管理コストを有する。再び、図１を参照すると、スイッチ、装置、及びゲートウェイの各々は典型的に異なる売り手からのものであり、売り手特有管理ツールの多用を生じ、標準的な管理の欠如を生む。この結果、ＳＡＮを配備するために、装備を複数の売り手から購入しなければならない。図１に示すように，スイッチ、装置、ゲートウェイ、記憶装置、サーバー、及び、ルーターの各々は、管理ステーション１２０として示されるそれ自身の管理を有する。独立の物理的管理ステーションが示されているが、しばしば独立な管理は、互いに通信しない単一コンピュータ上の売り手特有の独立のソフトウェアの形式であることを理解する。この結果、ＳＡＮの中央管理が存在せず、普通、多くの人による管理がしばしば必要な複数の管理ステーションが存在するため、その管理コストは高い。
【００１２】
さらに、ＳＡＮのために仮想ターゲットを供給すること（又は、「生成する」こと）は、重荷になっている。新しい仮想ターゲットの生成が必要な時、人間の管理者は、性能、初期に必要な容量と潜在的な成長に必要な容量、データ利用可能性、及びデータ保護など、データについてのアプリケーション要求を最初に決定しなければならない。より詳細には、管理者は１つ又は複数の物理装置の一部又は全部を仮想ターゲットに割当て、そして最良の性能を作り及びデータ安全性のためのアクセス制御を作るためにこれらの装置を構成しなければならない。管理者はさらに、記憶ネットワークを通るルートが必要とされる利用可能性のレベルを持つことを確保し、そしてもし、１つの経路がダウンした時にターゲットへの別の経路が利用可能となるように、高い利用可能性が必要とされる場合は代替的な経路を導入しなければならない。さらに、管理者は仮想ターゲットがアクセス可能となる前に機能性を証明するために環境を試験しなければならない。全体に、このような仮想ターゲットを生成するために数日又は数週間を要して、この期間はＳＡＮのユーザにとってしばしば受け入れることができない。
【００１３】
発明の開示
本発明の１つの実施の形態によるシステムは、スイッチとの通信で自動的に記憶資源を発見して、それら資源の性質に関する情報を得る。１つの実施の形態では、性質が知られると、装置は予め定義されたポリシーに従って分類され、そして記憶プール中に置かれる。
【００１４】
プールから、仮想ターゲットが供給できる。１つの実施の形態では、仮想ターゲットはユーザ・ドメインに置かれる。また、イニシエーター接続が１つの実施の形態で供給される。仮想ターゲット、イニシエーター接続、及びユーザ・ドメインの全てが１つの実施の形態ではサービスの品質（ＱｏＳ）ポリシーを定義するために機能する。
【００１５】
本発明の別の実施の形態によるシステムは、さらにイニシエーターとターゲットとの間の接続のためのサービスの品質を実行できる。１つの実施の形態では、サービスの品質は、イニシエーターからターゲットへ送ることのできる同時的要求を制御することにより実行される。
【００１６】
本発明のさらに別の実施の形態によるシステムは、負荷平衡を動的に供給できる。１つの実施の形態では、負荷平衡は選択された経路が最短の平均応答時間を有するターゲットへの複数の代替的経路の１つに要求を送ることにより実行される。別の実施の形態では、負荷平衡は最短の平均応答時間を持つミラーされたターゲットへ要求を送るミラーされたターゲット内で実行される。
以下に、本発明の特定の例示的な実施の形態を添付図面を参照して説明する。
【００１７】
実施の形態の説明
図２に示されるシステム２００は本発明による記憶スイッチを含む。図示されるように、このようなシステムは既存のシステムを大幅に簡潔にする。１つの実施の形態では、システム２００は複数のサーバー２０２を有する。説明目的のために、３つのサーバー２０２が示されるが、他の実施の形態ではより多い又は少ないサーバーも使用できる。図示しないが、サーバーはＬＡＮにも接続できる。図示するように、各サーバー２０２は記憶スイッチ２０４に接続される。しかし、別の実施の形態では、各サーバー２０２は存在する記憶スイッチ２０４の全てよりも少ないものに接続してよい。サーバーとスイッチとの間に形成される接続はどんなプロトコルを使用できるが、１つの実施の形態では、接続はファイバー・チャンネル又はギガビット・イーサネット（ｉＳＣＳＩプロトコルに従いパケットを運ぶ）のいずれかである。他の実施の形態は、インテル社により定義されるインフイニバンド・プロトコル、又は他のプロトコル又は接続を使用してもよい。
【００１８】
図示された実施の形態では、各スイッチ２０４は次に複数の記憶装置又はサブシステム２０６の各々に接続される。しかし、他の実施の形態では、各スイッチ２０４は全ての記憶装置又はサブシステム２０６よりは少ないものに接続できる。記憶スイッチ２０４と記憶装置２０６との間に形成される接続はどんなプロトコルも使用できるが、１つの実施の形態では、接続はファイバー・チャンネル又はギガビット・イーサネットのいずれかである。
【００１９】
いくつかの実施の形態では、１つ又は複数のスイッチ２０４の各々がメトロポリタン・エリア・ネットワーク又はインターネットなどのワイド・エリア・ネットワーク２０８に接続される。記憶スイッチ２０４とＷＡＮ２０８との間に形成される接続は一般に大部分の実施の形態ではインターネット・プロトコル（ＩＰ）を使用する。ＭＡＮ／ＷＡＮ２０８に直接的に接続しているように図示されるが、他の実施の形態ではスイッチ２０４とＭＡＮ／ＷＡＮ２０８との間に中間にルーター（図示しない）を使用してよい。
【００２０】
さらに、それぞれの管理ステーション２１０が、各記憶スイッチ２０４へ、各サーバー２０２へ、及び各記憶装置２０６へ接続している。管理ステーションが別々のコンピュータとして示されているが、単一コンピュータへに集中された装置の各タイプを管理するためのソフトウェアであることが理解される。
【００２１】
図３は、本発明の代替的な実施の形態によるシステムを示す。このような実施の形態では、２つのＳＡＮ３０２、３０４が形成されて、各々が本発明の実施の形態により１つ又は記憶スイッチ２０４を使用する。ＳＡＮ３０２及び３０４は、インターネットなどのＷＡＮ２０８を介してスイッチ２０８により接続されている。接続２０８はどんな標準又はプロトコルであることができ、しかし、１つの実施の形態では、ソネット上のパケット（ＰｏＳ）又は１０ギガビット・イーサネットである。
【００２２】
図４は、本発明のさらに別の実施の形態のシステムを示すもので、スイッチ２０４が互いに直接的に接続されている。図２又は３に示される実施の形態のいずれでも、もし、１つより多いスイッチが使用される場合、これらのスイッチは図４に示すように接続できる。
【００２３】
本発明による記憶スイッチは、広範囲に分布された非常に多数の管理ステーションと多数の熟練した管理用人員を持つ代りに、共有記憶プールとして使用できる広範囲に分布された記憶装置の集中管理を可能にする。このような記憶スイッチは、「インテリジェント」スイッチであり、図２と図１を比較することで理解できるように、スイッチ、装置、及びゲートウェイの機能は本発明の１つの実施の形態による記憶スイッチ２０４中に効率的に統一化されている。そのスイッチング機能に加えて、このような記憶スイッチ２０４は従来のアーキテクチャでは装置により典型的に提供される仮想化と記憶装置（例えば、ミラーリング）を提供し、またプロトコル翻訳を提供する。また、本発明のいくつかの実施の形態による記憶スイッチは追加の機能を実行する（例えば、仮想プライベート・ネットワークを介してのデータ・セキュリテイ）。このような追加の機能は、負荷平衡など伝統的にサーバーにより実行される従来システムでは他の装置により実行される機能、及び、記憶アクセスのためのサービスの品質など従来のシステムでは以前利用できなかった他の機能を含む。さらに、１つの実施の形態では、記憶アクセス機能のためのサービスの品質が「アプリケーション認識」、すなわち、提供されるサービスの品質は記憶ターゲットへの接続を開始するアプリケーションの性質により指定される。
【００２４】
さらに、本発明による実施の形態によれば記憶スイッチのインテリジェンスは各スイッチ・ポートへ配達される。この配達されたインテリジェンスは、システムのスケーラビリテイと利用可能性を可能にする。
【００２５】
さらに、配達されたインテリジェンスは本発明の１つの実施の形態によるスイッチがデータを「ワイヤ速度」、記憶スイッチ２０４が典型的なネットワーク・スイッチ（図１中のスイッチ１１２など）により導入されるもの以上の待ち時間をデータパケットに導入しないことを意味する、で処理することを可能にする。すなわち、スイッチに対する「ワイヤ速度」は特定のポートへの接続により測定される。従って、ＯＣ−４８接続を有する１つの実施の形態では、記憶スイッチはＯＣ−４８速度（２．５ビットｎ秒）を達成できる。ＯＣ−４８速度で移動する２キロバイト・パケット（１０ビット・バイトを持つ）は、スイッチに入るのに８マイクロ秒の短い時間を要する。１キロパイト・パケットは、４マイクロ秒の短い時間を要する。１００バイトの最小パケットは、単に４００ｎ秒だけを要する。しかし、言葉「ワイヤ速度」処理がここで使用される時、このような処理が１００バイト・パケットを処理するために４００ｎ秒の短い時間を要することを意味するのではない。それは１つの実施の形態で記憶スイッチがＯＣ−４８速度で１５００バイト（１バイトが１０ビットであるように、１０ビット符号化を持つ）の最大イーサネット・パケットを処理できること、すなわち、約６μ秒（キロバイト当たり４μ秒、又は、ｎ秒当たり２．５ビット）で処理できることを意味する。１ＧＢイーサネット・ポートを持つ実施の形態では、処理が一般にナノ秒当たり１ビットとして定義される場合、そのポートの「ワイヤ速度」データはキロバイト当たり１０μ秒となり、スイッチがキロバイトを処理するために１０μ秒までを有する。２ＧＢファイバー・チャンネルを持つ実施の形態では、「ワイヤ速度」はキロバイト当たり５μ秒となる。さらに別の実施の形態は、１０ギガバイト・イーサネット又はＯＣ−１９２又はそれ以上でデータ処理をしてもよい。
【００２６】
ここで使用される「仮想化」は、本質的に、ユーザに与えられた仮想ターゲット空間を１つ又は複数の物理的記憶ターゲット装置上の空間へマッピングすることを意味する。「仮想」及び「仮想ターゲット」は、加入者毎に割当てられた記憶空間が記憶スイッチ２０４に接続する１つ又は複数の物理的記憶ターゲット装置のどこでも良いという事実から来る。物理的空間は、１つ又は複数の「論理単位」（ＬＵ）を含むことのできる「仮想ターゲット」として供給できる。各仮想ターゲットは、しばしば、ｉＳＣＳＩ及びＦＣプロトコルで使用される１つ又は複数のＬＵ番号（ＬＵＮ）で識別される１つ又は複数のＬＵからなる。各論理単位は、一般に１つ又は複数のエクステント、物理的装置上の記憶空間の連続したスライス、を含む。すなわち、仮想ターゲットは記憶装置全体（１エクステント）、単一記憶装置の一部（１つ又は複数のエクステント）、又は、複数の記憶装置の部分（複数エクステント）を占めることができる。物理的装置、ＬＵ、エクステント数、及びそれらの正確な位置は加入者ユーザには重要ではなく、そして見ることができない。
【００２７】
記憶空間はいくつかの異なる記憶装置から来てもよいが、各仮想ターゲットは時々ここで「ドメイン」と呼ばれる１つ又は複数の「プール」に属している。同じドメインのユーザのみが彼等のドメイン中の仮想ターゲットを共有することを許される。また、ドメイン組がメンバーとしていくつかのドメインを含んで形成できる。ドメイン組の使用は複数ドメインのユーザの管理を容易にする。例えば、もし、１つの会社が５つのドメインを持つが、サービスを止めることを選択した場合、単に１つの動作がそのドメイン組を全体として使用不可能にするのに必要とされる。ドメイン組のメンバーは他のドメインのメンバーであることができる。
【００２８】
図５は、本発明の実施の形態による記憶スイッチ２０４の機能ブロック図である。１つの実施の形態では、記憶スイッチ２０４は複数のラインカード５０２、５０４及び５０６と、複数のファブリック・カード５０８と、２つのシステム制御カード５１０とを含む。以下に、各々を詳細に説明する。
【００２９】
システム制御カード
２つのシステム制御カード５１０の各々は、全てのラインカード５０２、５０４、５０６に接続している。１つの実施の形態では、このような接続は、ＳＣＣとのイーサネット接続を介して周知のＩ²Ｃ信号により形成される。ＳＣＣは、Ｉ²Ｃ接続により、電源投入の制御と、個別のラインカード及びファブリック・カードの監視をする。イーサネット接続を介してのカード内通信を使用して、ＳＣＣはさまざまな記憶サービス、例えば、仮出願番号第６０／３２５，７０４号に記載されるスナップショップ及び複製、を開始する。
【００３０】
さらに、ＳＣＣは、スイッチに接続された物理的装置と、例えば、サーバー及び記憶装置と、全ての仮想ターゲットと、記憶スイッチとの構成情報を追跡するデータベース５１２を維持する。さらに、データベースは、使用、エラー、アクセス・データ、ユーザ、仮想ターゲットのドメイン組及び異なるドメインに関する情報を維持する。データベースのレコードは、ここでは「オブジェクト」と呼ばれる。イニシエーター（例えば、サーバー）及びターゲット（例えば、記憶装置）は、周知のワールド・ワイド・ユニーク識別子（ＷＷＵＩ）を持つ。データベースは、ＳＣＣ内のメモリ装置内に維持される。１つの実施の形態では、メモリ装置はフラッシュ・メモリから形成されている。しかし、他のメモリ装置も満足である。
【００３１】
記憶スイッチ２０４は、管理ステーション２１０によりイーサネット接続を使用してＳＣＣ５１０を介して到達できる。従って、ＳＣＣは、管理ステーションに接続するために追加のイーサネット・ポートを含む。
【００３２】
２つのＳＣＣ５１０の内の１つは主動作ＳＣＣである。他は予備であり、記憶スイッチ中の動作に同期しているが、直接にはそれらを制御しない。ＳＣＣは、もし１つのＳＣＣが故障したならば、他が主コントローラとなるという、高度の利用可能性モードで動作する。
【００３３】
ファブリック・カード
スイッチ２０４の１つの実施の形態では、３つのファブリック・カード５０８が存在する。他の実施の形態では、より多い又は少ないファブリック・カードを持つことができる。１つの実施の形態では、各ファブリック・カード５０８は、ラインカード５０２、５０４、及び５０６の各々に接続し、全てのラインカードを一緒に接続する役割を果たす。１つの実施の形態では、ファブリック・カード５０８の各々は、全てのラインカードが充たされている時、最大トラフイックを処理できる。各ラインカードにより処理されるこのようなトラフイック負荷は、１つの実施の形態で、１６０Ｇｂｐｓまでである。他の実施の形態では、より高い又は低い最大トラフイック容積を処理できる。もし、１つのファブリック・カード５０８が故障した場合、２つの生き残ったカードは可能な最大スイッチ・トラフイック：１つの実施の形態では、各ラインカードは２０Ｇｂｐｓのトラフイック、１０Ｇｂｐｓ入場及び１０Ｇｂｐｓ出場を発生する、に対する十分な帯域幅をまだ持つ。しかし、通常の環境下では、３つの全てのファブリック・カードが同時に活動する。各ラインカードから、データ・トラフイックがデータを収容できる３つのファブリック・カードのいずれか１つに送信される。
【００３４】
ラインカード
ラインカードは、サーバー装置及び記憶装置への接続を形成する。１つの実施の形態では、記憶スイッチ２０４は、１６ラインカードまで支援する。他の装置では異なる数を支援できる。さらに、１つの実施の形態では、３つのタイプのラインカードが使用される。ギガビット・イーサネット（ＧｉｇＥ）カード５０２と、ファイバー・チャンネル（ＦＣ）カード５０４と、ＷＡＮカード５０６とである。他の実施の形態はより多い又は少ないタイプのラインカードを含んでも良い。ＧｉｇＥカード５０２は、１つの実施の形態ではｉＳＣＳＩサーバー又はｉＳＣＳＩ記憶装置（又は、他のイーサネット・ベース装置）のいずれかに接続する、イーサネット接続用である。ＦＣカード５０４は、ファイバー・チャンネル・プロトコル（ＦＣＰ）サーバー又はＦＣＰ記憶装置のいずれかに接続するファイバー・チャンネル接続用である。ＷＡＮカード５０６は、ＭＡＮ又はＷＡＮに接続するためである。
【００３５】
図６は、本発明の実施の形態による記憶スイッチ２０４に使用される一般的なラインカード６００の機能ブロック図を示す。この図は、全てのタイプのラインカード、例えば、ＧｉｇＥ５０２、ＦＣ５０４、又はＷＡＮ５０６、において共通なコンポーネントを示す。他の実施の形態では、ラインカードの他のタイプが、インフイニバンドなどの他のプロトコルを使用する装置へ接続するために使用できる。ラインカードの相異点は後で説明する。
【００３６】
ポート
各ラインカード６００は、複数のポート６０２を含む。ポートは、サーバー又は記憶装置のいずれかへのラインカードの接続を形成する。図示された実施の形態では８つのポートが示されているが、他の実施の形態ではより多い又は少ないものが使用できる。例えば、１つの実施の形態では、各ＧｉｇＥカードは８つまでの１Ｇｂイーサネット・ポートを支援でき、各ＦＣカードは８つの１ＧｂＦＣポート又は４つの２ＧｂＦＣポートのいずれかまでを支援でき、各ＷＡＮカードは４つのＯＣ−４８ポート又は２つのＯＣ−１９２ポートのいずれかまでを支援できる。従って、１つの実施の形態では、最大の可能な接続は、スイッチ２０４当たり１２８ポートである。各ラインカードのポートは、フルデュプレックスであり、サーバー又は他のクライアントのいずれか、又は、記憶装置又はサブシステムへ接続する。
【００３７】
さらに、各ポート６０２は、付随メモリ６０３を持つ。単に１つのメモリ装置が１つのポートに接続されているのが示されているが、各メモリポートはそれ自身のメモリ装置を有してよく、また、全てのポートが単一のメモリ装置へ接続してもよい。説明の簡潔のため、単一のメモリ装置がここでは１つのポートに接続されているのが示されている。
【００３８】
記憶プロセッサ・ユニット
１つの実施の形態では、各ポートは記憶プロセッサ・ユニット（ＳＰＵ）６０１と関連付けられる。１つの実施の形態では、ＳＰＵは、データ・トラフイックを高速に処理して、ワイヤ速度操作を可能にする。１つの実施の形態では、ＳＰＵはいくつかの要素：パケット集合及び分類エンジン（ＰＡＣＥ）６０４、パケット処理ユニット（ＰＰＵ）６０６、ＳＲＡＭ６０５、及びＣＡＭ６０７、を含む。他の実施の形態はより多い又は少ない要素を使用でき、また、同じ機能を得るために要素を結合できる。例えば、いくつかの実施の形態は、ＳＰＵ内にＰＡＣＥ及びＰＰＵを含むが、ＳＰＵはメモリ要素を他のＳＰＵと共有することができる。
【００３９】
ＰＡＣＥ
各ポートは、パケット集合及び分類エンジン（ＰＡＣＥ）６０４に接続されている。図示されるように、ＰＡＣＥ６０４は２つのポートを二倍の帯域幅を有する単一データ・チャンネルに集合する。例えば、ＰＡＣＥ６０４は、２つの１Ｇｂポートを単一の２Ｇｂデータ・チャンネルに集合する。ＰＡＣＥは、仮出願番号第６０／３２５，７０４号に記載されるように、各受信パケットを制御パケット又はデータパケットに分類する。制御パケットは処理のためにブリッジ６１６を経由してＣＰＵ６１４へ送られる。データパケットは以下に説明するパケット処理ユニット（ＰＰＵ）６０６へ追加されたローカル・ヘッダと共に送信される。１つの実施の形態では、ローカル・ヘッダは、１６バイトであり、６４バイトのデータ「セル」を生ずる（１６バイトのヘッダ及び４８バイトのペイロード）。ローカル・ヘッダは、情報を運ぶために使用され、スイッチ２０４により内部的に使用される。ローカル・ヘッダは、パケットがスイッチを去る前に除去される。従って、ここで使用される「セル」はスイッチ内で局所的に使用される移送単位であり、ローカル・ヘッダとオリジナル・パケット（いくつかの実施の形態では、元のＴＣＰ／ＩＰヘッダも元のパケットから除去される）を含む。しかし、本発明の全ての実施の形態がローカル・ヘッダを作成し、外部パケットとは異なる「内部パケット」（セル）を持つのではない。従って、ここで使用される言葉「パケット」は「内部」又は「外部」パケットのいずれかを指すことができる。
【００４０】
分類機能は、スイッチが、従来システムの記憶及び転送モデルを使用せずに、ワイヤ速度で記憶仮想化及びプロトコル翻訳機能を実行可能にすることを助ける。各ＰＡＣＥはＰＰＵ６０６への専用化経路を持つが、図示された実施の形態中の４つのＰＡＣＥの全ては、ＣＰＵ６１４への経路を共有する。これは、１つの実施の形態では、１０４ＭＨｚ／３２（３．２Ｇｂｐｓ）ビット・データ経路である。
【００４１】
パケット処理ユニット（ＰＰＵ）
ＰＰＵ６０６は、オンザフライで仮想化及びプロトコル翻訳を実行する。これはセルは、仮出願番号第６０，３２５７０４号に記載されるように、この処理のためにバッフアされないことを意味する。また、後述する他のスイッチ・ベース記憶サービス機能を実行する。１つの実施の形態では、ＰＰＵは、セルを入場と出場の両方向へ、ＯＣ−４８速度又は２．５Ｇｂｐｓで移動できる。他の実施の形態では、セルをＯＣ−１９２速度又は１０Ｇｂｐｓで移動できる。１つの実施の形態では、ＰＰＵは、共に同時的に動作する入場ＰＰＵ６０６₁及び出場ＰＰＵ６０６₂を含む。入場ＰＰＵ６０６₁は、ＰＡＣＥ６０４から入来するデータを受信して、データをトラフイック・マネージャ６０８_iヘ送信する。出場ＰＰＵ６０６₂は、トラフイック・マネージャ６０８_eからデータを受信して、データをＰＡＣＥ６０４へ送信する。図６に示されるただ１つのＰＰＵ６０６が入場ＰＰＵ６０６₁及び出場ＰＰＵ６０６₂を有するが、１つの実施の形態では全てのＰＰＵ６０６が入場及び出場ＰＰＵの両方を含むことが理解される。説明の簡潔さのため、図６に示されるただ１つのＰＰＵのみが入場及び出場ＰＰＵの両方を備えている。
【００４２】
多数の記憶接続（例えば、サーバーから仮想ターゲット）が、各ポートで同時に確立できる。しかし、各接続は仮想ターゲットに対して独特であり、ＴＣＰ制御ブロック・インデックス（ｉＳＣＳＩ接続の場合）及びポート番号により独特に識別できる。接続が確立される時、ラインカード６００のＣＰＵ６１４は、ＰＰＵ６０６に活動仮想ターゲットをそれに接続ために仮想ターゲット記述子（ＶＴＤ）を送信することにより知らせる。ＶＴＤは、ＰＰＵがデータについて適当に動作、例えば、仮想化、翻訳、及びさまざまな記憶サービスの実行、をするのに必要な仮想ターゲット及び接続とに関する全ての関連情報を含む。ＶＴＤは、ＳＣＣデータベース中のオブジェクトから導出され、普通、ＳＣＣデータベース中の関連オブジェクト中に記憶されている情報の小組を含む。図７ａに本発明の１つの実施の形態のＶＴＤ中のフィールドの例が示される。しかし、本発明の他の実施の形態は、より多い、少ない又は異なるフィールドを持つことができる。
【００４３】
同様に、物理的ターゲット記述子（ＰＴＤ）が、本発明の実施の形態で使用される。ＰＴＤは、現実の物理的装置、それらの個別のＬＵ、又はそれらの個別のエクステント（全体ＬＵ又は連続する部分）を記述し、そしてＶＴＤのそれと同様な情報を含む。また、ＶＴＤと同じく、ＰＴＤはＳＣＣデータベース中のオブジェクトから導出される。図７ｂに本発明の１つの実施の形態のＰＴＤのフィールドの例を示す。しかし、本発明の他の実施の形態は、より多い、少ない又は異なるフィールドを持つことができる。
【００４４】
ＶＴＤ及びＰＴＤを記憶してそれらに高速にアクセスするために、１つの実施の形態では、ＰＰＵ６０６がＳＲＡＭ６０５及びＣＡＭ６０７に接続されている。ＳＲＡＭ６０５は、ＶＴＤ及びＰＴＤデータベースを記憶する。また、ＶＴＤ識別子（ＶＴＤＩＤ）又はアドレス、及びＰＴＤ識別子（ＰＴＤＩＤ）のリストが、ＶＴＤの高速アクセスのためにＰＰＵＣＡＭ６０７中に維持される。ＶＴＤＩＤは、ＴＣＰ制御ブロック・インデックス及びＬＵＮを用いてインデックス（マップ）される。ＰＴＤＩＤは、ＶＴＤＩＤを使用してインデックスされる。さらに、ＩＰルーテイング・サービスのために、ＣＡＭ６０７は、経路が追加又は除去された時にＣＰＵにより更新される経路テーブルを含む。
【００４５】
単に１つのＣＡＭ及びＳＲＡが、１つのＰＰＵに接続するように示されているが、これは図面の簡潔さを維持するためであることに注意する。さまざまの実施の形態では、各ＰＰＵはそれ自身のＣＡＭ及びＳＲＡＭ装置に接続されるか、又は、ＰＰＵは単一のＣＡＭ及び／又はＳＲＡＭに全て接続される。
【００４６】
ＰＰＵへの各未決の要求については（例えば、読出し又は書込み）、要求の状態を追跡するためにタスク制御ブロックがＰＰＵＳＲＡＭ６０７中に設定される。入場ＰＰＵ上の記憶スイッチにより受信された要求の状態を追跡する入場タスク制御ブロック（ＩＴＣＢ）及び出場ＰＰＵ上の記憶スイッチにより送信される要求の状態を追跡する出場タスク制御ブロック（ＥＴＣＢ）が存在する。各仮想ターゲット接続については、多数の同時的要求が存在し得、従って、多くのタスク制御ブロックが存在し得る。タスク制御ブロックは要求が開始される時に割当てられ、要求が完了する時に解放される。
【００４７】
トラフイック・マネージャ
各ラインカード６００上に２つのトラフイック・マネージャ（ＴＭ）６０８：入場トラフイックのための１つのＴＭ６０８_i及び出場トラフイックのための１つのＴＭ６０８_e、が存在する。１つの実施の形態では、入場ＴＭは６４バイト・データセルの形式のセルを全ての４つのＳＰＵから受信する。このような実施の形態では、各データセルは、１６バイトのローカル・ヘッダと４８バイトのペイロードを持つ。ヘッダは、ＴＭにセルの宛先ポートを知らせるフローＩＤを含む。いくつかの実施の形態では、ＳＰＵはまた、セルをＴＭへ転送する前にＴＭヘッダをセルに取付けてもよい。また、いくつかの実施の形態では、ＴＭ又はＳＰＵのいずれかは、セルをファブリック・カードを通じての送信のためにより小さいセルに分割できる。
【００４８】
入場ＴＭは、１つの実施の形態では、データセルを１２８ビット１０４Ｍｈｚインターフェイス６１０を経由してファブリック・カードへ送信する。他の実施の形態では、１２５Ｍｈｚ又は他の速度で動作する。出場ＴＭはファブリック・カードからデータセルを受信してそれらを４つのＳＰＵへ配達する。
入場及び出場ＴＭの両方は、配達のためにセルを待ち行列させるための大きなバッフア６１２を持つ。入場及び出場ＴＭのための両バッフア６１２は、６４ＭＢであり、多数のパケットを待ち行列できる。ＳＰＵは、普通、ファブリック・カードの出力流れは入力流れと同じ程度に速いので、セルを入場ＴＭへ素早く送信できる。従って、セルは素早く出場ＴＭへ移動する。一方、出場ＴＭは、出力ポートが渋滞又は複数の入場ラインカードにより供給されるため、バックアップされてよい。このような場合、操作を素早くするように出力ＳＰＵに知らせるため、出力セルのヘッダ中にフラグが設定される。また、出場ＴＭは、以下に説明する記憶アクセスのためのサービスの品質を提供する際に使用される流れ制御機能を活性化するために、入場ＳＰＵへ要求を送信する。インターネット上の通信トラフイックとは異なり、記憶トラフイックに対しては、パケット又はセルを落とすことは許されないことに注意する。従って、バッフア中のセルの量が指定された閾値を越えると直ちに、ＳＰＵはバッフアのオーバーフローを避けるために入力トラフイックを遅くするためその流れ制御機能を活性化する。
【００４９】
ファブリック接続
ファブリック接続６１０は、ＴＭの２５６ビット・パラレル信号（それぞれ、１２８ビット入場及び１２８ビット出場）を、１６０Ｇｂｐｓのバックプレーンへの１６ビット・シリアル・インターフェイス（８ビット入場及び８ビット出場）へ変換する。従って、バックプレーンは、１６分の１のピンで１６倍早い速度で動作している。この変換は、数千の接続ピンとワイヤを無しに合理的なコストで高い利用可能度のバックプレーンの構成を可能にする。さらに、１つの実施の形態では３つのファブリック・カードが存在するため、１つの実施の形態では各ラインカード上に３つの高速コネクタが存在し、これらコネクタの各々は８ビット信号を３つのファブリック・カードのそれぞれに接続する。もちろん、他の実施の形態は３つのファブリック・カード６１０を必要としないであろう。
【００５０】
ＣＰＵ
各ラインカード上には、プロセッサ（ＣＰＵ）６１４が存在する。１つの実施の形態では、プロセッサはパワーＰＣ７５０Ｃｘｅである。１つの実施の形態では、ＣＰＵ６１４は、バス・コントローラ６１５とブリッジ６１６とを経由して３．２Ｇｂバスにより各ＰＡＣＥに接続する。さらに、ＣＰＵ６１４は各ＰＰＵ、ＣＡＭ及びＴＭにも接続する。しかし、いくつかの実施の形態では、この接続はより遅い４０Ｍｂｐｓである。３．２Ｇｂ及び４０Ｍｂｐｓの両経路はＣＰＵがラインカード中の大部分の装置と通信することを可能にし、そしてラインカード上の全ての装置の内部レジスタを読取り及び書込むことを可能にし、マイクロコードをダウンロードし、そして制御パケットを送信及び受信することを可能にする。
【００５１】
各ラインカード上のＣＰＵは、電源投入時に各チップを初期化する責任を持ち、ＳＰＵ及びマイクロコードが必要な各ポートへマイクロコードをダウンロードする。ラインカードが動作状態になると、ＣＰＵは制御トラフイックを処理する。仮想ターゲット接続を確立するのに必要な情報については、ＣＰＵはＳＣＣから情報を要求し、次にＳＣＣデータベース中の適当なオブジェクトから情報を得る。
【００５２】
ラインカード−ポートの区別
ラインカードの各タイプのポート、例えば、ＧｉｇＥ、ＦＣ、又はＷＡＮは、１つの実施の形態では各ラインカードは１つのタイプのポートのみを支援するため、別個である。以下に１つの実施の形態のポートの各タイプについて説明する。もちろん、別の実施の形態では、インフイニバンドなどの他のプロトコルを支援するため、他のラインカード・ポートが設計できる。
【００５３】
ＧｉｇＥポート
ギガビット・イーサネット・ポートは、ｉＳＣＳＩサーバーと記憶装置に接続する。ＧｉｇＥポートは全ての種類のイーサネット・トラフイックを運ぶが、本発明の１つの実施の形態によるワイヤ速度で記憶スイッチ２０４により一般に処理されるネットワーク・トラフイックは、ＴＣＰ／ＩＰパケット中のｉＳＣＳＩパケットデータユニット（ＰＤＵ）だけである。しかし、他の実施の形態では、イーサネット上を運ばれる他のプロトコル（ネットワーク・ファイル・システム（ＮＦＳ）のような）によるパケットが、ＧｉｇＥポートで受信されて、ＳＰＵ及び／又はＣＰＵにより処理されてよい。
【００５４】
ＧｉｇＥポートは、仮想ターゲット又はｉＳＣＳＩ装置のためにＴＣＰ／ＩＰセグメントを送受信する。仮想ターゲットのためにＴＣＰ接続を確立するために、ラインカードＣＰＵ６１４とＳＣＣ５１０の両方が関与する。ＴＣＰパケットが受信される時、そして初期のハンドシェーキングが行われた後、ＴＣＰ制御ブロックが生成されて、ＧｉｇＥポート・メモリ６０３中に格納される。また、接続を認証して仮想ターゲットの構成を理解する目的のため、ＶＴＤがＳＣＣデータベースのオブジェクトから検索されて、ＣＰＵＳＤＲＡＭ６０５中に記憶される。ＴＣＰ制御ブロックは、パケットが所属しそして１つの実施の形態ではＴＣＰセグメント番号、状態、ウインドウ大きさ、及び接続に関する潜在的に他の情報を含む特定のＴＣＰセッション又はｉＳＣＳＩ接続を識別する。さらに、ＴＣＰ制御ブロックは、ここで「ＴＣＰ制御ブロック・インデックス」と呼ばれるインデックスにより識別される。接続のためのＶＴＤが作られて、ＳＰＵＲＡＭ６０５中に記憶されなければならない。ＣＰＵは、そのＳＤＲＡＭ中に記憶されていて、元はＳＣＣデータベースから得られたＶＴＤ情報を検索することにより、ＶＴＤを作成する。ＶＴＤＩＤが、ＶＴＤの素早い参照のためにＳＰＵＣＡＭ６０７中のＶＴＤＩＤのリスト中に設定される。ＶＴＤＩＤは、ＴＣＰ制御ブロック・インデックスと合併され、そしてインデックスされる。
【００５５】
ポートが、ｉＳＣＳＩＰＤＵを受信する時、本質的にその接続の終了点として機能するが、その後にスイッチがターゲットへの新しい接続を始める。入場側でパケットを受信した後、ポートは、特定のＴＣＰ接続を識別するＴＣＰ制御ブロック・インデックスによりＰＡＣＥへｉＳＣＳＩＰＤＵを配達する。非ＴＣＰパケット又はｉＳＣＳＩＰＤＵを含まないＴＣＰパケットについては、ポートは接続の終点として動作することなくパケットを受信しそして送信する。典型的に、ポート６０２は、ｉＳＣＳＩパケットがＴＣＰ制御ブロック・インデックスを使用して受信又は送信されるＰＡＣＥ６０４と通信する。パケットのＴＣＰ制御ブロック・インデックスが、−１の時、それは非ｉＳＣＳＩパケットを識別する。
【００５６】
ＦＣポート
ＦＣポートは、サーバー及びＦＣ記憶装置に接続する。ＦＣポートは、接続するサーバーにファイバー・チャンネル記憶サブシステム（すなわち、ターゲット）として見える。それはイニシエーター（例えば、サーバー）が接続を確立するために業界で知られているプロセス・ログイン（ＰＬＯＧＩ又はＰＲＬＩ）を実行することを可能にする仮想ターゲット装置の大きなプールを表すことを意味する。ＦＣポートは、ＧＩＤ拡張リンクサービス（ＥＬＳ）を受け取り、そしてそのイニシエーター（例えば、サーバー）によるアクセスのために利用可能なターゲット装置のリストを戻す。
【００５７】
ファイバー・チャンネル記憶装置に接続する時、ポートはファイバー・チャンネルＦポートとして見え、記憶装置から業界で知られているファブリック・ログインを受け取り、そしてＧＩＤ要求を受け取りそして処理することにより名前サービス機能を提供することを意味する。換言すれば、ポートは記憶装置にはイニシエーターとして見える。
【００５８】
さらに、ＦＣポートは別の既存のＳＡＮネットワークに接続でき、このような例では他のネットワークには多くのＬＵを持つターゲットとして見える。
【００５９】
ポートの初期化では、ラインカードＣＰＵはファブリック・ログイン、プロセス・ログイン、及びＧＩＤを送信し、そして同じものを受信する両方を完了しなければならない。ＳＣＣは、ＦＣＥＬＳをｉＳＮＳ要求及び応答に変換するためのアプリケーションを支援する。この結果、ＳＣＣ内の同じデータベースは、あたかもそれらがｉＳＣＳＩイニシエーター及びターゲットであるかのように、ＦＣイニシエーター（例えば、サーバー）及びターゲット（例えば、記憶装置）の両方を追跡する。
【００６０】
ＦＣ接続を確立する時、ＧｉｇＥポートとは異なり、ＦＣポートはＴＣＰ制御ブロック又はその等価物を生成する必要がない。必要な全ての情報はＦＣヘッダから利用可能である。しかし、ＶＴＤ（Ｄ＿ＩＤによりインデックスされる）はＧｉｇＥポートについて説明したのと同様な態様で確立される必要がある。
【００６１】
ＦＣポートは、１Ｇｂ又は２Ｇｂとして構成できる。１Ｇｂポートとして、図６に示すように、２つのポートが単一のＰＡＣＥへ接続されるが、２Ｇｂポートとして構成される１つの実施の形態では、ポート・トラフイック及びＳＰＵにより収容可能なトラフイックは、ＳＰＵでの渋滞を避けるために一致すべきである。１つの実施の形態では、ポートはＰＯＳ／ＰＨＹインターフェイスによりＰＡＣＥへ接続される。各ポートは別個に構成できる。すなわち、１つのＰＡＣＥは２つの１Ｇｂポートを持つことができ、そして別のＰＡＣＥは単一の２Ｇｂポートを持つ。
【００６２】
ＷＡＮポート
ＷＡＮラインカードを含む実施の形態では、ＷＡＮラインカードは１つの実施の形態ではＯＣ−４８及びＯＣ−１９２接続を支援する。従って、２つのタイプのＷＡＮポート：ＯＣ−４８及びＯＣ−１９２が存在する。ＯＣ−４８については、各ＳＰＵに対して１つのポートが存在する。ＰＡＣＥには集合機能はないが、分類機能が存在する。ＷＡＮポートはＳＯＮＥＴに接続し、そしてそれはＩＣＭＰ、ＲＩＰ、ＢＰＧ、ＩＰ及びＴＣＰなどのネットワーク・パケットを送信及び受信する時、ＧｉｇＥポートのように動作する。ＧｉｇＥポートとは異なり、ＷＡＮポートは１つの実施の形態では、追加のハードウェア部品を必要とするＩＰＳｅｃとＶＰＮによりネットワーク・セキュリテイを支援する。
ＯＣ−１９２はより高速のワイヤ速度を生ずるので、ＯＣ−１９２を支援する実施の形態ではより高速のＳＰＵが必要とされる。
【００６３】
スイッチに基づいた記憶動作
本発明の実施の形態による記憶スイッチは、プーリング及び供給を含む、さまざまなスイッチに基づいた記憶動作を実行する。記憶アクセスのためのサービスの品質及び負荷平衡の各々について以下に説明する。
ｉＳＣＳＩ及びＦＣプロトコルの一般的な知識は仮定される。ｉＳＣＳＩのさらなる情報に関しては、参照によりここに組み込まれた、インターネット・ドラフト及びインターネット・エンジニアリング・タスク・フォース（ＩＥＴＦ）による、２００１年１１月１９日の進行中の作業、“ｄｒａｆｔ−ｉｅｔｆ−ｉｐｓ−ｉＳＣＳＩ−０９．ｔｘｔ”を参照。ファイバー・チャンネル（ＦＣ）のさらなる情報に関しては、参照によりここに組み込まれた、“情報システム−ＳＣＳＩ用ｄｐＡＮＳファイバー・チャンネル・プロトコル”Ｒｅｖ．０１２、１９９５年１２月４日（アメリカン・ナショナル・スタンダードの提案草案）を参照。さらに、両方は仮出願番号第６０／３２５，７０４号に記載されている。
【００６４】
記憶プール
図２の物理的な構成に示すように、本発明の実施の形態によるシステムは、１つ又は複数のサーバー２０２及び１つ又は複数の物理的装置２０６、すなわち、記憶装置又はサブシステム、に接続されたスイッチ２０４を含む。各物理的ターゲットは、１つ又は複数の論理的ユニット（ＬＵ）２０７を含む。仮想ターゲットが最終的に形成されるのはこれらＬＵからである。
【００６５】
しかし、仮想ターゲットが生成、又は「供給」できる前に、スイッチは取付けられた及び／又はそれによりアクセス可能な物理的記憶装置及びそれらの物理的記憶装置の特性を「知る」ことが必要である。従って、本発明の１つの実施の形態では、記憶装置又はイニシエーター装置がスイッチに接続又は登録される時、スイッチは新装置の性能特性について学ばなければならない。１つの実施の形態では、スイッチは記憶アクセス時間、データ転送速度、キャシュ支援、装置への代替経路の数、ＲＡＩＤ支援、及び物理的装置のＬＵに対する許容最大命令を測定できるユーテイリテイ・プログラムを含む。いくつかの実施の形態では、一旦、装置がスイッチに接続されると、ユーテイリテイ・プログラムが自動的に装置を発見して、そして必要な情報をユーザ又は他の介在なしに自動的に集める。このような実施の形態では、スイッチはポートへの信号線のリセット又は撹乱がある時、装置の追加／削除を発見する。装置が発見されると、性能特性に関する情報を集めるために装置へさまざまな質問が送られる。例えば、読出し／書込み命令が転送速度を測定し又はアクセス時間を検査するために送信できる。代替的に、いくつかの実施の形態では、性能特性を得ることは、管理者が管理ステーション２１０で性能特性を入力することにより行うことができ、そして、特性はスイッチ２０４へ供給される。
【００６６】
全てにエンドユーザに対して一般に見えない、装置に関して集められた情報に基づき、本発明の１つの実施の形態では、スイッチはポリシーに基づき装置を分類する。例えば、最良特性を持つ装置はプラチナ装置として分類される。中間的な性能特性を持つ装置はゴールド又はシルバー装置として分類される。最低の性能特性を持つ装置はブロンズ装置として分類される。もちろん、定義されるタイプのポリシーは無限であり、本発明の実施の形態中で変化する。さらに、いくつかの実施の形態では、管理者は、例えば、プラチナ・ビルデイング１、プラチナ・ビルデイング２のようにポリシーを再分割でき、そしてこのように再分割されたポリシーへ資源を割当てる。しかし、本発明の１つの実施の形態に使用されるポリシーの一例を以下の表１に示す。
【００６７】
表１

【００６８】
図８に示すように、一旦、ポリシーが記憶装置に対して決定されると、その装置のＬＵが、時々、「ドメイン」とここで呼ばれる、記憶プール８０２へ割当てられてられる。各記憶装置が１つ又は複数のＬＵを含むため、特定の記憶装置の全てのＬＵは同じプールに割当てられる。しかし、１つの実施の形態では、各ＬＵはスイッチにより別個の記憶ノードとしてみなされ、そして各ＬＵはＳＣＣデータベース５１２内のＬＵオブジェクトにより記述される。従って、各プールはメンバーとしてＬＵを有する。１つの実施の形態では、プールへの割当ては物理的記憶装置が動作する、例えば、ｉＳＣＳＩ又はファイバー・チャンネル、プロトコルとは独立に実行される。当業者には理解されるように、各プールはＬＵがそれに割当てられたプールに関するリストによりスイッチ中で定義され、そのリストは１つの実施の形態ではＳＣＣデータベース５１２中に記憶される。このようなリストはＬＵオブジェクトへのポインタを含む。
【００６９】
一般に、各プールは、特定の性質を持つユーザのみによりアクセス可能である。例えば、記憶プールはビルデイング１にいるユーザのために設立でき、プールは「ビルデイング１共有ゴールド記憶プール」と命名される。別の例示的なプールは「エンジニアリング専用シルバー記憶プール」と命名されて、特定の会社のエンジニアリング・チームにより専用にアクセスされてよい。もちろん、プールの無限の変形が設定でき、ここに記載されて示されるものは例示のみである。
【００７０】
さらに、１つの実施の形態では、２つの特別なプールが存在する。「デフォルト・プール」と「ノー・プール」である。デフォルト・プールは、記憶ネットワークへアクセスするだれにもアクセスを許容する。これに対して、「ノー・プール」は、一般的にユーザにアクセス可能ではなく、スイッチ自身又はシステム管理者のみにアクセス可能である。一旦、プールに割当てられると、ＬＵはスイッチ自身又はシステム管理者により異なるプールへ再割当てできる。例えば、ＬＵは最初はノー・プール中に置かれて、テストされて、そして後で、デフォルト・プール又は他のプールへ移動される。
【００７１】
サービスの品質及びサービス・レベル・アグリメント
サービス・レベル・アグリメント（ＳＬＡ）は、時々、ネットワーク通信中で使用されるが、記憶ネットワークの文脈で一般的には使用されておらず、サービスの品質（ＱｏＳ）ポリシーと共に記憶ネットワーク中に使用されてはいない。ＳＬＡ／ＱｏＳを提供することにより、ユーザはデータの記憶及び検索の条件を選択できる。１つの実施の形態では、ＱｏＳポリシーは、３つの要素：仮想ターゲットの供給、イニシエーター接続の供給、及びユーザ・ドメインの定義により定義される。以下に各々が説明される。しかし、いくつかの実施の形態は、ＱｏＳポリシーを定義するために３つの全ての定義を必要としない。例えば、いくつかの実施の形態は、仮想ターゲットの供給、及びイニシエーター接続の供給のみを必要とし、ユーザ・ドメインの定義を必要としない。他の実施の形態では、ＱｏＳポリシーを定義するために全く異なる要素を使用してよい。
【００７２】
仮想ターゲットの供給
物理的装置についてのＬＵがアクセス可能プールに存在すると、それらＬＵについて仮想ターゲットが生成できる。一旦、生成されると、図９に示すように、サーバー（及びそれらのそれぞれのユーザ）は、１つ又は複数の仮想ターゲット９０２を「見る」であろう。仮想ターゲットは各々が１つ又は複数のエクステント９０７からなるが、彼等は物理的装置２０６を必ずしも「見」ない。エクステントは、物理的装置から全体ＬＵ又はその隣接する部分である。図９の例に示すように、例示的仮想ターゲット９０２中の各エクステントは、いくつかの物理的装置からの全体ＬＵにより形成されている。なお、「エクステント」は、ターゲットが「仮想」であることを自覚しないサーバーなどのイニシエーターからＬＵＮにより参照できる。ＬＵにより使用されるプロトコルを含む仮想ターゲットの構造は、サーバーとは関連性がない。しかし、図９に示すように、各仮想ターゲットは物理的装置２０６のＬＵへマップするエクステントからなる。
【００７３】
仮想ターゲットを供給するために、ユーザは本発明の１つの実施の形態において仮想ターゲットのためのいくつかの特性を選択する。特性は以下を含む。
・大きさ（例えば、ギガバイト単位）、
・記憶プール、１つの実施の形態では、ユーザはユーザがアクセスを許された記憶プールだけから選択するが、
・所望の利用可能性、例えば、常に利用可能（データが重要で、ダウンすること許されない）、普通の利用可能性等、
・仮想ターゲットのＷＷＵＩ、
・バックアップ・プール、
・ユーザ認証データ、
・ミラーされたメンバー数、
・ミラーされたメンバーの場所（例えば、ローカル又は遠隔）
また、他の実施の形態では異なる、追加の、又はより少ない特性も選択できる。
【００７４】
その後、スイッチは仮想ターゲットが形成できるかどうかを決定するため、そして特にスイッチは仮想ターゲットについて必要の大きさに合うＬＵ（又はＬＵの部分）の数が利用可能かどうかを決定するため、選択されたプールからの利用可能な資源を解析する。もし、そうであるならば、仮想ターゲットが１つ又は複数のエクステントにより生成される。そして、仮想ターゲット・オブジェクトが、仮想ターゲット、そのエクステント、及びその特性を識別するＳＣＣデータベース内に形成される。以下の表２に４つの仮想ターゲットについてのユーザ選択特性の例が示されている。
【００７５】
表２−仮想ターゲット

【００７６】
新仮想ターゲットを供給するのに加えて、本発明の実施の形態によるスイッチは、既存のターゲットを新しい又は異なる情報により修正することもでき、又は、それらがもはや必要でなければ仮想ターゲットを削除できる。
【００７７】
イニシエーター接続の供給
サーバー又は他のイニシエーターがスイッチへ接続されてそしてイニシエーターがｉＳＮＳ又はＳＬＰを支援する時、１つの実施の形態では、イニシエーターはそれ自身をスイッチに登録して、イニシエーター・オブジェクトをＳＣＳＩデータベース内に記憶する。他の実施の形態では、スイッチはイニシエーター接続を生成し、更新し、又は削除するアクセス供給機能を含む。
アクセス接続−スイッチとイニシエーター（サーバーなど）との間の接続−を生成する際、ユーザは１つの実施の形態の表３に示されるさまざまなパラメータを指定する。
【００７８】
表３−イニシエーター接続

【００７９】
上記の情報の全て又はいくつかが、ＳＣＣデータベース中に記憶されたイニシエーター・オブジェクト内に格納される。接続が除去される時、イニシエーター・オブジェクトが削除される。
【００８０】
そして、スイッチ、管理ステーション、又は他のネットワーク管理は仮想ターゲットを形成するためにイニシエーターに利用可能なＬＵを指定して、特定の接続のための記憶プールを生成する。
【００８１】
ユーザ・ドメイン
物理的装置と同様に、仮想ターゲットは指定された特性を持つもののみにアクセス可能なプールに割当てられることができる。すなわち、物理的装置と同様に、仮想ターゲットはユーザ指定ドメイン（時々、ここではユーザ・ドメインと呼ばれる）、デフォルト・ドメイン（だれにもアクセス可能）、又はノー・ドメインに割当てることができる。各ドメインは、１つの実施の形態では、その領域へ割当てられた全ての仮想ターゲットのリストを含むＳＣＣデータベース中のオブジェクトにより識別される。仮想ターゲットについては、ノー・ドメインは予備仮想ターゲット、ミラーされた仮想ターゲットのメンバー、又は別のスイッチからの遠隔仮想ターゲットを含むことができる。本質的に、仮想ターゲット・ノー・ドメインは、或るタイプの仮想ターゲットためのパーキング場所である。説明の便宜のために、仮想ターゲットに言及する時、プールはここでは「ドメイン」と呼ばれる。しかし、物理的装置に言及する時、プールは「プール」と呼び続ける。しかし、概念的には「プール」と「ドメイン」とは本質的に同じものであることに理解すべきである。
【００８２】
一旦、上述したようにイニシエーター接続が供給されると、イニシエーターの要求に合った仮想ターゲットが供給され、イニシエーターのためのアクセス可能プール中に置かれるか、又は、前に供給された仮想ターゲットがイニシエーターに、例えば、ノー・ドメイン又はデフォルト・ドメインなどの別のドメインから仮想ターゲットをイニシエーターのユーザ・ドメインに移動することにより、アクセス可能とされる。（仮想ターゲット又はイニシエーター接続のいずれかが最初に供給できる。それが特定の順序で供給されるべき要求はない。）そして、一旦、イニシエーターが例えば読出し又は書込み要求を送信することにより、仮想ターゲットへのアクセスを要求すると、仮想ターゲット・オブジェクト及びイニシエーター・オブジェクトの両方がＳＣＣデータベースから読み出され、そして、イニシエーター接続及び仮想ターゲットに関する情報が要求を処理する際に使用するために関連するラインカードに送られる。
【００８３】
仮想ターゲットを供給する例が、図１０ａ−ｄを参照して与えられる。図１０ａを参照すると、スイッチに接続された全部で６つのＬＵ―ＬＵ１、ＬＵ２、ＬＵ３、ＬＵ４、ＬＵ５、ＬＵ６―を有する物理的装置があり、全てが２つのイニシエーターＸ及びＹにアクセス可能なプール「Ｘ−Ｙユーザ・プール」中に置かれていると仮定する。もし、イニシエーターＸが２つの仮想ターゲットを要求すると、１つの状況では、ＬＵは仮想ターゲットＶＴ１及びＶＴ２を形成するために供給される。ここでは、ＶＴ１はエクステントとしてＬＵ１−３を含み、ＶＴ２はエクステントとしてＬＵ４−６を含み、ＶＴ１及びＶＴ２は共にサーバーＸユーザ・ドメイン中に置かれて、図１０ｂに示すようにサーバーＸが両方の仮想ターゲットにアクセスすることを可能にする。サーバーＹは、Ｙユーザ・ドメイン中に仮想ターゲットが置かれていないため、ＶＴ１又はＶＴ２のいずれにもアクセスしない。代替的に、図１０ｃを参照すると、もし、サーバーＸ及びサーバーＹが共に１つの仮想ターゲットを要求すると、前と同様にＶＴ１及びＶＴ２が供給されるが、ＶＴ１がサーバーＸのユーザ・ドメインに置かれ、一方、ＶＴ２がサーバーＹのユーザ・ドメインに置かれる。
【００８４】
もし、代りに、Ｙがミラーされた仮想ターゲットＭを要求すると、ＶＴ１及びＶＴ２が仮想ターゲットＭのメンバーとして生成される。ＶＴ１及びＶＴ２はスイッチのノー・ドメイン中に置かれる。しかし、図１０ｄに示すように、ＭはＹにアクセス可能とされる。Ｍのメンバーとして、ＶＴ１及びＶＴ２は独立にはアクセス可能ではない。
【００８５】
本発明のいくつかの実施の形態では、１つのスイッチへ結合された装置と仮想ターゲットがイニシエーターにアクセス可能であるだけでなく、別のスイッチに供給された仮想ターゲットも同様にアクセス可能である。図１１を参照すると、サーバーＸがスイッチＡに結合され、そしてサーバーＹがスイッチＢに結合されている。ＶＴ１がスイッチＡ中のサーバーＸのドメインの一部として供給され、ＶＴ２がスイッチＢ中のサーバーＹのドメインの一部として供給される。さらに、スイッチＢがスイッチＡへのイニシエーターとして供給され、スイッチＡがスイッチＢへのイニシエーターとして供給される。このようにして、スイッチＡはスイッチＢを経由してＶＴ２にアクセスでき、スイッチＢはスイッチＡを経由してＶＴ１にアクセスできる。従って、スイッチＢを経由してアクセスされるためここではＶＴ１’として呼ばれるＶＴ１をサーバーＹの領域中に含むことができ、ここではＶＴ２’として呼ばれるＶＴ２をサーバーＹの領域中に含むことができる（物理的装置のＬＵは一時に１つのプールのみに属することができるが、仮想ターゲットは一時に１つのドメインよりも多くに属することができる）。ＸがＶＴ２にアクセスする時、スイッチＢはスイッチＡをイニシエーターとして見る。同様に、ＹがＶＴ１にアクセスする時、スイッチＡはスイッチＢをイニシエーターとして見る。１つの実施の形態では、管理者はスイッチＢの選択された資源を他のスイッチ、例えば、スイッチＡ、又はその逆、に利用可能としてもよい。
【００８６】
ＳＬＡの定義
本発明の１つの実施の形態では、イニシエーターによる仮想ターゲットへのアクセスが、ユーザにより選択されたＱｏＳポリシーがその一部であるＳＬＡに従って提供される。以下の表６に１つの実施の形態でユーザによりＳＬＡのために選択できるいくつかのパラメータの例が示される。
【００８７】
表４

【００８８】
ユーザがＳＬＡと一致する時、ユーザはサービスの品質（ＱｏＳ）ポリシーも選択する。上述したように、１つの実施の形態では、ＱｏＳポリシーは一般的に仮想ターゲット（供給されるような）、イニシエーター接続（供給されるような）、及びユーザ・ドメインにより定義される。従って、上の表４を再び参照し、表中の最初の３つの項目、「イニシエーターのＩＤ」、「仮想ターゲットのＩＤ」及び「ユーザ・ドメインのＩＤ」は、これらの項目が供給されるとイニシエーター接続及び仮想ターゲットの属性が定義されるため、本質的にＱｏＳポリシーを記述する。例えば、イニシエーター接続のための最小及び最大帯域幅は、既に識別されている（表２及び３を参照）。ユーザ・ドメインはポリシーの定義を補助する。例えば、イニシエーター接続又は仮想ターゲット接続がより遅いかどうかを決定し、そして、ＱｏＳを２つの内のより遅い方へ強制する。もちろん、上述したように、ユーザ・ドメインは全ての実施の形態で必要でないであろう。同様に、他の実施の形態は上の表４に示されたものより多い、少ない、又は異なるパラメータを使用してＳＬＡを定義してよい。
【００８９】
図１２
図１２は、１つの実施の形態で、ＱｏＳを提供できるように、仮想ターゲットと接続を供給するステップを要約する。図示されるように、本発明の１つの実施の形態によると、スイッチは、ステップ１２０２で、スイッチと関連した物理的装置の特性を発見して決定する。そして、スイッチは、ステップ１２０４で、これらの装置を分類して、これらの装置を特定の記憶プールに関連付ける。スイッチは、ステップ１２０８で、イニシエーター接続のための情報を受信して、ステップ１２１０で、接続を供給し、ＳＣＣデータベース中にオブジェクトを生成する。また、スイッチは、ステップ１２１２で、仮想ターゲットのためのパラメータを受信して、ステップ１２１４で、これらのパラメータに従い仮想ターゲットを供給し、もし、資源が利用可能ならば、ＳＣＣデータベース内にオブジェクトを生成する。ステップ１２０８−１２１４は、どんな順番でも実行でき、図１２に示された順番は例示のみである。ステップ１２１６で、仮想ターゲットが供給された後、ユーザ・ドメインが生成されて、仮想ターゲットがユーザ・ドメインに置かれるか、又は、仮想ターゲットは既存のユーザ・ドメイン中に置かれる。また、ユーザは前に供給された仮想ターゲットにアクセスを試みることができる（従って、ステップ１２１４は全ての接続については必要ではないであろう）。最後に、ステップ１２１８で、本発明の実施の形態によると、スイッチは、ＳＬＡ／ＱｏＳパラメータを受信する。
【００９０】
オブジェクト
上述したように、各仮想ターゲット、各イニシエーター接続、及び各物理的装置は、それぞれのエンティテイについてオブジェクト中に含まれた情報によりＳＣＣデータベース内で識別される。各仮想ターゲット・オブジェクト及び物理的ターゲット・オブジェクトは、それを構成するＬＵ又はエクステントのリストを含む。仮想ターゲット・オブジェクトの一例は、本発明の１つの実施の形態では、次の情報を含む。
【００９１】
・エンティテイ・タイプ
・エンティテイ識別子
・ＩＰアドレス管理
・時間スタンプ及びフラグ
・ポート
・ドメイン情報
・ＳＣＮビットマップ
・容量と質問情報
・エクステントの数
・エクステントのリスト
・エクステント・ロケーター
・仮想モード・ページ
・サービスの品質のポリシー（例えば、表４の最初の３つの項目）
・統計−使用、エラー、及び特性データ
・ＳＬＡ識別子
物理的ターゲット（又は、ＬＵ）オブジェクトは同様な情報を含んでよい。
【００９２】
オブジェクト中、「エンティテイ・タイプ」はエンティテイが仮想ターゲット又は物理的ターゲットかどうかを識別する。「エンティテイ識別子」は、１つの実施の形態では、ＷＷＵＩであり、いくつかの実施の形態では、ユーザにより生成される。「ＩＰアドレス管理」は、エンティテイ、例えば、管理ステーションがそれにより構成される装置のアドレスを示す。例えば、仮想ターゲットは、本発明の実施の形態ではＳＣＣを通じてアクセスされる管理ステーションにより構成される。
【００９３】
「時間スタンプ及びフラグ」は仮想ターゲット又は他のエンティテイが生成され又は変更された時間などの事象を追跡するのに使用される。フラグは、仮想ターゲット中のデータのコピーなど、進行中の事象又はさまざまなサービスを指示するために使用される。「ポート」は、それを通じてＬＵがアクセスできるポートのリストを含み、ポート名とラインカード数、ＴＣＰ／ＩＰアドレス又はファイバ・チャンネル２４ビット・アドレス、及び、ポートがエンティテイのための一次的又は二次的ポートであるかどうかに関する情報を含む。
【００９４】
「ドメイン情報」は仮想ターゲット又はエンティテイが属する記憶ドメイン又はプールを含む。「ＳＣＮビットマップ」は仮想ターゲットのためのシステム変更通知を指示する。「容量と質問情報」は仮想又は物理的ターゲットがどれだけ大きいかを指示し、及び、装置ベンダーにより通常提供される質問情報を含む。例えば、物理的装置についての質問情報はしばしばその製造者を識別する。仮想ターゲットについての質問情報はしばしばその仮想ターゲットを生成したスイッチを識別する。
【００９５】
物理的装置の各ＬＵは、仮想ターゲットを形成するために使用されるエクステントと呼ばれる記憶空間の隣接した１つ又は複数の部分からなる。従って、「エクステントの数」はどれだけの数のエクステントが仮想ターゲットを形成するかを識別する。「エクステントのリスト」は、各エクステントを１つの実施の形態ではオフセット及び大きさにより識別する。例えば、３つのエクステントからなる１０ＧＢ仮想ターゲットは、表５に示すように「エクステントのリスト」内でエクステントを識別してよい。
【００９６】
表５

【００９７】
「エクステント・ロケーター」は、正確にエクステントがどこに位置するか、すなわち、どの物理的装置上にあるかを識別する。例えば、上記の１０ＧＢ、３エクステント仮想ターゲットは以下のエクステント・ロケーターを持つてもよい。
【００９８】
表６

【００９９】
表５及び表６の両方を使用したこの例では、仮想ターゲットの第１エクステントは、オフセット５ＧＢ（表６）で開始して２ＧＢ（表５）まで延びる物理的装置２（表６）にマップされていると決定できる。第２エクステント（表５）は、オフセット３ＧＢ（表６）で開始して５ＧＢ（表５）まで延びる物理的装置１（表６）にマップされている。最後に、第３エクステントは、オフセット１５ＧＢ（表６）で開始して３ＧＢ（表５）まで延びる物理的装置３（表６）にマップされている。
【０１００】
もし、いくつかの実施の形態で、仮想ターゲットがミラーされると、ミラーされた仮想ターゲットの各メンバーは、エクステント・ロケーターは異なるが、同一のエクステント・リストを持つ。
【０１０１】
「仮想モードページ」は、当業者には理解されるように、ＳＣＳＩ命令中にしばしば見られるモードページを識別する。この情報はブロック転送大きさ、直接データ支援、又はアプリケーション・ソフトウェアがＳＣＳＩモードページ命令により設定できそして検索できるどんな独特な情報を含む。
【０１０２】
「サービスの品質のポリシー」は、仮想ターゲットのサービスの特性を決定し、仮想ターゲットが供給される時に選択される。１つの実施の形態では、サービスの品質のポリシーは、表４の最初の３つの項目中に見られる識別子を使用して定義される。
【０１０３】
「統計」は、本発明の１つの実施の形態ではスイッチにより仮想ターゲットの実行時に収集される。これらは、本発明の１つの実施の形態では、使用、エラー。及び性能データを含み、以下にさらに説明される。
「ＳＬＡ識別子」は、ＳＬＡに関する情報についてのＳＬＡオブジェクトを識別する。
【０１０４】
統計
本発明の実施の形態によるスイッチは統計も収集する。１つの実施の形態では、１つのイニシエーターから１つの仮想ターゲットへの各接続に対して、以下の情報がイニシエーターに接続するラインカードのＳＰＵにより収集される。
【０１０５】
１．全読み取りアクセス（読み取り要求数）
２．蓄積された読み取り転送バイト（記憶から読み取られた全バイト数）
３．蓄積された読み取り応答時間（要求の受け取りから応答を得るまでの時間）
４．全書込みアクセス（書込み要求数）
５．蓄積された書込み転送バイト
６．蓄積された書込み応答時間
７．蓄積された回復可能エラー
８．蓄積された回復不可能エラー
【０１０６】
各ラインカード上のＣＰＵは、周期的にＳＰＵから統計を要求する。ＳＰＵはデータを戻すことにより応答する。そして、ＳＰＵはデータをゼロにリセットして収集を開始する。
【０１０７】
収集されたデータに基づいて、ＣＰＵは以下の統計を維持する。
１．平均読み取りアクセス速度
２．最大読み取りアクセス速度
３．平均読み取り転送速度
４．最大読み取り転送速度
５．最小読み取り応答時間
６．平均読み取り応答時間
７．最大読み取り応答時間
８．平均書込みアクセス速度
９．最大書込みアクセス速度
１０．平均書込み転送速度
１１．最大書込み転送速度
１２．最小書込み応答時間
１３．平均書込み応答時間
１４．最大書込み応答時間
１５．十億の要求当たりの回復可能エラー
１６．十億の要求当たりの回復不可能エラー
【０１０８】
１つの実施の形態ではある所定の時間間隔後に、ＣＰＵはＳＣＣへ統計を転送して、関連ＶＴＤ（ＳＰＵ内に記憶されている）を更新する。別の実施の形態では、ＳＣＣはＣＰＵから統計を要求し、ＣＰＵはそれをＳＣＣへ提供する。いくつかの実施の形態では、ＳＣＣはまた、データが正確で過剰に蓄積されないように、その統計を周期的、例えば、週単位でリセットする。
【０１０９】
ＱｏＳの実行
１つの実施の形態では、イニシエーター接続帯域幅の最小パーセンテイジは、ＱｏＳにより保証される。従って、このような実施の形態で、複数のイニシエーターが単一のポート上で供給される時、全てのイニシエーターの全ての最小帯域幅の合計は１００％に等しいか又はそれより少なければならない。対照的に、最大パーセンテイジは、同じ接続上で他の競合するユーザが存在しない時に接続の可能な使用を与える。従って、全てのイニシエーターの帯域幅の最大パーセンテイジの和は、接続の帯域幅１００％を超えることができる。この場合、定義されたスイッチング優先度（表２参照）が、どのイニシエーターが予定の最初を獲得するかを決定する。
【０１１０】
従来の接続ネットワークでは（記憶ネットワークとは反対に）、ＱｏＳはユーザが支払った接続のデータ帯域幅のパーセンテイジを獲得することを保証するために使用される。それはオーディオ及びビデオなどの時間敏感データが、送信前に予約されたデータ帯域幅を交渉するか又は時間敏感送信を渋滞した状況でより高い優先度を与えるかのいずれかにより、許容できる中断のみを経験することを可能にする。ＱｏＳは、パケットを落とす出費によってスイッチング・トラフイックを優先付けることでさえ実行される。
【０１１１】
しかし、要求が１つ又は複数のパケットを含むことができる従来のネットワーク通信システムとは異なり、記憶システムの要求を落とすことは許容できない。１つの実施の形態では、要求が完了するまで、イニシエーターからターゲットへ送受信される全てのパケットを含む。例えば、ｉＳＣＳＩ命令ＰＤＵ、ｉＳＣＳＩＲ２Ｔ、ｉＳＣＳＩ書込みデータＰＤＵ、及びｉＳＣＳＩ応答ＰＤＵは、単一の要求を形成する。本発明の実施の形態による記憶スイッチに対しては、１つの実施の形態では、データ帯域幅が秒当たりの要求数に要求の平均転送大きさを掛算して計算される。例えば、秒当たり１０００要求で、平均転送大きさが８ＫＢの場合、記憶装置の帯域幅は、８ＭＢ／秒（又は、８０Ｍｂ／秒）である。しかし、スイッチは要求の平均転送大きさの制御を持たないため、記憶アクセスについてのＱｏＳを実行することは秒当たり同時に許容される要求数を制御することになる。従って、もし、イニシエーターから多すぎる要求が送信されると、同時的要求の数は減少されなければならない。１つの実施の形態では、最悪のケースでは、一時に１つの要求のみがイニシエーターから送られることができる。
【０１１２】
仮想ターゲットは、最大数の同時的要求を支援する。複数の仮想ターゲットをアクセスするイニシエーターは、それがアクセスしている全ての仮想ターゲットについての要求の最大数の和に等しい要求の最大数を送信できる。しかし、複数のイニシエーターが１つ又は複数の仮想ターゲットを共有する時、利用可能な要求の最大数は、帯域幅の最小パーセンテイジのそれぞれのＱｏＳパラメータに従って比例配分されて、イニシエーター間で共有される。例えば、もし、２つのイニシエーターが１００の同時的要求を収容できる仮想ターゲットへのアクセスを共有していて、そして、イニシエーター１が帯域幅の最小の７０％を得て、イニシエーター２が帯域幅の最小の３０％を得ている場合、最初は、イニシエーター１は７０要求を送信でき、イニシエーター２は３０要求を送信できる。しかし、各イニシエーターはそれ自身の要求大きさを持つから、大きな要求大きさはより大きな帯域幅を消費して、より小さな転送大きさの他のイニシエーターを締め出す。従って、以下に説明するように、１つの実施の形態では、帯域幅の範囲を保証するために各イニシエーターによる可能な要求の調節が実行される。
【０１１３】
入場及び出場ラインカード内のトラフイック管理（ＴＭ）６０８（図６）は、異なる接続の転送帯域幅を監視する。また、ＴＭは、ＱｏＳパラメータに基づいて配達を予定する。従って、ＴＭは各共有された接続がその最小帯域幅を得て、最大帯域幅により制限されることを保証する。換言すると、ＴＭは各接続が指定された範囲内にあることを保証する。そのようにするため、１つの実施の形態では、パケットがＴＭバッフア６１２内で蓄積される時、このような蓄積はイニシエーターがその限界に到達したことを指示する。ＴＭは、違反したイニシエーターにその接続を遅くするように指示する制御メッセージをＳＰＵへ送信する。このようなメッセージを受信した後、ＳＰＵは違反したイニシエーターへ許容される要求の数を減らして、一方、より少ない持分を受け取っているイニシエーターへ許容される要求の数を増加する。１つの実施の形態では、サーバーへの利用可能な要求の数の通知は、ｉＳＣＳＩＰＤＵ中のＭａｘＣｍｄＳＮフィールドで行われる。
【０１１４】
例えば、イニシエーターＡ及びイニシエーターＢの両方が、それらの最小帯域幅５０％として共有されたイニシエーター接続を持つ。１００ＫＢの転送大きさを使用して、イニシエーターＡは秒当たり８００要求を送信し、よって、接続上で秒当たり８０ＭＢの帯域幅を得ている。転送大きさ４Ｋを使用して、イニシエーターＢは秒当たり２０００要求を送信するが、たった秒当たり８ＭＢの帯域幅を得る。従って、もし、イニシエーターＡに許された最大帯域幅が秒当たり７０ＭＢである場合、スイッチは秒当たり７０ＭＢを得るためにイニシエーターＡからの要求数を秒当たり７００の要求に減少しなければならない。従って、入場トラフイック・マネージャ６０８_iは、入場ＳＰＵに、イニシエーターＡがその最大を超過して、パケットがバッフア６１２_iに蓄積していることを報告する。ＳＰＵは、そのメッセージを受け取ると、Ａへの可能な要求の数を減少してそしてＢへのそれらを増加する。よって、イニシエーターＢはより多くの要求を接続上に送信できる。イニシエーターがその最小パーセンテイジ帯域幅に到達してもその可能な要求の使用を最大化しない時、調節は必要でないことに注意する。さらに、イニシエーターＢが現在、接続の５０％を要求していないため、イニシエーターＡはその最大の可能な帯域幅まで使用することが自由である（しかし、超過しない）。
【０１１５】
同様に、もし、２つの異なる接続上の２つのイニシエーターが単一の仮想ターゲットを共有している場合、各イニシエーターに対して比例分割された要求数は、出場ラインカード上のＴＭ６０８_eが２つのイニシエーター間の不当な帯域幅の使用を検知する時、調節される。それはこのような不当な帯域幅使用を、違反したイニシエーターがパケットをバッフア６１２_eに蓄積する時に発見する。
【０１１６】
接続が共有されていないで、物理的記憶装置自身がビジーとなって渋滞を発生した時、出場ＴＭ６０８_eはＰＰＵにパケットがバッフア６１２_eに蓄積していることを知らせる。再び、ＳＰＵはイニシエーターを遅くするために、可能な要求の数を減少する。
【０１１７】
また、スイッチはイニシエーターと記憶装置との間の帯域幅を一致する。例えば、最小１００％の１Ｇｂ接続を持つイニシエーターを支援するため、他の仮想ターゲットは記憶接続上に割当てることができない。しかし、イニシエーターが接続の５０％帯域幅のみを要求する時、残りの５０％は別の仮想ターゲットに割当てることができる。
【０１１８】
最後に、他の全てが等しい時、接続の優先度が、どの命令がラインカードのスイッチ・トラフイック・マネージャにより最初に配達されかを決定する。
以下の表７が、１つの実施の形態についてここで説明されたＱｏＳ実行を要約する。
【０１１９】
表７

【０１２０】
第１の状態において、イニシエーター入場ポートは共有されずそしてターゲット出場ポートは共有されない場合、渋滞はしばしばビジーな物理的ターゲット装置により発生されて一般に出場バッフア閾値が超過する時に検出される（出場バッフアは許容ポイント超えてバックアップされる）。従って、適当な動作はイニシエーターからの可能な要求数を減少することである。
【０１２１】
第２の状態において、共有されたイニシエーター入場ポートは、ターゲット出場ポートが共有されないように、異なるポート上の異なるターゲットにアクセスするイニシエーターにより共有される。イニシエーターの１つにより使用される過剰な帯域幅は、閾値が超過されたかどうかを決定することにより入場バッフア内で検出されて、バッフアが許容ポイントを超えてバックアップするようにする。適当な動作は、違反イニシエーターからの可能な要求数を減少することである。
【０１２２】
第３の状態において、イニシエーター入場ポートは共有されないが、ターゲット出場ポートは共有されて、同じターゲットが異なるポートから異なるイニシエーターによりアクセスされることを指示する。イニシエーターの１つによる過剰な要求数によって発生する過剰な帯域幅の使用は、出場バッフア内で検出される。適当な動作は、異なるイニシエーターからの可能な要求数を再分配することである。例えば、１つのイニシエーターの可能な要求数を減少し、一方、他のイニシエーターの要求数を増加する。
【０１２３】
第４の状態において、イニシエーター入場ポートは共有されないが、ターゲット出場ポートは共有される。しかし、この場合、異なるターゲットは異なるイニシエーターにより同じ出場ポート上でアクセスされる。このような場合、過剰な帯域幅が各ターゲットが接続帯域幅のパーセンテイジを与えられている出場バッフア内で検出される。このような場合で取るべき適当な動作は、違反イニシエーターへの可能な要求数を減少することである。
【０１２４】
最後に、第５の状態は共有されたイニシエーター入場ポート及び共有されたターゲット出場ポートを示す。このような状態では、二段階決定が存在する。第１は各仮想ターゲットが帯域幅のその割当てられたパーセンテイジを獲得することを保証し、そして、第２に異なるイニシエーターへ可能な要求数を比例配分することである。このような決定はバッフア閾値が超過したかどうか見ることにより、入場及び出場バッフアの両方で行われる。適当な動作は、上記の４つの状態で行われたように各仮想ターゲットを別個に取り扱い、必要により要求数を減少することである。
理解されるように、表７は説明のためであり、別の実施の形態では、ＱｏＳを実行するために別の動作を行うことができ、そして上述にない他の状態が発生できる。
【０１２５】
負荷平衡
１つの実施の形態では、負荷平衡が使用され、ターゲット装置への複数の経路が利用可能な時、より速くターゲット装置に到達するために経路が動的に選択されることにより発生する。負荷平衡は、スイッチ内の各ポート上で、各要求に対して、各ポート上でのＳＰＵ処理パワーを使用することにより動的に実行される（固定された時間間隔で、静的にするのとは反対に）。
【０１２６】
フェイルオーバーは負荷平衡の特別な場合であり、本発明のいくつかの実施の形態で使用される。フェイルオーバーはミラーされたターゲットの１つのメンバーが利用不可能になった時、又は、複数の経路によりアクセス可能なターゲットへの１つの経路が使用不可能になった時に発生し、いずれの場合、他のメンバーがアクセスされるか又は他の経路が利用される。
【０１２７】
本発明の実施の形態によるスイッチにおいて、スイッチは負荷平衡に関して２つの異なるタイプの動作を実行する。
【０１２８】
１．図１３ｂを参照すると、もし、仮想ターゲットがミラーされている場合、スイッチはイニシエーターの読出し要求を、最短の平均応答時間を持つミラーされた仮想ターゲットのメンバーを選択することにより、ミラーされたメンバーの１つへ送る。
【０１２９】
２．図１３ａを参照すると、もし、ＬＵへ複数の経路が存在する場合、スイッチはＬＵへの要求を最短の平均応答時間を持つ経路に送信する。しかし、１つの実施の形態では、この負荷平衡は、他の実施の形態ではこのような要件は持たないが、複数の経路がターゲットＬＵから同じＳＰＵへ接続されている時にのみ、実行される。
【０１３０】
いくつかの実施の形態では、スイッチはまた、「通過」構成を支援する。このような実施の形態では、仮想ターゲットは物理的ターゲット自身であり、そして全ての命令は解釈無しに、例えば、仮想化又は翻訳無しに、スイッチを「通過」する。このような実施の形態では、全ての負荷平衡機能はサーバー自身により処理される。
【０１３１】
さらに詳細には、負荷平衡について、上述したように収集された統計を使用して、本発明によるスイッチは、ミラーされた仮想ターゲットの各メンバーの応答時間を含む、各ターゲットの平均応答時間を追跡する。関連する統計は各ＶＴＤに記憶されて、ＣＰＵにより定期的に更新される。読取り操作の際、ＳＰＵ（ＶＴＤを参照する）は最小の平均応答時間を持つ経路を選択してその経路上に要求を転送するか、又は、それは最小の平均応答時間を持つミラーされたメンバーを選択してそのメンバーへ要求を転送する。ミラーされたターゲットでは、書込みはミラーされた仮想ターゲットの全てのメンバーに対して行われるから、書込み操作に対してミラーされたメンバー間の選択は行われないことに注意する。１つの経路が他の経路に対して明確な利益がない時、又は、１つのミラーされたメンバーが他の経路に対して明確な利益がない時、命令は交互にさまざまな経路／メンバーへ送られる。
【０１３２】
本発明の１つの実施の形態では、複数の同時的接続はｉＳＣＳＩ装置に対してのみ使用される。ファイバー・チャンネルは現在、このような複数の同時的接続を支援しない。しかし、他のプロトコルを使用する他の実施の形態もまた複数同時接続を支援する。
【０１３３】
上述の特定の実施の形態は本発明の説明の目的ためのみであり、さまざまな修正が本発明の精神と範囲から逸脱することなく当業者にできる。従って、本発明の範囲は特許請求の範囲のみにより限定される。
【図面の簡単な説明】
【０１３４】
【図１】従来技術システムによるＳＡＮの概略的な機能ブロック図。
【図２】本発明の１つの実施の形態による記憶スイッチを使用するＳＡＮシステムの概略的な機能ブロック図。
【図３】本発明の別の実施の形態による記憶スイッチを使用するシステムの概略的な機能ブロック図。
【図４】本発明のさらに別の実施の形態による記憶スイッチを使用するシステムの概略的な機能ブロック図。
【図５】本発明の実施の形態による記憶スイッチの概略的な機能ブロック図。
【図６】本発明の実施の形態による記憶スイッチに使用されるラインカードの概略的な機能ブロック図。
【図７ａ】本発明の実施の形態による記憶スイッチに使用される仮想ターゲット記述子の概略的なブロック図。
【図７ｂ】本発明の実施の形態による記憶スイッチに使用される物理的ターゲット記述子の概略的なブロック図。
【図８】記憶プールを示す概略的なブロック図。
【図９】サーバーにより「見られる」仮想ターゲットを示す概略的な論理ブロック図。
【図１０ａ】物理的装置の例示的な記憶プールを示す概略的なブロック図。
【図１０ｂ】さまざまな例示的仮想ターゲット記憶プールを示す概略的なブロック図。
【図１０ｃ】さまざまな例示的仮想ターゲット記憶プールを示す概略的なブロック図。
【図１０ｄ】さまざまな例示的仮想ターゲット記憶プールを示す概略的なブロック図。
【図１１】第２スイッチに接続された記憶装置の第１スイッチからのアクセス可能性を示す概略的なブロック図。
【図１２】本発明の実施の形態によるステップを示すフロー図。
【図１３ａ】負荷平衡を示す概略的なブロック図。
【図１３ｂ】負荷平衡を示す概略的なブロック図。

Claims (26)

1. データを記憶してアクセスするためのシステム内で使用される方法であって、このシステムは少なくと１つのイニシエーターと、少なくとも１つのターゲットと、少なくとも１つのスイッチを含み、
   イニシエーターからターゲットへの複数の経路を提供し、各経路はスイッチを通過し、
   スイッチにより経路間の負荷を動的に平衡にすることを含む方法。
2. 経路間の負荷を動的に平衡にすることが、
   各経路に対してそれぞれ平均の応答時間を決定し、
   最短の平均の応答時間を持つ経路に沿ってイニシエーターからターゲットへスイッチにより受け取られた要求を送る、
   ことを含む請求項１に記載の方法。
3. ターゲットが、物理的記憶装置である請求項１に記載の方法。
4. ターゲットが、仮想ターゲットである請求項１に記載の方法。
5. ターゲットが、複数のメンバーを持つミラーされたターゲットであり、経路間の負荷の平衡が、
   ミラーされたターゲットの各メンバーのそれぞれの平均の応答時間を決定し、
   最短の平均の応答時間を持つメンバーへイニシエーターからターゲットへスイッチにより受け取られた要求を送る、
   ことを含む請求項１に記載の方法。
6. 要求が読み取り要求である請求項５に記載の方法。
7. スイッチが、複数のポートを含み、そして負荷の平衡がそれぞれのポートと関連付けられた回路により実行される請求項１に記載の方法。
8. イニシエーターと、記憶装置と、スイッチとを含む記憶ネットワークで使用される方法であって、
   記憶装置からイニシエーターへの複数の経路を提供し、各経路はスイッチを通過し、
   各経路についてそれぞれの平均の応答時間を決定し、
   最短の平均の応答時間を持つ経路に沿ってイニシエーターから記憶装置へスイッチにより受け取られた要求を送る、
   ことを含む方法。
9. イニシエーターと、複数のメンバーを持つミラーされた仮想ターゲットと、スイッチとを含む記憶ネットワークで使用される方法であって、
   ミラーされた仮想ターゲットの各メンバーからイニシエーターへの複数の経路を提供し、各経路はスイッチを通過し、
   各経路についてそれぞれの平均の応答時間を決定し、
   最短の平均の応答時間のメンバーへイニシエーターからスイッチにより受け取られた要求を送る、
   ことを含む方法。
10. 要求が、読み取り要求である請求項９に記載の方法。
11. スイッチと、複数のイニシエーターと、複数のターゲットとを含み、そしてターゲットのいくつかは複数のメンバーを持つミラーされたターゲットであり、そしていくつかのターゲットは物理的記憶装置である記憶ネットワークで使用される方法であって、
    スイッチを経由して、第１イニシエーターから物理的記憶装置への複数の経路を提供し、
    スイッチを経由して、第２イニシエーターからミラーされたターゲットの各メンバーへのそれぞれの経路を提供し、
    第１イニシエーターから物理的記憶装置への各経路について及び第２イニシエーターからミラーされたターゲットの各メンバーへの各経路について、それぞれの平均の応答時間を決定し、
    最短の平均の応答時間を持つ物理的記憶装置への経路に沿ってイニシエーターから物理的記憶装置へスイッチにより受け取られた第１要求を送り、
    最短の平均の応答時間を持つミラーされたターゲットのメンバーへイニシエーターからスイッチにより受け取られた第２要求を送る、
    ことを含む方法。
12. 第１要求を送るステップが、スイッチ内の第１ラインカードにより実行され、
    第２要求を送るステップが、スイッチ内の第２ラインカードにより実行される請求項１１に記載の方法。
13. 第１要求を送るステップ及び第２要求を送るステップが、同じラインカードにより実行される請求項１１に記載の方法。
14. スイッチが複数のラインカードを含み、そして決定するステップが各ラインカードにより実行される請求項１１に記載の方法。
15. 記憶ネットワークにおいて使用されるスイッチであって、
    複数のポートと、
    各ポートと関連付けられた負荷平衡回路と、
    を含むスイッチ。
16. 負荷平衡回路が、記憶プロセッサ及びＣＰＵを含む請求項１５に記載のスイッチ。
17. イニシエーター及び複数の経路によりイニシエーターと通信するターゲットを含み、各経路がスイッチを通過する記憶ネットワークにおいて使用されるスイッチであって、
    複数のポートと、
    経路間の負荷平衡手段と、
    を含むスイッチ。
18. 負荷平衡手段が、
    各経路の応答時間について統計を維持する手段と、
    最短の平均応答時間を持つ経路に沿ってイニシエーターからターゲットへスイッチにより受信された要求を送信する手段と、
    を含む請求項１７に記載のスイッチ。
19. イニシエーターと、
    ターゲットと、
    スイッチと、
    スイッチを経由するイニシエーターからターゲットへの複数の経路とを含み、
    スイッチが、各経路について応答時間に関する統計的情報を含み、
    スイッチが、最短の応答時間を持つ経路に沿ってイニシエーターからターゲットへ要求を転送するように構成されている記憶ネットワーク。
20. ターゲットが、物理的記憶装置である請求項１９に記載の記憶ネットワーク。
21. ターゲットが、仮想ターゲットである請求項１９に記載のネットワーク。
22. ターゲットが複数のメンバーを持つミラーされたターゲットであり、複数の経路が各メンバーへのそれぞれの経路である請求項１９に記載のネットワーク。
23. 記憶ネットワーク内のスイッチにより実行される時、以下のステップをスイッチに実行させる命令を記憶した機械読取り可能な媒体であって、
    イニシエーターからターゲットへの複数の経路を提供し、各経路はスイッチを通過するステップと、
    各経路についてそれぞれの応答時間を決定するステップと、
    最短の平均の応答時間を持つ経路に沿ってイニシエーターからターゲットへスイッチにより受け取られた要求を送るステップと、
    を含む機械読取り可能な媒体。
24. ターゲットが、物理的記憶装置である請求項２３に記載の機械読取り可能な媒体。
25. ターゲットが、仮想ターゲットである請求項２３に記載の機械読取り可能な媒体。
26. ターゲットが、複数のメンバーを持つミラーされたターゲットであり、そして、命令が、
    ミラーされたターゲットの各メンバーのそれぞれの応答時間を決定し、
    最短の平均の応答時間を持つメンバーへイニシエーターからターゲットへスイッチにより受け取られた要求を送る、
    ことを含む請求項２３に記載された機械読取り可能な媒体。

Images