JP2005032233A - リンク選択制御を伴う記憶システム - Google Patents

Abstract

【課題】 リンク選択制御を伴う記憶システムを提供する。
【解決手段】 実際の顧客情報テクノロジ（ＩＴ）インフラストラクチャは、異なる速度を有する多くの回線を含むため、全体的な総ミラーリングスループットに不利益をもたらすことなく任意のスループットの増分複製回線を追加することができるシステムおよび動作方法の使用により、スループット性能を大幅に向上させることができる。たとえば順序付き非同期データミラーリングの文脈内で適用されるかかるシステムおよび方法により、多種多様の状況および構成においてスループットを大幅に向上させることができる。
【選択図】図１

Description

本発明は、リンク選択制御を伴う記憶システムに関する。

たとえばリモート論理ユニット（ＬＵＮ）ミラーリングのための専用高速回線によりネットワークインフラストラクチャを相互接続する既存の方法は、限られている。
たとえば、２つの複製ディスクアレイ間の回線は、順序なし書込みがリモートディスクアレイに正しい順序で適用される最善の機会を獲得するための容量が同一であるように制約される。
たとえば、ユーザが約１９メガバイト／秒（ＭＢ／秒）のスループットを有する単一の非同期転送モード光チャネル−３（ＡＴＭ ＯＣ−３）回線で開始し、同一の回線を追加する場合、ディスクアレイ間の総ミラーリングにより、ハードウェア／ソフトウェアインフラストラクチャのスケーリング限界内で約１００％性能が向上する。

しかしながら、ユーザが代りに、より低速な第２の回線、たとえば約５ＭＢ／秒のスループットを有するＴ３回線を追加する場合、総ミラーリングスループットは、資源の追加によって増大するのではなく、実際にはその低速な方の回線の速度のおよそ２倍まで減少する。
複数回線を有する構成では、スループットは、最低速回線の速度×回線の数まで減少する。
スループットの減少は、次に使用する伝送回線を確定するための慣習的な「総当り（round robin）」選択プロセスの急変（quirk）からもたらされる。

速度の異なる伝送回線の集合体の場合、スロットリングが発生する。
スロットリング現象は、川の一方の岸で他方の岸に車を移送するための２艘の片道カーフェリーの使用を待っている、先着順に一列に並んだ車のグループに類似して説明することができる。
最も低速のフェリーで１時間に渡すことができる車の数を、Ｘとする。
両フェリーが同じ速度である場合、１時間に渡される車の数は２Ｘである。
この場合、車が第１の岸で列になる正確な順序で他方の岸に到達するという要件と、フェリーの使用が厳密に総当り順で交替するという要件と、は、いずれのフェリーのスループットにも影響を与えない。

対照的に、一方のフェリーが実質的にＸより高速な速度であるＹで移動する場合、総当りのフェリー選択の要件を課すことにより、高速な方の速度Ｙが可能とすることができるあり得る最大数に比較して、渡される車の数が大幅に制限される可能性がある。
特に、高速な方の速度Ｙで移動することができるフェリーを使用しても、総当りによる船渡しに厳密に固執することにより、総移送システムの能力が２Ｘの速度に制限される。
高速な方のフェリーは、略常に低速な方のフェリーを待って失速するため、その高い速度により総容量が向上しない。
速度Ｙが速度Ｘよりはるかに大きい場合、総当り選択の使用により喪失する、リンク帯域幅に類似する潜在的なトラヒック(traffic)はＹ−Ｘに等しい。

記憶システムにおける相互接続に関して、総当りリンク選択は、同様にスループットに影響を与える。
たとえば、２つのミラーリングディスクアレイ間で、５ＭＢ／秒の容量を有するＴ３回線が目下使用されており、情報テクノロジ（ＩＴ）インフラストラクチャの変更により２０ＭＢ／秒の容量を有するＡＴＭ ＯＣ−３回線を追加する場合、全体の総スループットが、総当りリンク使用が強制されることによるスロットリングの影響により、２×５ＭＢ／秒または１０ＭＢ／秒まで制限される。
逆に、本来２０ＭＢ／秒回線が使用されており新たに利用可能な５ＭＢ／秒回線を追加する場合、総回線性能が２０ＭＢ／秒から１０ＭＢ／秒に低下する。

図８Ａ、図８Ｂ、図８Ｃおよび図８Ｄは、一致しないリンクの総当り使用による不利益なスロットリングの例を示す。
各場合において、ディスクアレイ８００の対は、種々のリンクにより通信する。
図８Ａは、１００ＭＢ／秒ファイバチャネル（ＦＣ）リンクと、利用可能な容量が２０ＭＢ／秒である共用ＦＣリンクとによって接続されたシステムを示す。
潜在的な総容量は２００ＭＢ／秒であるが、実際の総スループットは４０ＭＢ／秒であり、共用リンクからの利用可能な容量の２倍である。

図８Ｂは、専用１００ＭＢ／秒インターネット小型コンピュータシステムインタフェース（ｉＳＣＳＩ）／イーサネット（登録商標）リンクと、利用可能な容量が５０ＭＢ／秒である共用ｉＳＣＳＩ／イーサネットリンクとによって接続されたシステムを示す。
潜在的な総容量は２００ＭＢ／秒であるが、実際の総スループットは１００ＭＢ／秒であり、共用リンクからの利用可能な容量の２倍である。

図８Ｃは、専用１００ＭＢ／秒ファイバチャネル（ＦＣ）リンクと１７ＭＢ／秒エンタープライズシステムコネクション（Enterprise System Connection（ＥＳＣＯＮ））リンクとによって接続されたシステムを示す。
潜在的な総容量は１３４ＭＢ／秒であるが、実際の総スループットは３４ＭＢ／秒であり、低速なＥＳＣＯＮリンクの２倍である。

図８Ｄは、２つの専用１００ＭＢ／秒ギガビットイーサネット（ｇｉｇＥ）リンクと専用１０ＭＢ／秒イーサネット１０／１００ｂＴリンクとによって接続されたシステムを示す。
潜在的な総容量は２１０ＭＢ／秒であるが、実際の総スループットは３０ＭＢ／秒であり、最低速リンクのスループットの３倍である。

実際の顧客情報テクノロジ（ＩＴ）インフラストラクチャは、異なる速度を有する多くの回線を含むため、全体的な総ミラーリングスループットに不利益をもたらすことなく任意のスループットの増分複製回線を追加することができるシステムおよび動作方法の使用により、スループット性能を大幅に向上させることができる。
たとえば順序付き非同期データミラーリングの文脈内で適用されるかかるシステムおよび方法により、多種多様の状況および構成においてスループットを大幅に向上させることができる。

いくつかの実施形態によれば、複数の通信リンクを介してネットワークインフラストラクチャを相互接続する方法は、リンク類似性グループ化（link affinity grouping）に従って複数の通信リンクを分類すること、リンク類似性グループ化に従って複数の通信リンクのうちの選択式の通信リンクを使用可能および使用不能にすること、およびリンク類似性グループ化の特性に適合される選択プロセスを使用して使用可能通信リンクから選択された特定のリンクを起動すること、を含む。

他の実施形態によれば、ネットワークインフラストラクチャのデータを複数の通信リンクを介して通信する方法は、ローカルアレイとリモートアレイとの間の複数の通信リンクを相互接続すること、データを伝送するために利用可能なリンクのリストを維持すること、利用可能となったリンクをリストに含めること、リスト上の次に利用可能なリンクを起動すること、および起動された次に利用可能なリンクによってデータを送信すること、を含む。

別の実施形態では、記憶システムは、複数の通信リンクを介して、ネットワークインフラストラクチャを相互接続することができるインタフェースを含む。
複数の通信リンクは、種々のデータ伝送能力および性能を有する。
記憶システムはさらに、インタフェースに連結され、複数の通信リンクを性能基準に基づいて少なくとも１つのリンク類似性グループに割り当て、リンク類似性グループ割当に基づいてリンク選択を制御するコントローラを具備する。

さらなる他の実施形態では、製品は、複数の通信リンクを介してネットワークインフラストラクチャを相互接続する計算可能な読取可能プログラムコードが具体化されたコントローラ使用可能媒体を含む。
計算可能な読取可能プログラムコードはさらに、コントローラがリンク類似性グループ化に従って複数の通信リンクを分類するようにすることが可能なコードと、コントローラがリンク類似性グループ化に従って複数の通信リンクのうちの選択式の通信リンクを使用可能および使用不能にすることができるようにすることが可能なコードとを含む。
計算可能な読取可能プログラムコードはさらに、コントローラがリンク類似性グループ化の特性に適合された選択プロセスを使用して使用可能通信リンクから選択された特定のリンクを起動するようにすることが可能なコードと、コントローラが使用可能通信リンクの性能を個々におよび集合体として分析するようにすることが可能なコードとを含む。

他の実施形態では、製品は、ネットワークインフラストラクチャのデータを複数の通信リンクを介して通信する計算可能な読取可能プログラムコードが具体化されたコントローラ使用可能媒体を備える。
計算可能な読取可能プログラムコードは、コントローラがローカルアレイとリモートアレイとの間の複数の通信リンクを相互接続するようにすることが可能なコードと、コントローラがデータを伝送するために利用可能なリンクのリストを保持するようにすることが可能なコードと、コントローラが利用可能となったリンクをリストに含めるようにすることが可能なコードと、をさらに含む。
計算可能な読取可能プログラムコードは、コントローラがリスト上の次に利用可能なリンクを起動するようにすることが可能なコードと、コントローラが起動された次に利用可能なリンクによってデータを送信するようにすることが可能なコードと、をさらに含む。

構成と動作の方法との両方に関連する本発明の実施形態は、以下の説明および添付図面を参照することにより最もよく理解することができる。

最新のディスクアレイは、ＡＴＭ ＯＣ−３、Ｔ３、Ｔ１、衛星ホップ等の種々のリンクタイプを介してリモートに連結される。
現行システムでは、２つのアレイ間の複数リンクが、各々同一の帯域幅容量のものでなければならない、ということが必要である。
この規則にしたがわないと、総当りリンク使用アルゴリズムによって最低速リンクが総リンクスループットをスロットリングするため、２つのアレイ間の総スループットが大幅に低下する可能性がある。

受信端において順序付きパケット再組立を実行する能力により、大幅に異なる速度能力を有するリンクの完全なスループット容量を使用することが可能になる「次に利用可能なリンク（Next Available Link）」方法等の他のリンク選択アルゴリズムおよびプロセスの使用が可能になり、それによってユーザは、全リモート複製スループットにおける不利益なしに、容量の異なる利用可能な断片的なパラレル通信回線を完全に利用することができる。

本明細書では、最もミッションクリティカルなＬＵＮグループパケットが、高セキュアルーティングまたは他のリンク特性を利用するように、特定のリンクのサブセット、たとえばプライマリまたはバックアップリンクグループによって通信するように割り当てられることを保証することができる、回線類似性（line affinity）の概念を定義する。

直観に反するが、１つまたは複数の最低速の一致しないリンクを使用不能にすることにより、総当りによる総リンクスループットを大幅に向上させることができる。
したがって、実施形態によっては、制御プロセスは、任意選択で、個々のリンク性能を分析し、
（Ａ）特定のリンクのスループットがリンクグループに割り当てられた選択された限界をはるかに下回る場合と、
（Ｂ）１つまたは複数のリンクを使用不能にすることにより総リンクグループスループットを向上させることができる場合と
において、ユーザに対し通知することができる。

図１を参照すると、概略ブロック図は、ネットワークインフラストラクチャ、例示的には複数のディスクアレイ１０４を複数の通信リンク１０６を介して相互接続することができるインタフェース１０２を備えた記憶システム１００の実施形態を示す。
複数の通信リンク１０６は、種々のデータ伝送能力および性能を有する。
記憶システム１００は、さらに、インタフェース１０２に連結されたコントローラ１０８を備える。
コントローラ１０８は、性能基準に基づいて複数の通信リンク１０６を少なくとも１つのリンク類似性グループに割り当て、リンク類似性グループ割当に基づいてリンク選択を制御する。

リンク類似性グループは、概して、特定の規定された性能または信頼性特性に達するように管理者またはユーザにより選択される。
さまざまなリンク類似性グループ割当には、利用可能なすべてのリンク、特定のリンクサブセット、もしくは特定のリンク類似性グループ内か複数のグループまで拡張するかまたは複数のグループに亙る組合せであるグループ化が含まれてもよい。

コントローラ１０８は、使用可能な通信リンク１０６の性能を個々におよび集合体として分析する。
分析のためのデータは、インタフェース１０２からアクセスされ、たとえばタイマテーブルからアクセスされる要求に応答する時間を示すタイミング信号の形態であってもよい。
また、タイミング情報から帯域幅情報を導出することも可能である。

実施形態によっては、コントローラロジックを、ファームウェアで実施することもソフトウェアで実施することも可能である。
典型的な実施態様では、コントローラロジックを、専用アレイ管理ホストシステム１１０および／またはユーザインタフェースで実行しているホストソフトウェアが協働するか否かに係らず、ディスクアレイファームウェアに含めることができる。
他の例では、ロジックを、ファイバチャネルおよび他のスイッチ、小型コンピュータシステムインタフェース（ＳＣＳＩ）インタフェース、ブリッジ、サーバ、ルータ、ホストコンピュータ、ディレクタ、プロトコルコンバータ等の装置またはコンポーネントにおいて実施することができる。

分析に基づいて、コントローラ１０８は、いくつかの動作のうちの１つまたは複数を実行することができる。
コントローラ１０８は、リンクスループットが所定レベルまで劣化したか否かを判断することができる。
一実施例では、個々のリンクスループットが、管理者またはユーザが事前定義したＸおよびＴに関し、時間Ｔを越えてＸ％劣化した時を確定するように、コントローラ１０８を設定することができる。

個々のリンクおよびグループ総性能の分析に基づいて、コントローラ１０８は、表示するかもしくは管理者またはユーザに通知するために１つまたは複数の推奨を発行することができる。
たとえば、コントローラ１０８は、潜在的なスループット、リンク経路セキュリティ評価、論理装置（ＬＵＮ）重要度（criticality）評価等に基づき、グループ化を適当なリンク類似性グループに連結することができる。
別の例では、コントローラ１０８は、予め形成されたリンク類似性グループから低スループットリンクを使用不能にするかまたは削除することにより、総リンク類似性グループスループットが向上するか否かを判断することができる。
代替的に、コントローラ１０８は、たとえば特定のリンクを第１リンク類似性グループから別のグループに、または新たなグループに移動することによってリンク混合を変更することが、両グループの総スループットに利益をもたらすか否かを判断することができる。
コントローラは、任意の適当な推奨を管理者またはユーザに通信することができる。

実施形態によっては、コントローラ１０８は、選択されたリンクを使用可能にするおよび／または使用不能にすることにより、可能な場合は総スループットを向上させるように自動的に推奨を実施することができる。

例示的なシステム１００は、同様のまたはまったく同じシステムと相互通信しているように示される。
さまざまな用途、状態および実施形態において、システム１００は、同様のものおよび異なるものを両方とも含み、多くのさまざまなタイプの記憶システム、コンポーネントおよび装置と通信し対話することができ、通常は通信し対話する。

図１とともに図２を参照すると、概略フローチャートは、コントローラ１０８がリンク類似性グループ処理を実施するために実行することができるプロセス、手続きまたは方法２００の実施形態を示す。
さまざまな実施形態において、リンク制御技術を、ソフトウェアおよび／またはファームウェアで、たとえば論理単位（ＬＵＮ）毎にまたはＬＵＮグループ単位で、関係するホストおよびディスクアレイにおいて実施することができる。

ディスクアレイ複製は、概して、同期、順序なし非同期および順序付き非同期のタイプに従ってまたはそれらの変形において発生する。
同期複製は、本質的に順序付きである。
ディスクアレイの対は、同時に、各タイプのいくつかの複製された論理装置（ＬＵＮ）グループを有する場合が多い。
同期および順序なし非同期ＬＵＮグループは、通常整合性グループ（Consistency Group）内では構成されない。
整合性グループは、リモートサイトでの整合性グループ内の各ＬＵＮの書込み順序が、ローカルサイトでの各対応するＬＵＮと同じであるように決定論的に保証されている、ＬＵＮの構成である。
対照的に、順序付き非同期通信は、通常整合性グループを使用する。

典型的な既知のディスクアレイミラーリング技術は、柔軟性がなく、最悪シナリオの同期または順序なし非同期の非整合性グループデータ複製に適応するように構成されている。

複製のために複数の回線が利用可能であり、整合性および非整合性グループミラーリングがともに使用される場合、複数の回線を使用する柔軟性のない総当り方法は、リモートサイトで書込み順序を非決定論的に保存しデータ破損を回避するための唯一の方法である。
通常の既知のディスクアレイは、ＬＵＮ毎に２５６キロバイト（ＫＢ）までの書込みを１メガバイト（ＭＢ）のリンク効率のよい書込みに集約することができる。
総当りリンク割当以外を使用するシステムでは、潜在的なデータ破損の危険性がある。
たとえば、システムが書込み１、３および５に対して高速リンクを使用し書込み２および４に対して低速リンクを使用する場合、リモート書込みは順序が狂って適用される場合があり、データが破損する可能性がある。

より最近利用可能なディスクアレイは、順序の誤った書込みに適応するために、たとえばシーケンス番号またはタイムスタンプに基づく、非同期順序付きリモート書込みソーティングが可能である。
リンク類似性グループ処理を実施する例示的な方法２００により、総当り処理の制約と状況によっては総複製スループットの関連する激しい低減とが回避される。

整合性グループ割当のない同期および順序なし非同期ディスクアレイ複製の管理において２０２、コントローラ１０８は、総当り順序選択プロセスを使用してすべての利用可能リンクによりデータを通信することができる２０４。
コントローラ１０８は、個々のおよびグループのリンク性能を分析して２０６、総性能が所定限界を下回るまで低下したか否かを判断する２０８。
そうである場合、コントローラ１０８は、警告メッセージを生成する２１０。

システム動作の一般的な例では、Ａ、Ｂ、Ｃ、…、Ｘメガバイト／秒の実際のスループットを有する回線１、２、３、…、Ｎによって表される複数の回線（理論的なスループットに対するレイテンシおよびパケット損失の影響を考慮する）は、総当りリンク使用アルゴリズムの影響により、Ｎ×最低スループットリンクという全体的な総スループットに強要される。
この結果の直観に反する影響は、低速な方の回線のうちの１つまたは複数を削除または使用不能とすることにより、回線のグループの総リンクスループットを向上させることができる、ということである。

一実施例では、４つの１００ｂＴ回線を、２つのディスクアレイの間でのミラーリングのために集約することができ、４つのうちの３つを１００Ｍビット容量での動作に専用にすることができ、２０Ｍビット容量のみを残して、第４の回線を他の動作のために共用する。
総リンク容量は、４００Ｍビットという潜在的な容量ではなく、最低速リンク帯域幅（２０Ｍビット）×リンクの数（４）である８０Ｍビットである。
この構成によって失われる容量は、あり得る３２０Ｍビットから失われた（３×１００＋２０）−４×２０＝２４０Ｍビットに等しい。
動作から最低速リンクを削除することにより、総リンクスループットは３００Ｍビットまで上昇し、略４倍向上する。

したがって、コントローラ１０８は、分析に基づいて、リンク類似性グループ化において集合体から使用不能にすることにより総スループットを向上させる、個々のリンクを識別することができる２１２。
状態を示す通知メッセージを、たとえばユーザインタフェースを介して管理者またはユーザに通信することができる２１４。

コントローラ１０８はまた、分析に基づいて、適当なリンク構成に関する推奨を行うことも可能である。
整合性グループ割当なしの同期および順序なし非同期ディスクアレイ複製の状態での最高の性能は、レイテンシおよびパケット喪失の影響を考慮した後に、集約されたセットにおけるすべてのリンクの正味帯域幅が同一である場合に達成される。
たとえば、専用ダークファイバＴ３回線を、レイテンシおよびパケット損失がはるかに高い衛星ベースまたはマイクロ波Ｔ３と対にすることにより、規則に違反し総帯域幅の可能性の大部分が喪失する可能性がある。

順序付き非同期ディスクアレイ複製２１６の管理において、コントローラ１０８は、リンク類似性グループ化に従って複数の通信リンクのうちの選択式のリンクを使用可能および使用不能にする２１８。
コントローラ１０８は、リンク類似性グループ化の特性に適合される選択プロセスを使用して、使用可能通信リンクから選択された特定のリンクを起動する２２０。
１つの選択は、総当りリンク選択であってもよい。
第２の選択は、次に利用可能なリンク（ＮＡＬ）選択プロセスである。

コントローラ１０８は、個々のリンクおよびグループ性能を分析する２２２。
コントローラ１０８は、総性能が所定限界を下回るまで低下したか否かを判断し２２４、性能低下が限界を下回った場合に警告メッセージを生成する２２６。

コントローラ１０８は、分析に基づいて、リンク類似性グループ化における集合体から使用不能にすることにより総スループットを向上させる、個々のリンクを識別することができる２２８。
コントローラ１０８はまた、分析に基づいて、２つのリンク類似性グループのリンクの割当を変更することにより両グループのスループットが向上するか否かを判断することも可能である２３０。

プロトコルコンバータを使用するディスクアレイ複製の管理において２３２、コントローラ１０８は、同一スループットのリンクに対し総当り順序で使用可能なすべてのリンクによりデータを通信することができる２３４。
図３を参照すると、概略ブロック図は、ミラーリングされたディスクアレイ３０２および３０４間のプロトコル変換３００の実施形態を示す。
ミラーリングアレイの間のリンクは、スイッチまたはディレクタを介してあるいはプロトコルコンバータを介して、直接であってもよく、さもなければ専用または固有と呼んでもよい。
スイッチまたはディレクタは、１つのプロトコルから別のプロトコルに変換しない。
パケットをバッファリングも再順序付けもしないパススルーコンバータと、パケットをバッファリングし再順序付けするスプーフィングコンバータと、を含む２つの変形において、通常のプロトコルコンバータが利用可能である。
パススルーコンバータの例は、ニュージャージー州LumbertonのInrange Technologies CorporationからのＩｎｒａｎｇｅ ９８０１である。
スプーフィングコンバータの例には、ミネソタ州MinneapolisのCNTからのＣＮＴ Ｕｌｔｒａｎｅｔまたは「Ｅｄｇｅ」がある。

例示的なプロトコル変換３００は、２つのファイバチャネル（ＦＣ）・光チャネル３（Optical Channel-3（ＯＣ−３））コンバータ３０６および３０８が含まれる。
プロトコルコンバータ３０６および３０８は、それぞれファイバチャネルリンクを介してディスクアレイ３０２および３０４と通信する。
プロトコルコンバータ３０６および３０８は、複数の非同期転送モード（ＡＴＭ）ＯＣ−３リンクを介して相互にデータを通信する。
プロトコルコンバータ３０６および３０８は、ミラーリングされたディスクアレイ３０２および３０４間のバック・ツー・バックコンバータとして構成される。
プロトコルコンバータは、リンクの数およびタイプの相違に係りなくおよびパススルー方法またはスプーフィング方法のいずれを使用するかに係らず、リモート側パケット引渡し順序がローカル側送信順序と同じであることを保証する。

行われているプロトコル変換の特定のタイプに応じて、リンクの数は、リンクがコンバータに入る際および出る際に増加または減少してもよい。
たとえば、ＣＮＴ「Ｅｄｇｅ」コンバータ／スイッチは、単一１００ＭＢ／秒ファイバチャネル（ＦＣ）リンクを指定されたより多数のＡＴＭ ＯＣ−３リンク、たとえば各々が１９ＭＢ／秒のスループットである２つのリンクに変換してもよい。
複製されたディスクアレイの環境内では、コンバータは、通常バック・ツー・バックの一致した対において使用される。

図４を参照すると、フローチャートは、複数の通信リンクを介してネットワークインフラストラクチャを相互接続する方法４００を示す。
この方法は、リンク類似性グループ化に従って複数の通信リンクを分類すること４０２を含む。
１つまたは複数のリンクを、さまざまな基準および条件に対して最適化するようにリンク類似性グループにグループ化してもよい。
基準には、次のアクティブなリンクを確定するための総当り選択を使用するスループットと、次に利用可能な使用選択プロセスを使用するスループットと、がある。
他の条件には、リンク経路セキュリティの変動とリンクコストの変動とがある。
別の基準は、リンク可用性の変動である。
リンクによっては、緊急事態にのみ起動されてもよいものもある。
共用されるリンクもある。
リンクを、特定のＬＵＮグループの複製に対するプライマリまたはセカンダリリンクグループとしての特徴に従って類似性グループに割り当てることができる。
他の基準には、リンク類似性グループ（ＬＡＧ）内、ＬＡＧ間の部分包含グループおよびＬＡＧ間完全包含グループとしての状態がある。

類似性グループ基準として、アウトバウンドまたはフェイルオーバーリンクとしてもしくはインバウンドまたはフェイルバックリンクとしての状態を含むリンク方向を使用することができる。
単一障害点における削除または低減によって獲得された高可用性は、入る方向と出る方向の両方のおよび少なくとも２つのリンクのグループのリンクを有するシステムにおいて最も優勢である。
リンクは、概してワイヤまたはファイバ対の形態であるが、通常単一方向にデータを伝送すると考えられる。
たとえば、アウトバウンドまたはフェイルオーバーリンク類似性グループとインバウンドまたはフェイルバックリンク類似性グループとは、高可用性を促進する。

図５に示す概略ブロック図に示す一実施例では、高可用性を促進する構成、すなわち最小リンク構成５００は、通常２つのアウトバウンドリンク５０２と２つのインバウンドリンク５０４とを含み、両リンク対は異なってルーティングする。
冗長アウトバウンドリンク５０２およびインバウンドリンク５０４により、重大なフェイルオーバーおよびフェイルバック能力を保持しながら単一リンクまたは優先権障害が可能になる。
実施例では、冗長アウトバウンドリンク５０２およびインバウンドリンク５０４は、プライマリディスクアレイ５０６とセカンダリディスクアレイ５０８とを含むミラーリングされたディスクアレイを相互接続する。

再び図４を参照すると、本方法はさらに、リンク類似性グループ化に従って複数の通信リンクのうちの特定のリンクを選択的に使用可能および使用不能にすること４０４を含む。
選択されたリンクを使用可能および使用不能にする４０４動作の例を、図６において表形式で示す。
表は、アウトバウンド方向における潜在的なリンク類似性グループ（ＬＡＧ）の例を示す。
例は、アウトバウンドまたはフェイルオーバー方向におけるリンクに対する動作を示すが、これらの概念は、インバウンド／フェイルバックリンクにも同様に適用される。
表は、さまざまな基準および測定基準によって定義されるグループ化によるあり得るリンク類似性グループ（ＬＡＧ）の例を示す。

表は、いくつかのＬＡＧ（ａ、ｂ、ｃ、ｄ、ｋ、ｌ、ｍ、ｎ）が、いかなる性能上の不利もなく、総当りリンク選択に対して適当であることを示す。
他のＬＡＧ（ｅ、ｆ、ｇ、ｈ、ｉ、ｊ）は、総当り処理の下で性能が劣化した。
ミッションクリティカルなデータのリモート複製に対して適当なＬＡＧ（ａ）もあり、そうでないＬＡＧもある。

例示的なリンクに対し総当り処理のみを利用する弱点を示す。
たとえば、ＬＡＧグループｆは、０．１７５メガバイト／秒（ＭＢ／秒）×１０すなわち１．７５ＭＢ／秒の全体的な総スループットまでスロットリングする。

対照的に、リンク選択を制御する例示的な技術は、適当なグループに対して総当り選択を使用し他のＬＡＧに対して次に利用可能なリンク等の他の選択方法とを使用して、リンク類似性グループをより有効に管理することができる。
たとえば、ＬＡＧグループｂに対して総当り選択を使用することにより、いくつかのＬＵＮグループの複製に対して６８ＭＢ／秒総スループットを達成することができ、同時に、ＬＡＧグループｈ等の他のＬＡＧまたは他のＬＵＮグループに次に利用可能なリンク選択を使用することにより、１０６ＭＢ／秒総スループットを達成することができる。
リンクを選択する例示的な柔軟性のある技術により、特性の異なるリンクの相互接続を伴う多くのまたはほとんどの構成においてスループット性能を大幅に向上させることができる。

ＬＡＧグループを画定する適当なユーザインタフェースの例は、以下のようにdefine_a_lag（ＬＡＧ画定）およびlag_affinity（ＬＡＧ類似性）を含むことができる。
define_a_lag（destination（宛先）,links（リンク））
たとえば：
define_a_lag（"a",0,1） /^*リンク０および１を含むＬＡＧ「ａ」を生成
define_a_lag（"b",2,3,4,5） /^*リンク２、３、４、５を含むＬＡＧ「ｂ」を生成
lag_affinity（LUN_group（ＬＵＮグループ）, primary_LAG（一次ＬＡＧ）, failback_LAG（フェイルバックＬＡＧ））
たとえば：
lag_affinity（Mission_Critical_dB_LUN_Group,"a","b"）

たとえば、lag_affinityインタフェースは、最も重要なＬＵＮグループ、すなわちMission_Critical_dB_LUN_Groupが通常、ＬＡＧグループａによって複製することを指定することができる。
ＬＡＧグループａリンクが故障すると、アレイは、自動的にＬＡＧグループｂに切り替わって複製を継続する。

再び図４を参照すると、本方法はさらに、リンク類似性グループ化の特性に適合された選択プロセスを使用して、使用可能通信リンク間から選択された特定のリンクを起動すること４０６を含む。

異なるタイプのリンク類似性グループに対し、次に利用可能なリンク（ＮＡＬ）選択方法を使用することができる。
リンクの循環リスト、たとえばリンク０、１、２、３、４、５、６、７、８、９、０、１、２、３、４、５、６、７、８、９、…における次のリンクを使用する総当り選択方法とは対照的に、ＮＡＬ技術は、コントローラが、いずれのリンクが目下使用可能であるかを判断するのを可能にする。
高速なリンクが低速なリンクより速やかにサービスから戻ることにより、次に利用可能なリンクは、通常最高速リンクのうちの１つとなる。
したがって、ＮＡＬ技術は、総スループットを圧倒的に向上させることができる。
総当り選択を使用するリンクの標準の循環リストとは対照的に、ＮＡＬ技術は、リンク０および１が最高速である場合、たとえば０、１、０、１、２、１、３、０、４、１、…といったリンク順序付けをもたらすことができる。

ＮＡＬ選択を使用する不都合は、複製書込みが宛先に順序が狂って到達し、データ破損の危険性がある、ということである。
しかしながら、たとえばシーケンス番号またはタイムスタンプによって順序付けられる書込みの場合、宛先が、ディスクにデステージされる前にリモートアレイにおいて適切な順序になるように自動的にデータを再ソートするため、データ破損は発生しない。

図７を参照すると、概略フローチャートは、次に利用可能なリンク選択プロセス７００の方法の実施形態を示す。
ローカルサイト７０２において、本方法は、データを伝送するために利用可能なリンクのリストを保持すること７０４を含む。
たとえば、コントローラは、最初にいかなる順序で設定することも可能である循環リストを保持する。
単純な実施例では、リンクを、数の順序、０、１、２、３、４、５、６、７、８、９で設定することができる。
データを送信するために、リスト上の次に利用可能なリンクを起動し７０６、データをその起動されたリンクで送信する７０８。
選択されデータを送信するために使用されたリンクを、待ち行列から取り除き、続くすべてのリンク番号が待ち行列の先頭に向かって１位置だけ移動する。
送信が完了したリンクは利用可能となり、対応する番号が待ち行列に追加される７１０。
すべてのリンクが最初に使用された後、高速なリンクほど速やかに利用可能となり、より迅速に待ち行列に追加される。
したがって、高速なリンクほどより頻繁に使用される。

リモートサイト７１２において、コントローラは、送信された情報７１４を受信し、受信した情報を適切な順序に再順序付けする７１６。
再順序付けした後、データをディスクにデステージする７１８。

状態または状況によっては、総当りリンク選択プロセスを使用することができる。
総当り操作では、各書込みは回線の循環して連結されたリストにおける次の回線でローカルコントローラから出るため、受信側が、書込みを送信するために使用したものと同じ循環シーケンスで利用可能回線から書込みを受信しデステージすることにより、順序付けを保持することができる。
より高速なリンク、より高速なクロック速度またはバッファリング遅延により、第２の書込みが第１の書込みの前に到達する場合であっても、正しい順序付けが維持される。
必ずしも応答または完了しないが、先の書込みが少なくとも送信側を離れる前に次の書込みが離れないため、複数の回線を有するすべての利益を無効にすることなく適切なリモート順序付けを達成することが非決定論的に支援される。
異なるＬＵＮに対する書込みを、より大きくより効率的な書込み動作に集約することができ、それによって同じＬＵＮに向けられた２つの書込みの順序付けを混乱させることなく、リンクが過度なオーバヘッドのために使用中でないことが保証される。

再び図４を参照すると、複数の通信リンクを介してディスクアレイを相互接続する方法４００を使用して、管理者またはユーザに対し警告信号を供給することができる４０８。
本システムは、使用可能通信リンクの性能を、個々におよび集合体として分析する４１０。
リンク類似性グループが総当り選択プロセスで使用されることが意図される場合、スループット性能は、リンク類似性グループのすべてのリンクが最大定格スループットを維持しない限り大幅に低減する可能性がある。
パケット損失変動、たとえば交換回線または交換パケットに対する動的経路およびリンク距離の変化およびリンク故障を含む複数の状態により、特定のリンクのスループットが非常に変化し易い可能性がある。
非決定論的にパケットを破棄する過負荷状態のルータまたはスイッチもまた、他の状態とともにスループット変動をもたらす可能性がある。

分析の一部として、本システムは、総性能が所定限界を下回るまで低下したか否かを判断することができる４１２。
実施形態によっては、例示的なリンク選択システムおよび動作方法４００により、ユーザは、最大スループット率変動（ＴＰＶ）とＴＰＶが閾値を越えることにより性能の顕著な低下を示す時間フレーム（Ｔ）とを画定することができる。
かかる性能劣化の場合、システムは、警告信号を生成することができる４１４。
所定の形式の電子メール、通知ウェブページの表示、管理グラフィカルユーザインタフェースアイコンの色の変化等、さまざまなタイプの警告通知を用いることができる。

実施形態および状態によっては、システムは、リンク類似性グループ化に含めるために適当な個々のリンクを確定することができる４１６。
利用可能なリンクから選択する基準には、潜在的な個々のスループットと特定のリンクグループに対する潜在的な総スループットとがある。
スループット分析は、パケット損失、リンク経路、リンク信頼性および経路に沿ったスイッチング特性の変動等の状態を考慮することができる。
無線リンクにおいて、見通し線伝送変動がスループットに影響を与える場合もある。

他の基準には、リンク経路セキュリティ評価、論理装置（ＬＵＮ）グループ重要度評価、リンク選択プロセスに従う潜在的なスループット、リンクコスト、リンク可用性、一次および二次複製分類、複数のリンク類似性グループの包含または排除、部分的または完全なリンク類似性グループの包含およびリンク方向がある。

リンクを包含するか否かの判断に基づき、本システムは、リンク割当を再構成するための推奨を生成することができる４１８。

図６に関して示すリンク混合の特定の実施例では、ユーザインタフェースを次のように実施することができる。
LAG_Number（ＬＡＧ番号）=Link_Recommend（リンク推奨）（Criteria（基準）,Usage（使用））
「Criteria」は以下から選択
Max_aggregated_throughput（最大集約スループット）
Max_link_security（最大リンクセキュリティ）
Max_link_survivability（最大リンク生存性）
等
「Usage」は以下から選択
Round Robin（総当り）（ＲＲ）
Next Available link（次に利用可能なリンク）（ＮＡＬ）

図６に示すリンク混合の実施例では、Link_Recommend（Max_Aggregated_Throughput，Round_Robin）は、ＬＡＧグループｂに対する推奨を返す。
対照的に、Link_Recommend（Max_Aggregated_Throughput, NAL）は、ＬＡＧグループｆに対する推奨を返す。

再び図４を参照すると、本システムはまた、リンク類似性グループ化における集合体から使用不能にすることにより総スループットが向上するような個々のリンクを識別することも可能である４２０。
状態によっては、特定リンクの削除または使用不能により、リンク類似性グループの総スループットを向上させることができる。
適当な場合は、本システムは、識別されたリンクを使用不能にすることを推奨することができる４２２。
インタフェースの例は、次の通りである。
throughput（スループット）＝Link_Analyze（リンク分析）（link（リンク））

エンタープライズシステムコネクション（ＥＳＣＯＮ）リンクに対するLink_Analyze（２）等の呼出しは、実際のリアルタイム性能の監視に基づいて「１２」（ＭＢ／秒）等のスループットを返す可能性がある。

インタフェースの別の例は、
LAG_Analyze（LAG destination（ＬＡＧ宛先）,Usage（使用））
であり、ここで、「Usage」は、総当り（ＲＲ）と次に利用可能なリンク（ＮＡＬ）とから選択される。

一実施例では、ＬＡＧグループｃは、アレイ内で２つの１００ｂＴローカルエリアネットワーク（ＬＡＮ）リンクを備えるように定義されるリンク６および７を含む。
それらのリンクは、動的に専用であっても共用されてもよく、理想的には各々約１２ＭＢ／秒のスループットを生成することができる。
したがって、LAG_Analyze（ｃ,RR）等の要求は、次のような表示を返すことができる。
ＬＡＧ＝Ｃ、使用＝ＲＲに対する分析
回線 スループット
６ １１．０ＭＢ／秒
７ ２．５ＭＢ／秒
推奨：リンク７を削除することによりＬＡＧスループットが５．０ＭＢ／秒から１１．０ＭＢ／秒まで上昇することができる。

本システムはまた、２つのリンク類似性グループのうちのリンクの割当を変更することにより、両グループのスループットが向上するか否かを判断し４２４、それに従って推奨を生成することも可能である４２６。
時に、リンク類似性グループ内のリンクの混合を変更することにより、両グループに対する総スループットを向上させることができる。
たとえば、システムが、ＬＡＧグループｃが総当り（ＲＲ）選択割当により目下使用されており、ＬＡＧグループｄが次に利用可能なリンク（ＮＡＬ）割当により使用されていると判断した場合、適当な呼出しは、次のようであってもよい。
Recommend_Link_Mix（推奨リンク混合）（LAG1,Usage1,LAG2,Usage2）
ここで、「LAG」は、比較のために選択されたリンク類似性グループを言い、「Usage」は、総当り（ＲＲ）と次に利用可能なリンク（ＮＡＬ）とから選択される。

Recommend_Link_Mix（c,RR,d,NAL）等の要求は、次のような推奨を生成することができる。
ＬＡＧ＝Ｃおよび使用＝ＲＲとＬＡＧ＝Ｄおよび使用＝ＮＡＬとに対する分析
回線 スループット
６ １１．０ＭＢ／秒
７ ２．５ＭＢ／秒
８ ５．０ＭＢ／秒
推奨：リンク７をＬＡＧ ｄに移動することにより、ＬＡＧ ｃのスループットを５．０ＭＢ／秒から１１．０ＭＢ／秒まで上昇させることができ、同時にＬＡＧ ｄスループットを５．０ＭＢ／秒から７．５ＭＢ／秒まで上昇させることができる。

実施形態によっては、本システムを、たとえば選択されたリンクを使用不能にするかまたはリンク類似性グループ内のリンクを再割当することにより、推奨を自動的に実行するように構成することができる４２８。

本システムによって実行されるさまざまな機能、プロセス、方法および動作を、さまざまなタイプのプロセッサ、コントローラ、中央処理装置、マイクロプロセッサ、デジタル信号プロセッサ、状態機械、プログラマブルロジックアレイ等で実行可能なプログラムとして実施することができる。
それらプログラムを、コンピュータ関連システムまたは方法によるかまたはそれに関連して使用される任意のコンピュータ読取可能媒体に格納することができる。
コンピュータ読取可能媒体は、コンピュータ関連システム、方法、プロセスまたは手続きによるかまたはそれに関連して使用されるコンピュータプログラムを内蔵しまたは格納することができる、電子、磁気、光または他の物理デバイスまたは手段である。
プログラムを、コンピュータまたはプロセッサに基づくシステム、あるいは任意の適当なタイプの命令メモリまたは記憶装置から命令をフェッチすることができる他のシステム等の、命令実行システム、デバイス、コンポーネント、要素または装置によるかまたはそれに関連して使用されるコンピュータ読取可能媒体において具体化することができる。
コンピュータ読取可能媒体は、命令実行システム、装置またはデバイスによるかまたはそれに関連して使用されるプログラムを格納し、通信し、伝播しまたは移送することができる、いかなる構成、デバイス、コンポーネント、製品または他の手段であってもよい。

例示的なブロック図およびフローチャートは、特定の論理機能またはプロセスにおけるステップを実施する１つまたは複数の実行可能命令を含む、モジュール、セグメントまたはコードの一部を表してもよいプロセスステップまたはブロックを示す。
特定の実施例は、特定のプロセスステップまたは動作を例示するが、多くの代替実施態様が可能であり一般に単純な設計選択によって行われる。
動作およびステップを、機能、目的、規格に対する準拠、レガシ構成等の考慮に基づいて、本明細書における特定の説明とは異なる順序で実行してもよい。

本開示は、さまざまな実施形態を説明するが、これらの実施形態は、例示的なものとして理解されるべきであり、特許請求の範囲を限定するものではない。
説明した実施形態の多くの変形、変更、追加および改良が可能である。
たとえば、当業者は、本明細書で開示した構成および方法を提供するために必要なステップを容易に実施し、プロセスパラメータ、材料および寸法が単に例として与えられているということを理解するであろう。
パラメータ、材料および寸法は、変更と同様に所望の構成を達成するように変形することができ、それらは特許請求の範囲内にある。
本明細書で開示した実施形態の変形および変更を、特許請求項の適用範囲内にありながら行うことができる。
たとえば、例示的な実施形態は、さまざまな機能を実行するように組み合わされたプロセスおよび方法を示すが、選択された実施形態においてさまざまな機能を省略しまたは異なる組合せで利用してもよい。

例示的なシステムは、リンク類似性グループを画定する特定の考察のセットを示す。
ＬＡＧを画定するために他のタイプの考察を考慮してもよい。
例示的なシステムおよび技術は、特定のリンク技術に限定されず、すべてのリンクおよび通信技術に対しかつすべてのスループットレートにおいて動作するように期待される。
例示的なシステム、方法および製品を、ディスクアレイ、ホストコンピュータ、スイッチ、ディレクタ、プロトコルコンバータ等を含むさまざまな装置または製品においておよびそれらで使用されるために実施することができる。

複数の通信リンクを介してディスクアレイを相互接続することができるインタフェースを備えた記憶システムの実施形態を示す概略ブロック図である。 リンク類似性グループ処理を実施するプロセスの実施形態を示す概略フローチャートである。 ミラーリングされたディスクアレイ間のプロトコル変換の実施形態を示す概略ブロック図である。 複数の通信リンクを介してディスクアレイを相互接続する方法を示すフローチャートである。 高可用性を促進する最小リンク構成の実施形態を示す概略ブロック図である。 潜在的なリンク類似性グループ（ＬＡＧ）の例を示す表である。 次に利用可能なリンク選択プロセスの実施形態を示す概略フローチャートである。 一致しないリンクの総当り使用による不利益なスロットリングの例を示す概略ブロック図である。 一致しないリンクの総当り使用による不利益なスロットリングの例を示す概略ブロック図である。 一致しないリンクの総当り使用による不利益なスロットリングの例を示す概略ブロック図である。 一致しないリンクの総当り使用による不利益なスロットリングの例を示す概略ブロック図である。

符号の説明

１００・・・記憶システム、
１０２・・・インタフェース、
１０４・・・ディスクアレイ、
１０６・・・通信リンク、
１０８・・・コントローラ、
１１０・・・専用アレイ管理ホストシステム、
３００・・・プロトコル変換、
３０２，３０４・・・ディスクアレイ、
３０６，３０８・・・ＦＣ・ＯＣ−３コンバータ、
５００・・・最小リンク構成、
５０２・・・アウトバウンド／フェイルオーバーリンク、
５０４・・・インバウンド／フェイルバックリンク、
５０６・・・プライマリディスクアレイ、
５０８・・・セカンダリディスクアレイ、

Claims (12)

1. 種々のデータ伝送能力および性能を有する複数の通信リンク（１０６）を介して、ネットワークインフラストラクチャ（１０４）を相互接続することができるインタフェース（１０２）と、
   該インタフェースに連結され、前記複数の通信リンクを性能基準に基づいて少なくとも１つのリンク類似性グループに割り当て、リンク類似性グループ割当に基づいてリンク選択を制御するコントローラ（１０８）と
   を具備する記憶システム（１００）。
2. 前記コントローラ（１０８）は、使用可能通信リンクの性能を、個々におよび集合体として分析する（２０６）
   請求項１に記載の記憶システム（１００）。
3. 前記コントローラ（１０８）は、
   総当り順序ですべての利用可能リンクによりデータを通信することにより（２０４）同期および順序なし非同期ディスクアレイ複製を管理し（２０２）、
   前記総性能が所定限界を下回るまで低下したか否かを判断し（２０８）、
   性能低下が前記限界を下回る場合に警告メッセージを生成する（２１０）
   請求項２に記載の記憶システム（１００）。
4. 前記コントローラ（１０８）は、個々のリンクを識別し、
   前記分析に基づいて、前記リンク類似性グループ化において、前記識別されたリンクを前記集合体から使用不能にすることにより総スループットが向上する（２１２）
   請求項３に記載の記憶システム（１００）。
5. 前記コントローラ（１０８）は、
   前記リンク類似性グループ化に従って前記複数の通信リンクの選択式の通信リンクを使用可能および使用不能にし（２１８）、
   前記リンク類似性グループ化の特性に適合した選択プロセスを使用して前記使用可能通信リンクから選択された特定のリンクを起動する（２２０）
   ことにより、
   順序付き非同期ディスクアレイ複製を管理する（２１６）
   請求項２に記載の記憶システム（１００）。
6. 記憶システム（１００）であって、
   前記コントローラ（１０８）は、
   利用可能リンクのリストを維持すること（７０４）と、
   利用可能になったリンクを前記リストに含めることと、
   前記リスト上の次に利用可能なリンクを起動すること（７０６）と、
   前記起動された次に利用可能なリンクによって情報を送信すること（７０８）と、
   リモートサイトにおいて前記送信された情報を受信すること（７１４）と、
   該リモートサイトにおいて前記受信した情報を適切な順序で再順序付けすること（７１６）と
   により、
   データ複製操作において起動するリンクを選択する（７００）
   請求項５に記載の記憶システム。
7. 前記コントローラ（１０８）は、前記総性能が所定限界を下回るまで低下したか否かを判断し（２２４）、性能低下が前記限界を下回る場合に警告メッセージを生成する（２２６）
   請求項５に記載の記憶システム（１００）。
8. 前記コントローラ（１０８）は、
   潜在的なスループットと、
   リンク経路セキュリティ評価と、
   論理装置（ＬＵＮ）グループ重要度評価と、前記リンク選択プロセスに従う潜在的なスループットと、
   リンクコストと、
   リンク可用性と、
   一次および二次複製分類と、
   複数のリンク類似性グループの包含または排除と、
   部分的または完全リンク類似性グループの包含と、
   リンク方向と
   からなるグループから選択された基準に基づき、リンク類似性グループ化に包含する適当な個々のリンクを確定する（２２０）
   請求項５に記載の記憶システム（１００）。
9. 前記コントローラ（１０８）は、個々のリンクを識別し、
   前記分析に基づいて、前記リンク類似性グループ化において、前記識別されたリンクを前記集合体から使用不能にすることにより総スループットが向上する（２２８）
   請求項５に記載の記憶システム（１００）。
10. 前記コントローラ（１０８）は、前記分析に基づいて、２つのリンク類似性グループのリンクの割当を変更することにより両グループのスループットが向上するか否かを判断する（２３０）
    請求項５に記載の記憶システム（１００）。
11. 前記コントローラ（１０８）は、同一スループットリンクに亙り総当り順序で利用可能なすべてのリンクによってデータを通信することにより（２３４）、プロトコルコンバータを使用してディスクアレイ複製を管理する（２３２）
    請求項２に記載の記憶システム（１００）。
12. 複数の通信リンクを介してネットワークインフラストラクチャを相互接続する計算可能な読取可能プログラムコードが具体化されたコントローラ（１０８）使用可能媒体
    を具備する製品であって、
    前記計算可能な読取可能プログラムコードは、
    前記コントローラがリンク類似性グループ化に従って前記複数の通信リンクを分類する（４０２）ようにすることが可能なコードと、
    前記コントローラが前記リンク類似性グループ化に従って前記複数の通信リンクのうちの選択式の通信リンクを使用可能および使用不能にすることができる（４０４）ようにすることが可能なコードと、
    前記コントローラが前記リンク類似性グループ化の特性に適合された選択プロセス（４１６）を使用して前記使用可能通信リンクから選択された特定のリンクを起動する（４２８）ようにすることが可能なコードと、
    前記コントローラが前記使用可能通信リンクの性能を個々におよび集合体として分析する（４１０）ようにすることが可能なコードと
    をさらに含む製品。

Images