JP2005527898A

JP2005527898A - チャネル・アダプタ障害に対する冗長性を提供する方法

Info

Publication number: JP2005527898A
Application number: JP2003585378A
Authority: JP
Inventors: シュリップフ、トーマス; コンラートバイヤー、ゲルト; エックハルト、ヴォルフガング; ヘルムス、マルクス; メルグナー、ユルゲン; ライシュ、クリストフ; トイリッヒ、クラウス
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2002-04-18
Filing date: 2003-04-04
Publication date: 2005-09-15
Also published as: AU2003226784A1; CN1647466A; KR20050002865A; WO2003088594A1

Abstract

【課題】Ｉｎｆｉｎｉｂａｎｄファブリックに接続する任意のノードの信頼性を改善する方法を提供すること。
【解決手段】この方法は、
第１および第２の個数のポートを有する、第１および第２の物理チャネル・アダプタを提供するステップと、
第１および第２の物理チャネル・アダプタを、第１および第２のポートのいくつかを有する、１つの論理チャネル・アダプタとして登録するためのプログラム手段を提供するステップと、
第１および第２のチャネル・アダプタ用の第１および第２の制御情報を格納するため第１および第２のキャッシュ手段を提供するステップと、
第１および第２の制御情報を格納するためのシステム・メモリ手段を提供するステップと、
第１のチャネル・アダプタの障害の際に、第１の制御情報をシステム・メモリから第２のキャッシュ手段にコピーし、第１の個数のポートから第２の個数のポートへの自動パス・マイグレーションを開始する手段を提供するステップと
を含む。

Description

本発明は、一般にはデジタル・ネットワーク通信に関し、詳細には、Ｉｎｆｉｎｉｂａｎｄのサブネットまたはファブリックに接続するコンピュータ・システムまたはその他のノードの信頼性を改善することに関する。

コンピュータ業界は、高速で、パケット化された、シリアルの入出力（Ｉ／Ｏ）相互接続アーキテクチャの方向に向かっており、そうしたアーキテクチャでは、コンピューティング・ホストおよび周辺機器は、スイッチング・ファブリック（switching fabric）と一般に呼ばれるスイッチング・ネットワークによってリンクされる。このタイプのアーキテクチャがいくつか提案され、最終的にＩｎｆｉｎｉｂａｎｄ（ＩＢ）アーキテクチャがもたらされたが、これは（インテル（Intel:Intel Corporationの米国その他の国における商標）、サン・マイクロシステムズ（Sun Microsystems: すべてのJava関連の商標およびロゴはSunMicrosystems, Inc.の米国およびその他の国における商標）、ヒューレット・パッカード（Hewlett Packard）、ＩＢＭ，コンパック（Compaq）、デル（Dell）、およびマイクロソフト（Microsoft:"Microsoft" "Window"ロゴはMicrosoft Corporationの米国その他の国における商標）を含む）この業界の主要企業のグループが主導するコンソーシアムによって推進されてきた。ＩＢアーキテクチャは、http://www.infinibandta.org/でＩｎｆｉｎｉｂａｎｄトレード・アソシエーション（InfiniBandTrade Association）から入手可能な、「Ｉｎｆｉｎｉｂａｎｄアーキテクチャ仕様（InfiniBand ArchitectureSpecification）」、リリース1.0.aに詳細に記述されており、これを参照により本明細書に組み込む。

Ｉｎｆｉｎｉｂａｎｄ技術は、ホスト・チャネル・アダプタ（Host ChannelAdapter、ＨＣＡ）を、他のＨＣＡまたはターゲット・チャネル・アダプタ（Target Channel Adapter、ＴＣＡ）に接続することによって動作する。ＨＣＡはサーバのＣＰＵおよびメモリ付近に置かれる傾向があり、ＴＣＡはシステムのディスク・ストレージおよび他の周辺機器付近に置かれる傾向がある。スイッチまたはルータが、ＨＣＡとＴＣＡとの間に位置して、データ・パケットを、そのデータ・パケット自体に含まれる情報に基づいて、正しいＴＣＡの宛先に振り向けることも可能である。

ＨＣＡとＴＣＡ（または他のＨＣＡ）の間の接続は、Ｉｎｆｉｎｉｂａｎｄポイント・ツー・ポイント・リンク、またはスイッチもしくはルータであり、これによってそれぞれ、一様なＩｎｆｉｎｉｂａｎｄのサブネット環境またはファブリック環境を作成できるようになる。このスイッチの重要な点の１つは、これによって情報（またはデータ）のパケットを、サービス・レベル（service level、ＳＬ）や宛先識別子（destination identifier、ＤＬＩＤ／ＤＧＩＤ）などの変数に基づいて管理できるようになることである。

Ｉｎｆｉｎｉｂａｎｄアーキテクチャは、従来のメモリ・マップ方式Ｉ／Ｏインターフェース・バスではなく、シリアルのスイッチド・ファブリック（switched fabric）というアプローチで開発されている。このスイッチされるという性質（switched nature）によって、Ｉｎｆｉｎｉｂａｎｄアーキテクチャの低レイテンシで高帯域幅という特徴が可能となっている。クラスタ化されたシステムおよびネットワークでは、耐障害性のある相互接続を可能にする接続性の標準が要求される。

この要求は、先進的な障害検出／修正（fault detection andcorrection）機構を組み込んだＩｎｆｉｎｉｂａｎｄアーキテクチャによって満たされる。Ｉｎｆｉｎｉｂａｎｄ準拠製品の１つの例が、ホストのＰＣＩ−ＸバスとＩｎｆｉｎｉｂａｎｄネットワークの間の接続性を提供する、ＩＢＭＰＣＩ−Ｘ／Ｉｎｆｉｎｉｂａｎｄホスト・チャネル・アダプタである。デュアルＩｎｆｉｎｉｂａｎｄポートにより、自動パス・マイグレーションを、また単一または複数のサブネット接続を単一のＨＣＡ装置でサポートする機能が提供されている。

自動パス・マイグレーション（Automatic Path Migration、ＡＰＭ）は、ホスト・チャネル・アダプタ（ＨＣＡ）またはターゲット・チャネル・アダプタ（ＴＣＡ）のポート障害、あるいはサブネットまたはファブリックの障害の場合に処理を続行する手段である。言い換えれば、ＡＰＭは、ＨＣＡまたはＴＣＡのポート障害、あるいはサブネットまたはファブリックにおけるリンク、スイッチまたはルータの障害の際に、冗長性機構を提供する。しかし、Ｉｎｆｉｎｉｂａｎｄは、ＨＣＡの１つまたは複数のポートだけが障害を起こした際の冗長性機構を定義しているに過ぎず、ＨＣＡ全体が障害を起こした際の定義はしていない。
「Ｉｎｆｉｎｉｂａｎｄアーキテクチャ仕様（InfiniBandArchitecture Specification）」、リリース1.0.a、Ｉｎｆｉｎｉｂａｎｄトレード・アソシエーション（InfiniBand TradeAssociation）、www.infinibandta.org

本発明は、ホスト・チャネル・アダプタ（ＨＣＡ）やターゲット・チャネル・アダプタ（ＴＣＡ）などのチャネル・アダプタ（ＣＡ）に対し、完全なチャネル・アダプタ障害の際に、冗長性機構を提供する。冗長性機構がＩｎｆｉｎｉｂａｎｄアーキテクチャにシームレスに適合し、Ｉｎｆｉｎｉｂａｎｄアーキテクチャで指定される障害検出／修正方法を利用している点が、本発明の特定の利点である。

本発明の原理に従って設計された装置が、Ｉｎｆｉｎｉｂａｎｄアーキテクチャに完全に準拠することが可能でありながら、なお完全なチャネル・アダプタ障害に対する冗長性機構を提供することが、本発明の特定の利点である。

本発明の好ましい実施形態によれば、少なくとも２つの物理ホスト・チャネル・アダプタが提供される。この２つの物理ホスト・チャネル・アダプタが、Ｉｎｆｉｎｉｂａｎｄアーキテクチャから見ると、１つの論理ホスト・チャネル・アダプタとして登録される。両方の物理ホスト・チャネル・アダプタとも、専用のキャッシュ手段を備えており、これらは、キュー・ペア制御ブロック（Queue Pair Control Block、ＱＰＣＢ）の点からは、システム・メモリと協力して、キュー・ペア（Queue Pair、ＱＰ）制御情報を保存するものである。物理ホスト・チャネル・アダプタの一方の完全な障害の際は、それぞれのＱＰＣＢのコピーが残りのまだ動作している物理ホスト・チャネル・アダプタに提供される。

本発明のさらに好ましい実施形態によれば、ライト・スルー・キャッシュが使用される。この場合、システム・メモリに格納されるＱＰＣＢは、各物理ホスト・チャネル・アダプタの専用キャッシュの厳密なコピーである。

本発明のさらに好ましい実施形態によれば、ホスト・チャネル・アダプタのためにライト・バック・キャッシュが使用される。この場合、システム・メモリは、複数のある時点でキャッシュと同期がとられるのであり、必ずしも所与の任意の時点でキャッシュの実際の内容を反映するわけではない。

物理ホスト・チャネル・アダプタの完全な障害の際には、障害の起きた物理ホスト・チャネル・アダプタに属するキャッシュの内容も失われる。ＱＰＣＢのシステム・メモリ・コピーが、残りの物理ホスト・チャネル・アダプタのキャッシュに提供される。

このコピーには古くなった（stale）データが含まれている可能性がある。通信の再同期をとり、ＱＰＣＢ情報を最新状態にするには、Ｉｎｆｉｎｉｂａｎｄアーキテクチャが提供する障害検出／修正機構が使用される。

ここに記載した好ましい実施形態では、ホスト・チャネル・アダプタ（ＨＣＡ）について述べているが、本発明は、ＩｎｆｉｎｉｂａｎｄアーキテクチャによるＨＣＡおよびＴＣＡを含む、チャネル・アダプタ（ＣＡ）一般を包含するものである。

以下では、次の図面を参照することによって、本発明の好ましい実施形態について詳細に説明する。

図１に、キャッシュ２およびキャッシュ・ディレクトリ３を含むホスト・チャネル・アダプタ１を有するコンピュータ・システムを示す。さらに、このコンピュータ・システムは、システム・メモリ４を有する。

システム・メモリ４、キャッシュ・ディレクトリ３、およびキャッシュ２により、キュー・ペア制御ブロック（ＱＰＣＢ）用のアドレス空間が仮想化される。複数のホスト・チャネル・アダプタ１が存在する際には、異なるホスト・チャネル・アダプタの間でキュー・ペア（ＱＰ）番号は互いに素（disjoint）でなければならない。

すべてのキュー・ペア制御ブロックはシステム・メモリ４内にあり、使用される（もう使用されない）ときにホスト・チャネル・アダプタのキャッシュ２にロード（アンロード）される。ホスト・チャネル・アダプタ１に障害が起きても、物理的に異なるホスト・チャネル・アダプタからこのデータにアクセスすることは妨げられない。

図２は、本発明の好ましい実施形態の、冗長性機構を示す構成図である。図２のコンピュータ・システムおよび図１のコンピュータ・システムの同じ要素は、同じ参照番号によって示されている。

このコンピュータ・システムは、１つまたは複数のポート６を有する物理ホスト・チャネル・アダプタ１および１つまたは複数のポート８を有する物理ホスト・チャネル・アダプタ７を備えている。ポート６および８は、Ｉｎｆｉｎｉｂａｎｄのサブネットまたはファブリック９に接続されている。

２つの物理ホスト・チャネル・アダプタ１および７は、Ｉｎｆｉｎｉｂａｎｄアーキテクチャに従って、１つの単一のホスト・チャネル・アダプタとして認識される。これにより、論理ホスト・チャネル・アダプタ１０が構成される。論理ホスト・チャネル・アダプタ１０は、物理ホスト・チャネル・アダプタ１および７のポート６および８を備えている。

物理ホスト・チャネル・アダプタ１はキャッシュ２を備え、物理ホスト・チャネル・アダプタ７はキャッシュ１１を備えている。キャッシュ２および１１は両方ともライト・スルー・キャッシュとして編成されている。

さらに、コンピュータ・システムは、物理ホスト・チャネル・アダプタ１および７用のキュー・ペア制御ブロック・データの格納用に、システム・メモリ４を備えている。異なる物理ホスト・チャネル・アダプタ１および７のキュー・ペア番号は、互いに素となっている。

キュー・ペア番号についてそれ以上の制限はない。説明の便宜のため、以下では、物理ホスト・チャネル・アダプタ１は、ＱＰＣＢ＿２からＱＰＣＢ＿ｍまでのキュー・ペア制御ブロックのブロック１２をもち、物理ホスト・チャネル・アダプタ７は、ＱＰＣＢ＿ｍ＋１からＱＰＣＢ＿ｎまでのキュー・ペア制御ブロックのブロック１３をもつものと仮定する。ＱＰＣＢ＿０およびＱＰＣＢ＿１は、サブネット管理の目的で使用され、ここではこれ以上考察を行わない。

キャッシュ２および１１はライト・スルー・キャッシュであるため、システム・メモリ４内のＱＰＣＢデータは、キャッシュ２および１１内のデータと同一である。

図３に、図２の物理ホスト・チャネル・アダプタ１の完全な障害に対処するための冗長性機構を示す。

まず、ポート６を含む物理ホスト・チャネル・アダプタ１の完全なハードウェア障害が発生する。このハードウェア障害により、Ｉｎｆｉｎｉｂａｎｄアーキテクチャによって定義される自動パス・マイグレーションが呼び出される。こうして、物理ホスト・チャネル・アダプタ１のポート６に関係する１つまたは複数の通信パスが、残りの物理ホスト・チャネル・アダプタ７のポート８へとマイグレートされる。

この手続きは、Ｉｎｆｉｎｉｂａｎｄが提供する自動パス・マイグレーション（ＡＰＭ）機構を全面的に利用している。これは、Ｉｎｆｉｎｉｂａｎｄアーキテクチャから見ると、ホスト・チャネル・アダプタ１および７は２つの別々の（物理）ホスト・チャネル・アダプタとしてではなく、ポート６および８を提供する単一の（論理）ホスト・チャネル・アダプタ１０としてのみ存在するためである。

ブロック１２内のＱＰＣＢのコピーが、必要に応じてキャッシュ１１内に作成される。ブロック１２は、キャッシュ２の内容の厳密なコピーを含んでいるため、これ以上の回復機構は必要ない。

図４に、ライト・バック・キャッシュの場合の状況を示す。ライト・スルー・キャッシュではなく、ライト・バック・キャッシュ１４が使用される場合、システム・メモリ４に格納されたＱＰＣＢは、必ずしもキャッシュ１４内のＱＰＣＢデータの最新の状態を反映しない。ライト・バック・キャッシュを使用する際に、Ｉｎｆｉｎｉｂａｎｄアーキテクチャの障害検出／修正方法をさらに呼び出す必要があるのはこの理由からである。

図５に、物理ホスト・チャネル・アダプタの一方がフェイル・オーバーする前の状況を示す。

送信側（the sender）では、未処理のパケット・シーケンス番号（packetsequence number、ＰＳＮ）のシーケンス１５が、システム・メモリ４に格納されている。シーケンス番号Ｓｍをもつ、未処理のＰＳＮの１つが、システム・メモリ４に格納されている情報によれば、次に送信すべきパケットである。

さらに、未処理のＰＳＮのシーケンス１６が、ライト・バック・キャッシュであるローカル・キャッシュ・メモリに格納されている。このシーケンス１６は、送信されたパケットの、最新状態のシーケンスを表している。したがって、シーケンス番号Ｓｎは、このシーケンス１６内において最新状態である。

受信側（the receiver）には、ＰＳＮのシーケンス１７がある。受信側で予想される次のパケットは、シーケンス番号Ｒｎをもつパケットである。物理ホスト・チャネル・アダプタの一方がフェイル・オーバーした後も、シーケンス１５は、システム・メモリ４に格納されているので、影響を受けずに済んでいる。

シーケンス１５のコピーが、残りのまだ動作している物理ホスト・チャネル・アダプタに提供される。こうして、障害の起きたホスト・チャネル・アダプタのキャッシュのシーケンス１６は、残りのまだ動作している物理ホスト・チャネル・アダプタのキャッシュ内のシーケンス１５によって置き換えられる。

ホスト・チャネル・アダプタから送られる次のパケットが、フェイル・オーバー前に送られた、古くなった（stale）シーケンス番号Ｓｍをもつパケットであるのはこの理由からである。受信側は、それを送ったホスト・チャネル・アダプタに受領通知（acknowledgement、ACK）を返し、パケットを廃棄する。

それに応答して、物理ホスト・チャネル・アダプタは、シーケンス１５内で識別される次のパケットを送る。こうして、シーケンス１５が処理されて行き、シーケンス１６のフェイル・オーバー前の元の状態に達するまでそれが続く。この状態に達した後は、通常のシステム動作が正常に続行される。

図６に、シーケンス１６の次のシーケンス番号Ｓｎをもつパケットがホスト・チャネル・アダプタから送られた状態を示す。このパケットを送った後で、ホスト・チャネル・アダプタのハードウェア障害が発生する。それでもまだ、受信側は、シーケンス番号Ｒｎ＝Ｓｎをもつ、予想されるパケットを受け取っている。

それに応答して、受信側は、シーケンス番号Ｓｎをもつパケットを受け取ったことに対する受領通知を、論理ホスト・チャネル・アダプタに送る。論理ホスト・チャネル・アダプタ、すなわち残りのまだ動作している物理ホスト・チャネル・アダプタは、この受領通知をゴースト受領通知（ghost acknowledgement）と解釈し、無視する。すると、送信側は、シーケンス１５のシーケンス番号Ｓｍをもつパケットを、図５に示したシナリオ通りに送る。

図７に、ホスト・チャネル・アダプタが受信側として働くというシナリオを示す。ＰＳＮのシーケンス１８がシステム・メモリに格納されており、最新状態のシーケンス１９がキャッシュ・メモリに格納されている。さらに、送信側が送るべき未処理のＰＳＮのシーケンス２０がある。これが、フェイル・オーバー前の状況である。

フェイル・オーバーの後、シーケンス１９はシーケンス１８で置き換えられる。すなわち、シーケンス１８のコピーが、システム・メモリから、論理ホスト・チャネル・アダプタの、残りのまだ動作している物理ホスト・チャネル・アダプタの部分のキャッシュに提供される。シーケンス２０は変更されないままである。

ホスト・チャネル・アダプタが、シーケンス２０の次のシーケンス番号Ｓｎをもつパケットを送信側から受け取ると、これはシーケンス１８の予想されるシーケンス番号Ｒｍとマッチしない。それに応答して、ホスト・チャネル・アダプタは、送信側に否定受領通知（ＮＡＫ）を返す。これにより、パケットがサブネットまたはファブリックで失われ、送信側はそれらのパケットを再送しなければならないことが、パケットの送信側に示される。

この否定受領通知の応答は、最後にうまく受け取ったのはどのパケットかを示すパラメータをもっている。こうして、シーケンス２０は、シーケンス番号Ｓｎ＝Ｒｍにセットし直される。ここで、Ｒｍはシーケンス１８の予想されるシーケンス番号である。

専用キャッシュ・メモリ付きの単一のホスト・チャネル・アダプタの動作を示す構成図である。ライト・スルー・キャッシュの場合の、冗長な論理ホスト・チャネル・アダプタを有するコンピュータ・システムの構成図である。障害の起きたホスト・チャネル・アダプタを冗長性機構で置き換えた後の図２の構成図である。ライト・バック・キャッシュについて、キャッシュおよびシステム・メモリの状態の間に発生する可能性のある不一致を示す図である。ライト・バック・キャッシュを使用する際に、Ｉｎｆｉｎｉｂａｎｄアーキテクチャが提供する障害検出／修正方法を使用して、本発明の冗長性機構を実施する様子を示す図である。ライト・バック・キャッシュを使用する際に、Ｉｎｆｉｎｉｂａｎｄアーキテクチャが提供する障害検出／修正方法を使用して、本発明の冗長性機構を実施する様子を示す図である。ライト・バック・キャッシュを使用する際に、Ｉｎｆｉｎｉｂａｎｄアーキテクチャが提供する障害検出／修正方法を使用して、本発明の冗長性機構を実施する様子を示す図である。

符号の説明

１物理ホスト・チャネル・アダプタ１
２ＨＣＡ１キャッシュ
３ＨＣＡ１キャッシュ・ディレクトリ
４システム・メモリ
６ＨＣＡ１ポート
７物理ホスト・チャネル・アダプタ２
８ＨＣＡ２ポート
９Ｉｎｆｉｎｉｂａｎｄファブリック
１０論理ホスト・チャネル・アダプタ
１１ＨＣＡ２キャッシュ
１２はじめにＨＣＡ１に割り当てられていたＱＰＣＢブロック
１３はじめにＨＣＡ２に割り当てられていたＱＰＣＢブロック
１４ＨＣＡ１または２のキャッシュ
１５ＰＳＮシーケンス
１６ＰＳＮシーケンス
１７ＰＳＮシーケンス
１８ＰＳＮシーケンス
１９ＰＳＮシーケンス
２０ＰＳＮシーケンス

Claims

チャネル・アダプタ障害に対して冗長性を提供する方法であって、
第１の個数のポートを有する第１の物理チャネル・アダプタおよび第２の個数のポートを有する第２の物理チャネル・アダプタを提供するステップと、
前記第１および第２の物理チャネル・アダプタを、第１および第２の個数のポートのいくつかを有する、１つの論理チャネル・アダプタとして登録するためのプログラム手段を提供するステップと、
前記第１のチャネル・アダプタ用の第１の制御情報を格納するための第１のキャッシュ手段、および前記第２のチャネル・アダプタ用の第２の制御情報を格納するための第２のキャッシュ手段を提供するステップと、
第１および第２の制御情報を格納するためのシステム・メモリ手段を提供するステップと、
前記第１のチャネル・アダプタの障害の際に、前記第１の制御情報を前記システム・メモリから前記第２のキャッシュ手段にコピーし、前記第１の個数のポートから、前記第２の個数のポートのうちの１つまたは複数への自動パス・マイグレーションを開始する手段を提供するステップと
を含む方法。
前記第１および第２のキャッシュ手段がライト・スルー・キャッシュとして動作する、請求項１に記載の方法。
前記第１および第２のキャッシュ手段がストア・バック・キャッシュとして動作する、請求項１に記載の方法。
Ｉｎｆｉｎｉｂａｎｄ型の障害検出／修正方法を使用して、前記第２のポートの１つと別のＩｎｆｉｎｉｂａｎｄチャネル・アダプタの間の通信の再同期をとる手段を提供することをさらに含む、請求項３に記載の方法。
前記請求項１ないし４のいずれか一項に記載の方法を実行するコンピュータ・プログラム製品。
第１の個数のポート（６）を有する第１の物理チャネル・アダプタ（１）および第２の個数のポート（８）を有する第２の物理チャネル・アダプタ（７）と、
前記第１および第２の物理チャネル・アダプタをＩｎｆｉｎｉｂａｎｄ型アーキテクチャに従って、１つの論理チャネル・アダプタ（１０）として登録する手段であって、前記論理チャネル・アダプタが、第１および第２のポートのいくつかを有する手段と、
前記第１のチャネル・アダプタ用の第１の制御情報を格納するための第１のキャッシュ手段（２）および前記第２のチャネル・アダプタ用の第２の制御情報を格納するための第２のキャッシュ手段（１１）と、
第１の制御情報（１２）および第２の制御情報（１３）を格納するためのシステム・メモリ手段（４）と、
前記第１のチャネル・アダプタの障害の際に、前記第１の制御情報を前記システム・メモリ手段（１２）から前記第２のキャッシュ手段（１１）にコピーし、前記第１の個数のポート（６）から前記第２の個数のポート（８）の１つまたは複数へのＩｎｆｉｎｉｂａｎｄ型自動パス・マイグレーションを開始する手段と
を含む、コンピュータ・システム。
前記第１および第２のキャッシュ手段がライト・スルー・キャッシュとして動作するように適合される、請求項６に記載のコンピュータ・システム。
前記第１および第２のキャッシュ手段がストア・バック・キャッシュとして動作するように適合される、請求項６に記載のコンピュータ・システム。
Ｉｎｆｉｎｉｂａｎｄ型の障害検出／修正方法を使用して、前記第２の個数のポートの１つと別のＩｎｆｉｎｉｂａｎｄチャネル・アダプタとの間の通信の再同期をとる手段をさらに含む、請求項６、７、または８に記載のコンピュータ・システム。