JP2006033854A - ノード間の通信を可能にする方法、システム、およびプログラム - Google Patents
ノード間の通信を可能にする方法、システム、およびプログラム Download PDFInfo
- Publication number
- JP2006033854A JP2006033854A JP2005206418A JP2005206418A JP2006033854A JP 2006033854 A JP2006033854 A JP 2006033854A JP 2005206418 A JP2005206418 A JP 2005206418A JP 2005206418 A JP2005206418 A JP 2005206418A JP 2006033854 A JP2006033854 A JP 2006033854A
- Authority
- JP
- Japan
- Prior art keywords
- node
- protocol
- layer
- adapter
- initiator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Communication Control (AREA)
- Computer And Data Communications (AREA)
Abstract
【課題】リモート・ノードと通信するためにローカル・ノードで行われる方法、システム、およびプログラムを提供すること。
【解決手段】第１の通信プロトコルを使用してリモート・ノードと通信して、第２の通信プロトコルのための接続を確立する。リモート・ノードとの通信を可能にするデータ構造が作成されて、第２の通信プロトコルのためにリモート・ノードとの通信を確立する。第２の通信プロトコルのための拡張層が呼び出される。データ構造は拡張層に渡されて、第２の通信プロトコルを使用してリモート・ノードと通信するために使用される。
【選択図】図１
【解決手段】第１の通信プロトコルを使用してリモート・ノードと通信して、第２の通信プロトコルのための接続を確立する。リモート・ノードとの通信を可能にするデータ構造が作成されて、第２の通信プロトコルのためにリモート・ノードとの通信を確立する。第２の通信プロトコルのための拡張層が呼び出される。データ構造は拡張層に渡されて、第２の通信プロトコルを使用してリモート・ノードと通信するために使用される。
【選択図】図１
Description
本発明は、ノード間の通信を可能にする方法、システム、およびプログラムに関する。
ストレージ環境では、ホスト・システムから、ディスクへのアクセスを管理するストレージ・コントローラにデータ・アクセス・コマンドが通信される。ストレージ・コントローラは、ホスト・システム中のカード、または別個のデバイスである。ｉＳＣＳＩ（Internet Small Computer Systems Interface）プロトコルは、イーサネット・スイッチおよびルータを含むイーサネット接続を利用するストレージ・ネットワークに使用される。本願で使用される用語「ｉＳＣＳＩ」は、ＩＥＴＦ（InternetEngineering Task Force）標準本体で定義されるｉＳＣＳＩプロトコルの構文およびセマンティックと、このプロトコルの変種を指す。ｉＳＣＳＩが利用される現在のストレージ・ネットワークでは、パケットの構成は、インターネット・プロトコル（ＩＰ）と伝送制御プロトコル（ＴＣＰ）のパッケージ層をカプセル化したイーサネット・パッケージからなり、ＩＰおよびＴＣＰのパッケージ層がさらに、１つまたは複数のＳＣＳＩコマンドを含むｉＳＣＳＩパッケージをカプセル化する。イーサネット・プロトコルは、パケットが任意のネットワーク・セグメント（リンク）上の２地点間を流れる際にリンク・レベルの誤り検査を提供して、リンクを通過する間にデータが破損したかどうかを判定する。ネットワーク・データ送信動作では、イニシエータ・デバイスが、ネットワークを介してデータまたはコマンドをターゲット・デバイスに送信する。ＴＣＰ／ＩＰパッケージは、終端間の検査を行って、送信されたパケットが送信中にスイッチとルータを通過する際に変化したかどうかを反対側で判定する誤り検出コードを含む。誤りを検出した受信側デバイスは、送信元デバイスに否定の受信通知を送信して、誤りが検出されたパケットの再送信を要求する。
ＲＤＭＡコンソーシアム発行 仕様「ＲＤＭＡプロトコルＶｅｒｂｓ仕様（バージョン１．０）」（２００３年４月） ＲＤＭＡコンソーシアム発行「信頼性のある移送機構を通じた直接敵なデータ配置（バージョン１．０）」（２００２年１０月） ＲＤＭＡコンソーシアム発行「ＴＣＰ仕様のためのマーカーＰＤＵの位置合わせフレーミング（バージョン１．０）」（２００２年１０月） ＲＤＭＡコンソーシアム公表 マイケル・コー（Michael Ko）他「ＲＤＭＡ仕様のためのｉＳＣＳＩ拡張（バージョン１．０）」（２００３年７月） 「ＩｎｆｉｎｉＢａｎｄ（商標）アーキテクチャ 仕様 Ｖｏｌｕｍｅ１」公開１．１（２００２年１１月 著作権ＩｎｆｉｎｉＢａｎｄ（商標）業界団体） 「ＩＰ ｏｖｅｒ ＩｎｆｉｎｉＢａｎｄ：接続モード」ＩＥＴＦにより「draft-kashyap-ipoib-connected-mode-01.txt」として公表（２００３年９月） ＲＦＣ２９６０「ストリーム制御伝送プロトコル」（Ｉｎｔｅｒｎｅｔ Ｓｏｃｉｅｔｙ，２０００年）
ＲＤＭＡコンソーシアム発行 仕様「ＲＤＭＡプロトコルＶｅｒｂｓ仕様（バージョン１．０）」（２００３年４月） ＲＤＭＡコンソーシアム発行「信頼性のある移送機構を通じた直接敵なデータ配置（バージョン１．０）」（２００２年１０月） ＲＤＭＡコンソーシアム発行「ＴＣＰ仕様のためのマーカーＰＤＵの位置合わせフレーミング（バージョン１．０）」（２００２年１０月） ＲＤＭＡコンソーシアム公表 マイケル・コー（Michael Ko）他「ＲＤＭＡ仕様のためのｉＳＣＳＩ拡張（バージョン１．０）」（２００３年７月） 「ＩｎｆｉｎｉＢａｎｄ（商標）アーキテクチャ 仕様 Ｖｏｌｕｍｅ１」公開１．１（２００２年１１月 著作権ＩｎｆｉｎｉＢａｎｄ（商標）業界団体） 「ＩＰ ｏｖｅｒ ＩｎｆｉｎｉＢａｎｄ：接続モード」ＩＥＴＦにより「draft-kashyap-ipoib-connected-mode-01.txt」として公表（２００３年９月） ＲＦＣ２９６０「ストリーム制御伝送プロトコル」（Ｉｎｔｅｒｎｅｔ Ｓｏｃｉｅｔｙ，２０００年）
ＲＭＤＡ（Remote Direct Memory Access）プロトコルは、１つのネットワーク・ノードが、メモリ・バスの帯域幅とプロセッサのオーバーヘッドの需要を可能な限り少なくして、別のネットワーク・ノードのメモリに直接情報を置くことを可能にする。ＲＤＭＡ ｏｖｅｒ ＴＣＰ／ＩＰ（ｉＷＡＲＰとも称される）は、標準的なＴＣＰ／ＩＰネットワークを通じたＲＤＭＡ動作を支援する相互動作可能なプロトコルを定義する。ＲＤＭＡネットワーク・インタフェース・カード（ＲＮＩＣ）は、ＲＤＭＡプロトコルを実施し、ローカルおよびリモートのメモリにデータを転送するＲＤＭＡ動作を行う。ＲＤＭＡプロトコルのさらなる詳細については、ＲＤＭＡコンソーシアム発行 仕様「ＲＤＭＡプロトコルＶｅｒｂｓ仕様（バージョン１．０）」（２００３年４月）；ＲＤＭＡコンソーシアム発行「信頼性のある移送機構を通じた直接的なデータ配置（バージョン１．０）」（２００２年１０月）；およびＲＤＭＡコンソーシアム発行「ＴＣＰ仕様のためのマーカーＰＤＵの位置合わせフレーミング（バージョン１．０）」（２００２年１０月）に記載される。これらの仕様は、参照により全体が本明細書に組み込まれる。
ＲＤＭＡコンソーシアム公表 マイケル・コー（Michael Ko）他「ＲＤＭＡ仕様のためのｉＳＣＳＩ拡張（バージョン１．０）」（２００３年７月）と題する仕様は、ＲＤＭＡの最上位にｉＳＣＳＩをレイヤ化することにより、ｉＳＣＳＩにＲＤＭＡのデータ転送機能を提供するプロトコルを定義する。この仕様は、参照により全体が本明細書に組み込まれる。
ｉＷＡＲＰとも称されるＲＤＭＡ ｏｖｅｒ ＴＣＰ／ＩＰの一部として定義された機能の多くは、以前にＩｎｆｉｎｉＢａｎｄネットワークにおける動作として定義されたものである。ＩｎｆｉｎｉＢａｎｄのアダプタ・ハードウェアは、ＲＤＭＡ動作をサポートする。ＩｎｆｉｎｉＢａｎｄは、通常のＴＣＰ／ＩＰソケット・アプリケーションが、ＴＣＰ／ＩＰネットワークで動作する場合と同じように、ＩｎｆｉｎｉＢａｎｄネットワークを通じてメッセージを送信することを可能にするＳＤＰ（ソケット・ダイレクト・プロトコル）と呼ばれるプロトコルのセットも定義する。ＩｎｆｉｎｉＢａｎｄおよびＳＤＰプロトコルについてのさらなる詳細は、文献「ＩｎｆｉｎｉＢａｎｄ（商標）アーキテクチャ 仕様 Ｖｏｌｕｍｅ１」公開１．１（２００２年１１月 著作権ＩｎｆｉｎｉＢａｎｄ（商標）業界団体）に記載される。同文献は、参照により全体が本明細書に組み込まれる。
次いで図面を参照するが、すべての図面を通じて同様の参照符合は対応する部分を表す。
リモート・ノードと通信するためにローカル・ノードで行われる方法、システム、およびプログラムが提供される。第１の通信プロトコルを使用してリモート・ノードと通信して、第２の通信プロトコルのための接続を確立する。リモート・ノードとの通信を可能にするデータ構造が作成されて、第２の通信プロトコルのためにリモート・ノードとの通信を確立する。第２の通信プロトコルのために拡張層が呼び出される。データ構造は拡張層に渡されて、第２の通信プロトコルを使用してリモート・ノードと通信するために使用される。
以下の説明では、本明細書の一部をなし、本発明のいくつかの実施形態を表す添付図面を参照する。他の実施形態を利用することができ、また本発明の範囲内で構造的および動作的な変更を加えてよいことは理解されたい。
図１は、ネットワーク４を通じて通信する複数のコンピューティング・ノード２ａ、２ｂ，．．．，２ｎからなるネットワーク・コンピューティング環境を示す。このネットワークは、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、ストレージ・エリア・ネットワーク（ＳＡＮ）からなることができる。あるいは、ノードは、ＳＣＳＩバスなどのバスを通じて通信してもよい。
図１のノード２ａ、２ｂ，．．．，２ｎは、イニシエータとターゲットの両方として動作することができる。図２は、ネットワーク４を通じた通信を可能にするために、ノード２ａ、２ｂ、２ｃなどのノードに含まれるコンポーネントを表す。ノード２は、中央演算処理装置や複合体（complex）などのプロセッサ６と、オペレーティング・システム８を含む。ノード２はさらに、データベース・プログラムやサーバ・プログラムなどのユーザ・アプリケーションからなるアプリケーション１４を含む。Ｉ／Ｏ動作を行うには、アプリケーション１４は、ＳＣＳＩ層１６に対する呼び出しを行ってＳＣＳＩのＩ／Ｏ要求を生成し、その要求がｉＳＣＳＩ層１８に対する呼び出しを行う。ｉＳＣＳＩ層１８は、ｉＳＣＳＩのログイン動作を行うことにより、ターゲット・ノードとの通信を開始する。ログインするには、ｉＳＣＳＩ層は、ＴＣＰソケット層などのソケット層２０とのインタフェースをとって、リモート・ターゲット・ノードとの通信を確立し、ログインする。ソケット層２０は、ｉＳＣＳＩ層１８とアダプタ２４中のネットワーク・プロトコルとのインタフェースをとるために使用されるプログラミング・インタフェースからなる。
アダプタ２４は、ＲＮＩＣアダプタまたはＩｎｆｉｎｉＢａｎｄ（ＩＢ）アダプタからなることができる。アダプタ２４は、ＲＤＭＡ層２６と、ＴＣＰ層やＩｎｆｉｎｉＢａｎｄ層などのネットワーク層２８を含み、ネットワーク４を通じて送信するためにトランスポート層にパケットをパッケージし、または、ネットワーク４から受信したパケットをパッケージから取り出す。
アダプタ２４がＩｎｆｉｎｉＢａｎｄアダプタからなる場合、ノード２は、ソケット・ダイレクト・プロトコル（ＳＤＰ）層４２を含むことができ、ソケット層２０がＳＤＰ層４２とのインタフェースをとり、ＳＤＰ層４２が、ソケット層２０とＲＤＭＡ層２６との間のインタフェースをとる。ＩｎｆｉｎｉＢａｎｄの実施形態では、ＳＤＰ層４２が、ｉＳＣＳＩ層１８からＲＤＭＡ呼び出しを通じてＲＤＭＡ層２６に対するソケット層２０呼び出しを（直接、またはＩＢアダプタ・ドライバ４４を介して）実施することにより、ソケット層２０を使用して呼び出しを行うアプリケーション１４と、アダプタ２４中のＲＤＭＡ層２６との間のインタフェースを提供する。ＩｎｆｉｎｉＢａｎｄ実施形態とＲＮＩＣ実施形態の両方で、ｉＳＥＲ層２２が提供され、ログイン後は、ｉＳＣＳＩ層１８が、ｉＳＥＲ層２２を呼び出してＲＮＩＣ２４に対する呼び出しを行う。ｉＳＥＲ層２２は、機能呼び出しを通じて直接、またはＲＤＭＡｖｅｒｂ層を備えるＲＮＩＣドライバ４４を通じて、ＲＮＩＣ２４を呼び出すことができる。アダプタ２４がＲＮＩＣアダプタからなる実施形態では、ノード２は、ＳＤＰ層４２を含まず、一方、ＩｎｆｉｎｉＢａｎｄアダプタの実施形態では、ＳＤＰ層４２が含まれる。
ＲＤＭＡ層２６は、イニシエータ・ノードとターゲット・ノード中の登録されたメモリ位置に、論理的に連続した方式で（ローカルに、またはローカルかつリモートに）直接アクセスすることができる。メモリ領域やメモリ・ウィンドウなどの定義されたメモリ位置は、ＲＤＭＡ２６によって作成され、メモリ領域３２などの登録されたメモリ位置を参照するために使用されるステアリング（steering）・タグで識別される。ＲＮＩＣ実施では、ステアリング・タグは、ＳＴａｇと称され、ＩｎｆｉｎｉＢａｎｄ実施形態では、ステアリング・タグは、リモート・ステアリング・タグを表すＲ＿Ｋｅｙと、ローカル・ステアリング・タグを表すＬ＿Ｋｅｙと称される（本明細書で両方のキーに使用される汎用的な用語は＃＿Ｋｅｙである）。特定の実施形態では、メモリ領域またはメモリ・ウィンドウと称するメモリ領域のサブセットを登録することができ、登録された各メモリ位置、領域、またはウィンドウには、別個のＳＴａｇ／＃＿Ｋｅｙを関連付ける。ＲＤＭＡ層２６は、ＳＴａｇ／＃＿Ｋｅｙを使用して、参照されるメモリ位置にアクセスする。特定の実施形態では、ｉＳＥＲ層２２が、ＲＤＭＡｖｅｒｂ層４４を呼び出すことにより、アダプタ２４を呼び出してメモリ領域を登録する。ＲＤＭＡｖｅｒｂ層４４（ＲＮＩＣ／ＩＢアダプタ・ドライバ）は、オペレーティング・システム８とアダプタ２４のインタフェースをとるデバイス・ドライバを備える。例えばメモリ領域やメモリ・ウィンドウなどのメモリ位置を宣言し、登録するための、ｉＳＥＲ層２２またはＳＤＰ層４２の機能からの呼び出しに応答して、アダプタ・ドライバ４４は、アダプタ２４を呼び出す。
ＲＤＭＡ層２６は、メモリ変換テーブル３４を維持しており、メモリ領域を登録する時には、登録されたメモリ領域とそのメモリ領域を参照するために生成されたＳＴａｇ／＃＿Ｋｅｙを識別するエントリをメモリ変換テーブル３４に加えて、ＲＤＭＡ層２６がそのメモリ領域にＳＴａｇ／＃＿Ｋｅｙを関連付けられるようにする。メモリ変換テーブル３４は、アダプタ２４のバッファに維持しても、メモリ３０に維持してもよい。ＳＴａｇ／＃＿Ｋｅｙは、Ｉ／Ｏ動作に使用するために登録を要求するｉＳＥＲ層２２の機能に返される。
アダプタ２４がＳＴａｇ／＃＿Ｋｅｙを生成し、ｉＳＥＲ層２２に返すと、ｉＳＥＲ層２２は、続いてＩ／Ｏ動作を行う。ｉＳＥＲ層２２は、ｉＳＣＳＩ層１８から受け取ったパケットを、ヘッダ情報とアダプタ２４から受け取ったＳＴａｇ／Ｒ＿Ｋｅｙでラップし、そのパケットを転送のためにアダプタ２４に渡す。
ＲＤＭＡデータ転送を管理するために、ＲＤＭＡ層２６は、送信待ち行列３６、受信待ち行列３８、および完了待ち行列４０を保持する。送信待ち行列３６と受信待ち行列３８は、ＲＤＭＡ層２６がＲＤＭＡデータ転送要求を管理するために使用する作業待ち行列からなる。完了待ち行列４０は、複数の作業待ち行列についての１つの完了通知点を提供する完了エントリを有する１つまたは複数のエントリを含む、共用可能な待ち行列からなることができる。待ち行列３６、３８、および４０は、恐らくは各論理接続について多くのインスタンスを有する場合があり、アダプタ２４により、メモリ３０か、またはアダプタ２４のバッファに割り振られることができる。
図３に、諸実施形態で使用される送信パッケージのフォーマットを示す。ＳＣＳＩ層１６によって生成される（読み出しまたは書き込みコマンドなどの）ＳＣＳＩコマンド５０は、ｉＳＣＳＩ層１８でｉＳＣＳＩプロトコル・データ・ユニット（ＰＤＵ）５２の中にカプセル化され、ＰＤＵ５２はさらに、ｉＳＥＲ層２２の機能によってｉＳＥＲヘッダ５４の中にカプセル化される。ＳＣＳＩコマンド５０を含むｉＳＣＳＩ ＰＤＵ５２はさらに、イニシエータ・タスク・タグ（ＩＴＴ）５６を含み、ｉＳＣＳＩ層１８は、そのＩＴＴを、基礎となるＳＣＳＩコマンドに関連付けられた発行されるすべてのｉＳＣＳＩタスクに割り当てて、基礎となるＳＣＳＩ Ｉ／Ｏ動作を識別する。ＩＴＴ５６は、セッションにわたってタスクを一意に識別する。ターゲット・ノードがイニシエータからの要求に応答すると、ＩＴＴ５６が使用されて、その応答をｉＳＣＳＩ層１８で元の要求に関係付ける。例えば、ターゲットが動作を完了し、動作ステータスを返す時に送信される、ターゲットｉＳＣＳＩ層１８からのｉＳＣＳＩのＳＣＳＩ応答ＰＤＵ中のＩＴＴ５６が、イニシエータのｉＳＣＳＩ層１８によって使用されて、ターゲットのＰＤＵを元のＳＣＳＩ書き込みコマンドに関係付ける。
ｉＳＥＲヘッダ５４は、Ｉ／Ｏ動作に使用されるＳＴａｇ／Ｒ＿Ｋｅｙと、通知されたＳＴａｇ／Ｒ＿Ｋｅｙを受け取るリモート・ノードがそのＳＴａｇ／Ｒ＿Ｋｅｙで参照されるメモリ領域（ウィンドウ）から読み出すのか、書き込むのかを示す情報と、その要求に関連する作業待ち行列とを含む。ｉＳＥＲヘッダ５４とｉＳＣＳＩ ＰＤＵ５２はさらに、ＴＣＰ層やＩｎｆｉｎｉＢａｎｄネットワーク・プロトコル層などの１つまたは複数の追加的なネットワーク層６０にカプセル化される。特定の実施形態では、アダプタ２４のネットワーク層２８が、ＴＣＰ、ＩＢなどのネットワーク層６０の中にｉＳＥＲヘッダ５４とＰＤＵ５２をアセンブルする。
ｉＳＥＲ層２２はさらに、ターゲット・ノードにＲＤＭＡチャネルを通じてデータを読み出させる、または書き込ませるための読み出しまたは書き込みＳＴａｇ／Ｒ＿Ｋｅｙなど、そのタスクのためのデータを転送するために使用されるＳＴａｇ／＃＿Ｋｅｙに、ｉＳＣＳＩタスクを表すＩＴＴを関連付けるＩＴＴとＳＴａｇ／＃＿Ｋｅｙのマップ７０（図２）をメモリ３０に維持する。図４に、その対応付けがローカルのＳＴａｇ／Ｌ＿Ｋｅｙについてか、リモートのＳＴａｇ／Ｒ＿Ｋｅｙについてかを示すローカル／リモートの指示７３を含む、マップ７０のエントリ７２の内容を示す。ローカル・マッピングのエントリは、ローカルのメモリ・ウィンドウまたはメモリ領域を参照するＳＴａｇ／Ｌ＿Ｋｅｙを、Ｉ／Ｏコマンドに関連するデータをローカルに記憶（または取り出す）するために使用されるＩＴＴに関連付け、リモート・マッピングのエントリは、リモート・ノードのメモリ領域またはウィンドウを参照するＳＴａｇ／Ｒ＿Ｋｅｙを、そのローカルのメモリ領域またはウィンドウにデータがそこから読み出される、または転送されるＩＴＴに関連付ける。対応付けのエントリ７２はさらに、ｉＳＣＳＩタスクを表す関連付けられたＩＴＴ７４と、そのタスクに関連付けられたＳＴａｇ／＃＿Ｋｅｙ７６と、そのタスクについてのステータス情報７８とを含む。
図５、６、７、８、９、および１０は、ここに記載される実施形態による、ＳＣＳＩ書き込みコマンドを処理する動作を表す。図５および６は、ＲＮＩＣアダプタまたはＩｎｆｉｎｉＢａｎｄアダプタ２４を含むイニシエータ・ノード２にＲＤＭＡを使用するためにターゲット・ノードに接続するために、イニシエータ・ノード２のコンポーネントによって実施される動作を示す。図５に関して、ブロック１００で制御が開始し、ｉＳＣＳＩ層１８がソケット層２０とのインタフェースをとってターゲット・ノードと通信し、新規のｉＳＣＳＩ接続に「ログイン」し、ターゲット・ノードと各種のパラメータをネゴシエートする。イニシエータ・ノードとターゲット・ノードはともに、図２に示すアーキテクチャを含むことができ、対応するＲＮＩＣアダプタまたはＩｎｆｉｎｉＢａｎｄアダプタあるいはその両方を含む。そのため、イニシエータ・ノードで行われる動作は、イニシエータ・ノード２がＲＮＩＣアダプタ２４を含むか、ＩｎｆｉｎｉＢａｎｄアダプタ２４を含むかによって決まる。上記で述べたように、イニシエータ・ノード２は、イニシエータ・ノード２にインストールされたアダプタ２４のタイプに基づいて、通信に必要とされる層とコードをロードすることができる。例えば、ノードがＩｎｆｉｎｉＢａｎｄアダプタを含む場合、ノードは、ＳＤＰ層４２をロードし、一方、ノードがＲＮＩＣアダプタのみを含む場合は、ＳＤＰ層４２はロードされなくてよい。（ブロック１０２で）ｉＳＣＳＩ層１８がＲＮＩＣアダプタ２４を介して接続する場合、ソケット層２０は（ブロック１０４で）、ＲＮＩＣアダプタ２４中のＴＣＰ２８ネットワーキング機能を介して、ターゲット・ノードにｉＳＣＳＩメッセージを渡し、受信した応答をソケット層２０を介してｉＳＣＳＩ層に返す。そうでなく、（ブロック１０２で）ｉＳＣＳＩ層１８がＩｎｆｉｎｉＢａｎｄアダプタ２４を介して接続する場合、ソケット層２０は、（ブロック１０６で）ＳＤＰ層４２を介してターゲット・ノードにｉＳＣＳＩメッセージを渡し、受け取った応答をソケット層２０を介してｉＳＣＳＩ層１８に返す。ＳＤＰ層４２は、（ブロック１０８で）待ち行列の対２６、２８、完了待ち行列４０などのＲＤＭＡ接続のためのデータ構造を作成し、ＩｎｆｉｎｉＢａｎｄアダプタ２４およびＩｎｆｉｎｉＢａｎｄネットワーク４を介して、ターゲットとの間でメッセージの送受信をする。
（ブロック１１０で）イニシエータ・ノード２がＲＮＩＣアダプタまたはＩｎｆｉｎｉＢａｎｄアダプタ２４のネットワーキング層を介してリモート・ノードとのＲＤＭＡセッションを確立することを望まない場合、イニシエータ・ノード２は、ネゴシエーション接続を切断し、（ブロック１１２で）ＲＤＭＡ互換の他のターゲット・ノードを見つけることを試みる。そうでなく、（ブロック１１０で）ＲＤＭＡセッションが許容される場合は、（ブロック１１４で）ＳＤＰ層４２（ＩｎｆｉｎｉＢａｎｄアダプタ２４の場合）またはネットワーク層２８（ＲＮＩＣアダプタの場合）が、（ブロック１１４で）ターゲット・ノードからの応答を返し、引き続き、ＲＮＩＣネットワーキング層２８またはＳＤＰ層４２をトリガしてターゲットとの間で追加的なログイン要求とログイン応答メッセージを送受信するために、ｉＳＣＳＩ層がソケットＡＰＩを使用できるようにする。
図６に関して、ログイン・パラメータが設定されると、イニシエータｉＳＣＳＩ層１８は、（ブロック１１６で）ＲＮＩＣアダプタ２４の場合はネットワーキング層（例えばＴＣＰ）により、またはＩｎｆｉｎｉＢａｎｄアダプタの場合はＳＤＰ層４２によって扱われるソケット呼び出しを介して、ターゲット・ノードに最後のログイン要求ＰＤＵを送信する。（ブロック１１８で）ターゲットからの最後のログイン応答ＰＤＵを受信すると、ｉＳＣＳＩ層１８は、ｉＳＥＲプリミティブを使用してｉＳＥＲ層２２を呼び出し、自身のソケット情報ハンドル（ＲＮＩＣアダプタ２４の場合はネットワーキング層２８の制御構造、または、ＩｎｆｉｎｉＢａｎｄアダプタの場合はＳＤＰ ＲＤＭＡ制御構造をポイントする）を渡す。ｉＳＥＲ層２２は、次いで（ブロック１２０で）、ソケット制御構造を引き継ぎ、ｉＳＥＲ／ＲＤＭＡ動作のためにその制御構造を設定および変更する。ＩｎｆｉｎｉＢａｎｄアダプタ２４の場合は、ｉＳＥＲ層２２は、ＳＤＰセッションを終了させ、ｉＳＥＲ層２２にＳＤＰによって使用されていたＲＤＭＡ通信チャネル（待ち行列のペア、完了待ち行列など）を所有および使用させる特別な呼び出しを（ブロック１２２で）発行する。そして、ｉＳＣＳＩ層は、ターゲット・ノードで以後行われるすべての通信についてＲＤＭＡを介してｉＳＥＲと（ブロック１２４で）通信する。
図７および８は、ターゲット・ノードのコンポーネントによって実施される動作を示し、ターゲット・ノードは、ＲＤＭＡを使用するためにイニシエータ・ノードに接続するノード２（図２）のアーキテクチャを有することができ、ターゲット・ノード２は、ＲＮＩＣアダプタまたはＩｎｆｉｎｉＢａｎｄアダプタ２４を含む。図２に関して説明したアーキテクチャを使用して、イニシエータ・ノードとターゲット・ノード両方のコンポーネントを説明する。図７に関して、ターゲット・ノードのｉＳＣＳＩ層２０は、（ブロック１５０で）ソケット呼び出しを介して、リッスンしているポートがイニシエータ・ノードからの接触を待つことを可能にする。ソケット層２０は、ＲＮＩＣアダプタ２４のネットワーキング層２８（例えばＴＣＰ）を使用するか、またはＩｎｆｉｎｉＢａｎｄネットワークを通じて通信するＩｎｆｉｎｉＢａｎｄアダプタの場合はＳＤＰ４２を使用することにより、この接触を可能にする。同じソケット・インタフェースを介してイニシエータ・ノードのｉＳＣＳＩ層１８からの接触があると（ブロック１５２）、ターゲット・ノードは、イニシエータ・ノードとネゴシエートして、ＲＤＭＡ接続に移る同意を得る。（ブロック１５４で）ＲＤＭＡ接続が承認されない場合は、ターゲット・ノードは、ネゴシエート接続を切断し、別の接続が確立されるまで（ブロック１５６で）待機し続ける。そうでなく、ＲＤＭＡ接続が承認される場合は、例えばＴＣＰなどのターゲット・ノードのＲＮＩＣのネットワーキング層２８、またはＳＤＰ層４２が、（ブロック１６０で）イニシエータ・ノードからの応答をソケットＡＰＩを介してｉＳＣＳＩ層１８に返し、引き続き、ｉＳＣＳＩ層がＲＮＩＣネットワーキング層またはＳＤＰ層をトリガしてイニシエータとの間で追加的なログイン要求とログイン応答メッセージを送受信できるようにする。ターゲットのｉＳＣＳＩ層１８は（ブロック１６２で）、イニシエータからの最後のログイン要求を受信すると、ｉＳＥＲプリミティブを使用してｉＳＥＲ層２２を呼び出し、自身のソケット情報ハンドル（ＲＮＩＣアダプタのネットワーキング層２８の制御構造またはＳＤＰ制御構造をポイントする）と最後のログイン応答メッセージを渡す。
図８に関して、ｉＳＣＳＩがｉＳＥＲ層２２を呼び出すと、ｉＳＥＲ層２２は（ブロック１６４で）接続を引き継ぎ、ｉＳＥＲのＲＤＭＡ通信チャネルを確立する。ＲＮＩＣアダプタ２４の場合の接続情報は、例えばＴＣＰなどのネットワーキング層２８が以前に確立した情報であり、ＩｎｆｉｎｉＢａｎｄアダプタ２４の場合の接続情報は、ＳＤＰ層４２によって作成され、使用されたＲＤＭＡ接続とデータ構造を含む。いずれの場合も、ＲＤＭＡ ＲＮＩＣまたはＩｎｆｉｎｉＢａｎｄアダプタのデータ／制御構造は、ｉＳＥＲ／ＲＤＭＡ動作を可能にするように変更される。ＩｎｆｉｎｉＢａｎｄアダプタ２４の場合、ｉＳＥＲ層２２は、（ブロック１６６で）ＳＤＰセッションを終了させ、ＳＤＰ層４２からＲＤＭＡ通信を引き継ぐための特別な呼び出しを発行する。通信プロセスが（ブロック１６８で）完全にｉＳＥＲ ＲＤＭＡモードに切り替わる前に、ターゲットｉＳＣＳＩからｉＳＥＲに送信された「最後の」ログイン応答ＰＤＵが、前の接続モード（例えばＴＣＰ／ＩあるいはＳＤＰ／ＩＢ）で送信される最後のメッセージとしてイニシエータに発行される。次いで、ｉＳＣＳＩ層は、ｉＳＥＲ層を通じて（ブロック１７０で）通信し、ｉＳＥＲ層は、イニシエータ・ノードとその後行われるすべての対話にＲＤＭＡを使用する。
図９に、ＳＣＳＩコマンドが完了し、「送信とともに無効化（send withinvalidate）メッセージ」を送信することが可能なＲＤＭＡアダプタを有するターゲット・ノードから「送信とともに無効化」を受信すると、イニシエータ・ノード２によって行われる動作を図示する。（ブロック２００で）「送信とともに無効化」メッセージを受信すると、「送信とともに無効化」をサポートする場合、アダプタ２４は、（ブロック２０２で）、メッセージで指定されたＳＴａｇ／Ｒ＿ｋｅｙを無効にし、ここでＳＴａｇはＲＤＭＡヘッダにある。イニシエータが「送信とともに無効化」をサポートしない場合は、ＩｎｆｉｎｉＢａｎｄアダプタ２４の場合に発生する可能性があるが、その場合、メッセージは、ｉＳＥＲ層２２に転送されて処理される。イニシエータｉＳＥＲ層２２は、（ブロック２０４で）応答ＰＤＵを受信し、メッセージのＩＴＴ５６（図３）にアクセスして、ＩＴＴ／ＳＴａｇマップ７０で、アクセスされるＩＴＴに関連付けられたＳＴａｇまたはＲ＿Ｋｅｙを判定する。（ブロック２０６で）「送信とともに無効化」メッセージの中のＳＴａｇ／Ｒ＿ＫｅｙがＩＴＴ／ＳＴａｇのマッピング７０にあるＳＴａｇ／Ｒ＿Ｋｅｙと一致し、かつイニシエータのアダプタが自動的な無効化をサポートする場合、イニシエータのｉＳＥＲ層２２は、（ブロック２０８で）アダプタによって無効にされなかったマッピング７０中のＩＴＴに関連付けられた追加的なＳＴａｇ／＃＿Ｋｅｙを無効にする。アダプタが自動的な無効化をサポートしない場合、または、「送信とともに無効化」の中のＳＴａｇ／Ｒ＿Ｋｅｙがマッピング７０にあるＳＴａｇ／Ｒ＿Ｋｅｙと一致しない場合、ｉＳＥＲ層２２は、（ブロック２１０で）、直接アダプタを呼び出して、ＳＴａｇ／Ｒ＿Ｋｅｙとマッピング７０のＩＴＴに関連付けられた追加的なＳＴａｇ／＃＿Ｋｅｙを無効にする。ｉＳＥＲ層２２は次いで（ブロック２１２で）ＳＣＳＩ応答ＰＤＵをｉＳＣＳＩ層１８に渡し、自身のＩＴＴ／ＳＴａｇ／＃＿Ｋｅｙマッピング・テーブル７０をクリアする。次いで、ｉＳＣＳＩ層１８は、ＳＣＳＩ層１６に、動作の完了ステータスを通知する。
図１０に、ＳＣＳＩコマンドが完了し、ＩｎｆｉｎｉＢａｎｄアダプタ２４を有するターゲット・ノードから「即値データとともに送信（send with immediate data）」メッセージを受信するときの、イニシエータ・ノード２によって行われる動作を図示する。イニシエータのアダプタ２４（ＩｎｆｉｎｉＢａｎｄまたはＲＮＩＣ）がターゲットのＩｎｆｉｎｉＢａｎｄアダプタから「即値データとともに送信」メッセージまたは「送信」メッセージを（ブロック２５０で）受信すると、そのメッセージは、イニシエータ・アダプタ２４により（ブロック２５２で）ｉＳＥＲ層２２に渡され、ｉＳＥＲ層はアダプタ２４を呼び出して、ある場合にはメッセージの「即値データ」部分にあるＲ＿Ｋｅｙを無効にする。そして、ｉＳＥＲ層２２は、アダプタ２４に、それまでに無効化されなかったマッピング７０のＩＴＴに関連付けられた＃＿Ｋｅｙ／ＳＴａｇを（ブロック２５４で）無効にする。ｉＳＥＲ層２２は、（ブロック２５６で）ｉＳＣＳＩ層１８にＳＣＳＩ応答ＰＤＵを伝達し、自身のＩＴＴ／ＳＴａｇ／＃＿Ｋｅｙ対応付けテーブル７０をクリアする。ｉＳＣＳＩ層１７は次いで、ＳＣＳＩ層１６に動作の完了ステータスを通知する。
プロトコル・ゲートウェイ
図１１、１２、１３、および１４に、どのようにゲートウェイ３０２、３２２、３５２、および３５４を使用してノード間でメッセージを転送することができるかを表す。各ゲートウェイ３０２、３２２、３５２、および３５４は、スイッチ、ルータなどのターゲットとイニシエータがそれを通じてメッセージを通信する、再送信を行うハードウェア・デバイスからなることができる。ゲートウェイ３０２、３２２、３５２、および３５４は、１つのプロトコルから別のプロトコルに送信される、イニシエータ・ノードとターゲット・ノード間で送信されるメッセージを処理するプロトコル・コンバータ３１４、３３４、３６２、および３６４を含む。あるいは、ゲートウェイ３０２は、ターゲット・ノードのハードウェアでインプリメントしても、イニシエータ・ノードのハードウェアでインプリメントしてもよい。ゲートウェイ３０２、３２２、３５２、および３５４はさらに、ＩｎｆｉｎｉＢａｎｄなどの１つのプロトコルのメッセージと、ｉＷＡＲＰなどの別のプロトコルのメッセージとの対応付けを提供するプロトコル・マッピング３１６、３３６、３５３、および３６５を含む。
図１１、１２、１３、および１４に、どのようにゲートウェイ３０２、３２２、３５２、および３５４を使用してノード間でメッセージを転送することができるかを表す。各ゲートウェイ３０２、３２２、３５２、および３５４は、スイッチ、ルータなどのターゲットとイニシエータがそれを通じてメッセージを通信する、再送信を行うハードウェア・デバイスからなることができる。ゲートウェイ３０２、３２２、３５２、および３５４は、１つのプロトコルから別のプロトコルに送信される、イニシエータ・ノードとターゲット・ノード間で送信されるメッセージを処理するプロトコル・コンバータ３１４、３３４、３６２、および３６４を含む。あるいは、ゲートウェイ３０２は、ターゲット・ノードのハードウェアでインプリメントしても、イニシエータ・ノードのハードウェアでインプリメントしてもよい。ゲートウェイ３０２、３２２、３５２、および３５４はさらに、ＩｎｆｉｎｉＢａｎｄなどの１つのプロトコルのメッセージと、ｉＷＡＲＰなどの別のプロトコルのメッセージとの対応付けを提供するプロトコル・マッピング３１６、３３６、３５３、および３６５を含む。
図１１に、ｉＷＡＲＰを使用するｉＳＣＳＩ／ｉＳＥＲ３０６を実施し、ｉＷＡＰプロトコルを使用してメッセージを送信するＲＮＩＣ３１０を含むターゲット・ノード３００を図示する。ゲートウェイ３０２は、ＩｎｆｉｎｉＢａｎｄを使用するｉＳＣＳＩ／ｉＳＥＲプロトコル３０８を実施し、ＩｎｆｉｎｉＢａｎｄアダプタ３１２を有するイニシエータ・ノード３０４を宛先とするメッセージを、ｉＷＡＲＰネットワークのターゲット・ノード３００から受信する。プロトコル・コンバータ３１４は、ｉＷＡＲＰのメッセージを、ＩｎｆｉｎｉＢａｎｄアダプタ３１２と互換性のあるＩｎｆｉｎｉＢａｎｄプロトコルに準拠したメッセージに変換する。
図１２に、ＩｎｆｉｎｉＢａｎｄを使用するｉＳＣＳＩ／ｉＳＥＲ３２６を実施し、ＩｎｆｉｎｉＢａｎｄプロトコルを使用してメッセージを送信するＩｎｆｉｎｉＢａｎｄアダプタ３３０を含むターゲット・ノード３２０を図示する。ゲートウェイ３２２は、ｉＷＡＲＰを使用するｉＳＣＳＩ／ｉＳＥＲプロトコル３２８を実施し、ＲＮＩＣ３３２を有するイニシエータ・ノード３２４を宛先とするＩｎｆｉｎｉＢａｎｄのメッセージを、ターゲット・ノード３２０から受信する。プロトコル・コンバータ３３４は、ＩｎｆｉｎｉＢａｎｄのメッセージを、ｉＷＡＲＰプロトコルを使用して動作するＲＮＩＣアダプタ３３２と互換性のあるｉＷＡＲＰプロトコルに準拠したメッセージに変換する。
図１３は、ゲートウェイ３５２と３５４が協働して、中間にあるｉＷＡＲＰネットワークで送信するためにメッセージを変換しながら、ターゲット・ノード３５０からのｉＳＥＲ／ＩＢメッセージをイニシエータ・ノード３５６に配信する実施形態を図示する。ターゲット３５０からＩｎｆｉｎｉＢａｎｄのメッセージを受信したターゲット・ゲートウェイ３５２は、そのメッセージを、ｉＷＡＲＰプロトコルと互換性のあるフォーマットに変換し、変換したメッセージをｉＷＡＲＰネットワークのイニシエータ・ゲートウェイ３５４に送信する。ｉＷＡＲＰメッセージをターゲット・ゲートウェイ３５２から受信したイニシエータ・ゲートウェイ３５４は、メッセージを、イニシエータ・ノード３５６で使用されるＩｎｆｉｎｉＢａｎｄプロトコルと互換性のあるフォーマットに変換してから、変換したメッセージをイニシエータ・ノード３５６に送信する。このようにして、ゲートウェイ３５２と３５４を使用して、ＩｎｆｉｎｉＢａｎｄプロトコルを使用し、ＩｎｆｉｎｉＢａｎｄ３５８、３６６を使用するｉＳＣＳＩ／ｉＳＥＲとＩｎｆｉｎｉＢａｎｄアダプタ３６０、３６８とを含む２つのノード３５０と３５６の間で、ｉＷＡＲＰネットワークを通じて送信するためにメッセージを変換する。さらに、代替実施形態では、イニシエータ・ノードとターゲット・ノード間には、可能な種々の通信プロトコルで使用するためにメッセージの任意数の変換を行うゲートウェイがいくつあってもよい。
図１４は、２つのゲートウェイ３７２と３７４が協働して、中間にあるＩｎｆｉｎｉＢａｎｄネットワークで送信するためにメッセージを変換しながら、ターゲット・ノード３７０からのｉＳＥＲ／ｉＷＡＲＰメッセージをイニシエータ・ノード３７６に伝達する実施形態を示す。ターゲット・ノード３７０からｉＷＡＲＰメッセージを受信したターゲット・ゲートウェイ３７２は、そのメッセージを、ＩｎｆｉｎｉＢａｎｄプロトコルと互換性のあるフォーマットに変換し、変換したメッセージをＩｎｆｉｎｉＢａｎｄネットワーク上のイニシエータ・ゲートウェイ３７４に送信する。ターゲット・ゲートウェイ３７２からＩｎｆｉｎｉＢａｎｄメッセージを受信したイニシエータ・ゲートウェイ３７４は、そのメッセージを、イニシエータ・ノード３７６で使用されるｉＷＡＲＰプロトコルと互換性のあるフォーマットに変換し、変換したメッセージをｉＷＡＲＰネットワークでイニシエータ３７６に送信する。このようにして、ゲートウェイ３７２と３７４を使用して、ｉＷＡＲＰプロトコルを使用し、ｉＷＡＲＰを使用するｉＳＣＳＩ／ｉＳＥＲ３７８、３９０とｉＷＡＲＰアダプタ３８０、３９２とを含む２つのノード３７０と３７６の間で、ＩｎｆｉｎｉＢａｎｄネットワークを通じて送信するためにメッセージを変換する。さらに、代替実施形態では、可能な種々の通信プロトコルで使用するためにメッセージの任意数の変換を行うゲートウェイがイニシエータ・ノードとターゲット・ノードの間にいくつあってもよい。
図１１、１２、１３、および１４は、ターゲット・ノードからイニシエータ・ノードへのメッセージの流れを示す。ただし、このメッセージ・フローは、イニシエータ・ノードからターゲット・ノードに進行しても、または、任意の２タイプのノード間で進行することができる。例えば、図１３のゲートウェイ３５２と３５４をこの点で繰り返すことができ、図１４のゲートウェイ３７２および３７４を繰り返すことができる。
図１５、１６、および１７は、メッセージの送信元のノードで使用されるプロトコルと異なるプロトコルをインプリメントしてメッセージを送信するノードで使用されるフォーマットから、メッセージを受信するノードと互換性のあるフォーマットにメッセージを変換するためにプロトコル・コンバータ３１４（図１１）、３３４（図１２）、３６２（図１３）、３６４、３８２（図１４）および３８６によって行われる動作を示す。図１５に関して、プロトコル・コンバータ３１４、３３４、３６２、３８２、および３８６（ゲートウェイ）は、（ブロック４００で）ターゲット・ノードから（または別のゲートウェイ・ノードを介してターゲット・ノードから）ｉＳＣＳＩ／ｉＳＥＲメッセージを受信する。（ブロック４０２で）メッセージの送信元がｉＳＥＲ／ｉＷＡＲＰを使用するターゲット・ノード（またはターゲットからのゲートウェイ）であり、かつ（ブロック４０８で）ｉＷＡＲＰのメッセージ・タイプがそれに相当するＩｎｆｉｎｉＢａｎｄメッセージに対応する場合、プロトコル・コンバータ３１４、３６４、または３８２は、（ブロック４１０で）ｉＷＡＲＰメッセージをそれに相当するＩｎｆｉｎｉＢａｎｄメッセージに変換し、変換したＩｎｆｉｎｉＢａｎｄメッセージを、ＩｎｆｉｎｉＢａｎｄネットワークを通じて、例えば３０４、３５６などのイニシエータ・ノード（または後にあるゲートウェイ）に転送する。プロトコル・マッピング３１６、３３６、３５３、３６５、３８４、および３８８は、例えばＩｎｆｉｎｉＢａｎｄとｉＷＡＲＰなど異なるフォーマットの対応するメッセージの対を、プロトコル・コンバータ３１４、３３４、３６２、３６４、３８２、および３８６に提供することができ、プロトコル・コンバータは、ｉＷＡＲＰからＩｎｆｉｎｉＢａｎｄへの（およびＩｎｆｉｎｉＢａｎｄからｉＷＡＲＰへの）メッセージ・タイプの対応付けを保持することができ、プロトコル・マッピングは、あるプロトコル・フォーマットのメッセージがどのように変換され、もう一方のプロトコル・フォーマットに対応するかを示す。（ブロック４０８で）ｉＷＡＲＰのメッセージ・タイプが、それに相当するＩｎｆｉｎｉＢａｎｄのメッセージに対応せず、かつ（ブロック４１２で）メッセージが、ＳＴａｇを有するｉＷＡＲＰの「送信とともに無効化」メッセージでない場合は、そのような変換はプロトコル・コンバータ３１４、３６４、３８２によって扱われないので、プロトコル・コンバータ３１４、３６４、または３８２は、（ブロック４１４で）そのメッセージを廃棄し、エラーを投げる。
（ブロック４１２で）メッセージが、ＳＴａｇを有するｉＷＡＲＰの「送信とともに無効化メッセージ」である場合は、プロトコル・コンバータ３１４、３６４、または３８２は、（ブロック４１６で）ＩｎｆｉｎｉＢａｎｄの「要求されるイベントを伴う（または伴わずに）送信」メッセージを作成する。プロトコル・コンバータ３１４、３６４、または３８２は、（ブロック４１８で）、ｉＷＡＲＰメッセージからＩｎｆｉｎｉＢａｎｄメッセージの即値データ・フィールドに、ターゲットまたはイニシエータ中のメモリ位置への直接の参照を参照するＳＴａｇを追加する（あるいは、ＳＴａｇを破棄し、即値データなしで送信する準備をする）。プロトコル・コンバータ３１４、３６４、または３８２は、（ブロック４２０で）、変換されたメッセージをＩｎｆｉｎｉＢａｎｄネットワークを通じてイニシエータ（またはその後にあるゲートウェイ）に送信する。ブロック４１０または４２０から、コントロールはブロック４２２に進み、ここで、後にゲートウェイがある場合は、そのようなゲートウェイが図１６のブロック４４０からの動作を行うことによりｉＳＥＲ／ＩＢメッセージをｉＳＥＲ／ｉＷＡＲＰに変換する。
（ブロック４０２で）ターゲット・ノードからのメッセージがＩｎｆｉｎｉＢａｎｄプロトコルであった場合は、コントロールは、図１６のブロック４４０に進む。（ブロック４４０で）送信がイニシエータに到達する前にｉＷＡＲＰネットワークを通じて例えばゲートウェイ３５２などのゲートウェイに続いており、かつ（ブロック４４２で）ＩｎｆｉｎｉＢａｎｄのメッセージ・タイプが、プロトコル・マッピング３５３にあるそれに相当するｉＷＡＲＰメッセージに対応する場合は、プロトコル・コンバータ３６２は、（ブロック４４４で）ＩｎｆｉｎｉＢａｎｄメッセージをそれに相当するｉＷＡＲＰメッセージに変換し、変換したメッセージをｉＷＡＲＰを通じて次のゲートウェイ３５４に転送する。（ブロック４４２で）ＩｎｆｉｎｉＢａｎｄのメッセージ・タイプが、プロトコル・マッピング３５３でそれに相当するｉＷＡＲＰメッセージに対応せず、かつ（ブロック４４６で）メッセージがＩｎｆｉｎｉＢａｎｄの「即値データとともに送信」メッセージでない場合は、（ブロック４４８で）エラーが投げられ、メッセージが廃棄される。
（ブロック４４６で）メッセージがＩｎｆｉｎｉＢａｎｄの「即値データと共に送信」メッセージである場合は、プロトコル・コンバータ３６２は、（ブロック４５０で）ｉＷＡＲＰの「送信とともに無効化」（要求されるイベントを伴う）メッセージを作成し、（ブロック４５２で）ＩｎｆｉｎｉＢａｎｄメッセージの即値データ・フィールドのＲ＿Ｋｅｙを、ｉＷＡＲＰの「送信とともに無効化メッセージ」のＳＴａｇフィールドに追加する（あるいは、Ｒ＿Ｋｅｙ（即値データ）を破棄し、ＳＴａｇなしの送信メッセージを準備する）。プロトコル・コンバータ３６２は、（ブロック４５４で）変換したメッセージを図１３に示すようにｉＷＡＲＰネットワークを通じてゲートウェイ３５４に送信する。ブロック４５４または４４４以降は、その後にあるゲートウェイが、ブロック４００からの動作を行うことにより、ｉＳＥＲ／ｉＷＡＲＰメッセージをｉＳＥＲ／ＩｎｆｉｎｉＢａｎｄメッセージに変換することができる。
（ブロック４４０で）、ターゲット・ノードからのＩｎｆｉｎｉＢａｎｄの送信がイニシエータ・ノードに到達する前にｉＷＡＲＰネットワークを通じてゲートウェイに続かない場合、（すなわちＩｎｆｉｎｉＢａｎｄメッセージが、それぞれ図１２および図１４に示すように、ｉＷＡＲＰネットワーク上のゲートウェイ３２２または３７４を通じて直接イニシエータ３２４または３７６に進行する場合）、コントロールは図１７のブロック４８０に進む。（ブロック４８０で）ＩｎｆｉｎｉＢａｎｄのメッセージ・タイプがそれに相当するｉＷＡＲＰのメッセージに対応する場合、プロトコル・コンバータ３３４または３８６は、（ブロック４８６で）ＩｎｆｉｎｉＢａｎｄのメッセージをそれに相当するｉＷＡＲＰメッセージに変換し、ｉＷＡＲＰを通じてイニシエータに転送する。（ブロック４８０で）ＩｎｆｉｎｉＢａｎｄのメッセージ・タイプがプロトコル・マッピング３３６または３８８でそれに対応するｉＷＡＲＰメッセージに対応せず、（ブロック４８８で）メッセージがＩｎｆｉｎｉＢａｎｄの「即値データとともに送信」メッセージでない場合は、（ブロック４９０で）エラーが投げられ、メッセージが廃棄される。
（ブロック４８８で）メッセージがＩｎｆｉｎｉＢａｎｄの「即値データとともに送信」メッセージである場合は、プロトコル・コンバータ３３４または３８６は、（ブロック４９２で）ｉＷＡＲＰの「送信とともに無効化」（要求されるイベントを伴う）メッセージを作成し、（ブロック４９４で）ＩｎｆｉｎｉＢａｎｄメッセージの即値データ・フィールドのＲ＿Ｋｅｙを、ｉＷＡＲＰの「送信とともに無効化」メッセージのＳＴａｇフィールドに加える（あるいは、Ｒ＿Ｋｅｙ（即値データ）を破棄し、ＳＴａｇなしで送信メッセージを準備する）。プロトコル・コンバータ３３４または３８６は、（ブロック４９６で）変換されたメッセージを図１２または１４に示すようなｉＷＡＲＰネットワークを通じてイニシエータ・ノードに送信する。
ここに記載される実施形態は、メッセージを処理し、必要な場合は受信側のノードで使用される通信プロトコルと互換性のあるフォーマットに変換することにより、異なる通信プロトコルを使用するネットワーク間でメッセージを送信できるようにする技術を提供する。
追加的な実施形態の詳細
本明細書に記載される実施形態は、ソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせを作製する標準的なプログラミング技術またはエンジニアリング技術あるいはその両方を使用して、方法、装置、またはプログラムとして実施することができる。本明細書で使用される用語「プログラム」は、ハードウェア・ロジック（例えば集積回路チップ、プログラマブル・ゲート・アレイ（ＰＧＡ）、特定用途集積回路（ＡＳＩＣ）など）、または、磁気記憶媒体（ハードディスク・ドライブ、フロッピー・ディスク、テープなど）、光学ストレージ（ＣＤ−ＲＯＭ、光ディスクなど）、揮発性および不揮発性のメモリ装置（ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、ファームウェア、プログラマブル・ロジックなど）などのコンピュータ可読媒体にインプリメントされたコードまたはロジックを意味する。コンピュータ可読媒体中のコードは、プロセッサによってアクセスされ、実行される。好ましい実施形態がインプリメントされるコードは、さらに、伝送媒体を通じて、またはネットワークを通じてファイル・サーバからアクセスすることができる。そのような場合、コードが実施されたプログラムは、ネットワーク伝送線、無線送信媒体、空間を伝播する信号、電波、赤外線信号などを通じて伝搬する信号などの伝送媒体からなることができる。したがって、「プログラム」は、コードが具現化された媒体からなることができる。また、「プログラム」は、コードが具現化され、処理、および実行されるハードウェア・コンポーネントとソフトウェア・コンポーネントの組み合わせからなることもできる。言うまでもなく、当業者は、本発明の範囲から逸脱せずにこの構成に多くの変更を加えてよく、プログラムは、当技術分野で知られる情報担持媒体からなってよいことを理解されよう。
本明細書に記載される実施形態は、ソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせを作製する標準的なプログラミング技術またはエンジニアリング技術あるいはその両方を使用して、方法、装置、またはプログラムとして実施することができる。本明細書で使用される用語「プログラム」は、ハードウェア・ロジック（例えば集積回路チップ、プログラマブル・ゲート・アレイ（ＰＧＡ）、特定用途集積回路（ＡＳＩＣ）など）、または、磁気記憶媒体（ハードディスク・ドライブ、フロッピー・ディスク、テープなど）、光学ストレージ（ＣＤ−ＲＯＭ、光ディスクなど）、揮発性および不揮発性のメモリ装置（ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、ファームウェア、プログラマブル・ロジックなど）などのコンピュータ可読媒体にインプリメントされたコードまたはロジックを意味する。コンピュータ可読媒体中のコードは、プロセッサによってアクセスされ、実行される。好ましい実施形態がインプリメントされるコードは、さらに、伝送媒体を通じて、またはネットワークを通じてファイル・サーバからアクセスすることができる。そのような場合、コードが実施されたプログラムは、ネットワーク伝送線、無線送信媒体、空間を伝播する信号、電波、赤外線信号などを通じて伝搬する信号などの伝送媒体からなることができる。したがって、「プログラム」は、コードが具現化された媒体からなることができる。また、「プログラム」は、コードが具現化され、処理、および実行されるハードウェア・コンポーネントとソフトウェア・コンポーネントの組み合わせからなることもできる。言うまでもなく、当業者は、本発明の範囲から逸脱せずにこの構成に多くの変更を加えてよく、プログラムは、当技術分野で知られる情報担持媒体からなってよいことを理解されよう。
ここに記載される動作は、回路によって行うことができ、「回路」とは、ハードウェアまたはソフトウェア、またはそれらの組み合わせを指す。ここに記載される実施形態の動作を行う回路は、集積回路チップ、プログラマブル・ゲート・アレイ（ＰＧＡ）、特定用途集積回路（ＡＳＩＣ）などのハードウェア・デバイスからなることができる。回路は、集積回路などのプロセッサ・コンポーネントと、メモリなどのコンピュータ可読媒体中のコードからなることもでき、そのコードがプロセッサによって実行されて、ここに記載される実施形態の動作が行われる。
ここに記載される実施では、物理層は、イーサネット・プロトコルを利用した。代替の実施では、ＳＡＴＡ（Serial Advanced Technology Attachment）、ＩｎｆｉｎｉＢａｎｄ、シリアル接続ＳＣＳＩケーブルなど、パケットのリンク間のチェックサム確認／ＣＲＣ（または他のデータ検出方式）を提供する代替のプロトコルをイーサネットの代わりに使用することができる。
ここに記載される実施では、トランスポート層は、ｉＳＣＳＩプロトコルからなった。代替の実施では、パケットでＩ／Ｏコマンドを送信し、終端間のチェックサム確認／ＣＲＣ（または他のデータ検出方式）を提供する、当技術分野で知られる他のプロトコルを使用してよい。
ここに記載される実施では、パッケージされたＩ／Ｏコマンドは、ＳＣＳＩコマンドからなった。代替の実施では、このコマンドは、ＡＴＡ（Advanced Technology Attachment）など、ＳＣＳＩとは異なるＩ／Ｏコマンド・フォーマットとすることができる。
ここに記載される実施形態では、ｉＳＣＳＩ層がｉＳＥＲ層に呼び出しを行って、ＲＤＭＡデータ転送機能にアクセスした。追加的な実施形態では、アプリケーションまたは他のデータ転送プロトコルなどのｉＳＣＳＩ以外のデータ転送プロトコル層が、ｉＳＥＲ層を呼び出してＲＤＭＡデータ転送機能にアクセスすることができる。
代替実施形態では、ＩＰ ｏｖｅｒ ＩｎｆｉｎｉＢａｎｄプロトコル（信頼性のある接続−ＲＣ）をＳＤＰの代わりに使用して、ＩｎｆｉｎｉＢａｎｄネットワークを介して、ＴＣＰなどのプロトコルを使用して符号化されたパケットを送信することができる。ＩＰ ｏｖｅｒ ＩｎｆｉｎｉＢａｎｄプロトコル（信頼性のある接続−ＲＣ）についてのさらなる詳細は、文献：ＩＥＴＦにより「draft-kashyap-ipoib-connected-mode-01.txt」として公表された「ＩＰ ｏｖｅｒ ＩｎｆｉｎｉＢａｎｄ：接続モード」２００３年９月に記載される。同文献は、参照により全体が本明細書に組み込まれる。例えば、ＳＤＰ層を代わりにＩＰｏＩＢ（ＲＣ）実装の最上位にレイヤ化されたＴＣＰスタックに替えることができ、そのＴＣＰ／ＩＰｏＩＢの組み合わせのいずれの部分をノード２のソフトウェア中またはアダプタ２４に配置することができる。そのような実施形態では、ＩＰｏＩＢ（ＲＣ）機能は、必要に応じてＩＰｏＩＢ（ＲＣ）の仕様に従ってＲＤＭＡ層２６を呼び出すことができる。
追加的な実施形態では、ＳＣＴＰ（Stream ControlTransmission Protocol）など、ＴＣＰ以外のプロトコルを使用してＩＰ対応ネットワークを通じてパケットを送信することができる。ＳＣＴＰは、文献ＲＦＣ２９６０「ストリーム制御伝送プロトコル」（Ｉｎｔｅｒｎｅｔ Ｓｏｃｉｅｔｙ，２０００年）に定義され、同文献は、参照により全体が本明細書に組み込まれる。
図５、６、７、８、９、および１０は、特定の順序で行われる具体的な動作を記載する。代替の実施では、特定の動作は、異なる順序で行っても、変更または除去してもよい。さらに、上記のロジックにステップを加えてもよく、なおここに記載される実施に準拠する。さらに、本明細書に記載される動作は、連続的に行っても、特定の動作を並行して処理してもよい。さらに、動作は、１つの処理装置によって行っても、分散した処理装置によって行ってもよい。
上記の実施の説明は、例示と説明のために提示された。この説明は、完全なものではなく、また本発明をここに開示される通りの形態に限定するものでもない。上記の教示に照らして多くの変更と変種が可能である。本発明の範囲は、この詳細な説明ではなく、頭記の特許請求の範囲によって限定されるものとする。上記の詳細な説明、例、およびデータは、本発明の構成の製造と使用についての完全な説明を提供する。本発明の主旨および範囲内で本発明の多くの実施をなすことができるので、本発明は、頭記の特許請求の範囲に存する。
２ａ コンピューティング・ノード
２ｂ コンピューティング・ノード
２ｃ コンピューティング・ノード
４ ネットワーク
６ プロセッサ
８ オペレーティング・システム
１４ アプリケーション
１８ ｉＳＣＳＩ層
２０ ソケット層
２２ ｉＳＥＲ層
２４ アダプタ
２６ ＲＤＭＡ層
２８ ネットワーク層
３０ メモリ
３２ メモリ領域
３４ メモリ変換テーブル
３６ 送信待ち行列
３８ 受信待ち行列
４０ 完了待ち行列
４２ ＳＤＰ層
４４ アダプタ・ドライバ（ＲＤＭＡｖｅｒｂ層）
５０ コマンド
５２ ＰＤＵ
５４ ヘッダ
５６ ＩＴＴ
６０ ネットワーク層
７０ マップ
７２ エントリ
３００ ターゲット・ノード
３７０ ターゲット・ノード
３０４ イニシエータ・ノード
３７６ イニシエータ・ノード
３０２ ゲートウェイ
３２２ ゲートウェイ
３５２ ゲートウェイ
３５４ ゲートウェイ
３７２ ゲートウェイ
３７４ ゲートウェイ
３１２ アダプタ
３８０ アダプタ
３９２ アダプタ
３１４ プロトコル・コンバータ
３３４ プロトコル・コンバータ
３６２ プロトコル・コンバータ
３６４ プロトコル・コンバータ
３１６ プロトコル・マッピング
３３６ プロトコル・マッピング
３５３ プロトコル・マッピング
３６５ プロトコル・マッピング
２ｂ コンピューティング・ノード
２ｃ コンピューティング・ノード
４ ネットワーク
６ プロセッサ
８ オペレーティング・システム
１４ アプリケーション
１８ ｉＳＣＳＩ層
２０ ソケット層
２２ ｉＳＥＲ層
２４ アダプタ
２６ ＲＤＭＡ層
２８ ネットワーク層
３０ メモリ
３２ メモリ領域
３４ メモリ変換テーブル
３６ 送信待ち行列
３８ 受信待ち行列
４０ 完了待ち行列
４２ ＳＤＰ層
４４ アダプタ・ドライバ（ＲＤＭＡｖｅｒｂ層）
５０ コマンド
５２ ＰＤＵ
５４ ヘッダ
５６ ＩＴＴ
６０ ネットワーク層
７０ マップ
７２ エントリ
３００ ターゲット・ノード
３７０ ターゲット・ノード
３０４ イニシエータ・ノード
３７６ イニシエータ・ノード
３０２ ゲートウェイ
３２２ ゲートウェイ
３５２ ゲートウェイ
３５４ ゲートウェイ
３７２ ゲートウェイ
３７４ ゲートウェイ
３１２ アダプタ
３８０ アダプタ
３９２ アダプタ
３１４ プロトコル・コンバータ
３３４ プロトコル・コンバータ
３６２ プロトコル・コンバータ
３６４ プロトコル・コンバータ
３１６ プロトコル・マッピング
３３６ プロトコル・マッピング
３５３ プロトコル・マッピング
３６５ プロトコル・マッピング
Claims (39)
- リモート・ノードと通信するためにローカル・ノードでインプリメントされるプログラムであって、前記プログラムは、
第１の通信プロトコルを使用して前記リモート・ノードと通信して、第２の通信プロトコルのための接続を確立する動作と、
前記リモート・ノードとの通信を可能にするデータ構造を作成して、前記第２の通信プロトコルのための接続を前記リモート・ノードとの間に確立する動作と、
前記第２の通信プロトコルのための拡張層を呼び出す動作と、
前記第２の通信プロトコルを使用して前記リモート・ノードと通信するために使用するために、前記データ構造を前記拡張層に渡す動作と
を実行させるプログラム。 - 前記接続を確立するための前記リモート・ノードとの通信は、ソケット層を通じて行われる請求項１に記載のプログラム。
- 前記第１の通信プロトコルは、前記リモート・ノードと通信するために使用されるＲＮＩＣアダプタ中にインプリメントされたネットワーキング層からなり、前記第２の通信プロトコルは、ＲＤＭＡプロトコルからなり、前記拡張層は、前記ＲＤＭＡプロトコルを使用した前記リモート・ノードとの通信を扱うｉＳＥＲ層からなる請求項１に記載のプログラム。
- 前記接続を確立するための前記リモート・ノードとの通信は、前記第２の通信プロトコルを使用して通信するインタフェース・プロトコルを使用して行われ、前記インタフェース・プロトコルは、前記第２の通信プロトコルのための前記データ構造を作成し、
前記拡張層プロトコルにより、前記インタフェース・プロトコルを終了する呼び出しを発行する動作であって、前記拡張層は、前記インタフェース・プロトコルによって作成された前記データ構造を使用して前記リモート・ノードと通信する動作
をさらに実行させる請求項１に記載のプログラム。 - 前記第１の通信プロトコルは、ソケット層を構成し、前記第２の通信プロトコルは、前記ＲＤＭＡプロトコルからなり、前記インタフェース・プロトコルは、ＳＤＰ層、またはＩＰｏＩＢ（ＲＣ）の上にレイヤ化されたＴＣＰからなり、前記拡張層は、前記ＲＤＭＡプロトコルを使用する前記リモート・ノードとの通信を扱うｉＳＥＲ層からなり、ＩｎｆｉｎｉＢａｎｄアダプタが使用されて前記リモート・ノードと通信する請求項４に記載のプログラム。
- 前記ローカル・ノードは、イニシエータ・ノードを含み、前記リモート・ノードは、ターゲット・ノードを含み、前記拡張層は、前記ターゲット・ノードから前記接続を確立するための最後の応答を受信すると呼び出され、前記インタフェース・プロトコルを終了させる呼び出しは、前記拡張層を呼び出すのに応答して発行される請求項１に記載のプログラム。
- 前記インタフェース・プロトコルを終了させる呼び出しは、前記拡張層を呼び出すのに加えて、前記インタフェース・プロトコルを使用して前記ターゲット・ノードに最後の応答メッセージを送信するのに応答して発行される請求項６に記載のプログラム。
- 前記ローカル・ノードは、イニシエータ・ノードを含み、前記リモート・ノードは、ターゲット・ノードを含み、前記イニシエータ・ノードはさらに、
前記ターゲット・ノードから、イニシエータ・アダプタを通じて、無効にするメモリ位置の直接の参照を含むことが可能なメッセージを受信する動作であって、前記直接の参照は、前記第２の通信プロトコルと互換性があり、前記イニシエータ・アダプタは、前記参照の直接の無効化を可能にしない動作と、
前記直接の参照がマップ中の１つの参照と一致すると判定するのに応答して、前記イニシエータ・アダプタを呼び出して前記直接の参照を無効にする動作と、
前記直接の参照が前記マップ中の１つの参照と一致する、または前記直接の参照が提供されないと判定されるのに応答して、前記無効化メッセージに含まれる間接的な参照に関連付けられた、前記マップ中に示される少なくとも１つの直接の参照を無効にする動作と
を行う請求項１に記載のプログラム。 - 前記拡張層は、前記アダプタを呼び出して前記直接の参照を無効にし、前記無効化メッセージ中の前記間接的な参照に関連付けられた少なくとも１つの参照を無効にする動作を行う請求項８に記載のプログラム。
- 前記拡張層はｉＳＥＲ層からなり、前記ターゲット・ノードは、ＲＮＩＣアダプタまたはＩｎｆｉｎｉＢａｎｄアダプタを含み、前記呼び出されるイニシエータ・アダプタは、ＲＮＩＣアダプタまたはＩｎｆｉｎｉＢａｎｄアダプタを含む請求項９に記載のプログラム。
- 前記ローカル・ノードは、ターゲット・ノードを含み、前記リモート・ノードは、イニシエータ・ノードを含み、前記拡張層は、前記イニシエータ・ノードから最後のログイン要求を受信するのに応答して呼び出される請求項１０に記載のプログラム。
- 前記ターゲット・ノードはさらに、
前記第１の通信プロトコルを使用して前記イニシエータ・ノードに最後のログイン応答を送信する動作
を行い、前記最後のログイン応答を送信した後に前記データ構造が前記拡張層に渡される請求項１１に記載のプログラム。 - 前記間接的な参照は、ＩＴＴを含み、前記直接の参照は、ＳＴａｇまたはＲ＿Ｋｅｙを含む請求項８に記載のプログラム。
- リモート・ノードと通信するためにローカル・ノードで実施されるシステムであって、
（ａ）コンピュータ可読媒体と、
（ｂ）（ｉ）第１の通信プロトコル、
（ｉｉ）第２の通信プロトコル、および
（ｉｉｉ）前記第２の通信プロトコルのための拡張層、
を含むコードと、
（ｃ）前記コンピュータ可読媒体と通信する、前記ローカル・ノードにある回路であって、
（ｉ）前記第１の通信プロトコルを使用して前記リモート・ノードと通信して、前記第２の通信プロトコルのための接続を確立し、
（ｉｉ）前記コンピュータ可読媒体中にデータ構造を作成して前記リモート・ノードとの通信を可能にして、前期第２の通信プロトコルのための前記接続を前記リモート・ノードとの間に確立し、
（ｉｉｉ）前記第２の通信プロトコルのための前記拡張層を呼び出し、
（ｉｖ）前記第２の通信プロトコルを使用して前記リモート・ノードと通信するために使用するために前記データ構造を前記拡張層に渡すこと
を可能にされた回路と
を備えるシステム。 - ソケット層をさらに備え、前記接続を確立するための前記リモート・ノードとの通信は、前記ソケット層を通じて行われる請求項１４に記載のシステム。
- 前記第１の通信プロトコルは、前記リモート・ノードと通信するために使用されるＲＮＩＣアダプタ中に実施されたネットワーキング層を含み、前記第２の通信プロトコルは、前記ＲＤＭＡプロトコルを含み、前記拡張層は、前記ＲＤＭＡプロトコルを使用した前記リモート・ノードとの通信を扱うｉＳＥＲ層からなる請求項１４に記載のシステム。
- 前記接続を確立するための前記リモート・ノードとの通信は、前記第２の通信プロトコルを使用して通信するインタフェース・プロトコルを使用して行われ、前記インタフェース・プロトコルは、前記第２の通信プロトコルのための前記データ構造を作成し、前記回路はさらに、
前記拡張層プロトコルにより、前記インタフェース・プロトコルを終了させる呼び出しを発行することを可能にされ、前記拡張層は、前記インタフェース・プロトコルによって作成された前記データ構造を使用して前記リモート・ノードと通信する請求項１４に記載のシステム。 - 前記第１の通信プロトコルは、ソケット層を含み、前記第２の通信プロトコルは、前記ＲＤＭＡプロトコルを含み、前記インタフェース・プロトコルは、ＳＤＰ層、またはＩＰｏＩＢ（ＲＣ）の上にレイヤ化されたＴＣＰを含み、前記拡張層は、前記ＲＤＭＡプロトコルを使用した前記リモート・ノードとの通信を扱うｉＳＥＲ層を含み、ＩｎｆｉｎｉＢａｎｄアダプタが使用されて、前記リモート・ノードと通信する請求項１７に記載のシステム。
- 前記ローカル・ノードはイニシエータ・ノードを含み、前記リモート・ノードは、ターゲット・ノードを含み、前記拡張層は、前記ターゲット・ノードから前記接続を確立するための最後の応答を受信すると呼び出され、前記インタフェース・プロトコルを終了させる呼び出しは、前記拡張層を呼び出すのに応答して発行される請求項１４に記載のシステム。
- 前記インタフェース・プロトコルを終了させる呼び出しは、前記拡張層を呼び出すのに加えて、前記インタフェース・プロトコルを使用して前記ターゲット・ノードに最後の応答メッセージを送信するのに応答して発行される請求項１９に記載のシステム。
- 前記ローカル・ノードはイニシエータ・ノードを含み、前記リモート・ノードは、ターゲット・ノードを含み、前記イニシエータ・ノードはさらに、
前記ターゲット・ノードからイニシエータ・アダプタを通じて、無効にするメモリ位置の直接の参照を含むことが可能なメッセージを受信する動作であって、前記直接の参照は、前記第２の通信プロトコルと互換性があり、前記イニシエータ・アダプタは、前記参照の直接の無効化を可能にしない動作と、
前記直接の参照がマップ中の１つの参照と一致すると判定するのに応答して、前記イニシエータ・アダプタを呼び出して前記直接の参照を無効にする動作と、
前記直接の参照が前記マップ中の１つの参照と一致する、または前記直接の参照が提供されないと判定されるのに応答して、前記無効化メッセージに含まれる間接的な参照に関連付けられた、前記マップ中に示される少なくとも１つの直接の参照を無効にする動作と
を行う請求項１４に記載のシステム。 - 前記拡張層は、前記アダプタを呼び出して前記直接の参照を無効にし、前記無効化メッセージ中の前記間接的な参照に関連付けられた少なくとも１つの参照を無効にする動作を行う請求項２１に記載のシステム。
- 前記拡張層はｉＳＥＲ層からなり、前記ターゲット・ノードは、ＲＮＩＣアダプタまたはＩｎｆｉｎｉＢａｎｄアダプタを含み、前記呼び出されるイニシエータ・アダプタは、ＲＮＩＣアダプタまたはＩｎｆｉｎｉＢａｎｄアダプタを含む請求項２２に記載のシステム。
- 前記ローカル・ノードはターゲット・ノードを含み、前記リモート・ノードは、イニシエータ・ノードを含み、前記拡張層は、前記イニシエータ・ノードから最後のログイン要求を受信するのに応答して呼び出される請求項２３に記載のシステム。
- 前記ターゲット・ノードの回路はさらに、
前記第１の通信プロトコルを使用して前記イニシエータ・ノードに最後のログイン応答を送信することを可能にされ、前記最後のログイン応答を送信した後に前記データ構造が前記拡張層に渡される請求項２４に記載のシステム。 - 前記間接的な参照は、ＩＴＴを含み、前記直接の参照は、ＳＴａｇまたはＲ＿Ｋｅｙを含む請求項２１に記載のシステム。
- リモート・ノードと通信するためにローカル・ノードで行われる方法であって、
第１の通信プロトコルを使用して前記リモート・ノードと通信して第２の通信プロトコルのための接続を確立するステップと、
前記リモート・ノードとの通信を可能にするデータ構造を作成して、前記第２の通信プロトコルのための接続を前記リモート・ノードとの間に確立するステップと、
前記第２の通信プロトコルのための拡張層を呼び出すステップと、
前記第２の通信プロトコルを使用して前記リモート・ノードと通信するために使用するために、前記データ構造を前記拡張層に渡すステップと
を備える方法。 - 前記接続を確立するための前記リモート・ノードとの通信は、ソケット層を通じて行われる請求項２７に記載の方法。
- 前記第１の通信プロトコルは、前記リモート・ノードと通信するために使用されるＲＮＩＣアダプタ中に実施されたネットワーキング層を含み、前記第２の通信プロトコルは、前記ＲＤＭＡプロトコルを含み、前記拡張層は、前記ＲＤＭＡプロトコルを使用した前記リモート・ノードとの通信を扱うｉＳＥＲ層を含む請求項２７に記載の方法。
- 前記接続を確立するための前記リモート・ノードとの通信は、前記第２の通信プロトコルを使用して通信するインタフェース・プロトコルを使用して行われ、前記インタフェース・プロトコルは、前記第２の通信プロトコルのための前記データ構造を作成し、
前記拡張層プロトコルにより、前記インタフェース・プロトコルを終了する呼び出しを発行するステップであって、前記拡張層は、前記インタフェース・プロトコルによって作成された前記データ構造を使用して前記リモート・ノードと通信するステップ
をさらに備える請求項２７に記載の方法。 - 前記第１の通信プロトコルは、ソケット層を構成し、前記第２の通信プロトコルは、前記ＲＤＭＡプロトコルを含み、前記インタフェース・プロトコルは、ＳＤＰ層、またはＩＰｏＩＢ（ＲＣ）の上にレイヤ化されたＴＣＰを含み、前記拡張層は、前記ＲＤＭＡプロトコルを使用する前記リモート・ノードとの通信を扱うｉＳＥＲ層を含み、ＩｎｆｉｎｉＢａｎｄアダプタが使用されて前記リモート・ノードと通信する請求項３０に記載の方法。
- 前記ローカル・ノードは、イニシエータ・ノードを含み、前記リモート・ノードは、ターゲット・ノードを含み、前記拡張層は、前記ターゲット・ノードから前記接続を確立するための最後の応答を受信すると呼び出され、前記インタフェース・プロトコルを終了させる呼び出しは、前記拡張層を呼び出すのに応答して発行される請求項２７に記載の方法。
- 前記インタフェース・プロトコルを終了させる呼び出しは、前記拡張層を呼び出すのに加えて、前記インタフェース・プロトコルを使用して前記ターゲット・ノードに最後の応答メッセージを送信するのに応答して発行される請求項２７に記載の方法。
- 前記ローカル・ノードは、イニシエータ・ノードを含み、前記リモート・ノードは、ターゲット・ノードを含み、前記イニシエータ・ノードはさらに、
前記ターゲット・ノードからイニシエータ・アダプタを通じて、無効にするメモリ位置の直接の参照を含むことが可能なメッセージを受信するステップであって、前記直接の参照は、前記第２の通信プロトコルと互換性があり、前記イニシエータ・アダプタは、前記参照の直接の無効化を可能にしないステップと、
前記直接の参照がマップ中の１つの参照と一致すると判定するのに応答して、前記イニシエータ・アダプタを呼び出して前記直接の参照を無効にするステップと、
前記直接の参照が前記マップ中の１つの参照と一致する、または、前記直接の参照が提供されないと判定されるのに応答して、前記無効化メッセージに含まれる間接的な参照に関連付けられた、前記マップ中に示される少なくとも１つの直接の参照を無効にするステップと
を行う請求項２７に記載の方法。 - 前記拡張層は、前記アダプタを呼び出して前記直接の参照を無効にし、前記無効化メッセージ中の前記間接的な参照に関連付けられた少なくとも１つの参照を無効にする動作を行う請求項３４に記載の方法。
- 前記拡張層はｉＳＥＲ層からなり、前記ターゲット・ノードは、ＲＮＩＣアダプタまたはＩｎｆｉｎｉＢａｎｄアダプタを含み、前記呼び出されるイニシエータ・アダプタは、ＲＮＩＣアダプタまたはＩｎｆｉｎｉＢａｎｄアダプタを含む請求項３５に記載の方法。
- 前記ローカル・ノードは、ターゲット・ノードを含み、前記リモート・ノードは、イニシエータ・ノードを含み、前記拡張層は、前記イニシエータ・ノードから最後のログイン要求を受信するのに応答して呼び出される請求項３６に記載の方法。
- 前記ターゲット・ノードはさらに、
前記第１の通信プロトコルを使用して前記イニシエータ・ノードに最後のログイン応答を送信するステップを行い、前記最後のログイン応答を送信した後に前記データ構造が前記拡張層に渡される請求項３７に記載の方法。 - 前記間接的な参照は、ＩＴＴを含み、前記直接の参照は、ＳＴａｇまたはＲ＿Ｋｅｙを含む請求項３４に記載の方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10/893,213 US7475153B2 (en) | 2004-07-16 | 2004-07-16 | Method for enabling communication between nodes |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006033854A true JP2006033854A (ja) | 2006-02-02 |
Family
ID=35599346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005206418A Pending JP2006033854A (ja) | 2004-07-16 | 2005-07-15 | ノード間の通信を可能にする方法、システム、およびプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (3) | US7475153B2 (ja) |
| JP (1) | JP2006033854A (ja) |
| CN (1) | CN1722732B (ja) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7779081B2 (en) * | 2004-07-16 | 2010-08-17 | International Business Machines Corporation | Method, system, and program for forwarding messages between nodes |
| US7475153B2 (en) * | 2004-07-16 | 2009-01-06 | International Business Machines Corporation | Method for enabling communication between nodes |
| US20060077993A1 (en) * | 2004-10-12 | 2006-04-13 | Eaton Corporation | Method of managing communication buffers for a plurality of communication layers and node employing the same |
| US20060101225A1 (en) * | 2004-11-08 | 2006-05-11 | Eliezer Aloni | Method and system for a multi-stream tunneled marker-based protocol data unit aligned protocol |
| US20060133422A1 (en) * | 2004-12-22 | 2006-06-22 | Maughan Robert R | Maintaining message boundaries for communication protocols |
| US20060168092A1 (en) * | 2005-01-21 | 2006-07-27 | International Business Machines Corporation | Scsi buffer memory management with rdma atp mechanism |
| US8539109B1 (en) * | 2005-03-09 | 2013-09-17 | Oracle America, Inc. | Third party direct memory access protocol extension to separate data path from control path |
| US8527661B1 (en) * | 2005-03-09 | 2013-09-03 | Oracle America, Inc. | Gateway for connecting clients and servers utilizing remote direct memory access controls to separate data path from control path |
| US7730214B2 (en) * | 2006-12-20 | 2010-06-01 | International Business Machines Corporation | Communication paths from an InfiniBand host |
| US7689679B2 (en) * | 2007-02-23 | 2010-03-30 | International Business Machines Corporation | Method to enable infiniband network bootstrap |
| US7734743B2 (en) * | 2007-02-23 | 2010-06-08 | International Business Machines Corporation | Method to enable infiniband network bootstrap |
| US7734818B2 (en) * | 2007-02-23 | 2010-06-08 | International Business Machines Corporation | Method to add IPV6 and DHCP support to the network support package |
| US7886139B2 (en) * | 2007-02-23 | 2011-02-08 | International Business Machines Corporation | Method to enable firmware to boot a system from an ISCSI device |
| US8271669B2 (en) * | 2007-05-30 | 2012-09-18 | Broadcom Corporation | Method and system for extended steering tags (STAGS) to minimize memory bandwidth for content delivery servers |
| TWI348850B (en) * | 2007-12-18 | 2011-09-11 | Ind Tech Res Inst | Packet forwarding apparatus and method for virtualization switch |
| US7971236B1 (en) * | 2008-10-29 | 2011-06-28 | Netapp, Inc. | Method and system for secure remote direct memory access |
| CN101710902B (zh) * | 2009-12-10 | 2014-03-05 | 北京邮电大学 | 一种无结构p2p网络及其数据查询方法和索引更新方法 |
| CN101841566B (zh) * | 2010-04-01 | 2013-12-18 | 中兴通讯股份有限公司南京分公司 | 一种网络存储目标端驱动系统和方法 |
| US8417898B2 (en) | 2010-10-07 | 2013-04-09 | Hitachi, Ltd. | Storage control apparatus and storage control apparatus control method |
| US20120229481A1 (en) * | 2010-12-13 | 2012-09-13 | Ati Technologies Ulc | Accessibility of graphics processing compute resources |
| US9176794B2 (en) * | 2010-12-13 | 2015-11-03 | Advanced Micro Devices, Inc. | Graphics compute process scheduling |
| AU2011265444B2 (en) * | 2011-06-15 | 2015-12-10 | Tata Consultancy Services Limited | Low latency FIFO messaging system |
| US8780913B2 (en) * | 2011-08-30 | 2014-07-15 | International Business Machines Corporation | Operating an infiniband network having nodes and at least one IB switch |
| CN102404212A (zh) * | 2011-11-17 | 2012-04-04 | 曙光信息产业(北京)有限公司 | 一种基于InfiniBand网络的跨平台RDMA通信方法 |
| US9176911B2 (en) * | 2012-12-11 | 2015-11-03 | Intel Corporation | Explicit flow control for implicit memory registration |
| US20140337456A1 (en) * | 2013-05-07 | 2014-11-13 | Dell Products L.P. | Systems and methods for enabling rdma between diverse endpoints |
| US10095654B2 (en) * | 2014-09-30 | 2018-10-09 | International Business Machines Corporation | Mapping and reducing |
| US9674303B1 (en) * | 2014-11-19 | 2017-06-06 | Qlogic, Corporation | Methods and systems for efficient data transmission in a data center by reducing transport layer processing |
| US10031886B2 (en) | 2016-02-17 | 2018-07-24 | International Business Machines Corporation | Remote direct memory access-based method of transferring arrays of objects including garbage data |
| CN108418695A (zh) * | 2018-01-10 | 2018-08-17 | 北京思特奇信息技术股份有限公司 | 一种ocs实时计费云化系统和方法 |
| CN109067506A (zh) * | 2018-08-15 | 2018-12-21 | 无锡江南计算技术研究所 | 一种基于多滑动窗口并发的轻量级异步消息实现方法 |
| US11379405B2 (en) * | 2019-09-17 | 2022-07-05 | Vmware, Inc. | Internet small computer interface systems extension for remote direct memory access (RDMA) for distributed hyper-converged storage systems |
| US11509579B2 (en) * | 2020-08-24 | 2022-11-22 | Mellanox Technologies, Ltd. | Gateway for remote direct memory access over converged ethernet |
| CN113873008B (zh) * | 2021-08-30 | 2024-03-19 | 浪潮电子信息产业股份有限公司 | 一种rdma网络节点的连接重配方法、装置、系统及介质 |
Family Cites Families (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5553075A (en) * | 1994-06-22 | 1996-09-03 | Ericsson Ge Mobile Communications Inc. | Packet data protocol for wireless communication |
| US5495614A (en) * | 1994-12-14 | 1996-02-27 | International Business Machines Corporation | Interface control process between using programs and shared hardware facilities |
| DE19630845A1 (de) * | 1996-07-31 | 1998-02-05 | Sel Alcatel Ag | Verfahren zum Betreiben einer Schnittstelleneinrichtung, sowie Schnittstelleneinrichtung und Vermittlungsstelle mit einer solchen Schnittstelleneinrichtung |
| FI102708B (fi) * | 1996-10-22 | 1999-01-29 | Nokia Telecommunications Oy | Menetelmä ja järjestelmä etätyöaseman ja automaattisen kutsunjakojärje stelmän välisen tietoliikenneyhteyden sovittamiseksi |
| US6032224A (en) * | 1996-12-03 | 2000-02-29 | Emc Corporation | Hierarchical performance system for managing a plurality of storage units with different access speeds |
| SE512415C2 (sv) * | 1997-07-22 | 2000-03-13 | Ericsson Telefon Ab L M | Förfarande och anordning i ett telesystem |
| US6360282B1 (en) * | 1998-03-25 | 2002-03-19 | Network Appliance, Inc. | Protected control of devices by user applications in multiprogramming environments |
| US6185607B1 (en) * | 1998-05-26 | 2001-02-06 | 3Com Corporation | Method for managing network data transfers with minimal host processor involvement |
| US6374248B1 (en) * | 1999-12-02 | 2002-04-16 | Sun Microsystems, Inc. | Method and apparatus for providing local path I/O in a distributed file system |
| US20030099254A1 (en) * | 2000-03-03 | 2003-05-29 | Richter Roger K. | Systems and methods for interfacing asynchronous and non-asynchronous data media |
| US20030046396A1 (en) * | 2000-03-03 | 2003-03-06 | Richter Roger K. | Systems and methods for managing resource utilization in information management environments |
| DE60135654D1 (de) * | 2000-05-23 | 2008-10-16 | Sepaton Inc | Verfahren und vorrichtung zur datenvervielfachung durch verwendung von scsi ber tcp/ip |
| CA2413434A1 (en) * | 2000-06-26 | 2002-01-03 | International Business Machines Corporation | Data management application programming interface for a parallel file system |
| US7346702B2 (en) * | 2000-08-24 | 2008-03-18 | Voltaire Ltd. | System and method for highly scalable high-speed content-based filtering and load balancing in interconnected fabrics |
| US6748502B2 (en) * | 2001-01-12 | 2004-06-08 | Hitachi, Ltd. | Virtual volume storage |
| US20020124137A1 (en) * | 2001-01-29 | 2002-09-05 | Ulrich Thomas R. | Enhancing disk array performance via variable parity based load balancing |
| US7149817B2 (en) * | 2001-02-15 | 2006-12-12 | Neteffect, Inc. | Infiniband TM work queue to TCP/IP translation |
| US6862609B2 (en) * | 2001-03-07 | 2005-03-01 | Canopy Group, Inc. | Redundant storage for multiple processors in a ring network |
| US8218555B2 (en) * | 2001-04-24 | 2012-07-10 | Nvidia Corporation | Gigabit ethernet adapter |
| US7146524B2 (en) * | 2001-08-03 | 2006-12-05 | Isilon Systems, Inc. | Systems and methods for providing a distributed file system incorporating a virtual hot spare |
| US7620692B2 (en) * | 2001-09-06 | 2009-11-17 | Broadcom Corporation | iSCSI receiver implementation |
| US6895590B2 (en) * | 2001-09-26 | 2005-05-17 | Intel Corporation | Method and system enabling both legacy and new applications to access an InfiniBand fabric via a socket API |
| US7072970B2 (en) * | 2001-10-05 | 2006-07-04 | International Business Machines Corporation | Programmable network protocol handler architecture |
| US6845403B2 (en) * | 2001-10-31 | 2005-01-18 | Hewlett-Packard Development Company, L.P. | System and method for storage virtualization |
| JP2003140840A (ja) * | 2001-10-31 | 2003-05-16 | Toshiba Corp | ネットワーク接続されたディスクアレイのアクセス方法及び記憶装置 |
| US7366784B2 (en) * | 2001-11-27 | 2008-04-29 | Hitachi, Ltd. | System and method for providing and using a VLAN-aware storage device |
| US7246245B2 (en) * | 2002-01-10 | 2007-07-17 | Broadcom Corporation | System on a chip for network storage devices |
| US6851023B2 (en) * | 2002-01-14 | 2005-02-01 | Raidcore, Inc. | Method and system for configuring RAID subsystems with block I/O commands and block I/O path |
| US20030169690A1 (en) * | 2002-03-05 | 2003-09-11 | James A. Mott | System and method for separating communication traffic |
| US7237031B2 (en) * | 2002-03-07 | 2007-06-26 | Sun Microsystems, Inc. | Method and apparatus for caching protocol processing data |
| EP1552409B1 (en) * | 2002-08-19 | 2013-07-24 | Broadcom Corporation | One-shot rdma |
| US7299266B2 (en) * | 2002-09-05 | 2007-11-20 | International Business Machines Corporation | Memory management offload for RDMA enabled network adapters |
| US7043578B2 (en) * | 2003-01-09 | 2006-05-09 | International Business Machines Corporation | Method, system, and program for processing a packet including I/O commands and data |
| US7526574B2 (en) * | 2004-04-21 | 2009-04-28 | International Business Machines Corporation | Method for communicating data transfer requests between data transfer protocols |
| US7577707B2 (en) * | 2004-04-21 | 2009-08-18 | International Business Machines Corporation | Method, system, and program for executing data transfer requests |
| US7779081B2 (en) * | 2004-07-16 | 2010-08-17 | International Business Machines Corporation | Method, system, and program for forwarding messages between nodes |
| US7475153B2 (en) * | 2004-07-16 | 2009-01-06 | International Business Machines Corporation | Method for enabling communication between nodes |
-
2004
- 2004-07-16 US US10/893,213 patent/US7475153B2/en not_active Expired - Fee Related
-
2005
- 2005-07-15 CN CN200510084617.7A patent/CN1722732B/zh not_active Expired - Fee Related
- 2005-07-15 JP JP2005206418A patent/JP2006033854A/ja active Pending
-
2008
- 2008-10-03 US US12/245,691 patent/US7761588B2/en not_active Expired - Fee Related
-
2010
- 2010-05-04 US US12/773,773 patent/US8176187B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7475153B2 (en) | 2009-01-06 |
| US20090034553A1 (en) | 2009-02-05 |
| CN1722732B (zh) | 2011-11-09 |
| US7761588B2 (en) | 2010-07-20 |
| CN1722732A (zh) | 2006-01-18 |
| US20100217878A1 (en) | 2010-08-26 |
| US8176187B2 (en) | 2012-05-08 |
| US20060013251A1 (en) | 2006-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7761588B2 (en) | System and article of manufacture for enabling communication between nodes | |
| US7966380B2 (en) | Method, system, and program for forwarding messages between nodes | |
| JP4347247B2 (ja) | データ転送要求を実行するための方法、システム、およびプログラム | |
| US6687758B2 (en) | Port aggregation for network connections that are offloaded to network interface devices | |
| US8180928B2 (en) | Method and system for supporting read operations with CRC for iSCSI and iSCSI chimney | |
| US8930558B2 (en) | Proxying multiple targets as a virtual target using identifier ranges | |
| US7685287B2 (en) | Method and system for layering an infinite request/reply data stream on finite, unidirectional, time-limited transports | |
| US8438321B2 (en) | Method and system for supporting hardware acceleration for iSCSI read and write operations and iSCSI chimney | |
| US8396981B1 (en) | Gateway for connecting storage clients and storage servers | |
| US7924881B2 (en) | Datagram identifier management | |
| EP1759317B1 (en) | Method and system for supporting read operations for iscsi and iscsi chimney | |
| JP2002305535A (ja) | データを転送する信頼できるプロトコルを提供する方法および装置 | |
| US20050283545A1 (en) | Method and system for supporting write operations with CRC for iSCSI and iSCSI chimney | |
| KR101752823B1 (ko) | 작동 요청을 처리하기 위한 스토리지 시스템, 방법 및 장치 | |
| US7639715B1 (en) | Dedicated application interface for network systems | |
| US20050281261A1 (en) | Method and system for supporting write operations for iSCSI and iSCSI chimney | |
| US7526574B2 (en) | Method for communicating data transfer requests between data transfer protocols | |
| WO2015055008A1 (zh) | 一种存储控制芯片及磁盘报文传输方法 | |
| US20080056263A1 (en) | Efficient transport layer processing of incoming packets | |
| Ko et al. | Internet Small Computer System Interface (iSCSI) Extensions for Remote Direct Memory Access (RDMA) | |
| US8793399B1 (en) | Method and system for accelerating network packet processing | |
| Ko et al. | Internet Small Computer System Interface (iSCSI) Extensions for the Remote Direct Memory Access (RDMA) Specification | |
| Hufferd et al. | Network Working Group M. Ko Request for Comments: 5046 IBM Corporation Category: Standards Track M. Chadalapaka Hewlett-Packard Company | |
| Ko et al. | RFC 5046: Internet Small Computer System Interface (iSCSI) Extensions for Remote Direct Memory Access (RDMA) | |
| Ko et al. | iSCSI Extensions for RDMA Specification (Version 1.0) 1 Status of this Memo This document is a Release Specification of the RDMA Consortium. Copies of this document and associated errata may be found at |