JP2022179413A - 元データパケットを使用するサービス状態レプリケーションのための方法及びシステム - Google Patents

Abstract

【課題】元データパケットを使用するサービス状態レプリケーションのための方法及びシステムを提供する。【解決手段】ネットワークトラフィックフローは、ルータ、スイッチ又はサービスノードによって処理される。サービスノードは、スイッチ又はルータの機能を提供可能なＡＳＩＣであり、循環レプリケーションチェーン内に構成され、高可用性などの利点を提供する。サービスノードが実施する方法は、宛先アドレスフィールドに宛先アドレスを含む第１パケットを受信し、ローカルフローテーブルを有し、かつ、ローカルフローテーブルのチェーンレプリケーションのために構成された複数のサービスノードを含む循環レプリケーションチェーンにある選択されたサービスノードに第１パケットをルーティングし、第１パケットのマッチングフローを使用して第１パケットを処理することで第２パケットを生成し、宛先アドレスに向かって第２パケットを送信する。【選択図】図１

Description

[0001] 本実施形態は、ネットワーク機器、高可用性ネットワーク機器、スイッチ、ルータ、ネットワークインタフェースカード、ＰＣＩｅ物理機能、ＰＣＩｅ仮想機能、ストレージエリアネットワーク、ＮＶＭｅコントローラ及びＮＶＭｅ－ｏＦハードウェアに関する。

[0002] データセンタには現在、機器ラックに設置されたサーバ、スイッチ及びルータが配置されている。スイッチは、歴史的にサーバを下にして機器ラックの上部に位置決めされることが多いので、しばしばトップオブラック（ＴＯＲ）と呼ばれる。高可用性スイッチングは、アクティブ－アクティブ又はアクティブ－パッシブ構成の２つのＴＯＲスイッチを用いて実現可能である。ラック内部の、プライベートネットワークとも呼ばれるローカルネットワークはＴＯＲスイッチにサーバを接続する。ＴＯＲスイッチは、プライベートネットワークをパブリックネットワークに接続する。パブリックネットワークは、ラックのＴＯＲスイッチを、相互に接続し、かつ、データセンタの外部の世界に接続することができる。ストレージエリアネットワークが、ラックの一部に展開されて、他のラックに設置されたサーバに永続ストレージを提供し得る。

[0003] 以下は、本開示の１以上の態様の基本的な理解を提供するため、そうした態様の概要を提示する。この概要は、本開示のすべての考慮される特徴の広範な概要ではなく、かつ、本開示のすべての態様の基本的又は重要な要素を識別すること、並びに、本開示のいずれか又はすべての態様の範囲を記述することを意図しない。その唯一の目的は、以下で提示されるより詳細な説明の前置きとしての形態で本開示の１以上の態様のいくつかの概念を提示することである。

[0004] 本開示で説明される主題の一態様は方法で実施されることができる。本方法は、送信元アドレスフィールドに送信元アドレスを含み、かつ、宛先アドレスフィールドに宛先アドレスを含む第１パケットを受信するステップと、ローカルフローテーブルを有し、かつ、ローカルフローテーブルのチェーンレプリケーションのために構成された複数のサービスノードを含む循環レプリケーションチェーンにある選択されたサービスノードに第１パケットをルーティングするステップと、第１パケットのマッチングフローテーブルエントリを使用して第１パケットを処理することによって第２パケットを生成するステップと、宛先アドレスによって示される宛先に向かって第２パケットを送信するステップと、を含むことができる。

[0005] 本開示で説明される主題の別の態様は方法で実施されることができる。本方法は、送信元アドレスフィールドに送信元アドレスを含み、かつ、宛先アドレスフィールドに宛先アドレスを含む第１パケットを受信するステップと、ローカルセッションテーブルを有し、かつ、ローカルセッションテーブルのチェーンレプリケーションのために構成された複数のサービスノードを含む循環レプリケーションチェーンにある選択されたサービスノードに第１パケットをルーティングするステップと、第１パケットを処理することによって第２パケットを生成するステップと、宛先アドレスによって示される宛先に向かって第２パケットを送信するステップと、を含み、サービスノードの各々はアップストリームピア及びダウンストリームピアを有する。

[0006] 本開示で説明される主題の別の態様はシステムで実施されることができる。本システムは複数のサービスノードを含むことができ、複数のサービスノードは、送信元アドレスフィールドに送信元アドレスを含み、かつ、宛先アドレスフィールドに宛先アドレスを含む第１パケットを受信し、サービスノードのうちの１つである選択されたサービスノードに第１パケットをルーティングし、第１パケットのマッチングフローテーブルエントリを使用して第１パケットを処理することによって第２パケットを生成し、宛先アドレスによって示される宛先に向かって第２パケットを送信するように構成され、かつ、サービスノードは、ローカルフローテーブルを有し、ローカルセッションテーブルを有し、かつ、ローカルフローテーブルのチェーンレプリケーション及びローカルセッションテーブルのチェーンレプリケーションのために構成される。

[0007] 本方法及びデバイスのある実施では、サービスノードの各々は、アップストリームピア、ダウンストリームピアを有し、かつ、パケットによって引き起こされたフローミスを検出し、ローカルフローテーブルにパケットに基づいてフローテーブルエントリを作成することによってフローミスを処理し、パケットに基づいてフロー同期パケットを作成し、かつ、ダウンストリームピアにフロー同期パケットを送信するように構成される。本方法及びデバイスのある実施では、サービスノードの各々は、複数の自己発信のフロー同期パケットを含み、かつ、複数のピア発信のフロー同期パケットを含む複数のフロー同期パケットを受信し、自己発信のフロー同期パケットをドロップし、ローカルフローテーブルのピア発信のフロー同期パケットに基づいて複数のフローテーブルエントリを作成し、かつ、ダウンストリームピアにピア発信のフロー同期パケットを転送するように構成される。本方法及びデバイスのある実施では、サービスノードの各々は、複数のフロー同期パケットを受信し、マッチングフローテーブルエントリを既に有するフロー同期パケットをドロップし、マッチングフローテーブルエントリを有しないフロー同期パケットに基づいて複数のフローテーブルエントリを作成し、かつ、ダウンストリームピアに、マッチングフローテーブルエントリを有しないフロー同期パケットを転送するように構成される。本方法及びデバイスのある実施では、フロー同期パケットはパケットを含む。

[0008] 本方法及びデバイスのある実施では、サービスノードの各々は、複数のセッションのための複数のセッションテーブルエントリを格納するローカルセッションテーブルを有し、サービスノードの各々はアップストリームピア及びダウンストリームピアを有し、かつ、サービスノードは、チェーンレプリケーションを使用してローカルセッションテーブルを複製するように構成される。本方法及びデバイスのある実施では、サービスノードの各々は、セッションのためのパケットを受信し、セッションが未知のセッションである場合、ローカルセッションテーブルエントリを作成することによってセッションのためのローカルセッションテーブルエントリが存在することを確保し、ローカルセッションテーブルエントリにセッションのセッション状態を格納し、セッションが状態を変化させる場合、セッション状態変化インジケータを含むセッション同期パケットを生成し、かつ、ダウンストリームピアにセッション同期パケットを送信するように構成される。本方法及びデバイスのある実施では、セッションは、伝送制御プロトコル（ＴＣＰ）セッション又はユーザデータグラムプロトコル（ＵＤＰ）セッションである。本方法及びデバイスのある実施では、サービスノードの各々は、複数の自己発信のセッション同期パケット及び複数のピア発信のセッション同期パケットを含む複数のセッション同期パケットを受信し、自己発信のセッション同期パケットをドロップし、ピア発信のセッション同期パケットに基づいてローカルセッションテーブルを更新し、かつ、ダウンストリームピアにピア発信のセッション同期パケットを転送するように構成される。

[0009] 本方法及びデバイスのある実施では、サービスノードの各々は、セッションのためのセッションテーブルエントリを使用して、少なくとも１つのエージング基準に基づいてセッションがインアクティブであると決定し、ダウンストリームピアに、セッションがインアクティブであることを示すセッション同期パケットを送信し、かつ、アップストリームピアからセッション同期パケットを受信後、セッションテーブルエントリを削除するように構成される。本方法及びデバイスのある実施では、サービスノードの各々は、セッションテーブルエントリにセッションためのセッション統計を格納し、かつ、集約されたセッション統計を包含する集約されたセッションテーブルにセッション統計を送信するように構成される。本方法及びデバイスのある実施では、セッション統計はパケットカウントである。本方法及びデバイスのある実施では、循環レプリケーションチェーンのサービスノードは仮想ＩＰアドレスを共有し、複数のパケットが仮想ＩＰアドレスに送信され、かつ、ロードバランサがサービスノード間にパケットを分散する。

[0010] 本方法及びデバイスのある実施では、サービスノードの各々は、セッションのためのパケットを受信し、セッションが未知のセッションである場合、ローカルセッションテーブルエントリを作成することによってセッションためのローカルセッションテーブルエントリが存在することを確保し、ローカルセッションテーブルエントリにセッション状態を格納し、セッションが状態を変化させる場合にセッション状態変化インジケータを含むセッション同期パケットを生成し、かつ、ダウンストリームピアにセッション同期パケットを送信するように構成される。本方法及びデバイスのある実施では、サービスノードの各々は、複数の自己発信のセッション同期パケット及び複数のピア発信のセッション同期パケットを含む複数のセッション同期パケットを受信し、自己発信のセッション同期パケットをドロップし、ピア発信のセッション同期パケットに基づいてローカルセッションテーブルを更新し、かつ、ダウンストリームピアにピア発信のセッション同期パケットを転送するように構成される。本方法及びデバイスのある実施では、サービスノードの各々は、セッションのためにローカルセッションテーブルエントリを使用して、少なくとも１つのエージング基準に基づいてセッションがインアクティブであると決定し、セッションがインアクティブであることを示すセッション同期パケットをダウンストリームピアに送信し、かつ、アップストリームピアからセッション同期パケットを受信後、ローカルセッションテーブルエントリを削除するように構成される。本方法及びデバイスのある実施では、サービスノードは、フローテーブルエントリを有するローカルフローテーブルを有し、サービスノードは、チェーンレプリケーションを使用してローカルフローテーブルを複製するように構成される。

[0011] 本方法及びデバイスのある実施では、システムは、複数のホストマシンとサービスノードとの間で複数のネットワークパケットを伝送するように構成されたプライベートネットワークと、少なくとも１つのスマートスイッチと、を含むことができ、サービスノードは少なくとも１つのスマートスイッチ内にあり、少なくとも１つのスマートスイッチは、パブリックネットワークにプライベートネットワークを接続するように構成される。

[0012] これら及び他の態様は、以下の詳細な説明を検討することによってより完全に理解される。他の態様、特徴及び実施形態は、添付の図と併せて以下の特定の例示的な実施形態の説明を検討することによって当業者に明らかになる。以下の特定の実施形態及び図に関して特徴が説明され得るが、すべての実施形態は、本明細書で説明する有利な特徴の１以上を含み得る。言い換えれば、１以上の実施形態が特定の有利な特徴を有するものとして説明され得る一方で、そうした特徴の１以上が、本明細書で説明される様々な実施形態に従って使用され得る。同様に、例示的な実施形態がデバイス、システム又は方法の実施形態として以下で説明され得る一方で、そうした例示的な実施形態は様々なデバイス、システム及び方法で実装されることができる。

[0013] ある態様に係る、ローカルトランスポートプロトコル（ＬＴＰ）ネットワークトラフィックを伝送するローカルネットワークを有する機器ラックを示すハイレベル図である。 [0014] ある態様に係る、サーバ内の周辺コンポーネントインターコネクトエクスプレス（ＰＣＩｅ）デバイスを示すハイレベル図である。 [0015] ある態様に係る、スマートスイッチ内のサービスノードを示すハイレベル図である。 [0016] ある態様に係る、特定用途向け集積回路（ＡＳＩＣ）を有するサービスノードの機能ブロック図である。 [0017] ある態様に係るネットワークパケットを示す図である。 [0018] ある態様に係る、ＰＣＩｅデバイスを使用して、サービスノードによって提供されるサービス及び仮想化機能にアクセスすることを示している。 [0019] ある態様に係る、ＰＣＩｅデバイスを介してサービス及び仮想化機能を提供するサービスノードを示している。 [0020] ある態様に係る、循環レプリケーションチェーンのサービスノードを示すハイレベルフロー図である。 [0021] ある態様に係る、サービス状態情報のチェーンレプリケーションのために構成されたサービスノードを示すハイレベルフロー図である。 [0022] ある態様に係る、サービスを提供するサービスノードを示すハイレベル図である。 [0023] ある態様に係る、ネットワークアドレス変換（ＮＡＴ）テーブルエントリをＮＡＴテーブルに追加することのハイレベル図である。 [0024] ある態様に係る、チェーンレプリケーションを使用してサービス状態情報を複製することのハイレベルフロー図である。 [0025] ある態様に係る、ラック内のサービスノードホストのハイレベル図である。 [0026] ある態様に係る、複数のスマートスイッチ内のサービスノードを含むレプリケーションチェーンのハイレベル図である。 [0027] ある態様に係る、サービスを提供するサービスノードのハイレベル図である。 [0028] ある態様に係る、アウトバウンドパケットに対してＮＡＴを実行するサービスノードのハイレベルフロー図である。 [0029] ある態様に係る、インバウンドパケットに対してＮＡＴを実行するサービスノードのハイレベルフロー図である。 [0030] ある態様に係る、ＮＴＡパケットを処理することのハイレベルフロー図である。 [0031] ある態様に係る、仮想化機能を用いてホスト開始リクエストを点検することのハイレベル図である。 [0032] ある態様に係る、仮想化機能によって開始されたリクエストを点検することのハイレベル図である。 [0033] ある態様に係る、ハードウェア実装及びソフトウェア実装の仮想化機能を提供することのハイレベル図である。 [0034] ある態様に係る、例示的な仮想化ＰＣＩｅ機能マップの図である。 [0035] ある態様に係る、サービスノード上のハードウェアを介して又はスマートスイッチにインストールされたハードを介して、サービスノードによって使用されて、実行可能コードとして実装される仮想化ＰＣＩｅ機能を提供することができるプロセスのハイレベルフロー図である。 [0036] ある態様に係る、仮想化ＮＶＭｅサービスを使用するホスト開始不揮発性メモリエクスプレス（ＮＶＭｅ）トランザクションを示すハイレベル図である。 [0037] ある態様に係る、仮想化ＮＶＭｅサービスを提供するサービスノードのハイレベル図である。 [0038] ある態様に係る、仮想化ＮＶＭｅサービスを提供する循環レプリケーションチェーンのサービスノードのハイレベル図である。 [0039] ある態様に係る、ＰＣＩｅデバイスによって格納された例示的なサービスノードデータを示す図である。 [0040] ある態様に係る、識別子マップをリクエストするための例示的なコマンド識別子を示す図である。 [0041] ある態様に係る、ストレージエリアネットワーク（ＳＡＮ）への高可用性アクセスを提供することのハイレベル図である。 [0041] ある態様に係る、ストレージエリアネットワーク（ＳＡＮ）への高可用性アクセスを提供することのハイレベル図である。 [0041] ある態様に係る、ストレージエリアネットワーク（ＳＡＮ）への高可用性アクセスを提供することのハイレベル図である。 [0042] ある態様に係る、パケット処理サービスを提供する循環レプリケーションチェーン内のサービスノードのハイレベル図である。 [0043] ある態様に係る、フローテーブルエントリ及びセッションテーブルエントリを追加することのハイレベル図である。 [0044] ある態様に係る、セッションテーブル情報を集約することのハイレベル図である。 [0045] ある態様に係る、ネットワークトラフィックを処理するために、かつ、フローテーブル及びセッションテーブルのチェーンレプリケーションのために、サービスノードによって使用可能なプロセスのハイレベルフロー図である。 [0046] ある態様に係る、フロー同期パケットを処理するために、かつ、フローテーブルのチェーンレプリケーションのために、サービスノードによって使用可能なプロセスのハイレベルフロー図である。 [0047] ある態様に係る、セッション同期パケットを処理するために、かつ、セッションテーブルのチェーンレプリケーションのために、サービスノードによって使用可能なプロセスのハイレベルフロー図である。 [0048] ある態様に係る、セッションテーブルエントリのエージアウトのハイレベルフロー図である。 [0049] ある態様に係る、ＴＣＰセッションをシャットダウンするプロセスのハイレベルフロー図である。 [0049] ある態様に係る、ＴＣＰセッションをシャットダウンするプロセスのハイレベルフロー図である。 [0049] ある態様に係る、ＴＣＰセッションをシャットダウンするプロセスのハイレベルフロー図である。 [0049] ある態様に係る、ＴＣＰセッションをシャットダウンするプロセスのハイレベルフロー図である。 [0050] ある態様に係る、データパス状態レプリケーション及び中間デバイスマッピングを使用するサービス分配のための方法のハイレベルフロー図である。 [0051] ある態様に係る、ＩＰネットワークを介して緩く結合されたＰＣＩｅサービスプロキシのための方法のハイレベルフロー図である。 [0052] ある態様に係る、仮想化ＮＶＭｅオーバーファブリック（ＮＶＭｅ－ｏＦ）サービスを提供するための方法のハイレベルフロー図である。 [0053] ある態様に係る、元データパケットを使用するサービス状態レプリケーションのための方法のハイレベルフロー図である。

[0054] 説明全体を通じて、同様の参照番号が使用されて同様の要素を識別し得る。

[0055] 本明細書に全般的に説明され、かつ、添付の図に示される本実施形態の構成要素は、多種多様な異なる構成で配列及び設計され得ることが容易に理解される。したがって、図に表されるような様々な本実施形態の以下のより詳細な説明は、本開示の範囲を限定することを意図するものではなく、単に様々な実施形態を表すものである。本実施形態の様々な態様が図面に提示されるが、特に示されない限り、図面は必ずしも縮尺どおりに描かれていない。

[0056] 本発明は、その精神又は本質的な特徴から逸脱することなく、他の特定の形態で具体化され得る。記載された実施形態は、すべての点で例示としてのみみなされるべきであり、かつ、限定的ではない。したがって、本発明の範囲は、この詳細な説明によってではなく、添付の特許請求の範囲によって示される。特許請求の範囲の意味及び同等性の範囲内にあるすべての変更はそれらの範囲内に含まれるべきである。

[0057] 本明細書全体を通じて、特徴、利点又は同様の用語への言及は、本発明によって実現され得る特徴及び利点のすべてが、本発明の任意の単一の実施形態にあるべきである又はあることを意味するものではない。むしろ、特徴及び利点を参照する用語は、一実施形態に関連して記載される特定の特徴、利点又は特性が本発明の少なくとも１つの実施形態に含まれることを意味すると理解される。したがって、本明細書全体を通じた特徴及び利点並びに同様の用語の議論は、必ずしもそうとは限らないが、同じ実施形態を参照する。

[0058] さらに、本発明の記載された特徴、利点及び特性は、１以上の実施形態において任意の適切な方法で組み合わせられ得る。当業者であれば、本明細書での記載を考慮して、本発明が、特定の実施形態の特定の特徴又は利点の１以上なしで実施可能であることを認識する。他の例では、本発明のすべての実施形態に存在しない可能性がある特定の実施形態において追加の特徴及び利点が認識され得る。

[0059] 本明細書全体を通じて「１つの実施形態」、「一実施形態」又は同様の用語への参照は、示された実施形態に関連して説明される特定の特徴、構造又は特性が本発明の少なくとも１つの実施形態に含まれることを意味する。「１つの実施形態において」、「一実施形態において」という語句及び本明細書全体を通じた同様の用語は、必ずしもそうではないが、すべて同じ実施形態を参照する場合がある。

[0060] データセンタのハードウェアインフラストラクチャは、たいてい、１つ又は２つのスイッチに接続された多数のサーバを有する。スイッチは、サーバのローカルネットワーク又はプライベートネットワークを、データセンタの外部ネットワーク又はパブリックネットワークに接続する。スイッチは、ネットワークアドレス変換（ＮＡＴ）及び／又はファイアウォールなどのサービスを提供し得る。最近のデータセンタの進歩は、ＳｍａｒｔＮＩＣとよく呼ばれる強力なネットワークインタフェースカード（ＮＩＣ）を用いてサーバを構成することを伴う。ＳｍａｒｔＮＩＣは、サーバの中央処理装置（ＣＰＵ）に以前は負荷をかけていた機能をオフロードすることができる。例えば、ＳｍａｒｔＮＩＣは、ネットワークプロトコルスタック全体、ストレージアダプタ、セキュリティ機能などを実装することができる。したがって、ホストコンピュータ（サーバ）は、ワークロードにより多くの処理能力を割り当てることができる。ワークロードには、Ｗｅｂサーバ、データベースサーバ、及び、データセンタのテナントがサーバ上で実行する他のプログラミング含まれる。最終結果は、より効率的で費用対効果の高いデータセンタを実現する。

[0061] しかしながら、ＳｍａｒｔＮＩＣは高価で電力を大量消費する可能性があり、かつ、典型的なデータセンタは数百から数千のＳｍａｒｔＮＩＣを必要とし得る。したがって、ＳｍａｒｔＮＩＣによって提供される高度なサービスの大部分が分解され、その結果、サーバは、消費電力の少ない安価な専用のＮＩＣを備えることができ、かつ、フル機能のＳｍａｒｔＮＩＣによって以前に提供されたサービスが、専用ＮＩＣ及びスマートスイッチの組み合わせによって又はスマートスイッチによって併せて提供されることができる。一実施形態では、そうした実装のためのＮＩＣは、スマートスイッチによって提案される仮想化サービスへのアクセスポイントを提供するＰＣＩｅデバイスである。ＰＣＩｅデバイス及びスマートスイッチは、通信するため、ローカルトランスポートプロトコル（ＬＴＰ）と呼ばれる簡素化された軽量のネットワークプロトコルを使用して協調して動作する。ＬＴＰは、わずか数メートルのケーブル又はファイバを介してサーバのラック内で通常通信するＰＣＩｅデバイス及びスマートスイッチの間で動作するように設計されているので、低いオーバーヘッドの信頼性の高いプロトコルである。ＵＤＰは、サービスノード及びＰＣＩｅデバイスの間でＬＴＰを伝送するために使用され、最小限のオーバーヘッドを追加する一方で良好な結果をもたらした。対照的に、伝送制御プロトコルは、はるかに高いオーバーヘッドを犠牲にして長距離の信頼性の高い伝送を提供する。

[0062] スマートスイッチにサービスノードを装備することによってさらなる進歩が実現可能である。単一のサービスノードがスマートスイッチとして機能し得るが、スマートスイッチに統合された多数のサービスノードを用いて可用性及び拡張性の利点が実現可能である。サービスノードは循環レプリケーションチェーンとして構成されることができる。循環レプリケーションチェーンは、データベースアプリケーションのために現在研究されているレプリケーションチェーンを超える進歩である。非循環レプリケーションチェーンは、ヘッドノード、１以上の中間ノード及びテールノードを有する。特定の操作が、非循環レプリケーションチェーンのヘッドノードに向けられなければならない。循環レプリケーションチェーンにはヘッド及びテールがない。サービスノードによって維持されるサービス状態情報の特性によってレプリケーションの一貫性を高める。

[0063] ネットワーク接続されたＰＣＩｅデバイスを介して仮想化オフロードを提供するためにサービスノードを使用することによって多くの利点が得られ得る。ＰＣＩｅデバイスは通常のＳｍａｒｔＮＩＣのより単純化されたバージョンであるので、サーバあたりの価格が大幅に削減され得る。さらに、ＰＣＩｅデバイスは、より単純化されたデバイスであるので、保守、交換又はアップグレードをあまり必要としない。さらに、ＰＣＩｅデバイスは、処理されたデータのビットあたりの消費電力、例えば、１秒あたりのナノワット／パケット（ｐｐｓ）又はナノジュール／パケット、が少ない。ＰＣＩｅデバイスはより簡素化された一連の機能を有し得る一方で、より高度な機能がサービスノードによって提供される。少なくとも、サービスノードが、サービスを中断することなく、そのレプリケーションチェーンから取り出され、オフラインにされ、アップグレードされ、かつ、レプリケーションチェーンに再挿入されることができるので、サービスノードのメンテナンスは比較的簡単であり得る。それによって、ヒットレスアップグレードが実現可能である。チェーンにサービスノードを追加することによってさらなるスイッチング容量が追加可能であり、これは、より強力なスイッチを設置するよりも簡単であり得る。仮想化サービス及びＣＰＵオフロードの提供と組み合わせられたレプリケーションチェーンがデータセンタ操作のパラダイムシフトにつながることが予想される。

[0064] 専用ＮＩＣとサービスノードを有するスマートスイッチとの組み合わせを使用して、コスト効率及びエネルギー効率の高い方法で一連のホストサーバに高度なサービスを提供可能な方法で、ＮＩＣ及びサービスノードの間のネットワークサービスが調整されることができる。一例では、４８台のフル機能のＳｍａｒｔＮＩＣに代えて、４８台のサーバを含むラックは４８台の専用ＮＩＣ及び８台のサービスノードを備え得る。このようなネットワークアーキテクチャは、各サーバがフル機能のＳｍａｒｔＮＩＣを有するネットワークアーキテクチャと比較した場合に、設備投資（capex）及び運用コスト（opex）の両方の点で大幅な節約を提供可能である。さらに、ＮＩＣ及びサービスノードのこのような組み合わせを利用すると、処理されるデータの単位あたりの全体的な電力消費を削減可能であり、これは、そうしたコンピューティングシステムの環境への影響を低減する。このようなアプローチには明らかなコスト上及び環境上の利益があるが、ＮＩＣ及びサービスノードの間でサービスが分解されたネットワークを設計すること及び操作することは簡単な作業ではない。本明細書では、従来実現されてこなかった方法でＮＩＣ及びサービスノードの間でサービスが分解されたネットワークの実装を可能にする様々な方法及びシステムについて説明する。

[0065] 図１は、ある態様に係る、ローカルトランスポートプロトコル（ＬＴＰ）ネットワークトラフィックを伝送するローカルネットワーク１０８を有する機器ラック１０１を示すハイレベル図である。２つのスマートスイッチ１０２が、ラック１０１に設置され、かつ、高帯域幅スパイン１０７によって互いに接続されている。スマートスイッチ１０２は、ローカルネットワーク１０８を介して仮想化機能を提供可能なサービスノード１０３を含む。多数のサーバ１０４もラック１０１に設置され、ＰＣＩｅデバイス１０５がサーバ１０４に設置される。ＰＣＩｅデバイスは、拡張ＮＩＣであるものとみなされ得る。拡張は、ネットワーク接続性に加えて、ＮＩＣが、サービスノードによって提供される仮想化機能へのアクセスも提供することである。スマートスイッチは、パブリックネットワーク１０９にローカルネットワーク１０８を接続する。パブリックネットワークは、データセンタ内及びラック１０１外で厳密に制御及び保護されたネットワークであり得る。ローカルネットワークは、ＰＣＩｅデバイス１０５及びサービスノード１０３の間でローカルトランスポートプロトコル（ＬＴＰ）パケットを伝送することができる。スマートスイッチ１０２及びサービスノード１０３は、ＬＴＰパケットをローカルネットワーク１０８内に保持するように構成されることができる。

[0066] 図２は、ある態様に係る、サーバ１０４内の周辺コンポーネントインターコネクトエクスプレス（ＰＣＩｅ）デバイス１０５を示すハイレベル図である。ＰＣＩｅデバイスは、ＰＣＩｅバスを使用して互いに通信することができる。ＰＣＩ－ＳＩＧが２０１５年１２月７日に発行した「ＰＣＩエクスプレスベース仕様改訂３．１ａ」（以下「ＰＣＩｅ仕様」という）は、ＰＣＩｅバスのため及びＰＣＩｅバスを使用したデバイス通信のための仕様を提供する。ホストコンピュータ１０４は、ワークロード１ ２０２及びワークロード２ ２０６などのワークロードを実行することができる。ワークロード１ ２０２は、ホスト１０４上で直接実行され、かつ、ホストデバイスドライバ２０３を使用して、ホスト１０４内に設置されたハードウェアにアクセスする。ワークロード２ ２０６は、ホスト１０４上で実行される仮想マシン（ＶＭ）である。ある実装では、ホスト１０４内に設置されたハードウェアは、ＰＣＩｅシングルルート入力出力仮想化（ＳＲ－ＩＯＶ）又はＰＣＩｅマルチルート入力出力仮想化（ＭＲ－ＩＯＶ）デバイスである。簡単にするため、ここでは、ＭＲ－ＩＯＶが容量を提供することを理解した上でＳＲ－ＩＯＶについて説明する。２０１０年１月２０日にＰＣＩ－ＳＩＧが発行した「シングルルートＩ／Ｏ仮想化及び共有仕様改訂１．１」はＰＣＩｅ ＳＲ－ＩＯＶのための仕様を提供する。ＳＲ－ＩＯＶが作成される前、ＰＣＩｅデバイスは、物理機能と、これらの物理機能を共有したＶＭを含む、ホスト上で実行されたすべてのプロセスと、を提供した。ＳＲ－ＩＯＶは、ＰＣＩｅデバイスへのＶＭのアクセスを合理化するために作成された。ＳＲ－ＩＯＶ対応のＰＣＩｅデバイスは、物理機能を提供することができ、かつ、仮想機能も提供することができる。したがって、ＶＭ２０６は、その独自のデバイスドライバ２０７を使用して、ＳＲ－ＩＯＶ対応ＰＣＩｅデバイスによって提供されるＶＦにアクセスすることができる。

[0067] ホスト１０４のＰＣＩｅインタフェース２０４はＰＣＩｅデバイス１０５のＰＣＩｅインタフェース２１１に接続される。これにより、ＰＣＩｅバスは、ワークロードに、ＰＣＩｅデバイスによって提供されるＰＣＩｅ機能へのアクセスを付与する。これらのＰＣＩｅ機能には、仮想化不揮発性メモリエクスプレス（ＮＶＭｅ）アクセス物理機能（ＰＦ）２１２、仮想化ＮＶＭｅアクセス仮想機能（ＶＦ）２１３、仮想化ＰＣＩｅ機能アクセスＰＦ２１４、仮想化ＰＣＩｅ機能アクセスＶＦ２１５、ネットワークインタフェースカード（ＮＩＣ）ＰＦ２１６及びＮＩＣ ＶＦ２１７が含まれ得る。ここで、「ＮＩＣ」という用語は、ＮＩＣがホストのメイン回路ボードに直接取り付けられた特定用途向け集積回路（ＡＳＩＣ）である場合であっても、ネットワークアクセスを提供するデバイスを参照するために使用される。ＰＣＩｅデバイス１０５は、イーサネットポート２１８を介してネットワークパケットを送信及び受信することができる。ローカルネットワーク上のＰＣＩｅデバイス１０５によって送信及び受信されるパケットには、イーサネットパケット２２１、外部トラフィック（ラック外）のためのインターネットプロトコル（ＩＰ）パケット２２２、ローカルトラフィック（ラック内）のためのＩＰパケット２２３及びＬＴＰパケット２２４が含まれ得る。

[0068] 図３は、ある態様に係る、スマートスイッチ３０１内のサービスノード１０３を示すハイレベル図である。スマートスイッチ３０１は、ロードバランサとして構成され得るスイッチファブリック３０２を含む。スイッチングファブリック３０２を実装可能なＡＳＩＣは現在市販されている。サービスノードは各々、ノードダイナミックランダムアクセスメモリ（ＤＲＡＭ）を有する。サービスノード１０３は、スイッチファブリック３０２を通じて、互いに、ＰＣＩｅデバイスと、及び、パブリックネットワークと通信することができる。スイッチＣＰＵ３０４は、スマートスイッチ３０１を制御及びモニタすることができる。スイッチＣＰＵ３０４はスイッチＤＲＡＭを有する。スイッチＰＣＩｅバス３０３は、サービスノード１０３、スイッチＣＰＵ３０４、ノードＤＲＡＭ及びスイッチＤＲＡＭの間の通信を提供する。

[0069] 図４は、ある態様に係る、特定用途向け集積回路（ＡＳＩＣ）４０１を有するサービスノード１０３の機能ブロック図である。サービスノードは、ＰＣＩｅインタフェース４５０を含むことができ、かつ、スマートスイッチに設置され得る。サービスノード１０３は、ＡＳＩＣが数ギガバイトのメモリへのアクセスを有するように、ダブルデータレート（ＤＤＲ）４同期ＤＲＡＭ（ＳＤＲＡＭ）モジュール又はＤＤＲ５ ＳＤＲＡＭモジュールなどの広く利用可能なメモリモジュール又はチップの１つであり得るオフＡＳＩＣメモリ４３２を含む。

[0070] ＡＳＩＣ４０１は、ネットワークオンチップ（ＮＯＣ）４０２と呼ばれることもあるオンチップ通信ファブリックによって相互接続された多くのコア回路を有する半導体チップである。ＮＯＣは、しばしば、広く使用されている高度拡張インタフェース（ＡＸＩ）などの標準化された通信ファブリックの実装である。ＡＳＩＣのコア回路は、ＡＳＩＣメモリ（例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ））４１６上に、ＰＣＩｅインタフェース４５０、中央処理装置（ＣＰＵ）コア４０３、Ｐ４パケット処理パイプライン４０８要素、メモリインタフェース４１５、サービス処理オフロード４１７、パケットバッファ４２３及びパケットイングレス／エグレス回路４１４を含み得る。ＰＣＩｅインタフェース４５０は、外部デバイスと通信する、かつ、ＰＣＩｅバス４５１を介してＡＳＩＣと通信するために使用されることができる。ＣＰＵコア４０３は、ＣＰＵ１ ４０５、ＣＰＵ２ ４０６及びＣＰＵ３ ４０７など多数のＣＰＵコアを含み得る。Ｐ４パケット処理パイプライン４０８は、パイプラインイングレス回路４１３、パーサ回路４１２、マッチアクションユニット４１１、デパーサ回路４１０及びパイプラインエグレス回路４０９を含み得る。サービス処理オフロード４１７は、ＡＳＩＣが頻繁に使用する機能を実装する回路であり、設計者は、これらの機能をＣＰＵからオフロードするためのハードウェアを提供することを選択した。サービス処理オフロードには、圧縮回路４１８、解凍回路４１９、暗号／ＰＫＡ回路４２０及びＣＲＣ計算回路４２１が含まれ得る。ＡＳＩＣが、不揮発性メモリエクスプレス（ＮＶＭｅ）カードの、及び、ＩＰ（インターネットプロトコル）パケットによって伝送されるネットワークトラフィックフローを処理するネットワークアプライアンスの、インフィニバンドチャネルアダプタの機能の多く、おそらくすべてを実装するように、ＡＳＩＣ４０１の非限定的な例内に実装される特定のコア回路が選択された。

[0071] Ｐ４パケット処理パイプライン４０８は、ＩＰパケットなどのネットワークパケットを処理するための要素、ＮＶＭｅプロトコルデータユニット（ＰＤＵ）及びインフィニバンドＰＤＵの専用のセットである。Ｐ４パイプラインは、ドメイン固有言語を使用して構成されることができる。単に「Ｐ４」として知られる、プロトコルに依存しないパケットプロセッサをプログラミングするためのドメイン固有言語の概念は、ネットワークアプライアンスのデータプレーンにある程度の柔軟性を提供する方法として発展してきた。ネットワークアプライアンスのデータプレーンをプログラミングするためのＰ４ドメイン固有言語は、２０１９年１０月２３日にＰ４言語コンソーシアムによって発行された「Ｐ４_１６言語仕様」バージョン１．２．０で定義されている。Ｐ４（本明細書では「Ｐ４仕様」、「Ｐ４言語」及び「Ｐ４プログラム」という）は、ネットワークスイッチ、ネットワークルータ、プログラム可能なＮＩＣ、ソフトウェアスイッチ、ＦＰＧＡ及びＡＳＩＣを含む様々なターゲットに実装可能であるように設計されている。Ｐ４仕様で説明されているように、Ｐ４言語によって提供された主要な抽象化は、ヘッダタイプ、パーサ、テーブル、アクション、マッチアクションユニット、制御フロー、外部オブジェクト、ユーザ定義メタデータ及び組み込みメタデータに関連する。

[0072] メモリインタフェース４１５は、オフＡＳＩＣメモリ４３２との間のメモリＩ／Ｏ操作を調整する。オフＡＳＩＣメモリがＤＲＡＭである場合、メモリコントローラはＤＲＡＭコントローラと呼ばれ得る。オフＡＳＩＣメモリは、ＡＳＩＣ４０１及びサービスノード１０３によって使用されたデータを格納することができる。そのデータはサービス状態情報４４０を含み得る。サービス状態情報は、フローテーブル４４１、セッションテーブル４４２、ＮＡＴマッピングテーブル４４３及び仮想化サービス状態情報４４４を含み得る。仮想化サービス状態情報４４４は、仮想化ＰＣＩｅ機能マップ４４５及びＮＶＭｅスプライシングデータ４４７を含み得る。ＮＶＭｅスプライシングデータは名前空間マップ４４６を含み得る。

[0073] ＣＰＵコア４０３は、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサコア、高度なＲＩＳＣマシン（ＡＲＭ）プロセッサコア、インターロックパイプラインステージ（ＭＩＰＳ）プロセッサコアのないマイクロプロセッサ及び／又はｘ８６プロセッサコアなどの汎用プロセッサコアであり得る。各ＣＰＵコアは、他のＣＰＵコアとは独立して命令を実行するように構成された、メモリインタフェース、ＡＬＵ、レジスタバンク、命令フェッチユニット及び命令デコーダを含み得る。ＣＰＵコアは、Ｃなどの汎用プログラミング言語を使用してプログラム可能であり得る。

[0074] ＣＰＵコア４０３はまた、バスインタフェース、内部メモリ及びメモリ管理ユニット（ＭＭＵ）及び／又はメモリ保護ユニットを含み得る。例えば、ＣＰＵコアは、内部キャッシュ、例えば、Ｌ１キャッシュ及び／又はＬ２キャッシュを含み得る、及び／又は、近くのＬ２及び／又はＬ３キャッシュへのアクセスを有し得る。各ＣＰＵコアには、命令キャッシュ及びデータキャッシュを含むコア固有のＬ１キャッシュ、並びに、各ＣＰＵコアに固有の又は少数のＣＰＵコア間で共有されるＬ２キャッシュが含まれ得る。Ｌ３キャッシュもＣＰＵコアに利用可能であり得る。

[0075] コントロールプレーン機能のために、かつ、ソフトウェア実装パケット処理機能を含む低速データパスの態様を実装するために、利用可能な複数のＣＰＵコア４０３が存在し得る。ＣＰＵコアは、Ｐ４などのドメイン固有言語を通じて、データプレーン処理の期待どおりの高速パスパフォーマンスを提供する方法で、容易に実装不可能であり得る、Ｌ７アプリケーション（例えば、ＨＴＴＰロードバランシング、Ｌ７ファイアウォール及び／又はＬ７テレメトリ）、特定のインフィニバンドチャネルアダプタ機能、フローテーブル挿入又はテーブル管理イベント、接続セットアップ／管理、マルチキャストグループ参加、ディープパケットインスペクション（ＤＰＩ）（例えば、ＵＲＬインスペクション）、ストレージボリューム管理（例えば、ＮＶＭｅボリュームセットアップ及び／又は管理）、暗号化、復号化、圧縮及び解凍などの個別のパケット処理操作を実装するために使用され得る。

[0076] パケットバッファ４２３は、スイッチファブリック３０２からデータプレーンのパケット処理要素に又はその逆に、パケットを配信する中央オンチップパケットスイッチとして機能することができる。パケット処理要素は、ソフトウェアに実装された低速データパス、及び、パケット処理回路４０８によって実装される高速データパスを含み得る。

[0077] Ｐ４パケット処理パイプライン４０８は、プログラム可能なパケット処理パイプラインを実装する特殊回路又は特殊回路の一部であり得る。ある実施形態は、ネットワークアプライアンス内の高速データパスとしてＰ４パイプラインを含む。高速データパスは、ネットワークアプライアンス内にも実装可能な低速データパスよりも高速にパケットを処理するので、高速データパスと呼ばれる。低速データパスの一例はソフトウェア実装データパスであり、ＣＰＵコア４０３及びメモリ４３２はソフトウェアを介して低速データパスを実装するように構成される。

[0078] 図５は、ある態様に係るネットワークパケットを示す図である。ネットワークトラフィックフロー５００は、第１パケット５５０、第２パケット５５１、第３パケット５５２、第４パケット５５３及び最終パケット５５４などの多数のパケットを有し得、第４パケット５５３及び最終パケット５５４の間にはさらに多くのパケットがある。「そのパケット」又は「パケット」という用語は、ネットワークトラフィックフロー内のパケットのいずれかを参照することができる。パケットは、インターネットプロトコルスイートに従って構築及び解釈され得る。インターネットプロトコルスイートは、インターネット及び同様のコンピュータネットワークで使用される概念モデル及び通信プロトコルのセットである。パケットは、レイヤ１と呼ばれることもある物理層の物理媒体を介して生ビットストリームとして送信及び受信されることができる。パケットは、生ビットストリームとして受信されることができる、又は、生ビットストリームとして送信されることできる。

[0079] リンク層はしばしばレイヤ２と呼ばれる。リンク層のプロトコルは、デバイスが取り付けられて、ルータを経由せずにアクセス可能なすべてのデバイスを含むローカルネットワーク接続の範囲内で動作する。リンク層は、同じリンク上の２つの異なるデバイスのインタフェース間でパケットを移動させるために使用される。パケットは、レイヤ２ヘッダ５０１、レイヤ２ペイロード５０２及びレイヤ２フレームチェックシーケンス（ＦＣＳ）５０３を有する。レイヤ２ヘッダは、送信元メディアアクセス制御（ＭＡＣ）アドレス５０４、宛先ＭＡＣアドレス５０５及び他のレイヤ２ヘッダデータ５０６を包含し得る。ネットワーク接続デバイスの入力ポート及び出力ポートはＭＡＣアドレスを有し得る。米国電気電子技術者協会（ＩＥＥＥ）８０２．３としても知られるイーサネットはレイヤ２プロトコルである。ＩＥＥＥ８０２．１１（ＷｉＦｉ）は、もう１つの広く使用されているレイヤ２プロトコルである。レイヤ２ペイロード５０２はレイヤ３パケットを含み得る。レイヤ２ ＦＣＳ５０３は、レイヤ２ヘッダ及びレイヤ２ペイロードから計算されたＣＲＣ（巡回冗長検査）を含み得る。レイヤ２ ＦＣＳが使用されて、パケットがエラーなく受信されたことを確認することができる。

[0080] しばしばレイヤ３と呼ばれるインターネット層は、レイヤ３パケットが複数の中間ノードを介して第１ノードから第２ノードにルーティング可能なネットワーク層である。ノードは、スイッチ、サーバ、並びに、サービスノード１０３及びＰＣＩｅデバイス１０５などのデバイスであり得る。インターネットプロトコル（ＩＰ）は、一般的に使用されるレイヤ３プロトコルである。レイヤ３パケットは、レイヤ３ヘッダ５０７及びレイヤ３ペイロード５０８を有し得る。レイヤ３ヘッダ５０７は、送信元ＩＰアドレス５０９、宛先ＩＰアドレス５１０、プロトコルインジケータ５１１及び他のレイヤ３ヘッダデータ５１２を有し得る。一例として、第１ノードは、中間ノードを介して第２ノードにＩＰパケットを送信することができる。したがって、ＩＰパケットは、第１ノードを示す送信元ＩＰアドレスと、第２ノードを示す宛先ＩＰアドレスと、を有する。第１ノードは、ＩＰパケットが中間ノードに送信される必要があるというルーティング決定を行う。したがって、第１ノードは、ＩＰパケットを第１レイヤ２パケットで中間ノードに送信する。第１レイヤ２パケットは、第１ノードを示す送信元ＭＡＣアドレス５０４、中間ノードを示す宛先ＭＡＣアドレス５０５を有し、かつ、ペイロードとしてＩＰパケットを有する。中間ノードは第１レイヤ２パケットを受信する。中間ノードは、宛先ＩＰアドレスに基づいて、ＩＰパケットが第２ノードに送信されるべきであると決定する。中間ノードは、中間ノードを示す送信元ＭＡＣアドレス５０４、第２ノードを示す宛先ＭＡＣアドレス５０５及びペイロードとしてのＩＰパケットを有する第２レイヤ２パケットで第２ノードにＩＰパケットを送信する。レイヤ３ペイロード５０８は、トランスポートレイヤプロトコルなどの上位レイヤプロトコルに従って、上位レイヤのヘッダ及びペイロードを含み得る。

[0081] しばしばレイヤ４と呼ばれるトランスポート層は、アプリケーションがタスク固有のデータ交換に使用する基本的なデータチャネルを確立することができ、かつ、ホスト間の接続性を確立することができる。レイヤ４プロトコルは、プロトコルインジケータ５１１を使用してレイヤ３ヘッダ５０７に示されることができる。伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）及びインターネット制御メッセージプロトコル（ＩＣＭＰ）は共通のレイヤ４プロトコルである。ＴＣＰはしばしばＴＣＰ／ＩＰと呼ばれる。ＴＣＰは、接続指向であり、かつ、信頼性が高くて規則的で、ＩＰネットワークを介して通信するホスト上で実行されるアプリケーション間でのバイトのストリームのエラーチェック配信を提供することができる。ＴＣＰデータを伝送する場合、レイヤ３ペイロード５０８はＴＣＰヘッダ及びＴＣＰペイロードを含む。ＵＤＰは、コンピュータアプリケーションに、この場合データグラムと呼ばれるメッセージを、コネクションレス型モデルを使用してＩＰネットワーク上の他のホストに送信するために提供することができる。ＵＤＰデータを伝送する場合、レイヤ３ペイロード５０８はＵＤＰヘッダ及びＵＤＰペイロードを含む。ＩＣＭＰは、別のＩＰアドレスとの通信時に成功又は失敗を示すエラーメッセージ及び操作情報を送信するため、ルータを含むネットワークデバイスによって使用される。ＩＣＭＰはコネクションレス型モデルを使用する。

[0082] レイヤ４パケットはレイヤ４ヘッダ５１３及びレイヤ４ペイロード５１４を有し得る。レイヤ４ヘッダ５１３は、送信元ポート５１５、宛先ポート５１６、レイヤ４フラグ５１７及び他のレイヤ４ヘッダデータ５１８を含み得る。送信元ポート及び宛先ポートは、ホストコンピュータがそれらのポートをリッスンしてそれらのポートで送信するように構成されたアプリケーションプログラムにパケットを配信するために使用される整数値であり得る。レイヤ４フラグ５１７は、ネットワークトラフィックフローのステータス又はアクションを示し得る。例えば、ＴＣＰはＲＳＴ、ＦＩＮ及びＡＣＫフラグを有する。ＲＳＴは、ＴＣＰ接続がすぐにシャットダウンされてすべてのパケットが破棄されることを示す。ＴＣＰ ＦＩＮフラグは、ＴＣＰ接続での最終伝送を示し得、ＦＩＮパケットの前に送信されたパケットが処理され得る。ＡＣＫは、受信したパケットを確認する。ＦＩＮパケットの受信者は、ＴＣＰ接続のその側をシャットダウンする前にＦＩＮパケットをＡＣＫすることができる。トラフィックフローは、フロー終了ダイアログによって終了され得る。フロー終了ダイアログの例には、ＴＣＰ ＲＳＴパケット（ＡＣＫの有無にかかわらず）、及び、ＴＣＰ ＦＩＮパケットに応答するＴＣＰ ＡＣＫパケットによってフローされるＴＣＰ ＦＩＮパケットが含まれる。他のプロトコルは、よく知られているフロー終了ダイアログも有し得る。レイヤ４ペイロード５１４はレイヤ７パケットを包含し得る。

[0083] しばしばレイヤ７と呼ばれるアプリケーション層は、ユーザサービスを提供するため、又は、下位レベルプロトコルによって確立されたネットワーク接続を介してアプリケーションデータを交換するため、ほとんどのアプリケーションによって使用されるプロトコルを含む。アプリケーション層プロトコルの例には、コンバージドイーサネット経由のＲＤＭＡバージョン２（ＲｏＣＥ ｖ２）、ハイパーテキストトランスファープロトコル（ＨＴＴＰ）、ファイルトランスファープロトコル（ＦＴＰ）、シンプルメールトランスファープロトコル（ＳＭＴＰ）及びダイナミックホストコンフィギュレーションプロトコル（ＤＨＣＰ）が含まれる。アプリケーション層プロトコルに従ってコード化されたデータは、トランスポート層プロトコルユニット（ＴＣＰ又はＵＤＰメッセージなど）にカプセル化され得、これは、実際のデータ転送を実行するために下位層プロトコルを使用する。

[0084] レイヤ４ペイロード５１４はレイヤ７パケット５２０を含み得る。レイヤ７パケット５２０は、ＨＴＴＰパケット、インフィニバンドＰＤＵ又はある他のＬ７パケットであり得る。レイヤ７パケット５２０はレイヤ７ヘッダ５２１及びレイヤ７ペイロード５２を含み得る。図示のレイヤ７パケットは、ＬＴＰヘッダ５２１及びＬＴＰペイロード５２２を有するローカルトランスポートプロトコル（ＬＴＰ）パケット５２０である。ＬＴＰヘッダは、ＰＣＩｅデバイス識別子５３０、機能識別子５３１及びシーケンス番号５３２を含み得る。ＬＴＰペイロード５２２はワークロードカプセルであり得る。ワークロードカプセルは、機能タイプ５３３及びワークロードデータ５３４を含み得る。ＰＣＩｅデバイス識別子５３０及び機能識別子５３１は、特定のＰＣＩｅデバイス及び当該ＰＣＩｅデバイスによって実装される機能を識別するために使用され得る。機能タイプ５３３は、仮想化ＰＣＩｅ機能、仮想化ＮＶＭｅ機能などの機能のタイプを示し得る。シーケンス番号５３２が使用されて、ＬＴＰパケットが失われたことを決定してＬＴＰパケットが再送信され得るようにすることができる。ＬＴＰパケットは、ＵＤＰパケットで伝送されるものとして示されているが、他のＬ３パケットのペイロードとして伝送されることも、イーサネットパケットなどのＬ２パケットのペイロードとして伝送されることもできる。

[0085] 図６は、ある態様に係る、サービスノード１０３によって提供されるサービス及び仮想化機能にアクセスするためにＰＣＩｅデバイス６２０を使用することを示している。ＰＣＩｅバスは、１つのデバイスから別のデバイスにトランザクション層パケット（ＴＬＰ）を伝送するためにデータリンク層パケット（ＤＬＬＰ）６０１を使用することができる。ＤＬＬＰ及びＴＬＰの内容はＰＣＩｅ仕様によって特定される。ＤＬＬＰ６０１は、シーケンス番号６０２、ＴＬＰ６０３及びリンク巡回冗長コード（ＬＣＲＣ）６０４を含む。ＴＬＰ６０３は、ＴＬＰフォーマット６０５、ＴＬＰタイプ６０６、長さ６０７、リクエスト識別子６０８、アドレス６０９を含み、かつ、データ６１０を包含し得る。

[0086] ＰＣＩｅデバイス６２０はＴＬＰ６０３を受信することができる。ＴＬＰ６０３は、読み取りリクエスト又は書き込みリクエストなどのリクエストであり得る。ＰＣＩｅデバイスは、ＴＬＰフォーマット６０５及びＴＬＰタイプ６０６を検査することによって、ＴＬＰが読み取りリクエスト又は書き込みリクエストであるかを決定することができる。ＴＬＰ６０３は、長さ６０７及びアドレス６０９を示し得る。長さ６０７は、読み取り又は書き込みが行われるデータワード（ｄｗｏｒｄ）の数を示す。ＰＣＩｅの場合、ｄｗｏｒｄは３２ビットである。アドレス６０９は、データが書き込まれるべき又はデータが読み取られるべき物理アドレスである。書き込みリクエストの場合、ＴＬＰ６０３は、物理アドレスに書き込まれるべきデータ６１０を含む。ＰＣＩｅバスに接続されているデバイスが多数あり、その各々がＴＬＰを生成し得る。リクエスタ識別子６０８は、応答が後でそのデバイスに戻され得るように、ＴＬＰを送信したデバイスを示す。

[0087] ＰＣＩｅデバイス６２０は、例えば、リクエストによって示されるように正確にデータを書き込む又は読み取ることによってＴＬＰを解釈し得る。したがって、非仮想化デバイスに送信された読み取りリクエストは、その非仮想化デバイス上のレジスタ又はメモリ位置を読み取り得る同様に。非仮想化デバイスへの書き込み操作は、デバイスのレジスタ又はメモリ位置に書き込むことができ、かつ、デバイスが操作を実行するようにトリガし得る。

[0088] 仮想機能の場合、ＴＬＰが使用されてワークロードパケットを生成する。ＬＴＰパケットはワークロードカプセルであり得る。例えば、ＬＴＰパケットは、ＴＬＰを使用して生成されたワークロードカプセルを伝送することができる。ＬＴＰパケットは、単純にＴＬＰをカプセル化しない。ＰＣＩｅデバイスは、ＴＬＰ６０３に基づくＰＣＩｅワークロードパケット６２５を、サービスノード１０３によって実装された仮想化ＰＣＩｅ機能６３０に送信する仮想化ＰＣＩｅアクセス機能６２１を実装することができる。ＰＣＩｅデバイスは、ＮＶＭｅワークロードパケット６２６を、サービスノード１０３によって実装された仮想化ＮＶＭｅ機能６３１に送信する仮想化ＮＶＭｅアクセス機能６２２を実装することができる。ＰＣＩｅデバイスはネットワークインタフェース機能６２３も実装し得る。ＰＣＩｅデバイスは、ネットワークインタフェース機能６２３を使用してサービスノード及び他の宛先にネットワークパケットを送信し得る。例えば、ネットワークインタフェース機能６２３が使用されて、サービスノードにＰＣＩｅ ＬＴＰパケット６２５及びＮＶＭｅワークロードパケット６２６を送信することができる。ＵＤＰ／ＩＰパケット６２７及びＴＣＰ／ＩＰパケット６２８は、サービスノードに送信されるＬＴＰパケット以外のパケットであり得る。これらのパケットについて、サービスノードは、パケット処理及びルーティング機能６３２を提供し得る。したがって、サービスノードは、スイッチ、ルータ又はファイアウォールのサービスを提供し得る。

[0089] 図７は、ある態様に係る、ＰＣＩｅデバイス６２０を介してサービス及び仮想化機能を提供するサービスノード１０３を示している。図６では、リクエストＴＬＰがＰＣＩｅデバイス６２０に送信される。図７では、応答ＴＬＰが戻される。より具体的には、ＴＬＰ６０３は読み取りリクエストＴＬＰであり得、ＴＬＰ７０３は読み取り応答ＴＬＰであり得る。このような応答ＴＬＰは完了ＴＬＰと呼ばれ得る。簡単にするために、仮想化ＰＣＩ機能６３０に送信される単純なレジスタ読み取り操作が検討される。ＴＬＰ６０３は、レジスタからの読み取りをリクエストし得る。サービスノードに送信されるＬＴＰパケット６２５は、サービスノード１０３によって実装される機能から読み取りがリクエストされることを示し得る。サービスノードは、リクエストされたデータを包含する応答ＬＴＰパケット７２５を送信し、ＰＣＩｅデバイス６２０は、応答ＬＴＰパケット７２５を使用して、読み取り応答ＴＬＰ７０３を生成する。完了ＴＬＰは、ＴＬＰフォーマット７０５及び完了ＴＬＰ７０３が読み取り応答であることを示すＴＬＰタイプ７０６を含み得る。長さ７０７は、データフィールド７１０内のｄｗｏｒｄの数を示す。コンプリータ識別子７０８は、完了ＴＬＰ７０３の送信元を示す。リクエスタ識別子６０８は、完了ＴＬＰ７０３を受信するデバイスを示し得る。例えば、ホストコンピュータ１０４がＰＣＩｅデバイス６２０にリクエストＴＬＰ６０３を送信する場合、リクエスタ識別子６０８はホストコンピュータ１０４を示し得、コンプリータ識別子７０８はＰＣＩｅデバイス６２０を示し得る。

[0090] サービスノード１０３は、ＰＣＩｅデバイス６２０にＰＣＩｅワークロードパケット７２５及びＮＶＭｅワークロードパケット７２６を送信することができる。ＰＣＩｅデバイスは、ワークロードリクエストを解釈することができ、かつ、ホストコンピュータ及びＰＣＩｅバス上の他のデバイスに、ワークロードリクエストに基づくＴＬＰを送信することができる。これらのＴＬＰパケットは、リクエスト、完了又はＰＣＩｅ仕様によって定義された他のタイプのＴＬＰであり得る。サービスノード１０３は、ＰＣＩｅデバイス６２０に、ＩＰ／ＵＤＰパケット７２７及びＴＣＰ／ＩＰパケット７２８などの他のネットワークパケットを送信することもできる。

[0091] 上述したように、ホストコンピュータとホストコンピュータで実行されているワークロードとは、デバイスドライバを使用してＰＣＩｅ機能にアクセスすることができる。本明細書で検討する仮想化機能は、これらのデバイスドライバに対する変更を必要としない。ＰＣＩｅデバイス６２０のアクセス機能及びサービスノード１０３の仮想化機能は、ホストの観点から、ＰＣＩｅデバイスがそれらのサービス及び機能のその独自の実装を介して機能及びサービスを提供するように協働することができる。

[0092] 図８は、ある態様に係る、循環レプリケーションチェーン８００のサービスノードを示すハイレベルフロー図である。仮想化機能は、単一のサービスノードによって提供され得る。そのような仮想化は、高可用性及びサービススケーリングなどのさらなる利点を可能にする。循環レプリケーションチェーン８００が使用されて、複数のサービスノードが互換性のあるバージョンのサービス状態情報を有するようにサービス状態情報を複製することができる。したがって、循環レプリケーションチェーンのサービスノードのいずれかは、サービス状態情報を変更しないパケットを即座に処理することができる。パケットの処理によってサービス状態情報が変更される場合、パケットの処理を完了する前に変更が確認されなければならない。したがって、サービスノードによって提供されるサービスの多くは、循環レプリケーションチェーン８００のサービスノードの数に比例し得る。サービスノードに障害が発生する又はサービスノードがオフラインにされた場合、その後、残りのサービスノードが引き続きサービスを提供する一方で、そのサービスノードは循環レプリケーションチェーンから除去される。このようにして、サービスは、サービスノードを追加又は除去することによってスケーリングされることができ、かつ、サービスは、サービスノードの障害に強いので、高可用性を有している。

[0093] 循環レプリケーションチェーン８００は現在４つのサービスノードを有する。サービスノードは、サービスノード１ ８０１、サービスノード２ ８０２、サービスノード３ ８０３及びサービスノード４ ８０４である。同期パケットが使用されて、１つのノードから別のノードにサービス状態情報を複製することができる。循環レプリケーションチェーンのサービスノードはピアである。各サービスノードはアップストリームピア及びダウンストリームピアを有する。サービスノードは、それらのアップストリームピアから同期パケットを受信し、かつ、それらのダウンストリームピアに同期パケットを送信する。サービスノード１ ８０１は、サービスノード２ ８０２のアップストリームピアであり、かつ、サービスノード２ ８０２に同期パケット８０５を送信する。サービスノード２ ８０２はサービスノード１ ８０１のダウンストリームピアである。サービスノード２ ８０２は、サービスノード３ ８０３のアップストリームピアであり、かつ、サービスノード３ ８０３に同期パケット８０５を送信する。サービスノード３ ８０３はサービスノード２ ８０２のダウンストリームピアである。サービスノード３ ８０３は、サービスノード４ ８０４のアップストリームピアであり、かつ、サービスノード４ ８０４に同期パケット８０５を送信する。サービスノード４ ８０４はサービスノード３ ８０３のダウンストリームピアである。サービスノード４ ８０４は、サービスノード１ ８０１のアップストリームピアであり、かつ、サービスノード１ ８０１に同期パケット８０５を送信する。サービスノード１ ８０１はサービスノード４ ８０４のダウンストリームピアである。サービス及び機能について、サービス状態情報の複製により、サービスノードは情報の正確なコピーを取得する。フローテーブルなどの他の事例の場合、複製により、互換性を有するが全く同じではないサービスノード情報を生じさせる。

[0094] ある実施形態は、循環レプリケーションチェーンではないレプリケーションチェーンを使用することができる。非循環レプリケーションチェーンは、ヘッドノード、テールノード及び１以上の中間ノードを有する。データベースへの書き込み又は本明細書で検討するサービス状態の変更などのデータを変更する操作はヘッドノードに送信される。フロー同期パケットはヘッドノードからテールノードに移動する。テールノードは、ダウンストリームピアを有しないので、同期パケットをドロップする。テールノードは、同期パケットがチェーンのテールに到達したことを示す確認をヘッドノードに送信することができる。非循環レプリケーションチェーンを使用するため、ヘッドノードは常に、セッション状態を変更するパケットに対して選択されたノードである。チェーンの任意のノードは、セッション状態情報を変更しないパケットを処理することができる。

[0095] 図９は、ある態様に係る、サービス状態情報９１１のチェーンレプリケーションのために構成されたサービスノードを示すハイレベルフロー図である。ＮＡＴは、サービスノードによって提供可能なサービスの１つである。コンピュータネットワークの熟練者はＮＡＴに精通している。ＮＡＴセッションは、サーバ１０４とローカルネットワーク外のマシンとの間の通信用であり得る。ＮＡＴセッション９０１の第１パケットは、新しいＮＡＴセッションが作成されるので、サービス状態情報を変更するＩＰパケットである。第１ＮＡＴパケット９０１は、送信元ＩＰアドレス９０２、宛先ＩＰアドレス９０３、送信元ポート９０４、宛先ポート９０５及び他のデータ９０６を有する。送信元ＩＰアドレス９０２及び送信元ポート９０４は、パケットの送信元及びその送信元のポートを示す。ロードバランサ９０７は第１ＮＡＴパケット９０１を受信する。ロードバランサは、選択されたサービスノード９１０にＮＡＴパケットを送信する。選択されたサービスノード９１０は、ラウンドロビン又は重み付けされたラウンドロビンなどの負荷バランシングポリシーに基づいて選択され得る。ロードバランサは、所定のトラフィックを特定のサービスノードに優先的に送信し得る。例えば、ロードバランサは、ＮＡＴパケットにラウンドロビンを使用することができ、かつ、特定のＰＣＩｅデバイス６２０から特定のサービスノードにＮＶＭｅ ＬＴＰパケットを送信することができる。

[0096] 選択されたサービスノード９１０は、ＮＡＴマッピングテーブルを含むサービス状態情報９１１を有する。選択されたサービスノード９１０は、第１ＮＡＴパケット９０１を受信し、かつ、新しいＮＡＴセッションが必要であると決定する。選択されたサービスノードは、新しいセッション９１３のためのＮＡＴマッピングを作成し、かつ、ＮＡＴマッピングテーブル９１２にＮＡＴエントリとして新たしいＮＡＴマッピングを格納する。選択されたサービスノードはまた、同期パケット９２０において、そのダウンストリームピアに、新しいセッション９１３のためのＮＡＴマッピングを送信する。循環レプリケーションチェーン内のサービスノードは、ＮＡＴマッピングがアップストリームピア９２１からの同期パケットで選択されたサービスノードによって受信されるまで、新しいセッション９１３のためのＮＡＴマッピングを転送する。アップストリームピア９２１からの同期パケットは、サービスノードの全体のチェーンが新しいセッション９１３のためのＮＡＴマッピングを受信したことを確認するＡＣＫパケットとみなされ得る。選択されたサービスノードは、変換パケット９１４を送信する前にＡＣＫを待ち得る。ＮＡＴは、他のパケットから変換パケットを生成する。変換パケット９１４は送信元ＩＰアドレス９１５及び送信元ポート９１６を有する。変換パケットの送信元ＩＰアドレス９１５は、レプリケーションチェーンを示す仮想ＩＰアドレスであり得る。変換パケットの送信元ポート９１６はレプリケーションチェーンのポートを示す。仮想ＩＰ（ｖＩＰ）アドレスは、これらのサービスノードの特定の１つではなく、レプリケーションチェーンのサービスノードのグループを示すために使用可能な仮想識別子である。明確化のため、ｖＩＰは、本明細書では、代わりに異なる仮想識別子が使用され得るという理解の下で参照される。ロードバランサ９０７は、ｖＩＰに送信されたパケットを受信し、かつ、そのパケットを特定のサービスノードに転送することができる。

[0097] 図１０は、ある態様に係る、サービスを提供するサービスノードを示すハイレベル図である。サービス状態情報１００１を変更しないＩＰパケットは、循環レプリケーションチェーンのサービスノードのいずれかによって即座に処理され得る。既知のＮＡＴセッションのためのパケットは、サービス状態情報１００１を変更しないＩＰパケットの一例である。ロードバランサ９０７は、パケット１００１を、変換パケット１００２をその宛先に送信する選択されたサービスノード９１０に向けることができる。サービス状態情報に対する変更がないので、同期パケットはない場合がある。

[0098] 図１１は、ある態様に係る、ネットワークアドレス変換（ＮＡＴ）テーブルエントリをＮＡＴテーブルに追加することのハイレベル図である。選択されたサービスノードは、新しいＮＡＴテーブルエントリ１１０８のための新しいＮＡＴマッピングを生成することができ、かつ、ＮＡＴマッピングテーブル９１２にＮＡＴテーブルエントリ１１２０として新しいＮＡＴテーブルエントリを格納することができる。ＮＡＴマッピングテーブルのエントリには、ローカルＩＰアドレス１１１１、ローカルポート１１１２、リモートＩＰアドレス１１１３、リモートポート１１１４、パブリックポート１１１５及びパブリックＩＰアドレス１１１６が含まれ得る。ローカルＩＰアドレス１１１１は、ローカルネットワーク上のＰＣＩｅデバイスなどのローカルデバイスのＩＰアドレスであり得る。ローカルポート１１１２は、そのローカルデバイスのポートを示し得る。リモートＩＰアドレス１１１３はリモートデバイスのＩＰアドレスであり得る。ローカルポートはそのリモートデバイスのポートを示し得る。パブリックポート１１１５は、変換パケットで使用するための送信元ポート９１６を示し得る。パブリックＩＰ１１１６は、変換パケットで使用するための送信元ＩＰアドレス９１５を示し得る。パブリックＩＰエントリは、複数のｖＩＰが使用される場合及びその他の場合に有用であり得る。

[0099] 生じることがある問題は、２つのサービスノードが同時に新しいＮＡＴテーブルエントリを作成し得ることである。２つのサービスノードが２つの新しいＮＡＴセッションに同じパブリックポートを割り当てる可能性がある。解決策は、各サービスノードがその独自のプールからのみパブリックＩＰを割り当てることによって、異なるサービスノードに異なるポートのプールを割り当てることである。サービスノードＮＡＴプール１１０１は、サービスノードのために利用可能なＮＡＴリソース１１０２及び利用不可のＮＡＴリソース１１０５を示し得る。利用可能なＮＡＴリソースには、利用可能なパブリックポート１１０３及び利用可能なパブリックＩＰアドレス１１０４が含まれ得る。利用不可のＮＡＴリソースには、利用不可のパブリックポート１１０６及び利用不可のパブリックＩＰアドレス１１０７が含まれ得る。

[00100] 図１２は、ある態様に係る、チェーンレプリケーションを使用してサービス状態情報を複製することのハイレベルフロー図である。開始後、プロセスはパケット１２０１を待つことができる。プロセスは、パケットが受信されると決定点１２０２に進むことができる。決定点１２０２で、プロセスは、パケットが同期パケットであるかどうかを決定する。同期パケットでない場合、決定ポイント１２０８で、プロセスは、パケットを処理することがサービス状態情報を変更するかどうかを決定する。サービス状態情報が変更されない場合、その後、ブロック１２０９で、サービスノードは、次のパケット１２０１を待つ前にパケットを完全に処理する。サービス状態情報が変更された場合、その後、ブロック１２１０で、サービスノードはパケットの完全な処理を遅延させ得る。パケットは、チェーンが更新されたことを示すＡＣＫを待つ間、完全に処理され得る。ブロック１２１１で、プロセスは同期パケットをそのダウンストリームピアに送信する。同期パケットには、パケットによって引き起こされた変更に基づいてピアがそれらのサービス状態情報を更新するために使用可能な情報が含まれる。同期パケットを送信した後、プロセスは別のパケット１２０１の待機に戻ることができる。

[00101] パケットが決定点１２０２で同期パケットであると決定された場合、その後、決定点１２０３で、プロセスは、パケットが自己発信であるかどうかを決定することができる。図１２の方法を実装するサービスノードは、ブロック１２１１で同期パケットを送信することができる。そのサービスノードの観点から、ブロック１２１１で送信される同期パケットは自己発信である。パケットが自己発信である場合、その後、ブロック１２０６で、サービスノードは、チェーンの更新を待機する間に遅延された操作を実行することができる。このような操作には、ブロック１２１０で遅延された異なるパケットについての処理を含み得る。ブロック１２０６の後、プロセスが別のパケット１２０１を受信するのを待機する前に、パケットはブロック１２０７でドロップされ得る。パケットが自己発信の同期パケットでない場合、その後、ブロック１２０４で、サービスノードのサービス情報が更新されることができる。ブロック１２０５で、プロセスが別のパケット１２０１を待つことに戻る前に、同期パケットがノードのダウンストリームピアに転送されることができる。

[00102] 図１３は、ある態様に係る、ラック内のサービスノードホストのハイレベル図である。サービスノード１０３は、ローカルネットワーク１３０７上に展開されることができる。第１サービスノードホスト１３０２は２つのサービスノードを含み、第２サービスノードホスト１３０３も２つのサービスノードを含む。第１レプリケーションチェーン１３０４には、両方のサービスノードホストからのサービスノードが含まれる。第２レプリケーションチェーン１３０５には、両方のサービスノードホストからの異なるサービスノードが含まれる。サービスノードホストのうちの一方が故障してもいずれのレプリケーションチェーンも完全に故障しないので、図示の構成は高可用性を提供する。図１３の例では、スマートスイッチでなくてもよいスイッチ１３０１は、サービスノードホスト１３０２、１３０３をパブリックネットワーク１３０６に接続する。

[00103] 図１４は、ある態様に係る、複数のスマートスイッチにサービスノード１０３を含むレプリケーションチェーンのハイレベル図である。第１スマートスイッチ１４０２は２つのサービスノードを含み、第２スマートスイッチ１４０３も２つのサービスノードを含む。第１レプリケーションチェーン１４０４は、両方のスマートスイッチからのサービスノードを含む。第２レプリケーションチェーン１４０５は、両方のスマートスイッチからの異なるサービスノードを含む。スマートスイッチのうちの一方が故障してもいずれのレプリケーションチェーンも完全に故障しないので、図示の構成は高可用性を提供する。図１４の例は、サービスノードを含むスマートスイッチ１４０２、１４０３を使用するという点で、図１３の例とは異なる。図１３のスイッチ１３０１はスマートスイッチではなくてもよい。したがって、サーバの既存のラックは、サービスノードホストを追加することによるサービスノードを用いてアップグレードされ得る。図１４は、スマートスイッチが使用されるシステムを示している。どちらのシステムでも、高度なネットワーキング機能及びオフロードは、蓄積されたＮＩＣを使用している間に取得可能である。図示のようにＰＣＩｅデバイス６２０を使用すると、仮想化ＰＣＩｅ機能及びサービスの提供、仮想化ＮＶＭｅ機能及びサービスの提供なども可能にする。

[00104] 図１５は、ある態様に係る、サービス１５０２を提供するサービスノード１０３のハイレベル図である。ＰＣＩｅデバイス６２０及びサービスノード１０３は、ＰＣＩｅ／ＬＴＰパケット６２５、ＮＶＭｅ／ＬＴＰパケット６２６、及び、ＴＣＰパケット、ＵＤＰパケットなどのＩＰパケット１５０１等を交換することができる。サービスノード１０３によって提供されるサービス１５０２は仮想化サービス１５０３を含み得る。仮想化サービスは、仮想化ＰＣＩｅデバイス機能６３０、仮想化ＮＶＭｅ機能６３１及び他の仮想化サービス又は機能１５０４を含み得る。サービス１５０２はパケット処理及びルーティングサービス６３２を含み得る。パケット処理及びルーティングサービス６３２には、暗号化／復号化１５０５、ＮＡＴ１５０６、ファイアウォール１５０７、ディープパケットインスペクション（ＤＰＩ）１５０８及び他のネットワークサービス１５０９が含まれ得る。サービスは、リモートダイレクトメモリアクセス（ＲＤＭＡ）ブリッジ１５１０及び他のサービス１５１１へのＮＶＭｅを含み得る。サービスノードは、ＰＣＩｅデバイス６２０とパブリックネットワーク１５４１との間で交換されるネットワークトラフィックのためのＩＰパケット１５０１、１５４０を処理することができる。サービスノード１０３は、ＮＶＭｅ／ＴＣＰ１５３０、ファイバチャネル１５３２、及び、コンバージドイーサネットバージョン２（ＲＯＣＥｖ２）１５３１を介したＲＤＭＡを介してストレージエリアネットワーク１５３３に接続することができる。ストレージエリアネットワークの熟練者は、ＮＶＭｅ／ＴＣＰ、ファイバチャネル及びＲＯＣＥｖ２に精通しており、それらのすべてがデータセンタ内で幅広く展開されて使用される。サービスノード１０３はサービス状態情報１５２０を格納することができる。サービス状態情報１５２０は、フローテーブル４４１、セッションテーブル４４２、ＮＴＡマッピングテーブル４４３、仮想化ＰＣＩｅ機能マップ４４５、ＮＶＭｅスプライシングデータ４４７、ＤＰＩルール及び基準１５２３、セキュリティ証明書１５２１、ファイアウォールルール１５２２、ルーティングルール１５２５、暗号化／復号化キー１５２４、及び、他のサービスのためのデータ１５２６を含み得る。

[00105] 図１６は、ある態様に係る、アウトバウンドパケットにＮＡＴを実行するサービスノードのハイレベルフロー図である。アウトバウンドパケットは、ＰＣＩｅデバイス６２０によって外部の場所に送信される第１ＮＡＴセッションパケット１６０１及び他のＮＡＴセッションパケット１６０２を含む。ＰＣＩｅデバイス６２０は、外部の場所に第１ＮＡＴセッションパケット１６０１を送信する。ロードバランサは、レプリケーションチェーン１６０３内のサービスノード１０３に第１ＮＡＴセッションパケットを向ける。サービスノード１０３は、第１ＮＡＴセッションパケット１６０１を受信し、パケットのためのＮＡＴマッピング９１３を作成し、かつ、他のサービスノードにＮＡＴマッピング９１３ダウンストリームで送信する。他のサービスノードは、ＮＡＴマッピング９１３に基づいてそれらのＮＡＴマッピングテーブルを更新する。第１ＮＡＴセッションパケット１６０１を送信した後、ＰＣＩｅデバイスは、レプリケーションチェーン１６０３に他のＮＡＴセッションパケット１６０２を送信することができる。ロードバランサは、サービスノード間でパケットを分配することができる。サービスノードは、アウトバウンドパケットから変換パケット１６０４を生成し、かつ、アウトバウンドパケット１６０１、１６０２の宛先アドレスによって示される外部の場所に変換パケット１６０４を送信する。

[00106] 図１７は、ある態様に係る、インバウンドパケットにＮＡＴを実行するサービスノードのハイレベルフロー図である。インバウンドパケット１７０２は、外部の場所からＰＣＩデバイス６２０に送信される。ロードバランサは、サービスノード１０３間でインバウンドパケット１７０２を分配する。サービスノードは、インバウンドパケット１７０２から変換パケット１７０１を生成し、かつ、ＰＣＩｅデバイス６２０に変換パケットを送信する。ここで、ＮＡＴサービスは、ＮＡＴマッピングテーブルにエントリを有しないインバウンドパケットをドロップする。一部のＮＡＴ実装は、新しいＮＡＴセッションのインバウンドパケットの新しいＮＡＴマッピングを作成する。このような実装は、レプリケーションチェーンを通じて新しいＮＡＴマッピングを複製する。

[00107] 図１８は、ある態様に係る、ＮＡＴパケットを処理することのハイレベルフロー図である。開始後、プロセスはパケット１８０１を待つ。ブロック１８０２で、パケットが受信された後、プロセスは、パケットを処理する選択されたサービスノードを選択する。ブロック１８０３で、パケットは、選択されたノードに送信される。ロードバランサは、ブロック１８０２及び１８０３によって示される操作を実行し得る。サービスノードは、プロセスの残りのステップを実行し得る。決定点１８０４で、プロセスは、パケットが、既にＮＡＴマッピングテーブルにあるセッション用であるかどうかを決定する。セッション用である場合、ブロック１８０５で、プロセスは、セッションのＮＡＴマッピングテーブルエントリに基づいて変換パケットを生成する。ブロック１８０６で、変換パケットはその宛先に送信される。ＮＡＴマッピングテーブルがパケットのためのエントリを有しない場合、プロセスは決定点１８０７に移動し、そこでプロセスは、パケットが内部の送信元からのものであるかどうかをチェックする。パケットが内部の送信元からのものでない場合、プロセスがパケット１８０１を待つことに戻る前に、パケットはブロック１８０８でドロップされる。パケットが内部の送信元からのものである場合、その後、ブロック１８０９で、パケットのＮＡＴマッピングが作成される。ブロック１８１０で、ＮＡＴマッピングがサービスノードのローカルマッピングテーブルに格納される。ブロック１８１１で、ＮＡＴマッピングは、サービスノードのダウンストリームピアに送信される。ブロック１８１２で、プロセスは、ブロック１８０５に進む前に、アップストリームピアがＮＡＴマッピングを確認するのを待機する。一実施形態では、内部の送信元は、ローカルネットワーク上の送信元である。外部デバイスがＮＡＴマッピングを開始することを可能にする実装は、決定点１８０７をスキップして、ブロック１８０９に進み得る。

[00108] 図８～図１８を参照して上述したように、ホストコンピュータ又はホストコンピュータに設置されたＳｍａｒｔＮＩＣによって過去に実行された、ネットワークアドレス変換などのネットワークトラフィック処理の多くの態様は、スマートスイッチ内に配置可能なサービスノードによって処理されることができる。高可用性ネットワークトラフィック処理は、ＮＡＴマッピングテーブルなどのサービスノードのサービス状態情報のチェーンレプリケーションを使用して提供されることができる。チェーンレプリケーションの性質により、ＮＡＴなどのネットワークトラフィック処理は、使用されるサービスノードの数にほぼ比例して対応し得る。さらに、サービスノードは、レプリケーションチェーンに動的に追加され、かつ、レプリケーションチェーンから削除されることができるので、保守及びアップグレードに関してさらなる利益が得られる。この高可用性のサービスノードの実装及び展開により、フル機能のＳｍａｒｔＮＩＣによってのみ提供されていたサービスを、専用のＮＩＣ及びサービスの組み合わせによって実装可能にする。したがって、高度な機能は、各サーバについて、設備投資及び運用コストの効率が高い専用のＮＩＣによって、かつ、エネルギー効率の高い方法で、引き続きサポートされ、それによって、そうしたコンピューティングシステムの環境への影響を減らすことができる。

[00109] 図１９は、ある態様に係る、仮想化機能を有するホスト開始リクエストを点検することのハイレベル図である。ホストは、デバイスドライバを使用して、ＰＣＩｅデバイスへのリクエストを開始することができる。リクエストは、ホストからＰＣＩｅデバイスへのＴＬＰで伝送されることができる。上述したように、ＤＬＬＰはＰＣＩｅバス上でＴＬＰを伝送する。ＴＬＰを受信すると、ＰＣＩｅデバイスはホストにＤＬＬＰ ＡＣＫを送信し、それによって、ＰＣＩｅトランザクションを終了する。ＤＬＬＰ ＡＣＫの送信の遅延が、ホストコンピュータのＰＣＩｅ実装内でエラー又はパフォーマンス低下を引き起こし得るので、ＤＬＬＰ ＡＣＫの送信は重要な操作である。このため、ＰＣＩｅデバイスは、ＤＬＬＰ ＡＣＫを即座に送信し、かつ、ＴＬＰをカプセル化してネットワークパケットで転送するだけではない。ＰＣＩｅデバイス６２０は、ＴＬＰの受信を確認するＤＬＬＰ ＡＣＫを送信することができ、かつ、ＴＬＰを使用してワークロードリクエストカプセル１９０１を生成することができる。ワークロードリクエストカプセル１９０１は、ワークロードリクエストパケットでサービスノードに送信される。サービスノードは、ワークロードリクエストパケットを処理し、かつ、ワークロード応答カプセル１９０２を含むワークロード応答パケット１９０４を用いて応答し得る。ＰＣＩｅデバイスは、ワークロード応答カプセル１９０２を処理して、ＰＣＩｅバスを介してホストに送信されるＴＬＰを生成することができる。ワークロードパケット１９０３又はワークロードカプセル１９０１が受信されたという通知をサービスノードから最初に受信することなく、ＤＬＬＰ ＡＣＫはＰＣＩｅデバイスからホストに送信されることができる。ホストに設置されたＳｍａｒｔＮＩＣは、ホストに提供されるサービス及び機能を集約し得る。これらのサービス及び機能は、ホスト内のＳｍａｒｔＮＩＣ内に集約され得る。ＰＣＩｅデバイス６２０及び仮想化ＰＣＩｅ機能を実装するサービスノードは、ホスト内からこれらのサービス及び機能を分解することを提供する。

[00110] 図２０は、ある態様に係る、仮想化機能によって開始されたリクエストを点検することのハイレベル図である。サービスノードで実行される仮想化機能は、ホストによって処理されるべきリクエストを生成することができる。リクエストは、ワークロードリクエストカプセル２００１に配置されることができ、かつ、ワークロードリクエストパケット２００３でＰＣＩｅデバイス６２０に送信されることができる。ＰＣＩｅデバイス６２０は、ワークロードリクエストカプセルを処理して、ＰＣＩｅバスを介してホストに送信されるＴＬＰを生成することができる。ホストは、ＰＣＩｅバスを介してＴＬＰ内のＰＣＩｅデバイスに送信される応答を生成し得る。ＰＣＩｅデバイスは、ＴＬＰの受信に成功すると、ホストにすぐにＤＬＬＰ ＡＣＫを送信することができる。ＰＣＩｅデバイスは、ＴＬＰを使用してワークロード応答カプセル２０２を生成することができ、かつ、ワークロード応答パケット２００４でサービスノードにワークロード応答カプセル２０２を送信することができる。ＤＬＬＰ ＡＣＫは、ワークロードパケット２００４又はワークロードカプセル２００２が受信された通知をサービスノードから最初に受信することなく、ＰＣＩｅデバイスからホストに送信されることができる。

[00111] 図２１は、ある態様に係る、ハードウェア実装及びソフトウェア実装の仮想化機能を提供することのハイレベル図である。ＰＣＩｅデバイス６２０は、ワークロードから第１ＴＬＰ２１０１を受信することができる。第１ＴＬＰは、アドレス２１０２、ＴＬＰタイプ２１０３及びＴＬＰリクエスタ識別子２１０４を含み得る。ＰＣＩｅデバイスは、第１ＴＬＰを使用して第１ワークロードカプセル２１０５を生成することができる。ワークロードカプセル２１０５は、アドレスオフセット、リクエストタイプインジケータ２１０７及びリクエスト識別子を含み得る。アドレスオフセットは、アドレス２１０２と仮想化ＰＦ及びＶＦ２１０９のローカルベースアドレスとから計算されることができる。ＰＣＩｅ機能は、ホストのＩＯスペース内にベースアドレスを有し得る。したがって、ベースアドレスは、メモリ書き込み及び読み取りを使用してアクセス可能なＰＣＩｅ機能レジスタの開始位置を示し得る。アドレス２１０２は、ホストのＩＯスペース内の位置を示す。これにより、アドレス２１０２は、どのＰＣＩｅ機能がアクセスされているかと、ＰＣＩｅ機能内のどのメモリ位置がアクセスされているかと、を示す。ＰＣＩｅ機能のベースアドレスは、起動時にホストによって設定され得、かつ、起動ごとに変化し得る。したがって、アドレス２１０２は、サービスノードに対してほとんど又はまったく意味がない場合がある。代わりに、サービスノードは、アドレスオフセット及びＰＣＩｅ機能識別子を使用することができる。ＰＣＩｅ機能識別子とリクエストタイプインジケータ又はＰＣＩｅ機能インジケータとは、どのＰＣＩｅ機能がアクセスされているかと、ＰＣＩｅ機能内のどのメモリ位置がアクセスされていると、を示すことができる。多くの場合、アドレスオフセットは、アドレス２１０２からＰＣＩｅデバイスでアクセスされているＰＣＩｅ機能のベースアドレスを引いたものである。ＴＬＰタイプ２１０３が使用されて、リクエストタイプインジケータ２１０７を決定することができる。リクエスト識別子は、ワークロードカプセル又はワークロードパケットに一意に関連付けられた値であり得る。第１ＴＬＰがそのようなデータを含む場合、ワークロードカプセル又はパケットはまたＴＬＰデータ７１０（図７を参照）を含み得る。

[00112] サービスノード１０３は、第１ワークロードカプセルを受信し、かつ、アクセスされている仮想化ＰＣＩｅ機能を識別することができる。仮想化ＰＣＩｅ機能は、様々な方法でサービスノード１０３又はスマートスイッチ３０１で実装されることができる。仮想化ＰＣＩｅ機能はソフトウェアによって実装され得る。ソフトウェア実装の仮想化機能２１１４は、リクエストタイプインジケータ、アドレスオフセット及びＴＬＰデータ７１０を使用して、実行されるべき実行可能コード及びその実行可能コードに提供する入力を識別することができる。ＰＣＩｅ機能は、サービスノードがデバイスドライバ２１１３を介して相互作用するサービスノード内のハードウェアデバイス２１１５によって実装され得る。リクエストタイプインジケータ、アドレスオフセット及びＴＬＰデータ７１０（図７を参照）が使用されて、デバイスドライバを識別し得、かつ、デバイスドライバ２１１３に入力を提供し得る。サービスノード１０３は、ハードウェアデバイス２１１２のベースアドレスを記録することができる。ローカルアドレスマッピングへのアドレスオフセットは、アドレスオフセット２１０６及びローカルベースアドレス２１１２を使用して、ローカルデバイスにアクセスするローカルアドレス値を計算することができる。

[00113] さらに別のオプションは、仮想化ＰＣＩｅデバイスがハードウェアＰＣＩｅデバイス２１１５、２１２５によって実装されることである。例えば、ハードウェアデバイスは、スマートスイッチ内に設置されたハードウェアデバイス２１２５であり得る。サービスノードデバイスドライバ２１１３は、サービスノードＰＣＩｅバス２１１６及びスマートスイッチＰＣＩｅバス２１２４を介してハードウェアデバイス２１２５にアクセスし得る。サービスノードは、ハードウェアデバイス２１２５に第３ＴＬＰを送信することができる。第３ＴＬＰは、アドレスオフセット２１０６及びローカルハードウェアベースアドレス２１１２を使用して決定されたアドレス２１２１を含み得る。ＴＬＰタイプ２１２２は、第１ＴＬＰ２１０１のＴＬＰタイプ２１０３と同じである又はそれに基づき得る。ＴＬＰリクエスタＩＤ２１２３はサービスノード１０３を示すことができる。

[00114] サービスノード１０３は、ＰＣＩｅデバイス６２０にワークロードパケットを送信することができる。ワークロードパケットは、サービスノードから発信されたワークロードリクエストであり得る、又は、ワークロードリクエストに応答して送信されるワークロード応答であり得る。サービスノードの仮想化機能はワークロード応答を送信し得る。サービスノードから発信されたリクエストは、ホストから発信されたリクエストと似ている。応答は、応答されているリクエストを示すという点でわずかに異なる。サービスノードは、ＰＣＩｅデバイス６２０にワークロード応答パケット２１３０を送信することができる。第２ワークロードカプセル２１３２は、ワークロード応答パケット２１３０のワークロード応答ペイロード２３１１に含まれ得る。ワークロード応答カプセル２１３２は、リクエスト識別子２１０８及び応答タイプインジケータ２１４７を含み得る。応答タイプインジケータは、成功、失敗、第２ワークロードカプセル２１３２内のデータを含む書き込み、読み取り応答の確認などを示し得る。リクエスト識別子２１０８は、サービスノードに送信されたリクエストのそれと同じであり得る。第２ワークロードカプセルが使用されて、ワークロードに送信可能な第２ＴＬＰ２１４１を生成することができる。リクエスト識別子２１０８が使用されて、第２ＴＬＰに含めるＴＬＰリクエスタＩＤ２１０４を決定することができる。応答タイプインジケータ２１４７が使用されて、第２ＴＬＰに含めるＴＬＰタイプ２１４３を決定することができる。ＴＬＰコンプリータＩＤ２１４４は、仮想化ＰＣＩｅ機能、ＰＣＩｅデバイス６２０又はサービスノード１０３を示すことができる。

[00115] サービスノードは、アドレスオフセット２１０６、リクエストタイプインジケータ２１０７及びＬＴＰパケットヘッダデータを使用して、どの仮想化機能がアクセスされているかを決定し得る機能解釈及びマッピング２１１０を実装することができる。機能解釈及びマッピング２１１０は仮想化ＰＣＩｅ機能マップを使用し得る。

[00116] 図２２は、ある態様に係る、例示的な仮想化ＰＣＩｅ機能マップ２２０１の図である。仮想化ＰＣＩｅ機能マップの目的は、ＰＣＩｅデバイス上の仮想化ＰＣＩｅアクセス機能を、サービスノードによって提供される仮想化ＰＣＩｅ機能と関連付けることである。マッピングを実行するための特定の技術は実装に依存する。実装が異なれば、ＰＣＩｅデバイス、サービスノード又はその両方に、より多くの、より少ない又は異なるデータを格納し得る。特定の実装に関係なく、ＰＣＩｅデバイス上の仮想化ＰＣＩｅアクセス機能とサービスノードによって提供される仮想化ＰＣＩｅとの関連付けは、ワークロードパケットを適切に送信するために形成及び使用される。

[00117] 仮想化ＰＣＩｅ機能マップ２２０１は、ＰＣＩｅデバイス上の仮想化ＰＣＩｅアクセス機能とサービスノードによって提供される仮想化ＰＣＩｅ機能との間のマッピングに使用可能な仮想化ＰＣＩｅ機能マップエントリを有する。ホストコンピュータは、ＰＣＩｅデバイスによって実装されたＰＣＩｅ ＰＦ及びＶＦを介して仮想化ＰＣＩｅアクセス機能にアクセスすることができる。サービスノード及びＰＣＩｅデバイスはワークロードパケットを交換し、それによって、ホストコンピュータに仮想化ＰＣＩｅ機能を提供することができる。ワークロードパケットはＵＤＰ／ＬＴＰパケットであり得る。仮想化ＰＣＩｅ機能マップエントリは、ＰＣＩｅデバイス識別子２２０２、ＰＣＩｅ機能識別子２２０３、リクエストタイプインジケータ２２０４、オフセットアドレス２２０５、トランザクションエンドポイントノード識別子２２０６及びトランザクションエンドポイントタイプ２２０７を含み得る。ＰＣＩｅデバイス識別子２２０２は、ＰＣＩｅデバイスを識別することができ、かつ、ラベル、ＭＡＣアドレス、ＩＰアドレス又は他のインジケータであり得る。ＰＣＩｅ機能識別子２２０３は、ＰＣＩｅ ＰＦ又はＶＦを識別することができる。ＰＣＩｅ機能識別子２２０３は、グローバルに一意の番号／ラベルであり得る、又は、機能を実装するＰＣＩｅデバイス内でのみ一意の番号／ラベルであり得る。リクエストタイプインジケータ２２０４は、ＴＬＰリクエストタイプ又はある他の手法を使用して決定されることができる。オフセットアドレス２２０５が使用されて、仮想化ＰＣＩｅ機能のどの態様がアクセスされるかを決定することができる。例えば、１つのオフセットがクロック値の読み取り用であり得る一方で、異なるオフセットがタイムゾーンなどのクロックパラメータの読み取り用であり得る。トランザクションエンドポイントノード識別子２２０６は、サービスノード又は循環レプリケーションチェーンを示すことができる。例えば、トランザクションエンドポイントノード識別子２２０６は、サービスノードのＩＰアドレス又は循環レプリケーションチェーンのｖＩＰであり得る。トランザクションエンドポイントタイプ２２０７は、仮想化ＰＣＩｅ機能が、実行可能コードとして、スマートスイッチに設置されたグラフィックスプロセッシングユニット（ＧＰＵ）などのスイッチＰＣＩｅデバイスとして、又は、サービスノード内に実装される圧縮回路４１８（図４を参照）などのローカルデバイスとして実装される。

[00118] 図２３は、ある態様に係る、サービスノードによって使用されて、実行可能コードとして、サービスノード上のハードウェアを介して、又は、スマートスイッチに設置されたハードウェアを介して実装される仮想化ＰＣＩｅ機能を提供することができるプロセスのハイレベルフロー図である。開始後、ブロック２３０１で、プロセスはワークロードパケットを受信することができる。ブロック２３０２で、プロセスは、ワークロードパケットに含まれるワークロードカプセルを読み取ることができる。ある実装には、単一のワークロードカプセルに複数のワークロードカプセルが含まれ得る。明確にするため、追加のワークロードカプセルを処理するためのループを当業者が容易に実装可能であることの理解に基づいて、図示のプロセスは１つのワークロードカプセルを処理する。ブロック２３０３で、プロセスはワークロードカプセルのためのトランザクションエンドポイントを決定する。ブロック２３０４で、プロセスは、トランザクションエンドポイントのためのトランザクションエンドポイントハンドラに分岐することができる。実行可能コードは、ソフトウェア実装された仮想化ＰＣＩｅ機能のために分岐されることができる。ブロック２３０５で、プロセスは、コードを実行することによって結果を取得することができる。実行するための特定のコードは、仮想化ＰＣＩｅ機能マップを使用して決定され得る。実行可能コードのための入力値はワークロードカプセルから取得され得る。仮想化ＰＣＩｅ機能がサービスノードのハードウェアによって実装される場合、オンノードハードウェアデバイスが分岐され得る。ブロック２３０６で、プロセスは、オンノードハードウェアにアクセスするオンノードデバイスドライバを介して結果を取得することができる。デバイスドライバ又はハードウェアデバイスのための入力値はワークロードカプセルから取得され得る。仮想化ＰＣＩｅ機能が、スイッチ内のＰＣＩｅバスに取り付けられたハードウェアによって実装される場合、オンスイッチＰＣＩｅデバイスが分岐され得る。ブロック２３０７で、プロセスは新しいＴＬＰを形成することができる。元のＴＬＰ（例えば、図２１の第１ＴＬＰ２１０１）からの値は、ワークロードカプセルに含まれ得、かつ、ワークロードカプセルからコピーされ得る。ワークロードカプセルからの他の値は、新しいＴＬＰの生成を支援するために使用され得る。アドレスオフセットとローカルに格納されたベースアドレスレジスタのセットとが使用されて、新しいＴＬＰで使用するための正しいアドレスを決定することができる。ブロック２３０８で、新しいＴＬＰがスイッチのＰＣＩｅバスを介してハードウェアに送信されることができる。ブロック２３０９で、プロセスは、ハードウェアから応答ＴＬＰを受信することができる。ブロック２３１０で、プロセスは、応答ＴＬＰから結果を取得することができる。

[00119] 図１９～図２３は、サービスノード１０３及びＰＣＩｅデバイス６２０を使用して仮想化ＰＣＩｅ機能を提供する態様を示している。ＰＣＩｅデバイス６２０が仮想化ＰＣＩｅ機能アクセスポイントを提供することができる一方で、サービスノード１０３は仮想化ＰＣＩｅ機能を提供する。このような実装では、ホスト内からサービスノードへの特定の複雑でコストのかかる操作を分解することができる。機能をサービスノードに仮想化することで、これらの機能を提供するコストを削減し、かつ、保守、アップグレード及びスケーリングを向上させることができる。

[00120] 図１９～図２３を参照して上述したように、ＰＣＩｅ機能は、ＴＬＰを受信し、ＴＬＰを確認し、かつ、ＴＬＰに基づいてＬＴＰパケットを、スマートスイッチ内に配置可能なサービスノードに送信するＰＣＩｅデバイス６２０を使用して仮想化されることができる。仮想化ＰＣＩｅ機能の機能性はサービスノードを介して提供されることができる。したがって、サービスノードのサービス状態情報のチェーンレプリケーションを使用して高可用性のＰＣＩｅ機能が提供されることができる。このＰＣＩｅ機能の仮想化により、フル機能のＳｍａｒｔＮＩＣ又はホストに設置された他のハードウェアによってのみ提供された可能性のあるサービスが、専用のＮＩＣ、サービスノード及びスマートスイッチの組み合わせによって実装されることを可能にする。したがって、高度な機能は、各サーバについて、設備投資及び運用コストの効率が高い専用のＮＩＣによって、かつ、エネルギー効率の高い方法で、引き続きサポートされ、それによって、そうしたコンピューティングシステムの環境への影響を減らすことができる。

[00121] 図２４は、ある態様に係る、仮想化ＮＶＭｅサービスを使用するホスト開始不揮発性メモリエクスプレス（ＮＶＭｅ）トランザクションを示すハイレベル図である。ＰＣＩｅデバイス６２０は仮想化ＮＶＭｅアクセス機能６２２を実装することができる。仮想化ＮＶＭｅ機能６２２はＰＣＩｅ ＰＦ又はＶＦであり得る。ホスト２０１にとって、仮想化ＮＶＭｅアクセス機能６２２はＮＶＭｅコントローラのように見え得る。したがって、仮想化機能に特別なデバイスドライバを必要としないので、ワークロードはデフォルト又はプリインストールされたＮＶＭｅドライバを使用し得る。

[00122] ＮＶＭｅコントローラの挙動及びＰＣＩｅコントローラのためのＰＣＩｅレジスタレイアウトの詳細は、２０２１年２月２日にＮＶＭエクスプレスによって発行された書類「ＮＶＭエクスプレスマネジメントインタフェース、改訂１．１ｃ」（以下、ＮＶＭｅ仕様という）で特定される。ＮＶＭエクスプレスは、ＮＶＭｅハードウェア、ＮＶＭｅ通信及びＮＶＭｅプロトコルの基準決定機関である。したがって、ＮＶＭｅストレージの熟練者は、ＮＶＭｅコントローラの実装及び使用の態様並びにＮＶＭｅの他の態様に精通している。

[00123] 仮想化ＮＶＭｅアクセス機能６２２は、仮想化ＮＶＭｅ機能を実装するサービスノード１０３とワークロードパケットを交換することができる。サービスノードによって実装される仮想化ＮＶＭｅ機能は、ＮＶＭｅオーバーファブリック（ＮＶＭｅ－ｏＦ）プロトコルを使用してストレージエリアネットワーク（ＳＡＮ）にアクセスすることができる。ＮＶＭｅエクスプレスは、２０１９年１０月２２日に「ＮＶＭエクスプレスオーバーファブリック改訂１．１」（以下、ＮＶＭｅ－ｏＦ仕様という）を発行した。ＮＶＭｅ－ｏＦ仕様は、ＮＶＭｅ／ＴＣＰ、ＮＶＭｅオーバーファブリックチャネル（ＮＶＭｅ／ＦＣ）及びＮＶＭｅ／ＲＤＭＡなどのＮＶＭｅ－ｏＦインタフェースを実装するストレージエリアネットワーク（ＳＡＮ）にアクセスして使用するプロトコル及び要件を列挙して特定する。したがって、ストレージエリアネットワークの熟練者は、ＮＶＭｅコントローラの実装及び使用の態様、ＮＶＭｅ－ｏＦの実装及び使用、並びに、ＮＶＭｅの他の態様に精通している。

[00124] ワークロード２４０１は、送信キューエントリＳＱＥを送信キュー（ＳＱ）２４０３に配置することによってＮＶＭｅトランザクションを開始することができる。ＰＣＩｅデバイス６２０は、仮想化ＮＶＭｅアクセス機能を実装することができ、かつ、例えば、ＰＣＩｅデバイス６２０のドアベルレジスタに値を書き込むことによってＳＱＥを通知され得る。仮想化ＮＶＭｅアクセス機能６２２は、ＳＱからＳＱＥを取得し、それらを処理して、第１ＬＴＰパケット２４１１などのワークロードパケットを生成することができる。ＳＱＥのフォーマットはＮＶＭｅ仕様によって定義される。ＳＱＥは、コマンド識別子、操作コード（ｏｐｃｏｄｅ）、仮想名前空間識別子（ｖＮＳＩＤ）、コマンドパラメータ及びバッファアドレスを含み得る。ＮＶＭｅコントローラは名前空間識別子（ＮＳＩＤ）を予期する。ＮＳＩＤは物理デバイス上のブロックストレージを識別する。仮想化ＮＶＭｅアクセス機能はｖＮＳＩＤをＮＳＩＤとして使用することができる。ｖＮＳＩＤは、ＰＣＩｅデバイスがブロックストレージを識別するために使用する値であり得るが、ＳＡＮが使用するＮＳＩＤにマップされなければならない。サービスノードはｖＮＳＩＤを使用して、ＳＡＮ上のブロックストレージを識別するＮＳＩＤを識別する。したがって、サービスノードはｖＮＳＩＤとＮＳＩＤとの間のマッピングを使用して、ワークロード２４０１とＳＡＮとの間の接続（ＮＶＭｅスプライス）をともにスプライスし得る。したがって、ｖＮＳＩＤはＮＶＭｅスプライスを示し得る。

[00125] 仮想化ＮＶＭｅアクセス機能６２２は、ＳＱＥ２４０５を使用して、第１ＬＴＰパケット２４１１などのワークロードパケットを生成することができる。第１ＬＴＰパケット２４１１は、ＰＣＩｅデバイス識別子、ＰＣＩｅ機能識別子、ＰＣＩｅデバイスシーケンス番号、ＰＣＩｅデバイスリクエスト識別子、機能タイプ、コマンド識別子、ｏｐｃｏｒｄ、ｖＮＳＩＤ、コマンドパラメータを含み得、かつ、データを含み得る。第１ＬＴＰパケット２４１１、図５に示すＬＴＰパケット５２０及びＳＱＥ２４０５を比較すると、第１ＬＴＰパケットはＬＴＰパケットであり得、ワークロードカプセルがＮＶＭｅカプセルであることが観察され得る。ＰＣＩｅデバイス識別子及び機能識別子が使用されて、特定のＰＣＩｅデバイス及びそのＰＣＩｅデバイスによって実装される機能を識別することができる。機能タイプは、ワークロードカプセルがＮＶＭｅカプセルであることを示す。ＰＣＩｅデバイスシーケンス番号が使用されて、ＬＴＰパケットが再送信されることができるようにＬＴＰパケットが失われたと決定することができる。ＰＣＩｅリクエスト識別子が使用されて、応答がＰＣＩｅデバイスリクエスト識別子を介してリクエストに関連付けられることができるようにリクエストがサービスノードに送信されることを識別することができる。コマンド識別子、ｏｐｃｏｒｄ、ｖＮＳＩＤ及びコマンドパラメータはＳＱＥ２４０５のものと同じであり得る。ＳＱＥ２４０５には、ストレージに転送されるべきデータを参照し得るバッファアドレスを包含する。データは、存在する場合、ホストから第１ＬＴＰパケット２４１１にコピーされ得る。

[00126] サービスノード１０３は第１ＬＴＰパケット２４１１を処理することができる。サービスノードは、ＮＶＭｅ－ｏＦプロトコルのうちの１つを介してＳＡＮとの接続を確立することができる。したがって、サービスノードは、ＬＴＰパケットからのデータを、ＳＡＮがある名前空間に書き込むことができ、かつ、ＳＡＮがある名前空間からデータを読み取ることができる。ＬＴＰにＮＶＭｅ書き込みリクエスト及びデータが含まれている場合、サービスノードは、ＮＶＭｅ－ｏＦを介してＳＡＮにデータを書き込むことができる。ＬＴＰリクエストにＮＶＭｅ読み取りリクエストが含まれている場合、サービスノードは、ＮＶＭｅ－ｏＦを介してリクエストされたデータを、フェッチし、かつ、読み取り応答又は書き込みリクエストとして仮想化ＮＶＭｅアクセス機能に送信することができる。

[00127] サービスノード１０３は、ＰＣＩｅデバイス６２０に第２ＬＴＰパケット２４１２を送信することができる。第２ＬＴＰパケットは、ＰＣＩｅ機能識別子、ＰＣＩｅデバイスシーケンス番号、ＰＣＩｅデバイスリクエスト識別子、機能タイプ、コマンド識別子、ｏｐｃｏｒｄ、ｖＮＳＩＤ、コマンドパラメータを含み得、かつ、データを含み得る。パケットが特定のＰＣＩｅデバイスに送信されることができ、及びしたがって、ＰＣＩｅデバイス識別子が必要とされない場合があるので、第２ＬＴＰパケット２４１２はＰＣＩｅデバイス識別子なしで示されている。第２ＬＴＰパケット２４１２は、サービスノードからＰＣＩｅデバイスへのＬＴＰパケットの信頼性の高い配信を確実にすることを支援するために使用され得るサービスノードシーケンス識別子を含み得る。通信ネットワークの熟練者は、シーケンス番号を使用して信頼性の高い配信を確実にすることに精通している。第２ＬＴＰパケット２４１２を完了キュー要素（ＣＱＥ）２４０６と比較すると、第２ＬＴＰパケット２４１２は、ＣＱＥを含むＮＶＭｅカプセルを伝送するＬＴＰパケットであることが分かる。ＣＱＥのコンテンツ及びフォーマットはＮＶＭｅ仕様で指定されている。第２ＬＴＰパケット２４１２は、ＰＣＩｅデバイスリクエスト識別子を含むように示されているので、第２ＬＴＰパケットは、そのＰＣＩｅデバイスリクエスト識別子を有するリクエストに応答する。コマンド識別子及びＬＴＰパケットの他のデータは、第２ＬＴＰパケット２４１２が応答であることを示し得る。ＰＣＩｅデバイス６２０は、第２ＬＴＰパケット２４１２を受信し、かつ、それを使用してＣＱＥ２４０６を生成することができる。ＣＱＥ２４０６は、その後、ＳＱに関連付けられたＮＶＭｅ完了キュー（ＣＱ）に配置されることができる。ＮＶＭｅドライバは、ＣＱＥを使用して、ＳＱＥの結果を決定することができる。

[00128] 図２５は、ある態様に係る、仮想化ＮＶＭｅサービスを提供するサービスノードのハイレベル図である。図２４は、ＰＣＩｅデバイスを中心とする表示を提供した一方で、図２５は、サービスノードを中心とする表示を提供する。サービスノード１０３は第１ＬＴＰパケット２４１１を受信することができる。機能タイプは、ＬＴＰがＮＶＭｅカプセルを伝送することを示している。サービスノード１０３は、ＬＴＰパケットコンテンツのＰＣＩｅデバイス識別子及びｖＮＳＩＤ、並びに、名前空間マップ２５０１を使用して、特定のＳＡＮ、ＳＡＮのタイプ、及びそのＳＡＮがあるストレージのブロックの識別子を識別することができる。名前空間マップエントリは、名前空間マッピングを示し、かつ、ＰＣＩｅデバイス識別子、ｖＮＳＩＤ、ＳＡＮタイプ２５０２、ＳＡＮ識別子２５０３及びＳＡＮ特定ストレージ識別子２５０４を含み得る。サービスノード１０３は、サービスノードストレージインタフェース２５０５を使用して、様々なトランスポート及びトランスポートプロトコルを使用してＳＡＮにアクセスすることができ、それらの多くが図示されている。図示したトランスポートプロトコルは、ＮＶＭｅ／ＦＣ、ファイバチャネル（ＦＣ）、ファイバチャネルオーバーイーサネット（ＦＣｏＥ）、ＮＶＭｅ／ＴＣＰ、ＮＶＭｅ／ＲＤＭＡ、ＲＤＭＡ及びＲＯＣＥｖ２を含む。これらのトランスポートプロトコルの各々は、当技術分野でよく知られており、オープンソースソフトウェアを含むソフトウェアはこれらのトランスポートプロトコルを実装するために利用可能である。図示したトランスポートは、ファイバチャネル、イーサネット及びインフィニバンドである。ファイバチャネル又はイーサネットは、ファイバチャネル／ＦＣｏＥ対応のＳＡＮ２５０６にアクセスするために使用され得る。イーサネット又はインフィニバンドは、ＲＤＭＡ／ＲＯＣＥｖ２対応のＳＡＮ２５１０にアクセスするために使用され得る。イーサネットは、ＮＶＭｅ／ＴＣＰ対応のＳＡＮにアクセスするために使用され得る。これらのトランスポートの各々は当技術分野でよく知られており、広く利用可能である。サービスノード１０３は、他のトランスポート及びトランスポートプロトコルを使用し得る。ＳＡＮタイプ２５０２は、ＳＡＮ識別子２５０３によって識別されるＳＡＮにアクセスするために使用するトランスポート及びトランスポートプロトコルを示し得る。ＳＡＮは、ストレージの様々なブロックへのアクセスを提供することができ、かつ、ＳＡＮ固有のストレージ識別子を使用してストレージのブロックを識別することができる。例えば、ＮＶＭｅは、ストレージのそれらのブロックを名前空間として参照し、かつ、ストレージのブロックを識別するために名前空間識別子（ＮＳＩＤ）を使用する。

[00129] ＳＡＮ、ＳＡＮタイプ、及びＳＡＮ内のストレージブロックを識別するためにＰＣＩｅデバイス識別子及びｖＮＳＩＤを使用すると、サービスノードはＳＡＮにアクセスして、ストレージブロックからデータを読み取る又はストレージブロックにデータを書き込むことができる。名前空間マップ２５０１の第１名前空間マッピングを使用すると、識別されたＳＡＮは、ＮＶＭｅ／ＴＣＰ対応のＳＡＮ２５０９であり得、かつ、ストレージブロックはＮＳＩＤ「ＮＳＩＤ１」を有し得る（ここでは明確にするために「ＮＳＩＤ１」が使用される。実際のＮＳＩＤは、ＮＶＭｅ仕様及びＮＶＭｅ－ｏＦ仕様に従って異なるフォーマットを有する。）。サービスノードは、ＩＰアドレス「コントローラＩＰ」を有するＮＶＭｅ／ＴＣＰ対応ＳＡＮ２５０９に第１ＮＶＭｅ／ＴＣＰパケット２５０７を送信することができる。第１ＮＶＭｅ／ＴＣＰパケット２５０７はＮＶＭｅリクエストカプセル２５０８を含み得る。ＮＶＭｅ／ＴＣＰリクエストカプセル及び応答カプセルのフォーマット及びコンテンツは、ＮＶＭｅ仕様及びＮＶＭｅ－ｏＦ仕様で特定される。ＮＶＭｅリクエストカプセル２５０８はＳＱＥ２５２０を含む。ＳＡＮに送信されるＳＱＥ２５２０は、ワークロードに送信されるＳＱＥ２４０５と同じではない。ＳＡＮ２５０９に送信されるＳＱＥ２５２０は、ＳＡＮ２５０９がストレージブロックを識別するために使用可能なＮＳＩＤ「ＮＳＩＤ１」を有する。ＳＡＮ２５０９に送信されるＳＱＥ２５２０のコマンド識別子は、サービスノードとＳＡＮとの間のトランザクションを識別するコマンド識別子を有する。ホスト２０１によって送信されたＳＱＥ２４０５は、ホスト２０１とＰＣＩｅデバイス６２０との間のトランザクションを識別する。ＰＣＩｅデバイス６２０は、ホスト２０１とＰＣＩｅデバイスと間のトランザクションのためのコマンド識別子に関連付けられたＰＣＩｅデバイスリクエスト識別子を格納することができる。サービスノード１０３は、サービスノード１０３とＳＡＮ２５０９との間のトランザクションのためのコマンド識別子に関連付けてＰＣＩｅデバイスリクエスト識別子を格納することができる。したがって、２つのトランザクションは、ＬＴＰパケット２４１１、２４１２及びＰＣＩｅデバイスリクエスト識別子を介してともにスプライスされ得る。

[00130] ＳＡＮ２５０９は、サービスノードに第２ＮＶＭｅ／ＴＣＰパケット２５１１を送信することができる。第２ＮＶＭｅ／ＴＣＰパケット２５１１は、第１ＮＶＭｅ／ＴＣＰパケット２５０７に応答する。第２ＮＶＭｅ／ＴＣＰパケット２５１１は、ＣＱＥ２５２１を含み得るＮＶＭｅ応答カプセル２５１２を含み得る。ＣＱＥ２５２１のコマンド識別子は、ＣＱＥがＳＱＥに応答するときのＳＱＥ２５２０のコマンド識別子と同じである。ＳＱＥ２５２０が読み取りリクエストである場合、ＮＶＭｅ応答カプセル２５１２は、リクエストされたデータを含み得る。ＳＱＥ２５２０が書き込みリクエストである場合、ＮＶＭｅ応答カプセル２５１２は、書き込みリクエストの成功又は失敗を示すことができる。ＮＶＭｅ－ｏＦ仕様は、ＮＶＭｅリクエストカプセル及びＮＶＭｅ応答カプセルなどのＮＶＭｅカプセルのコンテンツ及びフォーマットを特定する。サービスノードは、第２ＬＴＰパケット２４１２を生成するためにＮＶＭｅ応答カプセル２５１２を使用し得る。

[00131] 図２６は、ある態様に係る、仮想化ＮＶＭｅサービスを提供する循環レプリケーションチェーン９０８（図９を参照）のサービスノードのハイレベル図である。第１ＵＤＰ／ＬＴＰパケット２６０１は、循環レプリケーションチェーンのｖＩＰである宛先ＩＰを有し得る。ロードバランサ９０７は、第１ＬＴＰ／ＵＤＰパケット２６０２を受信し、かつ、選択されたサービスノード９１０にそれを送信することができる。選択されたサービスノードのサービス状態情報９１１は、名前空間マップ２５０１などのＮＶＭｅスプライシングデータ２６０５を含み得る。第１ＬＴＰ／ＵＤＰパケット２６０１を受信すると、選択されたサービスノードは、名前空間マップ２５０１に新しい名前空間マップエントリ２６０４を作成し得る、又は、ある他の方法でサービス状態情報９１１を変更し得る。したがって、サービス状態情報９１１が変化し、選択されたサービスノード９１０は、そのダウンストリームピアに同期パケット２６０６を送信する。最終的に、サービスノードのアップストリームピアは、選択されたサービスノードに新しい名前空間マップエントリ２６０４を送信することができる。

[00132] 図２７は、ある態様に係る、ＰＣＩｅデバイスによって格納され得る例示的なサービスノードデータ２４０７を示す図である。サービスノードデータ２４０７は、サービスアドレス２４０８を含み得、かつ、名前空間マップ２４０９を含み得る。サービスアドレスは、仮想化ＮＶＭｅサービスを提供し得るサービスノード又は循環レプリケーションチェーンを示し得る。名前空間マップ２４０９は、サービスノードによって提供され得る。サービスノードデータは、識別子マップ２４１０をリクエストするためのコマンド識別子を含み得る。識別子マップ２４１０をリクエストするためのコマンド識別子のエントリは、コマンド識別子、リクエスト識別子、送信キューヘッドポインタ及びバッファアドレスを関連付けることができる。コマンド識別子、送信キューヘッドポインタ及びバッファアドレスは、ホストによって送信されたＳＱＥから取得されることができる。リクエスト識別子（例えば、ＬＴＰパケット２４１１、２４１２のＰＣＩｅデバイスリクエスト識別子）は、ＰＣＩｅデバイス６２０とサービスノード１０３との間のトランザクションを識別することができる。

[00133] 図２８は、ある態様に係る、識別子マップ２８０１をリクエストするための例示的なコマンド識別子を示す図である。識別子マップ２８０１をリクエストするためのコマンド識別子は、ＰＣＩｅデバイス識別子、ＰＣＩｅ機能識別子、コマンド識別子（ホストＳＱＥから）、リクエスト識別子、別のコマンド識別子（ＳＱＥからＳＡＮ）、送信キューヘッドポイント（ホストＳＱＥから）及びバッファアドレス（ホストＳＱＥから）を関連付けるエントリを有し得る。「ホストＳＱＥから」という注釈の付いたエントリフィールドが、それらの値がＬＴＰパケットに含まれてサービスノードに格納される実装に含まれ得る。このような実装では、サービスノードからＰＣＩｅデバイスに送信されるＬＴＰパケットは、ＣＱＥを生成するためにＰＣＩｅデバイスに必要なすべての情報を含み得る。

[00134] 図２９Ａ、図２９Ｂ及び図２９Ｃは、ある態様に係る、ストレージエリアネットワーク（ＳＡＮ）への高可用性アクセスを提供することのハイレベル図である。

[00135] 図２９Ａは、ある態様に係る、永続ストレージに高可用性を提供するためのストレージレプリケーションチェーン２９０４及び２つのスマートスイッチを使用することのハイレベル図である。永続ストレージは、ＳＡＮ Ａ２９０２を介してアクセスされることができる。ＰＣＩｅデバイス６２０は、２つのポートを有し、かつ、ストレージレプリケーションチェーン２９０４を介してＳＡＮ Ａ２９０２にアクセスするためのポートのうちの１つを使用することができる。ストレージレプリケーションチェーン２９０４は、第１スマートスイッチ１４０２及び第２スマートスイッチ１４０３にあるサービスノード１０３を含む。したがって、サーバ１０４は、障害、保守、アップグレードなどのためにスマートスイッチのうちの１つが機能していない場合、サーバ１０４はＳＡＮ Ａ２９０２にアクセスすることができる。ソフトウェア定義ネットワーク（ＳＤＮ）レプリケーションチェーン２９０５は、第１スマートスイッチ１４０２にあり、かつ、第２スマートスイッチ１４０３にあるサービスノード１０３も含み得る。ＳＤＮレプリケーションチェーンのサービスノードは、ＮＡＴ、ファイアウォール、ＴＣＰ及びＵＤＰパケットの処理などのＳＤＮサービスを提供することができる。単一のサービスノードが、ストレージレプリケーションチェーン、ＳＤＮレプリケーションチェーン、仮想化ＰＣＩサービス及び機能を提供するレプリケーションチェーンなどの多数のレプリケーションチェーン内に構成され得る。

[00136] 図２９Ｂは、ある態様に係る、永続ストレージに高可用性を提供するためにサービスノード１０３及び２つのスマートスイッチを使用することのハイレベル図である。複数のＳＡＮ又はＳＡＮアクセスノードが、データへの高可用性アクセスを提供するように構成され得る。例えば、ＳＡＮ Ａ及びＳＡＮ Ｂは、永続ストレージ内の名前空間へのアクセスを提供し得る。名前空間自体は、ＳＡＮ Ａ２９０２又はＳＡＮ Ｂ２９０３を介してアクセスされたときに名前空間内のデータが一貫するように、何らかの方法でミラーリング又は複製され得る。ＳＡＮの熟練者は、名前空間への一貫したアクセスの提供に精通している。ＰＣＩｅデバイス６２０は２つのポートを有する。サーバ１０４は、ＰＣＩｅデバイスポートのうちの１つを使用して、第１スマートスイッチ１４０２のサービスノード１０３を介してＳＡＮ Ａ２９０２にアクセスすることができる。サーバ１０４は、ＰＣＩｅデバイスポートのうちの別の１つを使用して、第２スマートスイッチ１４０３のサービスノード１０３を介してＳＡＮ Ｂ２９０３にアクセスすることができる。したがって、スマートスイッチのうちの１つが機能していない場合でも、サーバは名前空間へのアクセスを依然として有している。ＰＣＩｅデバイス６２０は、ＮＶＭｅバランシングポリシー２９０１を有し得る。例えば、ＰＣＩｅデバイスは、ＬＴＰパケットが第１スマートスイッチ１４０２などのアクティブスマートスイッチに送信されるアクティブ－パッシブバランシングポリシーを使用することができる。他のスマートスイッチ、スタンバイ又はバックアップのスマートスイッチが、アイドル状態である、又は、他のデバイスの他のトラフィックを処理し得る。アクティブスマートスイッチに障害が発生する又はアクティブスマートスイッチのサービスが停止すると、その後、パッシブスマートスイッチがアクティブスマートスイッチになり得る。高可用性のネットワーキングの熟練者は、アクティブ－パッシブバランシングポリシー及びアクティブ－アクティブなどの他の多くのバランシングポリシーに精通している。

[00137] 図２９Ｃは、ある態様に係る、永続ストレージへの高可用性アクセスを提供するために複数のレプリケーションチェーンを使用することのハイレベル図である。第１スマートスイッチ１４０２及び第２スマートスイッチ１４０３はサービスノード１０３を含む。第１レプリケーションチェーン１４０４は両方のスマートスイッチのサービスノードを含む。第２レプリケーションチェーン１４０５も両方のスマートスイッチのサービスノードを含む。ＰＣＩｅデバイス６２０はＮＶＭｅバランシングポリシー２９０１を有し得る。例えば、ＰＣＩｅデバイスは、ＬＴＰパケットが、アクティブレプリケーションチェーンと呼ばれるレプリケーションチェーンのうちの１つに送信される、アクティブ－パッシブバランシングポリシーを使用することができる。他のレプリケーションチェーン、スタンバイ又はバックアップレプリケーションチェーンは、アイドル状態である、又は、他のデバイスのための他のトラフィックを処理し得る。アクティブチェーンに障害が発生した場合、パッシブレプリケーションチェーンはアクティブレプリケーションチェーンになり得る。高可用性ネットワーキングの熟練者は、アクティブ－パッシブバランシングポリシー及び他の多くのバランシングポリシーに精通している。ＳＡＮは多数のアクセスノードを有するのが一般的である。第１レプリケーションチェーン１４０４はＳＡＮ Ａ２９０２ ２９０２に接続されている。第２レプリケーションチェーン１４０５はＳＡＮ Ｂ２９０３に接続されている。

[00138] 図２４～図２９Ｃは、サービスノード１０３及びＰＣＩｅデバイス６２０を使用して仮想化ＮＶＭｅサービス及び機能を提供する態様を示している。ＰＣＩｅデバイス６２０は、仮想化ＮＶＭｅサービス及び機能アクセスポイントを提供することができる一方で、サービスノード１０３は仮想化ＮＶＭｅサービス及び機能を提供する。このような実装は、特定の複雑で費用のかかる操作をホスト内からサービスノードに分解することができる。例えば、ＮＶＭｅ／ＴＣＰはＳｍａｒｔＮＩＣでかなりのリソースを消費する。ＮＶＭｅ／ＴＣＰのリソース消費の側面をサービスノードに移動すると、ＰＣＩｅデバイス６２０を簡素化することができる一方で、ＮＶＭｅ／ＴＣＰ機能を依然として提供する。サービスノードに対する機能を仮想化すると、それらの機能を提供するコストを削減することができ、かつ、保守、アップグレード及びスケーリングを向上させることができる。

[00139] 図２４～図２９Ｃを参照して上述したように、ＮＶＭｅサービス及び機能は、ホスト上のＳＱからＳＱＥを読み取り、かつ、ＳＱＥに基づいてＬＴＰリクエストパケットを、スマートスイッチ内に配置可能なサービスノードに送信するＰＣＩｅデバイス６２０を使用して仮想化されることができる。サービスノードは、ホストに代わってＳＡＮとのトランザクションを実行することができ、かつ、トランザクション結果をＬＴＰ応答パケットでＰＣＩｅデバイスに送信することができる。ＰＣＩｅデバイスは、ＬＴＰ応答パケットに基づいてＣＱＥを生成し、かつ、ＳＱに関連付けられているホスト上のＣＱにＣＱＥをエンキューすることができる。ＳＡＮによって開始されたトランザクションは、ホストからの読み取り又はホストへの書き込みのための同様のプロトコルに従うことができる。サービスノードのサービス状態情報のチェーンレプリケーションを使用して、高可用性ＮＶＭｅサービス及び機能が提供されることができる。複製又はミラーリングされたＳＡＮに各々が接続されている複数のスマートスイッチを使用して高可用性が提供されることもできる。このＮＶＭｅ機能の仮想化により、フル機能のＳｍａｒｔＮＩＣによってのみ提供されていた可能性のあるサービスが、専用のＮＩＣ及びサービスノードの組み合わせによって実装されることを可能にする。したがって、高度な機能は、各サーバについて、設備投資及び運用コストの効率が高い専用のＮＩＣによって、かつ、エネルギー効率の高い方法で、引き続きサポートされ、それによって、そうしたコンピューティングシステムの環境への影響を減らすことができる。

[00140] 図３０は、ある態様に係る、パケット処理サービスを提供する循環レプリケーションチェーンのサービスノードのハイレベル図である。サービスノードは、ネットワークトラフィックフローに対してルーティング、スイッチング、ファイアウォールなどのネットワークサービスを提供し得る。したがって、サービスノードは、ローカルフローテーブル３０２０及びローカルセッションテーブル３０２１を有し得る。コンピュータスイッチング及びルーティングハードウェアの熟練者はフローテーブル及びセッションテーブルに精通している。フローテーブルは、パケットに適用されることとなる特定の処理を識別するために使用されることができる。サービスノードは、パケットを受信すると、パケットのヘッダ情報（例えば、送信元ＩＰ、送信元ポート、宛先ＩＰ、宛先ポート及びプロトコルのパケット５タプル）を使用してフロー識別子を計算することができる。その後、サービスノードは、そのフロー識別子を有するエントリについてフローテーブルをチェックすることができる。「フローミス」は、フローテーブルがそのようなエントリを有していない場合に発生する。「フローヒット」は、フローテーブルがそのフロー識別子のためのエントリを有する場合に発生する。フローヒットの場合、サービスノードは、フローテーブルエントリの指示に従ってパケットを処理する。フローミスの場合、サービスノードは、パケットの処理方法を決定し、かつ、パケットについてフローテーブルに新しいエントリを作成することができる。セッションは通常、順方向フロー及び逆方向フローの２つのフローから構成される。両方のフローがフローテーブルエントリを有し得る。セッションテーブルは、サービスノードによって処理されているアクティブセッションについてのエントリを有し得る。セッションテーブルは、セッションの状態を追跡するために使用されることができる。

[00141] サービスノードのサービス状態情報９１１は、ローカルフローテーブル３０２０及びローカルセッションテーブル３０２１を含み得る。フローミスが発生した場合、新しいフローテーブルエントリが作成されることができ、かつ、フロー同期パケット３００７が、循環レプリケーションチェーン９０８のダウンストリームピアに送信されることができる。フロー同期パケットは、フローミスを引き起こしたパケット全体を含み得る、又は、新しいフローのためのフローテーブルエントリを生成するために使用可能なパケットヘッダ情報３００４のみを含み得る。異なるサービスノードのフローテーブルは、フローテーブルの実装の詳細によって同一になる可能性は低い。したがって、各ピアは、フローテーブルレプリケーションのためにパケットヘッダ情報３００４を使用し得る。フロー同期パケットを作成するサービスノードは、フロー同期パケットをそのダウンストリームピアに送信することができ、かつ、後でそのアップストリームピアからフロー同期パケット３００３でパケットヘッダ情報を受信し得る。

[00142] セッションテーブルはセッションの状態を追跡することができる。例えば、悪名高くも有名なＴＣＰプロトコルは、様々な状態（例えば、ＬＩＳＴＥＮ、ＳＹＮ－ＳＥＮＴ、ＳＹＮ－ＲＥＣＥＩＶＥＤ、ＥＳＴＡＢＬＩＳＨＥＤ、ＦＩＮ－ＷＡＩＴ－１、ＦＩＮ－ＷＡＩＴ－２、ＣＬＯＳＥ－ＷＡＩＴ、ＣＬＯＳＩＮＧ、ＬＡＳＴ－ＡＣＫ及びＴＩＭＥ－ＷＡＩＴなど）であり得るセッションを有する。サービスノードは、セッションが状態を変化させた場合、すなわち、セッション変化時、そのダウンストリームピアにセッション同期パケット３００９を送信することができる。セッション同期パケット３００９は、セッションの新しい状態を示すセッション状態インジケータ３００６を含み得る。したがって、各ピアは、セッション状態インジケータ３００６を使用して、セッションテーブルを複製し得る。セッション同期パケットを作成するサービスノードは、そのダウンストリームピアにセッション同期パケットを送信することができ、かつ、後でそのアップストリームピアからセッション同期パケット３００５で同じセッション状態インジケータ３００６を受信し得る。

[00143] 内部デバイス３００１（ローカルネットワーク上のホスト及びＰＣＩｅデバイス）からのＴＣＰ及びＵＤＰパケットはロードバランサ９０７によって受信されることができる。外部デバイス３００２（パブリックネットワーク上のホスト及びＰＣＩｅデバイス）からのＴＣＰ及びＵＤＰパケットもロードバランサ９０７によって受信されることができる。ロードバランサ９０７は、パケットごとに選択されたサービスノード９１０を選択する。パケットが、選択されたサービスノードのサービス状態情報９１１に変化をもたらす場合、その後、選択されたサービスノードは、そのダウンストリームピアにフロー同期パケット又はセッション同期パケットを送信し得る。選択されたサービスノードは、パケットを処理し、その後、その宛先にそのパケットを送信することができる。したがって、サービスノードはＴＣＰ及びＵＤＰパケットを内部デバイス３０１１に送信し、かつ、ＴＣＰ及びＵＤＰパケットを外部デバイス３０１２に送信することができる。

[00144] ネットワークトラフィックフローの性質により、サービスノードは、すべてのピアが循環レプリケーションチェーンを通じて関連のフロー同期パケット３００３又は関連のセッション同期パケット３００５を転送するのを待たずに、パケットを処理し得る。２つのピアは、新しいフローのためのパケットを受信し、フロー同期パケットを作成し、かつ、新しいフローのためのパケットを処理することができる。既知のフローのためのフロー同期パケットを受信すると、ピアは、フロー同期パケットをドロップし得る、又は、レプリケーションチェーンにそれを転送し得る。ネットワークトラフィックは引き続き適切に処理される。同じ観察がセッション同期パケット及びセッションテーブルエントリに当てはまる。

[00145] 図３１は、ある態様に係る、フローテーブルエントリ及びセッションテーブルエントリを追加することのハイレベル図である。ＴＣＰ又はＵＤＰパケットのパケットヘッダ情報３１０１が使用されてフロー識別子を計算することができる。フローミスによれば、新しいフローテーブルエントリが作成されてローカルフローテーブル３０２０に格納され、パケットヘッダ情報３１０１がフロー同期パケット３１０４でダウンストリームピアに送信され、かつ、新しいセッションテーブルエントリ３１０５が作成される。セッションテーブルアップデータ３１０６は、新しいセッションテーブルエントリをローカルセッションテーブル３０２１に格納し、かつ、ダウンストリームピアにセッション同期パケットを送信することができる。セッション同期パケットは、ピアサービスノードが適切な接触テーブルエントリを追加することができるように、パケット全体又はパケットヘッダ情報３１０１を含み得る。新しいセッションのためのセッション状態変更インジケータは、それが新しいセッションであることを示すことができる。フローヒットによってローカルフローテーブル３０２０が変更されることはないが、関連付けられたパケットを処理すると、セッション状態の変化が引き起こされ得る。セッション状態が変更された場合、ローカルセッションテーブルが更新されて、セッション同期パケットをピアノードに送信されることができる。

[00146] 図３２は、ある態様に係る、セッションテーブル情報を集約することのハイレベル図である。セッション状態テーブルは、逆方向フローのパケット数及び順方向フローのパケット数などのフローの統計を保持するためにしばしば使用される。統計が更新されてもセッション状態は変更されない場合がある。したがって、各サービスノードは、サービスノードが処理したそれらのパケットの統計のみを有する。したがって、集約されたセッションテーブル３２０２を有するアグリゲータ３２０１が、循環レプリケーションチェーンによって処理されたすべてのパケットに基づく統計を有するように、統計が集約され得る。収集可能な統計は、パケットカウント、バイトカウント、無効なパケット数などを含み得る。集約された統計は、ネットワーク（ローカル及びパブリックの両方）、ワークロード、サービスノード、ＰＣＩｅデバイス、ＳＡＮ及び他のデバイスのパフォーマンスを監視するために使用されることができる。

[00147] 図３３は、ある態様に係る、ネットワークトラフィックを処理するため、かつ、フローテーブル及びセッションテーブル３３００のチェーンレプリケーションのため、サービスノードによって使用可能なプロセスのハイレベルフロー図である。開始後、ブロック３３０１で、パケットが受信される。ブロック３３０２で、フロー識別子が、パケットのヘッダ情報から計算されることができる。ブロック３３０３で、フローテーブルは、フロー識別子を有するエントリについてチェックされることができる。決定点３３０４で、プロセスは、マッチングフローテーブルエントリ（フローヒット又はフローミス）があるかどうかをチェックする。フローミスがない場合、その後、ブロック３３０５で、パケットが処理されることができる。ブロック３３０５で、パケットは、すぐにその宛先に転送され得る、又は、レプリケーションを待つ間、遅延され得る。例えば、セッションはたいてい順方向フロー及び逆方向フローを含む。サービスノードは、順方向フローが新しいセッションを開始することを許容する一方で、逆方向フローが新しいセッションを開始することを許容されないように構成されることができる。順方向フローは、内部ネットワークから外部ネットワークへ流れるパケットであり得る。逆方向フローは、外部ネットワークから内部ネットワークへ流れるパケットであり得る。したがって、逆方向フローパケットが受信される前に、サービスノードのすべてが新しいセッションのためのフローテーブルエントリを有する必要であり、そうでないと、サービスノードは、新しいセッションのための逆方向フローパケットをドロップし得る。逆方向フローが新しいセッションの確立を許容されている場合、その後、パケットはすぐに転送され得る。

[00148] ブロック３３０６で、セッションテーブルが更新されることができる。決定点３３０７で、プロセスは、セッション状態の変化があるかどうかを決定する。変化がない場合、プロセスが完了する。変化がある場合、ブロック３３０８で、セッション同期パケットが作成される。ブロック３３０９で、セッション同期パケットは、プロセスが完了する前にダウンストリームピアに送信される。決定点３３０４で、フローミスが発生した場合、プロセスはブロック３３１０に移動する。ブロック３３１０で、フローテーブルが更新されて新しいフローエントリを含む。ブロック３３１１で、フロー同期パケットが作成される。ブロック３３１２で、プロセスがブロック３３０５に移動する前に、フロー同期パケットがダウンストリームピアに送信される。プロセスが完了した後、パケットが処理され、サービスノードのダウンストリームピアが、パケットを処理することによって引き起こされるサービス状態変更を通知される。図３４及び図３５は、ダウンストリームピア及び他のピアノードが、その変更されたサービス状態情報のチェーンレプリケーションに使用し得る例示的なプロセスを示している。

[00149] 図３４は、ある態様に係る、フロー同期パケットを処理するため、かつ、フローテーブル３４００のチェーンレプリケーションのため、サービスノードによって使用可能なプロセスのハイレベルフロー図である。開始後、ブロック３４０１で、フロー同期パケットが受信される。決定ブロック３４０２で、プロセスは、フロー同期パケットが自己発信であるかどうかを判断する。サービスノードがそのダウンストリームピアに送信する同期パケットは自己発信パケットである。循環レプリケーションチェーンでは、サービスノードは、自己発信パケットがレプリケーションチェーンを通過した後に、そのアップストリームピアから自己発信パケットを受信する。図３３のブロック３３０５で、パケットは、レプリケーションを待つ間、遅延された。ブロック３４０９で、その遅延されたパケットがその宛先に転送されることができる。フロー同期パケットが自己発信ではない場合、その後、ブロック３４０３で、パケットヘッダ情報からフロー識別子が計算されることができる。ブロック３４０４で、フローテーブルはフロー識別子についてチェックされる。ブロック３４０５で、プロセスは、フローミスが発生したかどうかを決定する。フローミスがなかった場合、その後、ブロック３４０８で、プロセスが完了する前にフロー同期パケットがダウンストリームピアに転送されることができる。一部の実装は、ブロック３４０８で転送する代わりにパケットをドロップし得る。フローミスがあった場合、その後、ブロック３４０６で、プロセスは、プロセスがブロック３４０８に進む前に、新しいフローテーブルエントリを用いてフローテーブルを更新することができる。

[00150] フローミスは、サービスノードが、パケットを受信し、かつ、そのパケットのためのフローテーブルエントリを有しない場合に発生する。図３３では、フローミスにより、サービスノードがそのダウンストリームピアにフロー同期パケットを送信する。図３４では、フロー同期パケットは、レプリケーションチェーンを通過し、かつ、それを発信したサービスノードによって受信される。自己発信フロー同期パックを受信すると、レプリケーションチェーン全体がフロー同期パケットを受信したことがサービスノードに示される。フロー同期パケットは、フローミスを引き起こしたパケットからのヘッダ情報（例えば、Ｌ２、Ｌ３及びＬ４ヘッダフィールド）のみを含み得る。代替として、フロー同期パケットは、フローミスを引き起こしたパケット全体であり得る。このような場合、ブロック３４０９で、（フローミスの原因となったパケットと同じ）フロー同期パケットがその宛先に転送され得る。さらに別の代替として、ここでは第１サービスノードと呼ばれるサービスノードが、フローミスの原因となるパケット全体を、フロー同期パケットとしてそのダウンストリームピアに送信することができる。そのアップストリームピアからフロー同期パケットを受信した後、第１サービスノードは、フロー同期パケットを処理し（図３３は、ブロック３３０５でパケットをより早く処理する）、かつ、それをすぐにその宛先に送信することができる。さらに別の代替として、アップストリームピアは、フロー同期パケットを発信したサービスノードにフロー同期パケットを送信する代わりに、（フローミスの原因となったパケットと同じ）フロー同期パケットを処理して転送することができる。

[00151] 図３５は、ある態様に係る、セッション同期パケットを処理するため、かつ、セッションテーブル３５００のチェーンレプリケーションのため、サービスノードによって使用可能なプロセスのハイレベルフロー図である。開始後、ブロック３５０１で、セッション同期パケットが受信される。ブロック３５０２で、プロセスは、セッション同期パケットが自己発信パケットであるかどうかを決定する。ブロック３５０６で、プロセスが完了する前に、自己発信パケットがドロップされる。パケットが自己発信でない場合、その後、ブロック３５０３で、プロセスは、セッション同期パケットによって示されるようにセッションテーブルを更新する（例えば、セッション状態を変更する、セッションテーブルエントリを追加する、セッションテーブルエントリを削除するなど）。ブロック３５０４で、プロセスが完了する前に、セッション同期パケットがダウンストリームピアに転送されることができる。

[00152] 図３６は、ある態様に係る、セッションテーブルエントリをエージアウトすることのハイレベルフロー図である。サービスノード１０３は有限のメモリを有するので、かつ、大きなテーブルは処理が遅いので、セッションテーブルは有限サイズを有する。したがって、セッションがアクティブでない又は完了しているような場合、エントリは、セッションからエージアウトされ得る。開始後、ブロック３６０１で、現在のエントリが第１セッションテーブルエントリに設定される。ブロック３６０２で、経過時間が、現在のエントリの最後に見たタイムスタンプを引いた現在の時間に設定される。ブロック３６０３で、プロセスは、経過時間がエージング閾値未満であるかどうかを決定する。そうである場合、ブロック３６０４で、プロセスは、現在のエントリが最後のセッションテーブルエントリであるかどうかを決定する。現在のエントリが最後のセッションテーブルエントリである場合、プロセスは完了する。そうでない場合、ブロック３６０５で、現在のエントリが次のセッションテーブルエントリに設定され、かつ、プロセスはブロック３６０２にループバックする。経過時間がエージング閾値以上である場合、その後、ブロック３６０６でセッションテーブルエントリは削除される。ブロック３６０７で、セッションテーブルエントリが削除されたことを示すセッション同期パケットが作成される。ブロック３６０８で、プロセスは、ブロック３６０４に進む前に、セッション同期パケットをダウンストリームピアに送信する。フローテーブルエントリは、同様のメカニズムを使用して又はセッションのエージアウトの副作用として、エージアウトされ得る。ブロック３６０８では、プロセスは、ブロック３６０４に続く前にダウンストリームピアにセッション同期パケットを送信する。フローテーブルエントリは、同様のメカニズムを使用して又はセッションのエージアウトの副作用として、エージアウトされ得る。セッションがアップストリームフロー及びダウンストリームフローを有し得ることを思い出されたい。セッションをエージアウトすることは、アップストリームフロー及びダウンストリームフローのエージアウトを含み得る。エージアウトされたフローのためのフロー同期パケットはダウンストリームピアに送信されることができる。

[00153] 図３７Ａ、図３７Ｂ、図３７Ｃ及び図３７Ｄは、ある態様に係る、ＴＣＰセッションをシャットダウンするプロセスのハイレベルフロー図である。第１コンピュータ及び第２コンピュータは、ＴＣＰ接続を開くことによってＴＣＰセッションを確立することができ、ＴＣＰプロトコルを使用してデータを転送することができ、かつ、ＴＣＰ接続を閉じることによってＴＣＰセッションをシャットダウンすることができる。コンピュータネットワーキングでよく知られているように、ＴＣＰ接続を閉じるために４つのパケットがたいてい使用される。第１コンピュータは第２コンピュータに第１ＴＣＰ ＦＩＮパケットを送信する。第２に、第２コンピュータは第１コンピュータに第１ＴＣＰ ＦＩＮパケットに対するＡＣＫを送信する（ＡＣＫはＴＣＰパケットでもある）。第３に、第２コンピュータは第１コンピュータに第２ＴＣＰ ＦＩＮパケットを送信する。第４及び最後に、第１コンピュータは第２コンピュータに第２ＴＣＰ ＦＩＮパケットに対するＡＣＫを送信する。ＴＣＰセッションのためのパケットは、たいてい、ＴＣＰセッションの状態を追跡するスイッチ及びルータなどのネットワーク機器を通過する。図３７Ａ、図３７Ｂ、図３７Ｃ及び図３７Ｄは、循環レプリケーションチェーンのサービスノードを使用してＴＣＰセッション状態を追跡することの態様を示している。レプリケーションチェーンのすべてのサービスノードは、ＴＣＰセッションが開いていて状態を変化させない間にＴＣＰセッションのパケットを処理することができる。したがって、ＴＣＰパケットを処理することは、レプリケーションチェーンのサービスノードの数にほぼ比例して変化し得る。ＴＣＰ接続が閉じられている場合、ＴＣＰセッションは多くの状態変化を有する。したがって、レプリケーションチェーンはシャットダウン中にＴＣＰセッションの状態を同期させることができる。

[00154] 図３７Ａは、ある態様に係る、第１ＴＣＰ ＦＩＮパケットを処理するためのプロセス３７００のハイレベルフロー図である。第１コンピュータから第２コンピュータに送信されるパケットは「第１方向」に移動している。第２コンピュータから第１コンピュータに送信されるパケットは「第２方向」に移動している。開始後、ブロック３７０１で、サービスノードはセッションのための第１ＴＣＰ ＦＩＮパケットを受信する。第１ＴＣＰ ＦＩＮパケットは第１方向に流れる。ブロック３７０２で、サービスノードは、セッション状態を「{source:fin-wait-1,dest:established}」に設定して、第１コンピュータが「fin-wait」状態にあり、かつ、第２コンピュータが「established」状態にあることを示すことができる。ブロック３７０３で、サービスノードはそのダウンストリームピアに第１セッション同期パケットを送信する。第１セッション同期パケットは、ピアノードにセッション状態変化を通知する。ブロック３７０４で、サービスノードはセッション状態レプリケーションを待機する。サービス状態レプリケーションは、サービスノードがそのアップストリームノードから第１セッション同期パケットを受信するときを示され得る。ブロック３７０５で、サービスノードはその宛先に第１ＴＣＰ ＦＩＮパケットを転送する。

[00155] 図３７Ｂは、ある態様に係る、第１ＴＣＰ ＦＩＮパケットに対するＡＣＫを処理するためのプロセス３７１０のハイレベルフロー図である。開始後、ブロック３７１１で、サービスノードは、セッションのための第１ＴＣＰ ＦＩＮパケットに対するＡＣＫを受信する。第１ＴＣＰ ＦＩＮパケットに対するＡＣＫは第２方向に流れる。決定ブロック３７１２で、サービスノードは、ＴＣＰセッションが「{source:fin-wait-1,dest:established}」などの適切な状態にあることを確認する。ＴＣＰセッションが適切な状態にない場合、その後、ブロック３７１３で、エラーがログに記録されることができる、又は、そうでない場合、プロセスが完了する前にエラーが処理されることができる。ＴＣＰセッションが適切な状態にある場合、その後、ブロック３７１４で、サービスノードは、セッション状態を「{source:fin-wait-1,dest:close-wait}」に設定して、第１コンピュータが「fin-wait」状態にあり、第２コンピュータが「close-wait」状態にあることを示すことができる。ブロック３７１５で、サービスノードは、そのダウンストリームピアに第２セッション同期パケットを送信する。第２セッション同期パケットは、ピアノードにセッション状態の変化を通知する。ブロック３７１６で、サービスノードはセッション状態レプリケーションを待機する。サービスノードがそのアップストリームノードから第２セッション同期パケットを受信する場合、サービス状態レプリケーションが示され得る。ブロック３７１７で、サービスノードはその宛先に第１ＴＣＰ ＦＩＮパケットに対するＡＣＫを転送する。

[00156] 図３７Ｃは、ある態様に係る、第２ＴＣＰ ＦＩＮパケットを処理するためのプロセス３７２０のハイレベルフロー図である。開始後、ブロック３７２１で、サービスノードは、セッションのための第２ＴＣＰ ＦＩＮパケットを受信する。第２ＴＣＰ ＦＩＮパケットは第２方向に流れる。決定ブロック３７２２で、サービスノードは、ＴＣＰセッションが「{source:fin-wait-1,dest:close-wait}」などの適切な状態にあることを確認する。ＴＣＰセッションが適切な状態ではない場合、その後、ブロック３７２３で、エラーがログに記録されることができる、又は、そうでない場合、プロセスが完了する前にエラーは処理されることができる。ＴＣＰセッションが適切な状態にある場合、その後、ブロック３７２４で、サービスノードは、セッション状態を「{source:fin-wait-2,dest:last-ack}」に設定し、第１コンピュータが「fin-wait-2」状態にあり、かつ、第２コンピュータが「last-ack」状態にあることを示す。ブロック３７２５で、サービスノードは、そのダウンストリームピアに第３セッション同期パケットを送信する。第３セッション同期パケットは、ピアノードにセッション状態の変化を通知する。ブロック３７２６で、サービスノードはセッション状態レプリケーションを待機する。サービスノードがそのアップストリームノードから第３セッション同期パケットを受信する場合、サービス状態レプリケーションが示され得る。ブロック３７２７で、サービスノードはその宛先に第２ＴＣＰ ＦＩＮパケットを転送する。

[00157] 図３７Ｄは、ある態様に係る、第２ＴＣＰ ＦＩＮパケットに対するＡＣＫを処理するためのプロセス３７３０のハイレベルフロー図である。開始後、ブロック３７３１で、サービスノードは、セッションのための第２ＴＣＰ ＦＩＮパケットに対するＡＣＫを受信する。第２ＴＣＰ ＦＩＮパケットは第１方向に流れる。決定ブロック３７３２で、サービスノードは、ＴＣＰセッションが「{source:fin-wait-2,dest:last-ack}」などの適切な状態にあることを確認する。ＴＣＰセッションが適切な状態にない場合、ブロック３７３３で、エラーがログに記録されることができる、又は、そうでない場合、プロセスが完了する前にエラーは処理されることができる。ＴＣＰセッションが適切な状態にある場合、その後、ブロック３７３４で、サービスノードはセッションを削除することができる。ブロック３７３５で、サービスノードは、そのダウンストリームピアに第４セッション同期パケットを送信する。第４セッション同期パケットは、セッションの終了をピアノードに通知する。ブロック３７３６で、サービスノードは、その宛先に第２ＴＣＰ ＦＩＮパケットに対するＡＣＫを転送する。第２ＴＣＰ ＦＩＮパケットに対するＡＣＫは、セッション状態レプリケーションを待機せずにその宛先に送信されることができることに留意されたい。

[00158] 図３０～図３７Ｄを参照して上述したように、ホストコンピュータ又はホストコンピュータにインストールされたＳｍａｒｔＮＩＣによって過去に実行されていたネットワークトラフィック処理の多くの態様は、スマートスイッチ内に配置可能なサービスノードによって処理されることができる。高可用性ネットワークトラフィック処理は、フローテーブル及びセッションテーブルなどのサービスノードのサービス状態情報のチェーンレプリケーションを使用して提供されることができる。チェーンレプリケーションの性質上、ネットワークトラフィック処理は、使用されるサービスノードの数にほぼ比例して変化する。さらに、サービスノードは、レプリケーションチェーンに動的に追加されることができる又はレプリケーションチェーンから動的に削除されることができ、それによって、保守及びアップグレードに関してさらなる利点を提供する。この高可用性のサービスノードの実装及び展開によれば、フル機能のＳｍａｒｔＮＩＣによってのみ提供されていた可能性のあるサービスが、専用ＮＩＣ及びサービスノードの組み合わせによって実装されることができる。したがって、高度な機能は、各サーバについて、設備投資及び運用コストの効率が高い専用のＮＩＣによって、かつ、エネルギー効率の高い方法で、引き続きサポートされ、それによって、そうしたコンピューティングシステムの環境への影響を減らすことができる。

[00159] 図３８は、ある態様に係る、データパス状態レプリケーション及び中間デバイスマッピング３８００を使用するサービス分配のための方法のハイレベルフロー図である。開始後、ブロック３８０１で、方法は、送信元アドレスフィールドに送信元アドレスを含み、かつ、宛先アドレスフィールドに宛先アドレスを含む第１パケットを受信することができる。ブロック３８０２で、プロセスは、サービス状態情報のチェーンレプリケーションのために構成された複数のサービスノードを含むレプリケーションチェーンにある選択されたサービスノードに第１パケットをルーティングすることができる。ブロック３８０３で、プロセスは、宛先アドレスによって示される宛先に向かって変換パケットを送信することができ、選択されたサービスノードは、第１パケットを使用して変換パケットを生成する。

[00160] 図３９は、ある態様に係る、ＩＰネットワーク３９００を介して、緩く結合されたＰＣＩｅサービスプロキシのための方法のハイレベルフロー図である。開始後、ブロック３９０１で、プロセスは、ＰＣＩｅバスを介してホストコンピュータからデータリンク層パケット（ＤＬＬＰ）を受信することができる。ブロック３９０２で、プロセスは、ＤＬＬＰを解凍して、ＴＬＰアドレス値、ＴＬＰリクエスタ識別子及びＴＬＰタイプを含むトランスポート層パケット（ＴＬＰ）を取得することができる。ブロック３９０３で、プロセスは、ＴＬＰの受信に応答してホストコンピュータにＤＬＬＰ ＡＣＫメッセージを送信することができる。ブロック３９０４で、プロセスは、ＴＬＰを使用して、リクエストタイプインジケータ、アドレスオフセット及びワークロードリクエスト識別子を含むワークロードリクエストカプセルを作成することができる。ブロック３９０５で、プロセスは、仮想化サービスエンドポイントに対するワークロードリクエストカプセルを含むワークロードリクエストパケットを送信することができる。ブロック３９０６で、プロセスは、ワークロードリクエスト識別子及びワークロード応答ペイロードを含むワークロード応答パケットを受信することができる。

[00161] 図４０は、ある態様に係る、ＮＶＭｅオーバーファブリック（ＮＶＭｅ－ｏＦ）サービス４０００を提供するための方法のハイレベルフロー図である。開始後、ブロック４００１で、プロセスは、サービスアドレスを含むサービスノードデータを格納することができる。ブロック４００２で、プロセスは、送信キュー（ＳＱ）から送信キュー要素（ＳＱＥ）を読み取って、コマンド識別子、ＯｐＣｏｄｅ及び仮想名前空間識別子（ＮＳＩＤ）を取得することができる。ブロック４００３で、プロセスは、ｏｐｃｏｄｅ、ＮＳＩＤ及びリクエスト識別子を含む第１ローカルトランスポートプロトコル（ＬＴＰ）パケットを生成することができる。ブロック４００４で、プロセスは、サービスアドレスを使用してサービスノードにＬＴＰパケットを送信することができる。ブロック４００５で、プロセスは、リクエスト識別子及びステータスインジケータを含む第２ＬＴＰパケットを受信することができる。ブロック４００６で、プロセスは、ステータスインジケータ及びリクエスト識別子を使用して完了キューエントリ（ＣＱＥ）を生成することができる。ブロック４００７で、プロセスは、ＳＱに関連付けられた完了キュー（ＣＱ）にＣＱＥを配置することができ、ＳＱはＮＶＭｅ ＳＱであり、ＣＱはＮＶＭｅ ＣＱである。

[00162] 図４１は、ある態様に係る、元のデータパケット４１００を使用するサービス状態レプリケーションの方法のハイレベルフロー図である。ブロック４１０１で、プロセスは、送信元アドレスフィールドに送信元アドレスを含み、かつ、宛先アドレスフィールドの宛先アドレスを含む第１パケットを受信することができる。ブロック４１０２で、プロセスは、ローカルフローテーブルを有し、かつ、ローカルフローテーブルのチェーン同期用に構成された複数のサービスノードを含む循環レプリケーションチェーン内にある選択されたサービスノードに第１パケットをルーティングすることができる。ブロック４１０３で、プロセスは、第１パケットのマッチングフローテーブルエントリを使用して第１パケットを処理することによって第２パケットを生成することができる。ブロック４１０４で、プロセスは、宛先アドレスによって示される宛先に向かって第２パケットを送信することができる。

[00163] 本明細書で説明する技術は、サービス及びスイッチファブリックとともにラックに統合されたＮＩＣ及びサービスノードによって少なくとも部分的に実装されることができる。本発明の一実施形態によれば、機器ラックは複数のサーバを含み、各サーバはＮＩＣ、サービスノード、及び、ＮＩＣを介してサービスノードに複数のサーバを接続するスイッチファブリックを有し、ＮＩＣ及びサービスノードは、本明細書で説明するようにネットワークインタフェースサービスを実装するように構成される。本発明の別の実施形態によれば、機器ラックは複数のサーバを含み、各サーバはＮＩＣを有し、かつ、少なくとも１つのスマートスイッチは、複数のサービスノードと、サービスノードに複数のサーバを接続するためのスイッチファブリックと、を含み、複数のサーバはＮＩＣを介してスマートスイッチに接続し、ＮＩＣ及びサービスノードは、本明細書で説明されるようにネットワークインタフェースサービスを実装するように構成される。本発明の別の実施形態によれば、機器ラックは、複数のサーバ及び少なくとも１つのスマートスイッチを含む複数のラックユニット（ＲＵ）を含み、サーバはホストコンピュータ及びＮＩＣを含み、かつ、少なくとも１つのスマートスイッチは、複数のサービスノードと、サービスノードに複数のサーバを接続するスイッチファブリックと、を含み、複数のサーバはＮＩＣを介してスマートスイッチに接続し、ＮＩＣ及びサービスノードは、本明細書で説明するようにネットワークインタフェースサービスを実装するように構成される。

[00164] 上述した態様は、デジタルデータ処理、ストレージ及び通信を実装する物理回路を含むネットワークアプライアンスに最終的に実装されることができる。ネットワークアプライアンスは、処理回路、ＲＯＭ、ＲＡＭ、ＣＡＭ及び少なくとも１つのインタフェース（複数のインタフェース）を含み得る。上述したＣＰＵコアは、プログラム可能なパケット処理パイプラインを実装するために使用されるＡＳＩＣ回路及びメモリと同じ集積回路（ＩＣ）デバイスに統合される処理回路及びメモリに実装される。例えば、ＣＰＵコア及びＡＳＩＣ回路は、システムオンチップ（ＳｏＣ）を形成するために同じ半導体基板上に製造される。ネットワークアプライアンスは、単一のＩＣデバイスとして具体化され得るか（例えば、単一の基板上に製造される）、又は、ネットワークアプライアンスは、例えば、プリント回路基板（ＰＣＢ）によって接続された複数のＩＣデバイスを含むシステムとして具体化され得る。インタフェースは、ネットワークインタフェース（例えば、イーサネットインタフェース及び／又はインフィニバンドインタフェース）及び／又はＰＣＩ Ｅｘｐｒｅｓｓ（ＰＣＩｅ）インタフェースを含み得る。インタフェースは、Ｉ２Ｃ、汎用ＩＯ、ＵＳＢ、ＵＡＲＴ、ＳＰＩ及びｅＭＭＣなどの他の管理及び制御インタフェースも含み得る。

[00165] 本明細書の方法の操作は特定の順序で示されて説明されているが、各方法の操作の順序は、特定の操作が逆の順序で実行され得るように、又は、特定の操作が少なくとも部分的に他の操作と同時に実行され得るように、変更され得る。別個の操作の指示又はサブ操作は断続的及び／又は交互に実施され得る。

[00166] 本明細書に記載の方法の操作の少なくとも一部は、コンピュータによる実行のためのコンピュータ使用可能記憶媒体に格納されたソフトウェア命令を使用して実施され得ることに留意されたい。一例として、コンピュータプログラム製品の一実施形態は、コンピュータ読み取り可能プログラムを格納するためのコンピュータ使用可能記憶媒体を含む。

[00167] コンピュータ使用可能又はコンピュータ読み取り可能記憶媒体は、電子、磁気、光学、電磁気、赤外線又は半導体システム（又は装置又はデバイス）であり得る。非一時的なコンピュータ使用可能及びコンピュータ読み取り可能記憶媒体の例には、半導体又はソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、リジッド磁気ディスク、及び光ディスクが含まれる。光ディスクの現在の例には、読み取り専用メモリ付きコンパクトディスク（ＣＤ－ＲＯＭ）、読み取り／書き込み付きコンパクトディスク（ＣＤ－Ｒ／Ｗ）及びデジタルビデオディスク（ＤＶＤ）が含まれる。

[00168] 本発明の特定の実施形態が説明及び図示されたが、本発明は、そのように説明及び図示された部品の特定の形態又は構成に限定されない。本発明の範囲は、本明細書に添付される特許請求の範囲及びそれらの同等物によって定義される。

Claims (20)

1. 送信元アドレスフィールドに送信元アドレスを含み、かつ、宛先アドレスフィールドに宛先アドレスを含む第１パケットを受信するステップと、
   ローカルフローテーブルを有し、かつ、前記ローカルフローテーブルのチェーンレプリケーションのために構成された複数のサービスノードを含む循環レプリケーションチェーンにある選択されたサービスノードに前記第１パケットをルーティングするステップと、
   前記第１パケットのマッチングフローテーブルエントリを使用して前記第１パケットを処理することによって第２パケットを生成するステップと、
   前記宛先アドレスによって示される宛先に向かって前記第２パケットを送信するステップと、を含む方法。
2. 前記サービスノードの各々は、アップストリームピア、ダウンストリームピアを有し、かつ、
   パケットによって引き起こされたフローミスを検出し、
   ローカルフローテーブルに前記パケットに基づいてフローテーブルエントリを作成することによって前記フローミスを処理し、
   前記パケットに基づいてフロー同期パケットを作成し、かつ、
   前記ダウンストリームピアに前記フロー同期パケットを送信するように構成される、請求項１に記載の方法。
3. 前記サービスノードの各々は、
   複数の自己発信のフロー同期パケットを含み、かつ、複数のピア発信のフロー同期パケットを含む複数のフロー同期パケットを受信し、
   前記自己発信のフロー同期パケットをドロップし、
   前記ローカルフローテーブルに前記ピア発信のフロー同期パケットに基づいて複数のフローテーブルエントリを作成し、かつ、
   前記ダウンストリームピアに前記ピア発信のフロー同期パケットを転送するように構成される、請求項２に記載の方法。
4. 前記サービスノードの各々は、
   複数のフロー同期パケットを受信し、
   マッチングフローテーブルエントリを既に有する前記フロー同期パケットをドロップし、
   マッチングフローテーブルエントリを有しない前記フロー同期パケットに基づいて複数のフローテーブルエントリを作成し、かつ、
   前記ダウンストリームピアに、マッチングフローテーブルエントリを有しない前記フロー同期パケットを転送するように構成される、請求項２に記載の方法。
5. 前記フロー同期パケットは前記パケットを含む、請求項２に記載の方法。
6. 前記サービスノードの各々は、複数のセッションのための複数のセッションテーブルエントリを格納するローカルセッションテーブルを有し、
   前記サービスノードの各々はアップストリームピア及びダウンストリームピアを有し、かつ、
   前記サービスノードは、チェーンレプリケーションを使用して前記ローカルセッションテーブルを複製するように構成される、請求項１に記載の方法。
7. 前記サービスノードの各々は、
   セッションのためのパケットを受信し、
   前記セッションが未知のセッションである場合、前記ローカルセッションテーブルエントリを作成することによって前記セッションのためのローカルセッションテーブルエントリが存在することを確保し、
   前記ローカルセッションテーブルエントリに前記セッションのセッション状態を格納し、
   前記セッションが状態を変化させる場合、セッション状態変化インジケータを含むセッション同期パケットを生成し、かつ、
   前記ダウンストリームピアに前記セッション同期パケットを送信するように構成される、請求項６に記載の方法。
8. 前記セッションは、伝送制御プロトコル（ＴＣＰ）セッション又はユーザデータグラムプロトコル（ＵＤＰ）セッションである、請求項７に記載の方法。
9. 前記サービスノードの各々は、
   複数の自己発信のセッション同期パケット及び複数のピア発信のセッション同期パケットを含む複数のセッション同期パケットを受信し、
   前記自己発信のセッション同期パケットをドロップし、
   前記ピア発信のセッション同期パケットに基づいて前記ローカルセッションテーブルを更新し、かつ、
   前記ダウンストリームピアに前記ピア発信のセッション同期パケットを転送するように構成される、請求項６に記載の方法。
10. 前記サービスノードの各々は、
    セッションのためのセッションテーブルエントリを使用して、少なくとも１つのエージング基準に基づいて前記セッションがインアクティブであると決定し、
    前記ダウンストリームピアに、前記セッションがインアクティブであることを示すセッション同期パケットを送信し、かつ、
    前記アップストリームピアから前記セッション同期パケットを受信後、前記セッションテーブルエントリを削除するように構成される、請求項６に記載の方法。
11. 前記サービスノードの各々は、
    前記セッションテーブルエントリに前記セッションためのセッション統計を格納し、かつ、
    集約されたセッション統計を包含する集約されたセッションテーブルに前記セッション統計を送信するように構成される、請求項６に記載の方法。
12. 前記セッション統計はパケットカウントである、請求項１１に記載の方法。
13. 前記循環レプリケーションチェーンの前記サービスノードは仮想ＩＰアドレスを共有し、
    複数のパケットが前記仮想ＩＰアドレスに送信され、かつ、
    ロードバランサが前記サービスノード間に前記パケットを分散する、請求項１０に記載の方法。
14. 送信元アドレスフィールドに送信元アドレスを含み、かつ、宛先アドレスフィールドに宛先アドレスを含む第１パケットを受信するステップと、
    ローカルセッションテーブルを有し、かつ、前記ローカルセッションテーブルのチェーンレプリケーションのために構成された複数のサービスノードを含む循環レプリケーションチェーンにある選択されたサービスノードに前記第１パケットをルーティングするステップと、
    前記第１パケットを処理することによって第２パケットを生成するステップと、
    前記宛先アドレスによって示される宛先に向かって前記第２パケットを送信するステップと、を含み、
    前記サービスノードの各々はアップストリームピア及びダウンストリームピアを有する、方法。
15. 前記サービスノードの各々は、
    セッションのためのパケットを受信し、
    前記セッションが未知のセッションである場合、前記ローカルセッションテーブルエントリを作成することによって前記セッションためのローカルセッションテーブルエントリが存在することを確保し、
    前記ローカルセッションテーブルエントリにセッション状態を格納し、
    前記セッションが状態を変化させる場合にセッション状態変化インジケータを含むセッション同期パケットを生成し、かつ、
    前記ダウンストリームピアに前記セッション同期パケットを送信するように構成される、請求項１４に記載の方法。
16. 前記サービスノードの各々は、
    複数の自己発信のセッション同期パケット及び複数のピア発信のセッション同期パケットを含む複数のセッション同期パケットを受信し、
    前記自己発信のセッション同期パケットをドロップし、
    前記ピア発信のセッション同期パケットに基づいてローカルセッションテーブルを更新し、かつ、
    前記ダウンストリームピアに前記ピア発信のセッション同期パケットを転送するように構成される、請求項１４に記載の方法。
17. 前記サービスノードの各々は、
    セッションのためにローカルセッションテーブルエントリを使用して、少なくとも１つのエージング基準に基づいて前記セッションがインアクティブであると決定し、
    前記セッションがインアクティブであることを示すセッション同期パケットを前記ダウンストリームピアに送信し、かつ、
    前記アップストリームピアから前記セッション同期パケットを受信後、前記ローカルセッションテーブルエントリを削除するように構成される、請求項１４に記載の方法。
18. 前記サービスノードは、フローテーブルエントリを有するローカルフローテーブルを有し、
    前記サービスノードは、チェーンレプリケーションを使用して前記ローカルフローテーブルを複製するように構成される、請求項１７に記載の方法。
19. 複数のサービスノードを備え、前記複数のサービスノードは、
    送信元アドレスフィールドに送信元アドレスを含み、かつ、宛先アドレスフィールドに宛先アドレスを含む第１パケットを受信し、
    前記サービスノードのうちの１つである選択されたサービスノードに前記第１パケットをルーティングし、
    前記第１パケットのマッチングフローテーブルエントリを使用して前記第１パケットを処理することによって第２パケットを生成し、
    前記宛先アドレスによって示される宛先に向かって前記第２パケットを送信するように構成され、
    前記サービスノードは、ローカルフローテーブルを有し、ローカルセッションテーブルを有し、かつ、前記ローカルフローテーブルのチェーンレプリケーション及び前記ローカルセッションテーブルのチェーンレプリケーションのために構成される、システム。
20. 複数のホストマシンと前記サービスノードとの間で複数のネットワークパケットを伝送するように構成されたプライベートネットワークと、
    少なくとも１つのスマートスイッチと、をさらに含み、
    前記サービスノードは前記少なくとも１つのスマートスイッチ内にあり、
    前記少なくとも１つのスマートスイッチは、パブリックネットワークに前記プライベートネットワークを接続するように構成される、請求項１９に記載のシステム。
    
    

Images