JP2014068345A - １００ｇｂａｓｅ−ｋｐ４における高速ｐｍａ整列の方法 - Google Patents

Abstract

【課題】100Gbpsイーサネット（登録商標）リンクを含む次世代の高速イーサネット・リンクのための、物理媒体取り付け（PMA）整列およびリンク・トレーニング・モードからデータ・モードへの迅速な遷移を実装するための方法、装置およびシステムを提供する。
【解決手段】リンクの両端の第一および第二のイーサネット・インターフェースの間でトレーニング・フレームがペアごとの仕方で伝送され、第一のトレーニング・フレームが第一のイーサネット・インターフェースから送られ、第二のトレーニング・フレームが第二のイーサネット・インターフェースから返される。トレーニング・フレームは、物理媒体取り付け（PMA）フレームの長さとは異なる長さをもち、返されるトレーニング・フレームは、ローカル受信機ポートの準備状態を同定する受信機準備状態指標、フレーム整列オフセット・データおよびカウントダウン・データを含む。
【選択図】図１６

Description

関連出願への相互参照
本願は米国特許法第１１９条（ｅ）のもとでの2012年9月24日に出願された「PMA-SIZE TRAINING FRAME FOR 100GBASE-KP4」と題する米国仮出願第61/704,762号の出願日の利益を主張する。同出願はここにあらゆる目的についてその全体において組み込まれる。

発明の分野
発明の分野は概括的にはイーサネット（登録商標）ベースの相互接続に関し、より詳細には、これに限られないが、高速イーサネット・リンクのための、物理的媒体取り付け（PMA: Physical Media Attachment）整列およびリンク・トレーニング・モードからデータ・モードへの高速遷移を実装するための技法に関する。

マイクロプロセッサの導入以来、コンピュータ・システムはますます高速になってきている。ムーアの法則（インテル（登録商標）社の共同創設者ゴードン・ムーアが1965年の出版物で集積回路上のトランジスタ数が二年毎に二倍になると予測したことに基づく）にほぼ従って、高速化は三十年近くにわたってかなり一定の割合で上昇してきた。同時に、メモリおよび不揮発性記憶両方のサイズも着実に増大してきており、今日のパーソナル・コンピュータの多くはほんの十ないし十五年前のスーパーコンピュータより高性能である。さらに、ネットワーク通信の速度も天文学的な上昇を見た。

プロセッサ速度、メモリ、記憶およびネットワーク帯域幅技術における向上は、かなりの容量をもつネットワークの増築および展開につながった。より近年には、アマゾン（たとえば、アマゾン・エラスティック・コンピュート・クラウド（EC2: Elastic Compute Cloud）およびシンプル・ストーレジ・サービス（S3: Simple Storage Service））およびマイクロソフト（たとえば、アジュール（Azure）およびオフィス３６５（Office 365））によって提供されるようなクラウド・ベースのサービスの導入により、私設のネットワーク・インフラストラクチャーを用いるこれらのサービスをサポートする大規模なデータ・センターの展開に加え、公共ネットワークについてのさらなるネットワーク増築につながった。

典型的なデータ・センター展開は、多数のサーバー・ラックを含み、各サーバー・ラックが複数のラックマウント・サーバーまたはブレード・サーバーを収容する。ラックマウント・サーバー間の通信は典型的には、銅線ケーブル上でのイーサネット（IEEE802.3）プロトコルを使って容易にされる。ワイヤ・ケーブルを使うオプションに加え、ブレード・サーバーおよびネットワーク・スイッチおよびルータは、ラック内のブレードまたはカードの間の、電気バックプレーンまたはミッドプレーン相互接続を通じた通信をサポートするよう構成されていてもよい。

近年、銅線を通じたイーサネット接続の速度は10ギガビット毎秒（Gpbs）および40Gpbsレベルに達した。さらに、IEEE（Institute of Electrical and Electronics Engineers［米国電気電子技術者協会］）は現在、100GBASE-KP4と呼ばれる新たなバックプレーンPHY型を定義する仕様（IEEE802.3bj）を開発中である。これは、7GHzで高々33dBの損失をもつ、電気バックプレーンを通じた100Gbpsの帯域幅を目標としている。ケーブル接続上での新たな100Gbpsのための同様の仕様もIEEEによって定義されている。100Gbpsの成功裏の実装を容易にする重要な側面は、リンク・トレーニングである。これはPMA整列およびリンク・トレーニング・モードからデータ・モードへの遷移を含む。

本発明の以上の諸側面および付随する利点の多くは、付属の図面とともに参酌される以下の詳細な記述を参照することにより、よりよく理解されるようになると、より容易に認識されるであろう。図面において、同様の参照符号は、特に断りのない限り、さまざまな図を通じて同様の部分を指す。

ある実施形態に基づく、100GBASE-KP4の構造を示す概略図である。 PAM4エンコードのためのマッピングを示す図である。 10GBASE-KR PHYのためのトレーニング状態図である。 ある実施形態に基づく、トレーニング・フレームのコンポーネントを示すブロック図である。 ある実施形態に基づく、トレーニング・フレームおよび例示的な信号伝達を示す概略図である。 ある実施形態に基づく、トレーニング・フレームの「フレーム・マーカーおよび係数更新」部分についての例示的な構造を示す図である。 ある実施形態に基づく、トレーニング・フレームの「状態レポート」部分についての例示的な構造を示す図である。 差動マンチェスター符号化を示す図である。 諸「係数更新」フィールドにおけるセルについて例示的なエンコードを示す表である。 諸「状態レポート」フィールドにおけるセルについて例示的なエンコードを示す表である。 OSI参照モデルのデータ・リンク層および物理層と、IEEE P802.3bjドラフト1.0において定義されている100GBASE-KP4の現在のドラフトに対応する、IEEE802.3 LAN CSMA/CD LANモデルの諸層との間の関係を示す概略図である。 図９ａにおけるLAN CSMA/CD層の選択されたものの詳細を示す概略図である。 リンク・アップ送信動作の際にPMAサブ層によって実行される動作を示す送信適応プロセス図である。 ある実施形態に基づく、トレーニング・フレームの「フレーム・マーカー」および「制御チャネル」部分の送信の際にPMAサブ層によって実行される動作を示す送信適応プロセス図である。 ある実施形態に基づく、トレーニング・フレームの「トレーニング・パターン」部分の送信の際にPMAサブ層によって実行される動作を示す送信適応プロセス図である。 リンク・アップ受信動作の際にPMAサブ層によって実行される動作を示す受信適応プロセス図である。 ある実施形態に基づく、トレーニング・フレームの「フレーム・マーカー」および「制御チャネル」部分の受信の際にPMAサブ層によって実行される動作を示す受信適応プロセス図である。 ある実施形態に基づく、トレーニング・フレームの「トレーニング・パターン」部分の受信の際にPMAサブ層によって実行される動作を示す受信適応プロセス図である。 ある実施形態に基づく、トレーニング・フレームの「フレーム・マーカー」および「係数更新」部分を示し、さらにそれぞれのパリティ方式を示すデータ構造図である。 ある実施形態に基づく、トレーニング・フレームの「フレーム・マーカー」および「係数更新」部分を示し、さらにそれぞれのパリティ方式を示すデータ構造図である。 ある実施形態に基づくトレーニング・フレームを示すデータ構造の図である。 例示的なトレーニング・フレームのシミュレーションに対応する信号伝達を示すグラフである。 １／４サイクル離れた四つのPRBS13開始状態の選択を示す図である。 １／４サイクル離れた四つのPRBS13開始状態の選択を示す図である。 PMAフレーム中にカプセル化された複数のトレーニング・フレームを、トレーニング・フレームとPMAフレームの間の16(mod29)の整列オフセットの結果的な進みとともに示す図である。 サイクル毎の29個のトレーニング・フレームを用いるトレーニング・フレーム・サイクルおよびトレーニング・フレームの間の16(mod29)の対応するPMA整列オフセット進みを示す図である。 リンクの両端にあるコンポーネント間のトレーニング・フレームの交換を描くメッセージ・フロー図である。ここで、リンク・トレーニング・モードとデータ・モードの間の迅速な遷移を容易にするために用いられるトレーニング・フレーム状態レポート・フィールド・データが示されている。 複数のサーバー・ブレードが組み込まれている例示的なブレード・サーバー・シャーシの正面からの等角投影図である。 図１６ａのブレード・サーバー・シャーシの背面からの等角投影図である。 図１６ａおよび図１６ｂに対応する複数のラックマウント・ブレード・サーバー・シャーシが組み込まれている例示的なブレード・サーバー・ラックの等角投影正面図である。 ある実施形態に基づく典型的なサーバー・ブレードのコンポーネントの詳細を示す図である。 本願で開示される実施形態に基づく、リンク・トレーニングおよび初期化動作を実行するよう構成されたネットワーク・チップを用いるネットワーク・ノードのためのアーキテクチャを示す概略図である。

本稿では、高速イーサネット・リンクのための、PMA整列およびリンク・トレーニング・モードからデータ・モードへの高速遷移を実装するための方法、装置およびシステムの諸実施形態が記載される。以下の記述では、本発明の実施形態の十全な理解を与えるよう数多くの個別的詳細が述べられる（100Gbpsイーサネット・リンクのような）が、当業者は、本発明がそのような個別的詳細の一つまたは複数なしでも、あるいは他の方法、コンポーネント、物質などと一緒でも実施できることを認識するであろう。他方、本発明の諸側面を埋没させるのを避けるため、よく知られた構造、物質または動作は詳細には図示または説明されない。

本明細書を通じて、「一つの実施形態」または「ある実施形態」への言及は、その実施形態との関連で記述される特定の特徴、構造または特性が本発明の少なくとも一つの実施形態に含まれることを意味する。よって、本明細書を通じたさまざまな場所で「一つの実施形態では」または「ある実施形態では」という句が現れることは、必ずしもみなが同じ実施形態を参照しているのではない。さらに、それら特定の特徴、構造または特性は、一つまたは複数の実施形態において任意の好適な仕方で組み合わされてもよい。

本稿では、提案されている100GBASE-KP4 PHYを含む高速イーサネット・リンクのための、リンク・トレーニング・モードからデータ・モードへの高速遷移をもってリンク・トレーニングを容易にするための諸実施形態が開示される。既存のトレーニング機構との互換性を保持するために、100GBASE-KP4 PHYのためのリンク・トレーニングのいくつかの側面は、10Gbpsリンクを対象としスイッチおよびルータのようなさまざまな型の設備において現在用いられているIEEE 10GBASE-KR PHYについて定義されている同様の側面と共通している。さらに、IEEE Std 802.3ap-2007において定義されている他の共通の側面がある。これらの共通の側面をここで特定し、手短に論じておく。これらの側面がどのように動作しうるかまたは実装されうるかの対応する詳細な議論は、実施形態の発明側面を埋没させないため、一般には本稿では与えていない。いくつかの実施形態の他の側面はIEEE P802.3bj Draft1.0およびIEEE 802.3bh Draft3.1においてさらに詳述されている。

100GBASE-KP4リンクのある実施形態の物理層（「PHY」とも称される）構造が図１に示されている。PHYは、相互接続の物理的な構造を定義し、コンポーネントAおよびBによって描かれるような二つのリンク・パートナーの間の特定のリンク上での信号の動作の詳細を扱うことを受け持つ。この層は、並列レーンを通じて情報の各ビットを送受信することに関わる、電気レベル、タイミング側面および論理的問題を含む信号線上のデータ転送を管理する。図１に示されるように、各相互接続リンクの物理的な接続性は、各方向にレーン0〜3を含む、信号の四つの差動対１００で構成される。各ポートは、二つのコンポーネントの間の接続を完成させるために二つの一方向性リンクからなるリンク対をサポートする。これは、両方の方向におけるトラフィックを同時にサポートする。

100GBASE-KP4ポートをもつコンポーネントは、図１に示される、リンク対として定義される、一対の一方向のポイントツーポイント・リンクを使って通信する。各ポートは送信（Tx）リンク・インターフェースと受信（Rx）リンク・インターフェースを有する。図示した例については、コンポーネントAは、コンポーネントBのRxポート１０４に接続されるTxポート１０２をもつ。一方、コンポーネントBは、コンポーネントBのRxポート１０８に接続されるTxポート１０４をもつ。一方の一方向性リンクはコンポーネントAからコンポーネントBに送信し、他方のリンクはコンポーネントBからコンポーネントAに送信する。「送信」リンクおよび「受信」リンクは、どちらのコンポーネント・ポートがデータを送信していて、どちらが受信しているかに対して定義される。図１に示される構成では、コンポーネントAの送信リンクはコンポーネントA Txポート１０２からコンポーネントB Rxポート１０４にデータを送信する。この同じコンポーネントA送信リンクが、ポートB受信リンクでもある。

100GBASE-KP4 PHYは４レベルのパルス振幅変調（pulse amplitude modulation）（PAM4と称される）信号を使ってチャネルを通じてデータを送受信する。図２に示されるように、PAM4は次のようにマッピングされる四つの論理レベルからなる。

0は−1にマッピングされる
1は−1/3にマッピングされる
2は＋1/3にマッピングされる
3は＋1にマッピングされる。

論理レベル0および3はそれぞれ信号レベル−1および＋1をもつ低レベル信号および高レベル信号に対応する。一方、論理レベル1および2は信号レベル−1/3および＋1/3をもつ中間レベル信号に対応する。

100GBASE-KP4 PHYのための物理的な信号伝達は、13.59375Gbdシンボルに対応する時間（〜73.6psec）をもつ1ビットのユニット区間（UI: Unit Interval）を用いる。ある実施形態では、46UIのトレーニング・フレーム語（TFW: Training Frame Word）がリンク・トレーニングのために用いられる。各TFWは二つのフル46ビット終端付き（terminated）ブロック（TB46）に対応する。

ある実施形態では、100GBASE-KP4 PHYのためのトレーニング・シーケンスのためのフォーマットは、IEEE Std. 802.3ap-2007仕様において定義される10GBASE-KR PHYのために用いられるものと同様である。10GBASE-KR PHYのためのトレーニング状態図が図３に示されている。10GBASE-KR PHYと100GBASE-KP4 PHYの間の著しい違いは、前者が４レベルのPAM4信号ではなくNRZ（Non-return to Zero［非ゼロ復帰］）２レベル（PAM2）PHYを定義しているということである。

100GBASE-KP4リンクは以下のシーケンスを使って確立される：
リンク・パートナーへの自動ネゴシエート機能
チャネルの特性についてPHYをチューニングするためにトレーニング・シーケンスを送出
フレーム・ロックを取得
TX FFEハンドシェーク：Tx係数をチャネル特性に適応させる
DSPが収束：Rxをチャネルにトレーニング
状態交換：準備完了か否か？
データ・モードへのカウントダウンおよびアイドル・シンボルの送出。

トレーニング・フレームは、トレーニング中に連続的に送られる固定長構造である。図４ａに示されるように、ある実施形態では、トレーニング・フレーム４００は、２個のTB46（１個のTFW）を含むフレーム・マーカー４０２と、８個のTB46（４個のTFW）を含む係数更新４０４および１０個のTB46（５個のTFW）を含む状態レポート４０６を含む制御チャネルと、３６４個のTB46（１８２個のTFW）を含むトレーニング・パターン４０８とを含み、全部で３８４個のTB46または１９２個のTFWの長さになる。トレーニング・フレーム４００のさらなる詳細は、図４ｂに示されていて、下記で論じる。

ある実施形態では、トレーニング・フレームは、13.59375Gbdシンボルで表現される、十六進3FFFFFF800000（23個の1に23個の0が続いたもの。ここで、1は＋1のPAM4シンボルであり、0は−1のPAM4シンボル）のビット・パターンによって区画される。これは、図４ｂ、図５ａ、図５ｂ、図１２ａ、図１２ｂ、図１３および図１４に示されるフレーム・マーカーによって例示される。

制御チャネルは、差動マンチェスター・エンコード（DME: differential Manchester encoding）を使って伝送される。DMEの例は図６に示されている。差動マンチェスター・エンコードの規則は次のようなものである。

ａ）各セル境界ではデータ遷移が生じる
ｂ）セル中央でのデータ遷移は論理的な1を信号伝達するために使われる
ｃ）セル中央でのデータ遷移がないことは論理的な0を信号伝達するために使われる。

所与のトレーニング・フレーム中の制御チャネルの境界内で符号化違反が検出されたら、そのフレームについての制御チャネルの内容は無視される。

図４ｂ、図５ａおよび図５ｂに示されるように、ある実施形態では、係数更新４０４は１６データ・セルの要求を含み、一方、状態レポート４０６は２０データ・セルの状態を含む。係数更新４０４および状態レポート４０６のそれぞれにおけるセルの長さは10UIであり、４つのTFWのそれぞれは6UIオーバーヘッド・フィールドが後続する４つのセルとして構成され、その結果、制御チャネルの長さは9×46＝414UIとなる。ある実施形態では、係数更新４０４中のセルの少なくとも一部は、図７に示される10GBASE-KR PHYについて定義されている対応する係数更新フィールドにマッピングされる。一方、状態レポート４０６中のセルの少なくとも一部は、図８に示される10GBASE-KR PHYについて定義されている対応する状態レポート・フィールドにマッピングされる。

図９ａは、OSI参照モデルのデータ・リンク層および物理層と、IEEE P802.3bj Draft1.2において定義されている100GBASE-KP4の現在のドラフトに対応するIEEE802.3 LAN CSMA/CD LANモデル層との間の関係の詳細を示している。図９ｂは、選択されたLAN CSMA/CD層のさらなる詳細を示している。これは、MAC（Media Access Control［媒体アクセス制御］）層９００と、100GBASE-R物理符号化サブ層（PCS: Physical Coding Sublayer）サブ層９０２と、前方誤り訂正（FEC: Forward Error Correction）サブ層９０４と、物理媒体取り付け（PMA: Physical Media Attachment）サブ層９０６と、物理媒体依存（PMD: Physical Media Dependent）サブ層９０８と、自動ネゴシエーション（AN: Auto-Negotiation）サブ層９１０とを含む。データはMAC層９００によって二値ビットストリームとしてデジタル形式で受信され、MAC層９００がその二値データを処理して100GBASE-R PCSサブ層９０２に転送し、100GBASE-R PCSサブ層９０２がその二値データにデジタル規則を適用してデータを後述するように変換する。変換されたデジタル・データは次いでFECサブ層９０４に渡され、FECサブ層９０４が前方誤り訂正を実行する。FECは所与のチャネル上のリンク予算およびBERパフォーマンスを増すために符号化利得を使う。リンク予算は、挿入損、戻り損、パルス応答などといった、送信回路と受信回路の間の接続を定義する電気的パラメータからなる。

送信方向では、PMAサブ層９０６の役割は、FECサブ層９０４によって出力された信号を適応させて、取り付けられた媒体を通じた転送のためにPMDサブ層９０８およびANサブ層９１０に渡されるべきPAM4エンコードされた信号にすることである。図１０に示される適応プロセスの一つの実施形態は、オーバーヘッド挿入ブロック１００２と、終端（termination）ビット挿入ブロック１００４と、グレー符号化ブロック１００６と、[1/(1＋D)mod4]前置符号化ブロック１００８と、PAM4エンコード・ブロック１０１０とを含む。

さらなる詳細では、図１０におけるはいってくるデータ１０００は、FECサブ層９０４からPMAサブ層９０６によって受信され、PMA:IS_UNITDATA_i.request（ここでi＝0ないし3）プリミティブを含む。このプリミティブは、PMAクライアントからPMAへのデータの四つのストリームの転送を定義するために使われる。PMA:IS_UNITDATA_0.requestないしPMA:IS_UNITDATA_3.requestによって伝達されるデータは、レーン0〜3のそれぞれについて一つのストリームで、エンコードされたビットの四つの並列ストリームからなる。各tx_bitパラメータは「1」または「0」である。開始パラメータは、同時並行するtx_bitがFEC符号語中の第一、第二、第三または第四のFECシンボルであることを示すにはTRUE〔真〕であり、他の場合にはFALSE〔偽〕である。各トランザクションに際して、tx-bitはF(i,m,n)を割り当てられる。ここで、iはレーン番号であり、mはFEC符号語番号（number）および各符号語における増分を示すインデックスであり、nは符号語内でのビット番号を示すインデックスである。

オーバーヘッド挿入ブロック１００２は、31280FECビット毎に40個のオーバーヘッド・ビットを挿入することによって、オーバーヘッド・フレームのシーケンスを生成する。FECビットF(i,m,n)は、オーバーヘッド・フレームの連続シーケンス中にマッピングされる。オーバーヘッド・フレームは31320ビットの長さである。オーバーヘッド・フレーム中の各ビットはV(i,p,q)と表される。ここで、iはレーン番号、pはフレーム番号および各フレームの先頭における増分を示すインデックス、qは1ないし31280ビットの範囲をもつフレーム内のビット番号を示すインデックスである。フレームの最初の40ビット、つまりV(i,p,1)ないしV(i,p,40)がオーバーヘッド・ビットである。次の31280ビットV(i,p,41)ないしV(i,p,31320)は23個の相続くFEC符号語からのビットからなる。

オーバーヘッド・ビットはフレーム中に次のように挿入される：
V(i,p,1)＝H(i,p,1)
V(i,p,2)＝H(i,p,2)
V(i,p,…)＝H(i,p,…)
V(i,p,40)＝H(i,p,40)。

FEC符号語ビットは、V(i,p,41)が符号語の最初のビットであるよう、たとえばV(i,p,41)＝F(i,m,1)となるようよう整列される。FECビットは、FECから受信される順序で、たとえばV(i,p,42)＝V(i,m,2)、V(i,p,43)＝V(i,m,3)などと、フレーム中に挿入される。

終端ビット挿入ブロック１００４は、90オーバーヘッド・フレーム・ビット毎に２個の終端ビットを挿入することによって、終端ブロックのシーケンスを生成する。終端ブロックは、TFWと同じ92ビットの長さである。終端ブロック中の各ビットはT(i,r,s)と表される。ここで、iはレーン番号であり、rはブロック番号および各ブロックの先頭における増分を示すインデックスであり、sは1ないし92の範囲をもつ終端ブロック内のビット番号を示すインデックスである。各終端ブロックの最初の二つのビット、つまりT(i,r,1)およびT(i,r,2)にはPRBS13生成器の出力R(i,v)が入れられる。ここで、T(i,r,1)＝R(i,v)であり、T(i,r,2)＝R(i,v＋1)である。各終端ブロックの残りの90ビットT(i,r,3)ないしT(i,r,92)は、上記で論じたオーバーヘッド・フレーム・ビットである。フレーム・ビットは、オーバーヘッド・ビットの最初のビットV(i,p,1)が終端ブロックの三番目のビットT(i,r,3)に対応するよう終端ブロックに対して整列される。オーバーヘッド・フレーム・ビットはオーバーヘッド・フレーム内での位置の順に終端ブロックにマッピングされる。たとえばT(i,r,4)＝V(i,p,2)、T(i,r,5)＝V(i,p,3)などとなる。終端ビットPRBS13生成器は、トレーニング・プロセスの間に初期化される。トレーニングが完了すると、終端ビットPRBS13生成器の状態が保持され、結果として得られる出力が、PMAフレーム中の終端ビットについて使用される。

PMAサブ層は次に、相続くビット対を、グレー符号化ブロック１００６を介して四つのグレー符号化されたものの一つにマッピングする。各終端ブロックの各ビット対{A,B}は、次のように、四つのグレー符号化されたレベルのうちの一つをもつグレー符号化されたシンボルに変換される。

{0,0}は0にマッピングされ、
{0,1}は1にマッピングされ、
{1,1}は2にマッピングされ、
{1,0}は3にマッピングされる。

各終端ブロックに対応するグレー符号化されたシンボルはG(i,r,t)と表される。ここで、iはレーン番号、rは終端ブロック番号を示すインデックス、tは1ないし46の範囲をもつ終端ブロック内のシンボル番号を示すインデックスである。ビットの対形成は、各終端ブロックの最初の二つのビットT(i,r,1)およびT(i,r,2)が対をなすようになされる。各ビット対{T(i,r,2t−1),T(i,r,2t)}は{A,B}にマッピングされ、グレー符号化された結果はG(i,r,t)に割り当てられる。グレー符号化されたシンボルG(i,r,1)は終端ブロックの最初の二つのビット、つまり終端ビットから形成され、こうして終端シンボルをなす。

グレー符号化されたシンボルの前置符号化が次に、[1/(1＋D)mod4]前置符号化ブロック１００８によって実行される。前置符号化器出力シンボルはP(i,r,t)である。ここで、iはレーン番号、rは終端ブロック番号を示すインデックス、tは1ないし46の範囲をもつ終端ブロック内のシンボル番号を示すインデックスである。各グレー符号化されたシンボルG(i,r,t)について、前置符号化されたシンボルP(i,r,t)は次のアルゴリズムによって決定される。

If t＝1 then
P(i,r,t)＝G(i,r,t)
Else
P(i,r,t)＝(G(i,r,t)−P(i,r,t−1)) mod 4
End If。

グレー符号化された終端シンボルG(i,r,1)に寄与するビットは終端ビットである。前置符号化アルゴリズムは、このシンボルを、以前の非決定論的諸シンボルと組み合わせるのではなく、直接出力に適用する。このように、この終端シンボルは常に決定論的である。

PMAサブ層９０６によって実行される最後の動作は、PAM4エンコード・ブロック１０１０によって実行されるPAM4エンコードである。PAM4エンコードされたシンボルは、M(i,u)と表される。ここで、iはレーン番号であり、uはシンボル番号を表すインデックスである。それぞれの相続く前置符号化器出力シンボルP(i,r,t)は四つのPAM4レベルの一つにマッピングされ、PAM4エンコーダ出力M(i,u)に割り当てられる。前置符号化器出力シンボルP(i,r,t)からPAM4エンコードされたシンボルM(i,u)へのマッピングは、図２に示されており、上記で論じている。

受信方向では、100GBASE-KP4 PMAの役割は、PMDからのPAM4エンコードされたシンボルを適応させて、さらなる処理のためにFECに渡されるべきFECエンコードされたシンボルにすることである。適応プロセスの一つの実施形態が図１１に示されており、PAM4デコード・ブロック１１００、[(1＋D)mod4]符号化ブロック１１０２、逆グレー符号化ブロック１１０４、終端ビット除去ブロック１１０６およびオーバーヘッド除去ブロック１１０８を含む。一般的な点では、これらの各ブロックは、上記の図１０における対応するブロックに対する逆の動作を実行する。よって、これ以上の詳細はここでは述べない。

図３に示されるようなTRANSMIT(TRAINING)〔送信（トレーニング）〕のときに上記で論じたリンク確立プロセスを簡単にするため、PAM4多レベル信号伝達は、フレーム・マーカー、係数更新および状態レポート・データについては使用されない。フレーム・マーカー４０２、係数更新４０４および状態レポート４０６の送信の間、PAM4送信機は、PMA送受信機能仕様のオーバーヘッド・フレーム、終端ブロック、グレー符号化および1/(1＋D)mod4前置符号化の段をバイパスする。これは図１０ａに示されている。ここで、データ１０１４は、オーバーヘッド挿入ブロック１００２、終端ビット挿入ブロック１００４、グレー符号化ブロック１００６および[1/(1＋D)mod4]前置符号化ブロック１００８のそれぞれをパスすることによって、マルチプレクサ（MUX）１０１２によってPAM4エンコード・ブロック１０１０にリダイレクトされる。したがって、出力レベルは論理的な0については−1 PAM4シンボル・レベルに制約され、論理的な1については＋1 PAM4シンボル・レベルに制約される。それにより、貧弱な品質の、等化されていないチャネル上で、トレーニング・パターンへの簡単な受信機ロックを可能にする。

フレーム・マーカー４０２、係数更新４０４および状態レポート４０６の伝送中の受信データの処理のための対応する受信機動作が図１１ａに示されている。図のように、MUX １１１２が、PAM4デコード・ブロック１０００から、[(1＋D)mod4]符号化ブロック１１０２、逆グレー符号化ブロック１１０４、終端ビット除去ブロック１１０６およびオーバーヘッド除去ブロック１１０８の動作をバイパスして、データ１１１４を出力するよう構成される。

上記で論じたように、係数更新４０４および状態レポート４０６についての各TFWは6個のオーバーヘッド・ビットを含む6UIオーバーヘッド・フィールドを含む。ある実施形態では、オーバーヘッド・ビットは、DME論理値「1」を与えるようセットされる、たとえば000111または111000として符号化される。これは、TFWについてDCバランスを保持するために使われてもよい。

ある実施形態では、係数更新および状態レポートのフィールドの仕様を通じてパリティ・スキームが実装される。ある実装のもとでは、図７の係数更新フィールド・テーブルのセル６および図８の状態レポート・フィールド・テーブルのセル１９が、パリティ・ビットを伝送するために使われる。これに対して、10GBASE-KR PHY規格によれば、このセルについてはすべて0を伝送することが定義されている。二つのパリティ・ビットは、パリティ・ビットを含む全体としての各フィールドが偶パリティをもつよう、各フィールド（係数更新および状態レポート）について別個に計算される。パリティは、フィールド内の論理的に1のセルの数（オーバーヘッド・ビットは含めない）を2を法として表したものである。このパリティ・スキームのもとでは、制御チャネル領域のDCバランスを維持し、たとえばプリセット、初期化および受信機準備完了のような敏感なメッセージの誤った受け入れに対する保護を高めるために、パリティ検査が実装されてもよい。ある実装では、所与のトレーニング・フレーム内の個々のフィールドの境界内でパリティ違反が検出されたら、そのフレームについての制御チャネル内のそのフィールドの内容は無視される。たとえば、係数更新フィールドのパリティだけが不正である場合、係数フィールドの内容のみが無視される。

図１２ａおよび図１２ｂは、ある実施形態に基づくパリティ・スキームの個々の例を示している。図１２ａにおいて、ビット・パターン0000000000がセル６内のパリティ・ビットについて使われる。図１２ｂでは、ビット・パターン1111100000がセル６内のパリティ・ビットについて使われる。

ある実施形態では、トレーニング・パターン４０８は現在IEEE P802.3bj Draft1.0において定義されているPMA送信および受信機能仕様を使って、送信機および受信機が、オーバーヘッド・フレーム器はバイパスしつつ、終端ブロック、グレー符号化および1/(1＋D)mod4前置符号化の段を実施できるようにする。送信機および受信器の動作を容易にする対応するブロック図はそれぞれ図１０ｂおよび図１１ｂに示されている。トレーニング・パターン４０８は、受信機較正を容易にするためにPAM4信号伝達の四つすべてのレベルを用いる。

ある実施形態では、終端ブロック論理（すなわち、図１０ｂにおける終端ビット挿入ブロック１００４）への入力データ１０１６は、PRBS13として知られる13ビットの擬似ランダム・ビット・シーケンスを含む。PRBS13は、多項式関数
G(x)＝1＋x＋x²＋x¹¹＋x¹³
をもつフォボナッチLFSRから導出される8191ビットのシーケンスである。

ある実施形態では、各TFWはPRBS13の45ビットに加えて1終端ビットを含む。PRBS13データの二つのフル・シーケンス（第一のPRBS13についての8191ビット＋182終端ビット、第二についての8191ビット＋182終端ビットで合計16380ビット＋364終端ビット）が、図４ｂおよび図１３に示されるように、トレーニング・パターン４０８に対応する384個のTB46ブロックの間に送信される。ある実施形態では、第二のPRBS13シーケンスは、図４ｂにおけるPRBS13aおよびPRBS13bに描かれるように、第一のもののビット反転から最後の2ビットを減らしたものを含む。

図４ｂに示される例示的なトレーニング・パターンに加えて、図１４は、シミュレートされたリンク・トレーニング動作の間に生成された例示的なトレーニング・パターンを示す。フレームのフレーム・マーカーおよび制御チャネル部分の間の、図の左部分にあるフル・スイング信号伝達に着目されたい。また、フレームのトレーニング・パターン部分の間の右側にある４レベル信号伝達にも着目されたい。

ある実施形態では、レーン0〜3についてのトレーニング・パターン初期状態は以下の仕方で導かれる。PRBS13内の8191通りの可能な初期状態のうち、以下のプロセスがDCバランスがとれた結果を生じるものは34ある：初期状態から出発してフルPRBS13シーケンスを、そして同じ状態を反転したものからもう一つのフルPRBS13を生成し、そのデータにPMAデータ・エンコードの大半（ブロック終端、グレー符号化、1/(1＋D)mod4前置符号化およびPAM4マッピング）を適用する。これら34個の状態のうち、22個は最終的な前置符号化器状態として「0」をもち、出力のDCバランスがとれていて前置符号化器の最終状態が「0」である四つの状態が選択される。ある実施形態では、初期の四つの状態は、図１５ｂに示されるように、四つの結果的なPAM4シーケンスが（オフセット0のところを除いて）低い自己相関をもち、各対間で低い相互相関をもつよう選ばれる。以上の条件を満たす初期状態（LSBを先にした、データ経路に送られる初期ビット）の例示的な集合は、図１５ｂに示されるように、S0＝0x836F、S1＝0x4007、S2＝0xB947、S3＝0xD3D4を含む。各物理的レーンi＝0〜3について、トレーニング・シーケンスは状態Siから出発する。これはまた、レーンがスワップされてもレーンを一意的に同定し、レーン順序同定をのちに保存する。初期PRBS状態のこの選択のため、初期前置符号化器状態は0なので、最終状態も0である。これは、データ・モード（リンク初期化後のランタイム・リンク動作モード）への切り換えの際に前置符号化器状態が0であるとわかっているという恩恵がある。PRBS状態および前置符号化器状態は、フレーム・マーカーおよび制御チャネル伝送の間は進まない。

リンク・トレーニング・モードからデータ・モードへの迅速な遷移
トレーニング・モードの間、リンクの第一の末端にあるコンポーネント中の送信機からリンクの他端（第二の末端）におけるコンポーネント中の受信機にデータが送信される。並行して、リンクの第二の末端におけるコンポーネント中の送信機からリンクの第一の末端にあるコンポーネント中の受信機にデータが送信される。これは図１に概略的に示されており、上記で論じてある。トレーニング・モードの目的は、データ・モードの間の精確なデータ転送を可能にするよう、リンクの各末端にあるポート間で同期およびチューニングを実行することである。トレーニング・モードの間に、データ・モード、すなわち、リンクの両端におけるコンポーネント間でデータが転送される、当該リンクのための通常動作モードへの遷移を可能にするために、十分な同期およびチューニングが得られる。

ある実施形態のもとでは、696個のTB46語の長さをもつPMAフレームがデータ・モードのために使われる。これとは対照的に、トレーニング・フレーム４００の長さは384個のTB46語である。ある実施形態では、pma_align_offset（PAO）〔PMA整列オフセット〕マーカーと呼ばれる整列データ変数が、PMAフレームに対する次のトレーニング・フレームの相対位置を5ビット整数として示すために用いられる。ここで、
0：40ビット・オーバーヘッドと整列されたマーカー
1：40ビット・オーバーヘッドからの24語のオフセットにあるマーカー
2…27
28：40ビット・オーバーヘッドから28×24＝672語のオフセットにあるマーカー
29ないし31：無効、送信されない、受信時に無視される。

トレーニング・モードの間およびデータ・モードへの遷移の間、トレーニング・フレームは図１６に示されるように逐次的に送信される。リンク・トレーニング・モードではトレーニング・フレームはPMAフレーム内で送られないが、PMAフレーム形成論理およびデータ経路はトレーニング・フレームを作るために使われる。

ある実施形態では、トレーニング・フレームは、各PMAフレームの先頭において用いられる40ビットのオーバーヘッドに対して24×PAO個のTB46ブロックのオフセットをもって送信される。PAO∈{0…28}。この結果、オフセットは、694/24＝29トレーニング・フレームの周期で周期的になる。これらのパラメータのもとでは、PAOについての式は
PAO＝mod(384*n,29)/24
となる。ここで、nはトレーニング・フレーム・シーケンス番号である。

この式は、kについての一般化された式
PAO＝mod(l_tf*n,m)/(l_pma/m)
から導出される。ここで、l_tfはトレーニング・フレームの長さ、l_pmaはPMAフレームの長さ、mはオフセット周期中のトレーニング・フレームの数、nはトレーニング・フレーム・シーケンス番号である。

この方式に従う一つの例示的な実装の例が図１６に示されている。ここでは、四つのトレーニング・フレーム４００ａ、４００ｂ、４００ｃおよび４００ｄが三つのPMAフレーム６００ａ、６００ｂおよび６００ｃ内で続けざまに送信される。この例では、第一のトレーニング・フレーム４００ａは、第一のPMAフレーム６００ａの先頭と整列して、トレーニング・フレームの先頭とPMAフレームの先頭との間のオフセットが0でありk＝0であるように送信される。この初期条件（すなわち、PAO＝0）のもとでは、次のトレーニング・フレームは384（PAO＝16）のオフセットをもつ。それに、72（PAO＝3）、456（PAO＝19）および144（PAO＝6）などが続く。

対応するPAOマーカーと一緒に29個のトレーニング・フレームのトレーニング・フレーム・サイクルの例示が図１７に示されている。この例では、トレーニング・フレーム１（TF#1）はPAO値16を含み、これはPMAフレーム内の次のトレーニング・フレーム（TF#2）の相対位置を示すために24を乗算される。図のように、TF#2についての次のPAO値は3であり、それに19、6、22などが続く。PAO値はトレーニング・フレーム間で16ずつ進んでいる（mod29で）。サイクル・シーケンス内の最後の二つのトレーニング・フレームについてのPAO値は13および0であり、これでサイクルは最初の整列に戻る（それは、この例では、トレーニング・フレームの先頭がPMAフレームの40ビット・オーバーヘッドと整列していることを示す）。

ある実施形態では、PMA整列オフセット・データは、トレーニング・モードからデータ・モードへの遷移を容易にするために、カウントダウン値と組み合わせて使われる。カウントダウン値の使用は、受信側に、遷移がj、j−1、……、1、0トレーニング・フレーム後に起こるという指標を与える。ここで、対応するtraining_frame_countdown〔トレーニング・フレーム・カウントダウン〕変数が、データ・モード動作の前に送られるべき残りのトレーニング・フレームの数を示すために用いられる。

図８に戻ると、状態フィールド・セルは、トレーニング・モードからデータ・モードへの迅速な遷移を容易にするために使われる三つのセルを含む。これは次のように動作する。第一のコンポーネントの送信機から第二のコンポーネントの受信機へのリンク上で十分な同期およびチューニングが達成されたことを検出すると、第二のコンポーネントの送信機は状態フィールドのセル６内の値1を第一のコンポーネントの受信機に返し、ローカル受信機が、トレーニングが完了であると判定しておりデータを受信する用意ができていることを示す。5ビットのpma_align_offset値も状態フィールド中で、セル11:7中のデータ（上記で論じたように、PAO＝mod(384*n,29)/24の値をもつ）を介して、2,1,0のカウントダウン・シーケンスを容易にするセル13:12中の2ビットのtraining_frame_countdown値とともに、返される。これについては下記でさらに詳細に述べる。

図１８は、PAOマーカーPAOおよびカウントダウン値jを用いるコンポーネントAおよびBの間のリンクについて、トレーニング・モードからデータ・モードへの遷移を容易にするために用いられる、トレーニング・フレームおよび対応する状態フィールド値の交換を示している。トレーニング・モード動作の間、コンポーネントAはトレーニング・フレーム１８００をその送信機（TX）ポートからコンポーネントBに送る。コンポーネントBはその受信機（RX）ポートにおいて該トレーニング・フレームを受信する。受信される各トレーニング・フレーム１８００に応答して、コンポーネントBは、受信機準備完了値、POAマーカーおよびカウントダウン値に対応する状態セル中にパラメータを含むトレーニング・フレーム１８０２を返送する。十分な同期およびチューニングを確立する前には、コンポーネントBは、受信機準備完了値「0」をもつトレーニング・フレームを返す。これは、ローカル受信機（すなわち、コンポーネントBのRXポート）がトレーニングが継続されることを要求していることを示す。ある実施形態では、受信機準備完了が「0」のとき、training_frame_countdown値jが3に設定される。これはトレーニング・フレーム１８００ａおよび１８０２ａによって描かれている。ローカル受信機が、データ・モードへの遷移の準備ができていることを示す前のこの時間枠の間、POAマーカーPAO値およびカウントダウンj値は無視されてもよい。さまざまな実施形態において、POAマーカーPAOは各フレームについて通常の仕方で計算されて、状態レポート・フィールド・データに含まれてもよいし、あるいは単にあらかじめ決められた値に設定されてもよい。一方、カウントダウンj値は同様にあらかじめ決められた値に設定されてもよい。POAマーカーPAOがこの時間枠において含められても含められなくても、ローカル受信機はそのPAOマーカーPAO値を更新し続ける。

トレーニング・フレーム１８００ｂを受信するのに応答して、コンポーネントBのローカル受信機はトレーニングが完了であり、データを受信する、すなわちデータ・モードに遷移する準備完了であることを、受信機準備完了値「1」をもつトレーニング・フレーム１８０２ｂを返すことによって示す。トレーニング・フレーム１０８２ｂにおいては、POA_n+lによって描かれる、トレーニング・フレーム１８０２ａと１８０２ｂの間の進み16（mod29）に対応するPOAマーカー値PAOも、初期カウントダウン値jに設定されたカウントダウン値とともに返される。ある実施形態では、jの値は「3」に設定される。この命名法のもとでは、n＋1はnについての次の値、すなわちPAOの16(mod29)の進みを意味する。

ある実施形態では、データ・モードに遷移するために、リンクの両端にあるコンポーネントは受信機準備完了＝1をアサートする（Receiver_Readyをアサートする）必要がある。ひとたびReceiver_Readyが両方のコンポーネントによってアサートされたら、Wait_Timer〔待機タイマー〕期間が開始される。その期間の間、データ・モードに遷移する前に、約100〜300のトレーニング・フレームが送られる。Wait_Timer期間の終わり近くになると、カウントダウン・シーケンスが始まり、こうしてデータ・モードへの遷移がいつ起こるかを同定する。ひとたびtraining_frame_countdown値が0に達したら、受信されるデータの次の部分（現在のトレーニング・フレームに続く部分）はデータ・モードのデータを含むことになり、それはPMAフレームの先頭からの、pma_align_offset値（24を乗算したもの）によって示されるオフセットにおいて始まる。

トレーニング・フレーム１８００ｃおよび１８０２ｃにおいて続けると、返された状態フィールド値は受信機準備完了＝1、16(mod29)のさらなる進みを示すPOAマーカー値POA_n+2を、カウントダウン値j−1とともに含む。このカウントダウン値は、1だけデクリメントされたカウントダウン値を示している。トレーニング・フレーム１８００ｄおよび１８０２ｄによって描かれるようにカウントダウン・シーケンスはカウントダウン値＝0になるまで続く。この時点で、ローカル送信機（コンポーネントAのTXポート）は相手コンポーネントの受信機がデータ・モードに遷移するよう構成されていることを知らされたことになる。

図１８の下の部分に続くと、ひとたびデータ・モードへの遷移が完了すると、送信されるべき次のフレームは、PMAフレーム６００−１に対して値POA_n+j+1によって定義される整列オフセットにおいて始まるデータ・フレームである。（PMAフレーム６００−２および６００−３によって描かれる）前方に行くコンポーネントAのTXポートから送信されるPAMフレームは、データ・モード動作の間にデータを転送するために使われる適用可能なフォーマットに従ったフォーマットをもつデータ・フレームを含むことになる。

例示的な実装環境およびブレード・サーバー・アーキテクチャ
本稿の実施形態の諸側面が、データ・センターおよび／またはサーバー・ファーム環境において用いられるようなスイッチ、ルータおよびブレード・サーバーのようなさまざまな型のコンピューティングおよびネットワーキング設備において実装されうることが構想されている。典型的には、データ・センターおよびサーバー・ファームにおいて使われるサーバーは、ラックベースのサーバーまたはブレード・サーバーのような、アレイにされたサーバー構成を有する。これらのサーバーはさまざまなネットワーク装備を介して通信において相互接続される。たとえば、サーバーの諸セットを、LAN間の適切なスイッチングおよびルーティング施設をもつLANに区画して私設イントラネットを形成する。たとえば、クラウド・ホスティング施設が典型的には多数のサーバーをもつ大きなデータ・センターを用いてもよい。

概観として、典型的なブレード・サーバー・コンポーネントおよびシステムは図１６ａ〜ｃおよび図１７に示される。典型的な構成のもとでは、ラックマウント・シャーシ１６００が、複数のサーバー・ブレード（すなわちブレード）１６０２について電力および通信機能を提供するために用いられる。各ブレードは対応するスロットを占有する。（シャーシ内のすべてのスロットが占有される必要がないことを注意しておく。）一方、一つまたは複数のシャーシ１６００が図１６ｃに示されるブレード・サーバー・ラック１６０３内に設置されてもよい。各ブレードは、設置時に一つまたは複数のかみ合いコネクタを介してインターフェース・プレーン１６０４（すなわち、バックプレーンまたはミッドプレーン）に結合される。典型的には、インターフェース・プレーンは、ブレードに電力および通信信号を与える複数の個々のかみ合いコネクタを含む。現在の慣行では、多くのインターフェース・プレーンは「ホットスワップ」機能を提供する――つまり、適切な電力およびデータ信号バッファリングを通じて、シャーシ全体の電源を落とすことなく、ブレードはオンザフライで加えたり取り除いたり（「ホットスワップ」）できる。

典型的なミッドプレーン・インターフェース・プレーン構成が図１６ａおよび１６ｂに示されている。インターフェース・プレーン１６０４の裏側は一つまたは複数の電源１６０６に結合される。しばしば、電源は冗長に設けられ、ホットスワップ可能であり、電源障害の場合に継続運転を可能にするよう、適切なパワー・プレーンおよび調整回路に結合される。ある任意的な構成では、電源のアレイがブレードのラック全体に電力を供給するために使われてもよい。ここで、電源とシャーシの間の一対一の対応はない。サーバー・ブレードを冷却するためにシャーシを通じて空気を通すために複数の冷却ファン１６０８が用いられる。

すべてのブレード・サーバーに要求される重要な機能は、他のITインフラストラクチャーと外部的に通信する能力である。これは典型的には、一つまたは複数のネットワーク接続カード１６１０を介して容易にされる。そのそれぞれはインターフェース・プレーン１６０４に結合される。一般に、ネットワーク接続カードは、複数のネットワーク・ポート接続（たとえばRJ-45ポート）を有する物理的なインターフェースを含んでいてもよいし、あるいはネットワーク・スイッチ、ハブまたはルータのようなネットワーク装置に直接接続するよう設計された高密度コネクタを有していてもよい。

ブレード・サーバーは通例、個々のブレードの動作を管理するための何らかの型の管理インターフェースを提供する。これは、組み込みのネットワークまたは通信チャネル（単数または複数）によって容易にされうる。たとえば、「プライベート」または「管理」ネットワークを容易にするための一つまたは複数のバスおよび適切なスイッチングがインターフェース・プレーンに組み込まれてもよい。あるいはプライベート・ネットワークが、密に結合されたネットワーク・ケーブル類およびネットワークを通じて実装されてもよい。任意的に、スイッチングおよび他の管理機能は、インターフェース・プレーンの裏側または前側に結合される管理スイッチ・カード１６１２によって提供されてもよい。さらにもう一つのオプションとして、管理または構成サーバーは、ブレード活動を管理するよう用いられてもよい。ここで、通信は、標準的なコンピュータ・ネットワーキング・インフラストラクチャー、たとえばイーサネットを介して扱われる。

図１７を参照するに、例示的なブレード１７００のさらなる詳細が示されている。上記で論じたように、サーバー型機能を実行するよう構成されている別個のコンピューティング・プラットフォームを有する、すなわち「サーバー・オン・カード（server on a card）」である。よって、各ブレードは、基板上にマウントされる適切な諸集積回路（IC）および他のコンポーネントを結合するための内部配線（すなわちバス）を提供するメインのプリント回路基板（メインボード）１７０１を含む、通常のサーバーに一般的なコンポーネントを含む。これらのコンポーネントはシステム・メモリ１７０４（たとえば何らかの形のランダム・アクセス・メモリ（RAM））、キャッシュ・メモリ１７０６（たとえばSDRAM）およびファームウェア記憶装置１７０８（たとえばフラッシュメモリ）に結合された一つまたは複数のプロセッサ１７０２を含む。NIC（network interface controller［ネットワーク・インターフェース・コントローラ］）チップ１７１０が、ブレードと外部ネットワーク・インフラストラクチャーとの間の通信をサポートするなど、通常のネットワーク通信機能を提供するために提供される。他の示されているコンポーネントは状態LED（発光ダイオード）１７１２、一組のRJ-45コンソール・ポート１７１４（簡単のためその一つのみ示している）およびインターフェース・プレーン・コネクタ１７１６に結合されたNIC １７１５を含む。さらなるコンポーネントは、さまざまな受動コンポーネント（すなわち抵抗、コンデンサ）、電力調整コンポーネントおよび周辺装置コネクタを含む。

一般に、各ブレード１７００はオンボードの記憶をも設けている。これは典型的には、一つまたは複数の組み込みのディスク・コントローラと、一つまたは複数のディスク・ドライブ１７１８が結合される対応するコネクタとを介して容易にされる。たとえば、典型的なディスク・コントローラはSATANコントローラ、SCSIコントローラなどを含む。オプションとして、ディスク・ドライブは、同じまたは別個のラックにあるブレードとは別個に収容されてもよい。たとえば、ネットワーク取り付け記憶（NAS: network-attached storage）機器またはバックエンド記憶サブシステムが大量のデータを記憶するために用いられる場合にそうでありうる。

NIC １７１０は、物理層（L1）およびデータ・リンク層動作（L2）のサポートなど、対応するネットワーキング動作を容易にするための回路および論理を有する。典型的には、上の層の動作は、プロセッサ１７０２上で走るオペレーティング・システムによってホストされるオペレーティング・システム・ネットワーク・スタックによって容易にされる。しかしながら、いくつかの実施形態では、NICは埋め込まれた論理などを介してその独自のネットワーク・スタックを用いてもよい。

典型的なデータ・センター展開では、ネットワーク・スイッチング要素は、1U、2Uまたは4Uスロットを占有するなどのラックマウントされた設備を有し、あるいは一つまたは複数のサーバー・ブレードを介して実装されてもよい。任意的に、ネットワーク・スイッチング要素は一つまたは複数のサーバー・ブレードを使って実装されてもよい。

NIC １７１５は、インターフェース・プレーン１６０４を介して複数のブレード１７００間で高速通信を実装するための回路および論理を有する。ある実施形態では、NIC １７１５は、100GBASE-KP4ポートおよび関連するリンク・トレーニング動作を実装するための回路および論理を含め、本稿に開示される100Gbps実施形態に対応する信号伝達および論理を実装するよう構成される。100GBASE-KP4 PHYを通じたブレード間通信をさらに容易にするために、インターフェース・プレーン１６０４はPHYの物理的媒体側面を容易にするための適切なコネクタ、回路および配線（配線は図示せず）を含む。たとえば、回路は、図１に示した構成に基づいて、８個の差動対を通じた信号伝達を容易にするためのコネクタおよび配線を有していてもよい。

一般に、本稿に開示されるリンク・トレーニング実施形態の諸側面は、ハードウェアで（たとえば埋め込み論理を介して）またはハードウェアとソフトウェアの組み合わせを介して実装されてもよい。たとえば、ネットワーク要素はソフトウェア・ベースのネットワーク・スタックと、本稿に記載される動作の諸側面を実行するためにソフトウェアを介して実装される関連した論理とを走らせるプロセッサを含んでいてもよい。任意的に、同様の論理は、NIC内の埋め込み論理、大規模ネットワーク・インターフェースなどを介して実装されることもできる。

ブレード・サーバー中での実装に加えて、本願の原理および教示は、遠隔通信ルータおよびスイッチのような他の型の設備を介して実装されてもよい。たとえば、典型的な遠隔通信スイッチは、バックプレーンに結合された複数のカードをもつラックを有する。それらのカードは一般に、ブレードと類似のものであり、バックプレーンはブレード・サーバー内のインターフェース・プレーンと類似である。よって、カードは、実装される100GBASE-KP4ポートについての回路および論理をもって構成され、バックプレーンは、100GBASE-KP4 PHYの物理媒体側面を容易にするためのコネクタ、回路および配線を含む。

図２１は、本稿に開示される実施形態の諸側面に基づくリンク・トレーニングおよび初期化動作を実行するよう構成されたネットワーク・チップ２１０２を用いるネットワーク・ノードのためのアーキテクチャ２１００を示している。ネットワーク・チップ２１０２は、PCSモジュール２１０６、自動ネゴシエーション・モジュール２１０８、リンク・トレーニング・モジュール２１１０、送信器回路２１１３を含む送信機ポート２１１２および受信器回路２１１５を含む受信機ポート２１１４を含むPHY回路２１０４を有する。ネットワーク・チップ２１０２はさらに、DMA（Direct Memory Access［直接メモリ・アクセス］）インターフェース２１１６、周辺コンポーネント相互接続エクスプレス（PCIe: Peripheral Component Interconnect Express）インターフェース２１１８、MACモジュール２１２０および折り合いサブ層（RS: Reconciliation Sublayer）モジュール２１２２を含む。ネットワーク・ノード２１００は、相互接続２１３２を介してメモリ・インターフェース２１２８およびPCIeインターフェース２１３０に結合された一つまたは複数のプロセッサ・コアを有する中央処理ユニット（CPU: Central Processing Unit）２１２６を含むシステム・オン・チップ（SoC: System on a Chip）２１２４をも有する。メモリ・インターフェース２１２８はさらに、メモリ２１３４に結合されているものとして描かれている。典型的な構成のもとでは、ネットワーク・チップ２１０２、SoC ２１２４およびメモリ２１３４は、これらのコンポーネントを通信において結合するための配線トレースを含む回路基板２１３６上にマウントされるまたは他の仕方で動作上結合される。その様子は、DMA ２１１６をメモリ２１３４に、PCIeインターフェース２１１８をPCIeポート２１３８においてPCIeインターフェース２１３０に接続する単一線によって描かれている。

ある実施形態では、MACモジュール２１２０は、本稿に記載される実施形態によって実行されるMAC層動作の諸側面を実装するよう構成される。同様に、RSモジュール２１２２は、図９ａにおいて示されるような、本稿に記載される実施形態によって実行される折り合いサブ層動作を実装するよう構成される。

リンク・トレーニング・モジュール２１１０はさらに、本稿に開示されるトレーニング・フレーム実施形態に基づいて構成されるトレーニング・フレーム２１４０を含むものとして描かれている。自動ネゴシエーション・モジュール２１０８はさらに、ベース・ページ２１４２を含むものとして描かれている。リンク初期化の間、自動ネゴシエーション・モジュール２１０８はリンク速度および機能の自動ネゴシエーションのために実装される。自動ネゴシエーション・フォーマットは、受信機ポート２１４６および送信機ポート２１４８を含むリンク・パートナー２１４４によって描かれるようなリンク・パートナーと交換される第一の組のフォーマットされた情報であるベース・ページ（たとえばベース・ページ２１４２）からなる。ある実施形態では、ノード２１００およびリンク・パートナー２１４４の構成は同様である。ある実施形態では、ベース・ページ２１４２のフォーマットはIEEE802.3ap、10GBASE-KR規格において定義されるベース・ページ・フォーマットに従う。リンク・トレーニング・モジュール２１１０はさらに、本稿に開示される諸実施形態の諸側面に基づいて、ネットワーク・チップ２１０２とリンク・パートナー２１４４との間に通信上結合されたリンク２１５０についての初期化に関係するリンク・トレーニング動作を実行するよう構成される。

ある実施形態では、ネットワーク・チップ２１０２は100Gbpsイーサネットのネットワーク・インターフェース・コントローラ（NIC）チップを有する。しかしながら、ネットワーク・チップ２１０２の回路およびコンポーネントは、複数ネットワーク・インターフェース（たとえば有線および無線）のサポートを含むSoC、マルチチップ・モジュールおよびNICチップを含む他の型のチップおよびコンポーネントにおいて実装されてもよい。

個別的な実装を参照していくつかの実施形態について述べてきたが、いくつかの実施形態に基づいて他の実装が可能である。さらに、図面に示されたおよび／または本稿に記載された要素または他の特徴の配列および／または順序は、図示および記載された特定の仕方で配置される必要はない。いくつかの実施形態に基づき、他の多くの配列が可能である。

図に示される各システムにおいて、場合によっては要素がそれぞれ同じ参照符号または異なる参照符号をもつことがある。これは、表される要素が異なるおよび／または同様であることができることを示唆する。しかしながら、要素は、種々の実装をもち、図示したまたは本稿に記載したシステムの一部または全部と協働するのに十分柔軟でありうる。図面に示されるさまざまな要素は同じであってもよいし、異なっていてもよい。どれが第一の要素として指されおり、どれが第二の要素と呼ばれるかは任意である。

本記述および請求項において、「結合された」および「接続された」の用語やその派生形が使われることがある。これらの用語は互いの同義語として意図されていないことを理解しておくべきである。むしろ、個別的な実施形態において、「接続された」は二つ以上の要素が直接的に物理的または電気的に互いに接触していることを示すために使われることがある。「結合された」は二つ以上の要素が直接的に物理的または電気的に接触していることを表すこともあるが、「結合された」は二つ以上の要素が直接的に互いに接触してはいないが、それでも互いと協働し、または互いと相互作用することをも意味することがある。

実施形態は、本発明の実装または例である。本明細書における「ある実施形態」、「一つの実施形態」、「いくつかの実施形態」または「他の実施形態」への言及は、それらの実施形態との関連で記述されている特定の特徴、構造または特性が、必ずしも本発明の全部の実施形態ではなく、少なくともいくつかの実施形態に含まれることを意味する。「ある実施形態」「一つの実施形態」または「いくつかの」実施形態が随所で現われることは、必ずしもみなが同じ実施形態に言及しているのではない。

本稿で記載され、図示されたコンポーネント、特徴、構造、特性などのすべてが必ずしも特定の実施形態（単数または複数）に含まれる必要はない。明細書がコンポーネント、特徴、構造または特性がたとえば「含まれることがある」「含まれてもよい」「含まれることができる」または「含まれうる」と述べる場合、その特定のコンポーネント、特徴、構造または特性が含まれることは必須ではない。明細書または請求項が単数の要素に言及する場合、それはその要素がただ一つあることを意味するのではない。明細書または請求項が「さらなる」要素に言及する場合、それは該さらなる要素が二つ以上あることを排除しない。

要約書に記述されることを含め、本発明の例示される実施形態の上記の記述は、網羅的であることも、本発明を開示される厳密な形に限定することも意図されていない。本発明の個別的な実施形態および例が本稿で例解の目的のために記述されているが、本発明の範囲内でさまざまな等価な修正が可能である。当業者はそのことを認識するであろう。

Claims (35)

1. 高速イーサネット（登録商標）リンクについてリンク・トレーニング・モードとデータ・モードの間の遷移を容易にする方法であって：
   第一のコンポーネントの送信機ポートから、第二のコンポーネントの受信機ポートで受信されるようトレーニング・フレームを送信する段階であって、前記トレーニング・フレームは第一の長さをもち、前記第一の長さとは異なる第二の長さをもつフレームを用いる物理媒体取り付け（PMA）フレーム形成論理を使って送信される、段階と；
   前記第二のコンポーネントの送信機ポートから送信されたトレーニング・フレームを、前記第一のコンポーネントの受信ポートにおいて受信する段階であって、受信される前記トレーニング・フレームは前記第二のコンポーネントの前記受信機ポートがデータを受信する準備状態を同定する受信機準備状態指標、トレーニング・フレームの先頭とPMAフレーム内の所定の位置との間の相対的なオフセットを同定するフレーム整列オフセット・データおよびカウントダウン・データを含む、段階と；
   前記受信機準備状態指標、前記フレーム整列オフセット・データおよび前記カウントダウン・データを用いて、リンク・トレーニング・モードとデータ・モードの間の遷移を容易にする段階とを含む、
   方法。
2. 受信される現在のトレーニング・フレームが、後続のトレーニング・フレームの先頭と前記PMAフレーム内の所定の位置との間の相対的なオフセットを同定するデータを含む、請求項１記載の方法。
3. 前記PMAフレーム内の前記所定の位置が前記PMAフレームについての40ビット・オーバーヘッドである、請求項２記載の方法。
4. トレーニング・フレームが、フレーム・マーカー部分と、制御チャネル部分と、トレーニング・パターン部分とを含み、前記受信機準備状態指標、前記フレーム整列オフセット・データおよび前記カウントダウン・データが、前記トレーニング・フレームの前記制御チャネル部分に含まれる、請求項１記載の方法。
5. 前記トレーニング・フレームの前記制御チャネル部分が、前記受信機準備状態指標、前記フレーム整列オフセット・データおよび前記カウントダウン・データが記憶されているセルを含む、係数更新部分および状態レポート部分を含む、請求項４記載の方法。
6. 前記係数更新部分および状態レポート部分のそれぞれが、差動マンチェスター符号化（DME）を使ってエンコードされたデータを含み、さらに、前記制御チャネル部分および状態レポート部分のそれぞれが、DCバランスを実施するよう選択されたオーバーヘッド・ビットを含む、請求項５記載の方法。
7. 前記トレーニング・フレームの制御チャネル部分が係数更新部分および状態レポート部分を含み、前記係数更新部分および前記状態レポート部分のそれぞれについて別個のパリティ・ビットが用いられる、請求項４記載の方法。
8. トレーニング・フレームが第一の長さをもち、PMAフレームが前記第一の長さより長い第二の長さをもち、前記フレーム整列オフセット・データは、前記第一の長さおよび前記第二の長さならびに前記トレーニング・フレームと前記PMAフレームの間の整列周期中のトレーニング・フレームの数の関数として導出される整数として符号化される、請求項１記載の方法。
9. 請求項８記載の方法であって、前記関数が式：
   PAO＝mod(l_tf*n,m)/(l_pma/m)
   によって定義され、l_tfは前記トレーニング・フレームの長さ、l_pmaは前記PMAフレームの長さ、mは前記オフセット周期中のトレーニング・フレームの数、nはトレーニング・フレーム・シーケンス番号である、
   方法。
10. 請求項８記載の方法であって、前記関数が式：
    PAO＝mod(384*n,29)/24
    によって定義され、nはトレーニング・フレーム・シーケンス番号である、方法。
11. 前記トレーニング・フレームが複数の46ビットの終端されたブロック（TB46）を含み、前記トレーニング・フレームが384個のTB46の長さをもつ、請求項１記載の方法。
12. 前記トレーニング・フレームがトレーニング・パターンを含み、当該方法がさらに、前記トレーニング・パターンの少なくとも一部について13ビット擬似ランダム・ビット・シーケンス（PRBS13）ビット・パターンを用いることを含む、請求項１記載の方法。
13. PRBS13初期状態が、終端プロセス、グレー符号化プロセス、前置符号化プロセスおよびPAM4エンコード・プロセスとともに使われるときにDCバランスがとれており、前置符号化器動作の最終状態が「0」となるPRBS13初期状態のうちから選択される、請求項１２記載の方法。
14. 前記イーサネット・リンクが四つのレーンを用いる複数レーン・リンクを含み、PRBS13初期状態が、結果として得られるPAM4シーケンスが互いに対して低い相互相関をもつよう、それぞれのレーンについて選択される、請求項１３記載の方法。
15. 前記イーサネット・リンクが複数のレーンを含む複数レーン・リンクを含み、複数のレーンのそれぞれを通じてトレーニング・フレームを送信することをさらに含む、請求項１記載の方法。
16. 前記イーサネット・リンクがミッドプレーンまたはバックプレーンの一方での配線を介して実装される物理的媒体を含む、請求項１記載の方法。
17. 前記高速イーサネット・リンクが100ギガビット毎秒の帯域幅をサポートする、請求項１記載の方法。
18. 送信機ポートおよび受信機ポートを有する高速イーサネット〔登録商標〕インターフェースを含む装置であって、当該装置は、当該装置が動作しているときに：
    リンク・トレーニング・モードの間、前記高速イーサネット・インターフェースの前記送信機ポートから、第二の装置の受信機ポートで受信されるようトレーニング・フレームを送信する段階であって、前記トレーニング・フレームは第一の長さをもち、前記第一の長さとは異なる第二の長さをもつフレームを用いる物理媒体取り付け（PMA）フレーム形成論理を使って送信される、段階と；
    前記第二の装置の送信機ポートから送信されたトレーニング・フレームを、前記高速イーサネット・インターフェースの受信ポートにおいて受信する段階であって、受信される前記トレーニング・フレームは前記第二のコンポーネントの前記受信機ポートがデータを受信する準備状態を同定する受信機準備状態指標、トレーニング・フレームの先頭とPMAフレーム内の所定の位置との間の相対的なオフセットを同定するフレーム整列オフセット・データおよびカウントダウン・データを含む、段階と；
    前記受信機準備状態指標、前記フレーム整列オフセット・データおよび前記カウントダウン・データを用いて、リンク・トレーニング・モードとデータ・モードの間の遷移を容易にする段階とを含む動作を実行するよう構成されている、
    装置。
19. トレーニング・フレームが第一の長さをもち、PMAフレームが前記第一の長さより長い第二の長さをもち、前記フレーム整列オフセット・データは、前記第一の長さおよび前記第二の長さならびに前記トレーニング・フレームと前記PMAフレームの間の整列周期中のトレーニング・フレームの数の関数として導出される整数として符号化される、請求項１８記載の装置。
20. 請求項１９記載の装置であって、前記関数が式：
    PAO＝mod(l_tf*n,m)/(l_pma/m)
    によって定義され、l_tfは前記トレーニング・フレームの長さ、l_pmaは前記PMAフレームの長さ、mは前記オフセット周期中のトレーニング・フレームの数、nはトレーニング・フレーム・シーケンス番号である、
    装置。
21. 請求項１９記載の装置であって、前記関数が式：
    PAO＝mod(384*n,29)/24
    によって定義され、nはトレーニング・フレーム・シーケンス番号である、装置。
22. 前記トレーニング・フレームが複数の46ビットの終端されたブロック（TB46）を含み、前記トレーニング・フレームが384個のTB46の長さをもち、前記PMAフレームは696ビットの長さをもつ、請求項１８記載の装置。
23. 前記高速イーサネット送信機ポートが複数のレーンを含む複数レーン・リンクを実装するよう構成されており、前記イーサネット送信機ポートがさらに、複数のレーンのそれぞれを通じてトレーニング・フレームを送信するよう構成されている、請求項１８記載の装置。
24. 前記高速イーサネット送信機ポートが100ギガビット毎秒の帯域幅をサポートする、請求項１８記載の装置。
25. 前記第二の装置からトレーニング・フレームを受信するよう構成された高速イーサネット受信ポートをさらに有する、請求項１８記載の装置。
26. シャーシと；
    第一および第二のインタープレーン・コネクタおよび両者の間に結合された配線を有し、100ギガビット毎秒（Gbps）イーサネット・リンクを容易にするよう構成された、前記シャーシ内に取り付けられたインタープレーンと；
    前記第一のインタープレーン・コネクタに結合された第一のボード・コネクタに動作上結合された100Gbpsイーサネット送信機および受信機ポートを含む第一のネットワーク・インターフェース・コントローラ（NIC）を有する第一のボードと；
    前記第二のインタープレーン・コネクタに結合された第二のボード・コネクタに動作上結合された100Gbpsイーサネット送信機および受信機ポートを含む第二のNICを有する第二のボードとを有するシステムであって、
    前記第一のNICは前記システムが動作しているときに：
    リンク・トレーニング・モードの間、前記第一のNICの前記送信機ポートから、前記第二のNICの前記受信機ポートにトレーニング・フレームを送信する段階であって、前記トレーニング・フレームは第一の長さをもち、前記第一の長さとは異なる第二の長さをもつフレームを用いる物理媒体取り付け（PMA）フレーム形成論理を使って送信される、段階と；
    前記第二のNICの前記送信機ポートから送信されたトレーニング・フレームを、前記第一のNICの前記受信ポートにおいて受信する段階であって、受信される前記トレーニング・フレームは前記第二のコンポーネントの前記受信機ポートがデータを受信する準備状態を同定する受信機準備状態指標、トレーニング・フレームの先頭とPMAフレーム内の所定の位置との間の相対的なオフセットを同定するフレーム整列オフセット・データおよびカウントダウン・データを含む、段階と；
    前記受信機準備状態指標、前記フレーム整列オフセット・データおよび前記カウントダウン・データを用いて、リンク・トレーニング・モードとデータ・モードの間の遷移を容易にする段階とを含む動作を実行するよう構成されている、
    システム。
27. トレーニング・フレームが第一の長さをもち、PMAフレームが前記第一の長さより長い第二の長さをもち、前記フレーム整列オフセット・データは、前記第一の長さおよび前記第二の長さならびに前記トレーニング・フレームと前記PMAフレームの間の整列周期中のトレーニング・フレームの数の関数として導出される整数として符号化される、請求項２６記載のシステム。
28. 請求項２７記載のシステムであって、前記関数が式：
    PAO＝mod(l_tf*n,m)/(l_pma/m)
    によって定義され、l_tfは前記トレーニング・フレームの長さ、l_pmaは前記PMAフレームの長さ、mは前記オフセット周期中のトレーニング・フレームの数、nはトレーニング・フレーム・シーケンス番号である、
    システム。
29. 請求項２７記載の装置であって、前記関数が式：
    PAO＝mod(384*n,29)/24
    によって定義され、nはトレーニング・フレーム・シーケンス番号である、システム。
30. 前記トレーニング・フレームが複数の46ビットの終端されたブロック（TB46）を含み、前記トレーニング・フレームが384個のTB46の長さをもち、前記PMAフレームは696ビットの長さをもつ、請求項２６記載のシステム。
31. 物理符号化サブ層（PCS）モジュール；自動ネゴシエーション・モジュール；リンク・トレーニング・モジュール；送信機回路を含む送信機ポート；および受信機回路を含む受信器ポートを含む物理層（PHY）回路と；
    媒体アクセス制御（MAC）モジュールと；
    折り合いサブ層（RS）モジュールと；
    周辺コンポーネント相互接続エクスプレス（PCIe）インターフェースとを有する装置であって、当該装置は、動作しているときに、
    リンク・トレーニング・モードの間、前記送信機ポートを介して、リンク・パートナーの受信機ポートにトレーニング・フレームを送信する段階であって、前記トレーニング・フレームは第一の長さをもち、前記第一の長さとは異なる第二の長さをもつフレームを用いる物理媒体取り付け（PMA）フレーム形成論理を使って送信される、段階と；
    前記リンク・パートナーの送信機ポートから送信されたトレーニング・フレームを、当該装置の前記受信機ポートにおいて受信する段階であって、受信される前記トレーニング・フレームは前記第リンク・パートナーの前記受信機ポートがデータを受信する準備状態を同定する受信機準備状態指標、トレーニング・フレームの先頭とPMAフレーム内の所定の位置との間の相対的なオフセットを同定するフレーム整列オフセット・データおよびカウントダウン・データ値を含む、段階と；
    前記受信機準備状態指標、前記フレーム整列オフセット・データおよび前記カウントダウン・データを用いて、リンク・トレーニング・モードとデータ・モードの間の遷移を容易にする段階とを含む動作を実行するよう構成されている、
    装置。
32. トレーニング・フレームが第一の長さをもち、PMAフレームが前記第一の長さより長い第二の長さをもち、前記フレーム整列オフセット・データは、前記第一の長さおよび前記第二の長さならびに前記トレーニング・フレームと前記PMAフレームの間の整列周期中のトレーニング・フレームの数の関数として導出される整数として符号化される、請求項３１記載の装置。
33. 請求項３２記載の装置であって、前記関数が式：
    PAO＝mod(l_tf*n,m)/(l_pma/m)
    によって定義され、l_tfは前記トレーニング・フレームの長さ、l_pmaは前記PMAフレームの長さ、mは前記オフセット周期中のトレーニング・フレームの数、nはトレーニング・フレーム・シーケンス番号である、
    装置。
34. 請求項３２記載の装置であって、前記関数が式：
    PAO＝mod(384*n,29)/24
    によって定義され、nはトレーニング・フレーム・シーケンス番号である、装置。
35. 当該装置が100ギガビット毎秒のイーサネット・ネットワーク・インターフェース・コントローラを有する、請求項３１記載の装置。

Images