JP2002124988A - 長さとデータを1つのストリームとする転送及び待合せ - Google Patents

長さとデータを1つのストリームとする転送及び待合せ

Info

Publication number
JP2002124988A
JP2002124988A JP2001241632A JP2001241632A JP2002124988A JP 2002124988 A JP2002124988 A JP 2002124988A JP 2001241632 A JP2001241632 A JP 2001241632A JP 2001241632 A JP2001241632 A JP 2001241632A JP 2002124988 A JP2002124988 A JP 2002124988A
Authority
JP
Japan
Prior art keywords
packet
fabric
length
switch
port card
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001241632A
Other languages
English (en)
Other versions
JP4662658B2 (ja
Inventor
Fan Zhou
ジョウ ファン
Veera Reddy
レディー ヴェラ
Jon Vogel
ボーゲル ジョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Marconi Communications Inc
Original Assignee
Marconi Communications Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Marconi Communications Inc filed Critical Marconi Communications Inc
Publication of JP2002124988A publication Critical patent/JP2002124988A/ja
Application granted granted Critical
Publication of JP4662658B2 publication Critical patent/JP4662658B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/90Buffering arrangements
    • H04L49/9084Reactions to storage capacity overflow
    • H04L49/9089Reactions to storage capacity overflow replacing packets in a storage arrangement, e.g. pushout
    • H04L49/9094Arrangements for simultaneous transmit and receive, e.g. simultaneous reading/writing from/to the storage element
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/90Buffering arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/90Buffering arrangements
    • H04L49/901Buffering arrangements using storage descriptor, e.g. read or write pointers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

(57)【要約】 (修正有) 【課題】 長さとデータを1つのストリームとする転送
及び待合せ方法の提供。 【解決手段】各パケットは長さを有する。スイッチはネ
ットワークからパケットを受信し、及びパケットをネッ
トワークに送信するポートカードを具えている。スイッ
チは、ポートカードに接続され、パケットを切り換える
ファブリックを具える。各ファブリックは、メモリメカ
ニズムを有する。各ファブリックは、ファブリックによ
り受信される各パケットの長さを決定し、パケットがメ
モリメカニズムに格納されるときにパケットとともに長
さ表示器を設置するメカニズムを具えている。決定する
メカニズムは、長さ表示器からパケットの長さがどれだ
けか、及びメモリメカニズム内にてどこでパケットが終
わっているかを識別する。

Description

【発明の詳細な説明】
【0001】発明の分野 本発明は、ワイドキャッシュバッファ構造に於いて、1
つのメモリワード内に多数のパケットを格納することに
関する。特に、本発明はパケットにパケット長さ情報を
付加することにより、1つのメモリワード内に多数のパ
ケットを格納することに関する。
【0002】発明の背景 BFSメモリコントローラに於いては、ワイドキャッシ
ュバッファ構造は、多数のパケットが1つのメモリワー
ド内に詰め込まれて(packed)、バッファアクセスバンド
幅を最適化している。これとともに、BFSメモリコン
トローラは異なる長さのパケットを切り換えることがで
きるから、パケット境界情報はワイドキャッシュバッフ
ァ内でなくなる。もしパケット境界情報(即ち、集約装
置により計算されるパケット長さ)がセパレータの異な
るバスに送られたならば(これはパケットを引き出し、
異なるポートカードに送信するのに必要である)、メモ
リコントローラは、集約装置からのデータから独立した
バスにこれを載せ、データから独立して順番を待ち(que
ue)、データから独立したバス上のセパレータに送信し
なければならない。また、メモリコントローラ内にて、
データキュー(待ち行列、queue)リンクリスト及び長さ
情報キューリンクリストは、同期化されねばならない。
【0003】発明の要旨 本発明は、パケットを切り換えるスイッチに関する。各
パケットは長さを有する。スイッチはネットワークから
パケットを受信し、及びパケットをネットワークに送信
するポートカードを具えている。スイッチは、ポートカ
ードに接続され、パケットを切り換えるファブリックを
具える。各ファブリックは、メモリメカニズムを有す
る。各ファブリックは、ファブリックにより受信される
各パケットの長さを決定し、パケットがメモリメカニズ
ムに格納されるときに、パケットとともに長さ表示器を
設置するメカニズムを具えている。該決定するメカニズ
ムは、長さ表示器からパケットの長さがどれだけか、及
びメモリメカニズム内にてどこでパケットが終了するか
を識別する。
【0004】本発明は、長さを有するパケットを切り換
える方法に関する。方法は、スイッチのポートカードに
て、パケットを受信する工程を有する。次に、パケット
のフラグメント(fragment、断片)をスイッチのファブリ
ックに送る工程がある。次に、スイッチのファブリック
にて、パケットのフラグメントを受信する工程がある。
次に各ファブリックにて受信されたパケットのフラグメ
ントから各ファブリックに於けるパケット長さを測定す
る工程がある。次に、長さ表示器をパケットに添える工
程がある。次に、ファブリックのメモリメカニズム内に
て、長さ表示器とともにパケットを格納する工程があ
る。次に、メモリメカニズムからパケットを読む工程が
ある。次に、パケットの長さ表示器からパケットがどこ
で終わるかを決定する工程がある。
【0005】
【詳細な説明】同一の要素には図面を通じて同一の参照
番号を付している。図面、特に図7を参照すると、パケ
ット(11)を切り換えるスイッチ(10)が示されている。各
パケット(11)は長さを有する。スイッチ(10)はネットワ
ーク(16)からパケット(11)を受信し、及びパケット(11)
をネットワーク(16)に送信するポートカード(12)を具え
ている。スイッチ(10)は、ポートカード(12)に接続さ
れ、パケット(11)を切り換えるファブリック(14)を具え
る。各ファブリック(14)はメモリメカニズム(18)を有す
る。各ファブリック(14)は、ファブリック(14)により受
信される各パケット(11)の長さを決定し、パケット(11)
がメモリメカニズム(18)に格納されるときにパケット(1
1)に長さ表示器(22)を設置するメカニズムを具えてい
る。決定するメカニズム(20)は、長さ表示器(22)から、
パケット(11)の長さがどれだけか、及びメモリメカニズ
ム(18)内にてどこでパケット(11)が終わっているかを識
別する。
【0006】決定するメカニズム(20)は、図8に示すよ
うに、集約装置(24)(aggregator)を具え、該集約装置は
パケット(11)のフラグメント(断片)(26)をポートカード
(12)の分散器(40)(striper)から受信し、パケット(11)
の長さを決定し、長さ表示器(22)のパケット(11)頭部(b
eginning)にパケット(11)長さ情報を添えるのが好まし
い。図1に戻り、メモリメカニズム(18)はメモリコント
ローラ(30)を含むのが好ましい。集約装置(24)はパケッ
ト(11)を、パケット(11)長さ情報(28)とともにメモリコ
ントローラ(30)に送り、メモリコントローラは、パケッ
ト(11)長さ情報(28)とパケット(11)を格納する。メモリ
コントローラ(30)は、ワイドキャッシュバッファ構造を
有するメモリ(32)を有し、その中で多数のパケット(11)
が1つのワード(34)で入れられるのが好ましい。分散器
(40)は、同じ論理時間中、対応したパケット(11)のフラ
グメント(26)を各ファブリック(14)の集約装置(24)に送
る。
【0007】ファブリック(14)は、メモリコントローラ
(30)からパケット(11)を読み、各パケット(11)からパケ
ット(11)長さ情報(28)を引き出して、各パケット(11)が
いつ終了するかを決定し、ポートカード(12)にパケット
(11)のフラグメント(26)を送るセパレータ(36)を有する
のが好ましい。セパレータ(36)は各パケット(11)の何れ
かのフラグメント(26)をポートカード(12)の非分散器(3
8)(unstriper)に送る前に、各パケット(11)からパケッ
ト(11)長さ情報(28)を除去するのが好ましい。
【0008】本発明は、長さを有するパケット(11)を切
り換える方法に関する。方法は、スイッチ(10)のポート
カード(12)にて、パケット(11)を受信する工程を有す
る。次に、パケット(11)のフラグメント(26)をスイッチ
(10)のファブリック(14)に送る工程がある。次に、スイ
ッチ(10)のファブリック(14)にて、パケット(11)のフラ
グメント(26)を受信する工程がある。次に、各ファブリ
ック(14)にて受信されたパケット(11)のフラグメント(2
6)から各ファブリック(14)のパケット(11)長さを測定す
る工程がある。次に、長さ表示器(22)をパケット(11)に
添える工程がある。次に、ファブリック(14)のメモリメ
カニズム(18)内の長さ表示器(22)とともにパケット(11)
を格納する工程がある。次に、メモリメカニズム(18)か
らパケット(11)を読む工程がある。次に、パケット(11)
の長さ表示器(22)からパケット(11)がどこで終わるかを
決定する工程がある。
【0009】受信する工程は、ファブリック(14)の集約
装置(24)にて、フラグメント(26)を受信する工程を含む
のが好ましい。測定する工程は、集約装置(24)を用いて
パケット(11)の長さを測定する工程を含むのが好まし
い。添える工程は、集約装置(24)を用いて、パケット(1
1)に長さ表示器(22)を添える工程を含むのが好ましい。
格納する工程は、メモリメカニズム(18)のメモリコント
ローラ(30)にて長さ表示器(22)とともにパケット(11)を
格納する工程を含むのが好ましい。
【0010】読む工程は、ファブリック(14)のセパレー
タ(36)を用いて、メモリコントローラ(30)からパケット
(11)を読む工程を含むのが好ましい。決定する工程は、
セパレータ(36)を用いて、長さ表示器(22)から、どこで
パケット(11)が終わっているかを決定する工程を含むの
が好ましい。決定する工程の後に、セパレータ(36)から
パケット(11)長さ情報(28)を除去する工程があるのが好
ましい。
【0011】除去する工程の後に、セパレータ(36)から
パケット(11)のフラグメント(26)をポートカード(12)に
送る工程があるのが好ましい。フラグメント(26)を送る
工程は、対応したフラグメント(26)が他のファブリック
(14)からポートカード(12)へ送られるのと同じ論理的時
間で、パケット(11)のフラグメント(26)をポートカード
(12)へ送る工程を含むのが好ましい。格納する工程は、
パケット(11)のフラグメント(26)をワイドキャッシュバ
ッファ構造を有するメモリコントローラ(30)のメモリ(3
2)に格納し、その中で多数のパケット(11)が1つのワー
ド(34)で入れられる工程を含むのが好ましい。
【0012】読む工程の後にセパレータ(36)を用いて、
パケット(11)からパケット(11)長さ情報を引き出す工程
があるのが好ましい。受信する工程は、ポートカード(1
2)の非分散器(38)を用いて、ファブリック(14)からパケ
ット(11)のフラグメント(26)を受信する工程を含むのが
好ましい。フラグメント(26)をファブリック(14)に送る
工程は、ポートカード(12)の分散器(40)を用いて、各フ
ァブリック(14)の集約装置(24)にパケット(11)のフラグ
メント(26)を送る工程を含むのが好ましい。ポートカー
ド(12)にフラグメント(26)を送る工程は、フラグメント
(26)をセパレータ(36)からポートカード(12)の非分散器
(38)に送る工程を含むのが好ましい。
【0013】発明の動作に於いて、BFSメモリコント
ローラにあっては、ワイドキャッシュバッファ構造が、
限りあるバッファアクセスの量をより有効利用し、大量
のトラフィックをエンキュー(キューに入れる)及びデキ
ュー(キューから外す)するのに用いられる。この多数の
パケットは、ワイドメモリワード(34)に詰め込まれ、1
つのライトと、1つのリードのみが、ワード(34)の一部
である全てのパケットに対して、バッファに成される。
多数のパケットが1つのワード(34)に入れられるか
ら、1つのパケットがどこで終わるか、及び他のパケッ
トがどこから開始するかの情報は維持されねばならな
い。即ち、パケット長さは維持されねばならない。これ
は2通りの方法でなされる。
【0014】1つの方法にあっては、パケット(11)の長
さは、パケット(11)データから独立したリンクリストに
て維持される。このことは、他のワイドキャッシュバッ
ファ構造が用いられることが必要であり、各ワード(34)
は、Nパケットまでに対して長さ情報を保ち、ここでN
はパケットデータバッファの1つのワード(34)にて、起
動できるパケットの最大数である。BFSによりサポー
トされるパケットサイズのワイドレンジ(40バイトパ
ケットから、64Kバイトパケットまで)に対しては、
Nはワイドデータバッファの1つのデータ(34)に入れら
れる最小サイズのパケットに基づいて計算されるべきで
ある。しかし、概してパケットが最小サイズのパケット
よりも大きいときは、バッファ内にて長さ情報を格納す
るのに用いられるメモリ(32)の大部分は、無駄になるだ
ろう。また、パケット(11)長さ及びパケット(11)データ
は、メモリコントローラからセパレータに同時に送られ
なければならないから、リンクリスト取扱い長さバッフ
ァは、リンクリスト取扱いパケット(11)データバッファ
を用いて同期化(ロックステップを保つ)されねばならな
い。この方法は、また多数の物理的装置から独立して長
さ情報(28)を転送するセパレートバスを持つことが必要
となる。
【0015】発明の動作に於いて、集約装置にてパケッ
ト(11)長さ情報(28)をパケット(11)の頭部に添え、及び
それを1つのストリームとしてメモリコントローラを通
ってセパレータに送ることにより、メモリコントローラ
はパケット(11)長さ及びパケット(11)データを別個に取
り扱う必要はない。同じパケット(11)流れについて、分
離データ及び長さリンクリストを維持する必要はないか
ら、メモリコントローラ(30)の設計は助かる。また、多
くのメモリ(32)を節約し、データへのワイドキャッシュ
メモリのアプローチ故に、長さメモリもまた同様に実現
されなければならない。概して、異なるパケット(11)サ
イズに関しても、この長さメモリの多くは無駄になるだ
ろう。
【0016】好ましい方法に於いて、パケット(11)長さ
情報(28)はキューされ(待ち行列に入れられ)、パケット
(11)データと一緒に転送される。この場合、パケット(1
1)長さ情報(28)(常に一定数のビットである)は、各パケ
ット(11)データの先頭に加えられる。このパケット(11)
長さ及びパケットデータを含むエンティティは、1つの
ものとしてキューされる。このアプローチに於いてす
ら、多数のパケットはワイドキャッシュバッファの各ワ
ード(34)に詰め込まれる。パケットがこのバッファから
読まれて、セパレータASICに送られるとき、フィー
ルド長さはパケット(11)長さ及びデータのビット数をと
もに与えるから、最初のパケット(11)に対してフィール
ド長さを引き出し、それに基づいて最初のパケット(11)
がデータ流れ内にてどこで終わるかを決定する。最初の
パケット(11)データの最後尾の後のビットは、第2のパ
ケット(11)のフィールド長さの開始ビットである。次に
再びこの第2パケット(11)データの長さの最後尾の値に
基づいて、第3のパケット(11)長さの開始ビットが引き
出される。この方法で、全てのパケットが、混在した流
れの中から引き出される。
【0017】スイッチは、RAID技術を使用し、個別
のファブリック帯域幅を最小限にしつつ、スイッチ帯域
幅全体を増大する。スイッチアーキテクチャにおいて、
全てのデータは全てのファブリックに均一に分配される
ので、スイッチはファブリックを加えることによって帯
域幅を増し、ファブリックは、スイッチが帯域幅容量を
増大すれば、ファブリックの帯域幅容量を増大する必要
がない。
【0018】各ファブリックは40G(bps)の交換帯域
幅を提供しており、システムは、冗長/予備ファブリッ
クを除いた1、2、3、4、6又は12ファブリックを
利用する。換言すると、スイッチは、ファブリックが幾
つインストールされるかによって、40G(bps)、80
G、120G、160G、240G又は480Gのスイ
ッチとなり得る。
【0019】ポートカードは、10G(bps)のポート帯
域幅を提供する。4ポートカード当たり1ファブリック
になることが必要である。スイッチアーキテクチャは、
ポートカード及びファブリックの任意インストレーショ
ンを利用しない。
【0020】ファブリックASICsは、セルとパケッ
トの両方を利用する。全体として、スイッチは、「受信
器が適切にする(receiver makes right)」方法をとって
おり、この方法においてATMブレード上の出口パス(e
gress path)は、フレームをセグメント化してセルにし
なければならず、フレームブレード上の出口パスは、セ
ルをまとめて再びパケットにしなければならない。
【0021】スイッチ内で使用される一般に8スイッチ
のASICsは: −分散器(Striper)−分散器は、ポートカード及びSC
P−IM上に在する。それは、データを12ビットのデ
ータストリームにフォーマットし、チェックワードを添
付し、N即ちシステム中の予備でないファブリックを横
切ってデータストリームを分割し、他のファブリックに
向かうストライプと同等な幅のパリティストライプを生
成し、且つN+1データストリームをバックプレーンへ
送出する。 −非分散器(unstriper)−非分散器は、スイッチアーキ
テクチャ内の他のポートカードASICである。これ
は、システム中の全てのファブリックからデータストリ
ームを受信する。次に、誤り検出修正を実行するため
に、チェックワード及びパリティ分散を使用して、元の
データストリームを再構築する。 −集約装置(Aggregator)−集約装置は、分散器からデー
タストリーム及びルートワードを取り出し、それらを多
重化してメモリコントローラへの単一の入力ストリーム
にする。 −メモリコントローラ−メモリコントローラは、スイッ
チのキュー及びデキュー(キューから外す)メカニズムを
実行する。これは、クロックサイクル毎に複数セルのデ
ータを同時にエンキュー(enqueue、キューに入れる)/
デキューをするために、独占排他権を有する広いメモリ
インタフェースを含んでいる。メモリコントローラのデ
キュー側は、コネクションのキュー及びシェーピングの
大部分をポートカード上で行わせるために、40Gbp
sよりも80Gbpsで稼働する。 −セパレータ−セパレータは、集約装置と逆の操作を実
行する。メモリコントローラからのデータストリーム
は、複数のデータストリームに逆多重され、適当な非分
散器ASICへ送達される。非分散器までのインタフェ
ースには、キューとフローとの制御ハンドシェーキング
が含まれている。
【0022】ファブリック間のコネクションについて
は、3つの異なった視点即ち、物理的、論理的、及び
「動的」な視点で見ることができる。物理的には、ポー
トカードとファブリックとの間のコネクションは、あら
ゆるギガビット速度の差分ペアのシリアルリンクであ
る。これは、厳密に言うと、バックプレーンへ向かう信
号数を減少するための実現(implementation、ソフトと
ハードの調整)の問題である。動的な観点では、単一の
スイッチの形状を考察するか、又は所定の瞬間にデータ
が如何に処理されているかというスナップショットとし
て考察されるだろう。ポートカード上のファブリックA
SICとファブリックとの間のインタフェースは、12
ビット幅であるのが効果的である。それらの12ビット
は、ファブリックASICsが如何に構成されているか
によって1、2、3、4、6又は12ファブリックへ均
一に分散される。「動的」な観点は、現在の構成におい
て各ファブリックによって処理されているビットの数を
意味しており、これはファブリック数で割るとちょうど
12である。
【0023】論理的な視点は、あり得る動的構成の全て
の合併又は最大機能として考えられることができる。フ
ァブリックスロット#1は、構成によっては、単一分散
器からのデータの12、6、4、3、2又は1ビットを
処理しているであろうゆえに、12ビットバスで引き抜
かれる。それに対照的に、ファブリックスロット#3
は、単一分散器からのデータの4、3、2又は1ビット
を処理するのに使用されるだけであるがゆえに、4ビッ
トバスで引き抜かれる。
【0024】以前のスイッチとは違って、該スイッチ
は、ソフトウェアにより制御可能なファブリック冗長モ
ードの概念を全く有していない。ファブリックASIC
sは、予備ファブリックがインストールされている限
り、介入なしにN+1冗長を実行する。
【0025】ここで提供される限り、N+1冗長は、ハ
ードウェアが、データの損失なしに自動的に単一の障害
を検出し、修正することを意味する。
【0026】冗長性が作動する方法はかなり容易いが、
3つのファブリック(A、B及びC)+予備(S)を有する
120Gスイッチが使用される特定のケースを理解すれ
ば、より簡単になる。分散器は、12ビットバスを選
び、まず、データユニット(セル又はフレーム)に添付さ
れるチェックワードを生成する。次に、データユニット
及びチェックワードは、A、B及びCファブリックの各
々(A3210、B3210及びC3210)に関
する4ビット毎クロックサイクルのデータストライプに
分割される。次に、これらのストライプは、予備ファブ
リックS32 10用のストライプを生成するのに使用
される。ここで、Sn=An XOR BnXOR Cnであ
り、4つのストライプは、それらの対応するファブリッ
クへ送られる。ファブリックの反対側において、非分散
器は、A、B、C及びSから4つの4ビットストライプ
を受け取る。次に、3つのファブリック(ABC、AB
S、ASC及びSBC)のあり得る全ての組合せは、
「一時的な」(tentative)12ビットのデータストリー
ムを再構築する。次に、チェックワードは、4つの一時
的なストリームの各々のために計算され、計算されたチ
ェックワードは、データユニットの端部にてチェックワ
ードと比較される。伝送の間にエラーが生じなかった場
合、4ストリーム全ては、チェックワードが整合してお
り、ABCストリームは非分散器出力へ転送される。
(単一の)エラーが生じた場合、1つのチェックワードだ
けが整合しており、整合を含むストリームはチップへ転
送され、非分散器は不良のファブリック分散を識別す
る。
【0027】異なったスイッチの構成、即ち、1、2、
4、6又は12ファブリックについて、アルゴリズムは
同一であるが、ストライプ幅は変化する。2つのファブ
リックが失敗すると、スイッチ中を流れるデータの全て
は、殆ど確実にエラーが生じるであろう。
【0028】ファブリックスロットは、番号が付され、
昇順に並べられなくてはならない。また、予備ファブリ
ックは特定のスロットであるから、ファブリックスロッ
ト1、2、3及び4は、ファブリックスロット1、2、
3及び予備とは異なる。前者は冗長のない160Gスイ
ッチであり、後者は冗長を含む120Gである。
【0029】第一に、特定のポートカードスロットの使
用には、そこに、予備を含まない少なくとも1つの特定
の最小数のファブリックがインストールされることが必
要であるように、ASICsは構成され、バックプレー
ンは接続される。この関係は表0に示されている。
【0030】それに加え、スイッチ内のAPS冗長は、
特にペアのポートカードに限定される。ポートカード1
及び2はペア、ポートカード3及び4はペアというよう
になっており、これはポートカード47及び48まで続
いている。これは、APS冗長が要求される場合、ペア
のスロットは一緒でなければならないことを意味してい
る。
【0031】簡単な例として、2つのポートカード及び
ファブリックを1つだけ含む構成を挙げてみる。ユーザ
がAPS冗長の使用を望まない場合、2つのポートカー
ドは、ポートカードスロット1乃至4のうちの任意の2
つにインストールされることができる。APS冗長が望
まれる場合には、2つのポートカードは、スロット1及
び2、或いはスロット3及び4の何れかにインストール
されなければならない。
【0032】
【表1】 表0:ポートカードスロットの使用に関するファブリッ
クの要件
【0033】容量を増やすには、新たなファブリックを
追加し、スイッチが変化を認識し、新しいファブリック
の数を分散してシステムを再形成するのを待つ。新しい
ポートカードをインストールする。
【0034】技術的には、ファブリック毎に容量一杯の
4つのポートカードを持つことは不要である。スイッチ
は、3つのインストール済ファブリック及びスロット(1
2)の単一ポートカードで正常に機能する。これはコスト
面では有効ではないが、機能可能である。容量を削除す
るには、容量追加の工程を逆に行う。もし、スイッチが
超過したら、即ち、8つのポートカードと1つのファブ
リックをインストールする。
【0035】スイッチが超過するのは、不正にアップグ
レードしたスイッチ又はシステム障害などの結果として
発生するだけである。現実には、この状況がどのように
発生するかによって2つのうちの1つが発生する。もし
スイッチが40Gスイッチとして配列され、ファブリッ
ク前にポートカードが追加されたら、第5から第8ポー
トカードは用いられない。もし、スイッチが80Gの非
冗長のスイッチとして配列され、第2ファブリックが不
能又は削除されると、スイッチを通じたすべてのデータ
が不正になる(予備のファブリックはインストールされ
ていないと仮定する)。そして、完了直前に、もし8つ
のポートカードが80Gの冗長スイッチにインストール
されていると、第2ファブリックが不能又は削除され、
予備のスイッチが不正又は削除されたファブリックをカ
バーして通常の操作を続行する。
【0036】図1は、スイッチのパケットストライピン
グを表している。チップセットは、OC48及びOC1
92c構成共にATM及びPOSポートカードを用い
る。OC48ポートカードは、4つの別々のOC48フ
ローを用いてスイッチングファブリックへインターフェ
ースする。OC192ポートカードは、4チャンネルを
10Gストリームへ論理的に結合させる。ポートカード
の入口側は、ATMセルとパケット間で変化するトラフ
ィックへのトラフィック変換を実行しない。受信したト
ラフィックのフォームがどれであれ、スイッチファブリ
ックへ送られる。スイッチファブリックはパケットとセ
ルを混合し、パケットとセルの混合をポートカードの出
口側へデキューする(キューから外す)。
【0037】ポートの出口側は、トラフィックを変換し
て出力ポートへの適正なフォーマットとしなければなら
ない。この変換は、"受信器が適切にする(receiver mak
es right)"としてスイッチの内容に関連する。セルブレ
ードは、パケットの区切りを実行し、セルブレードはセ
ルをパケット内にて再組立する必要がある。ファブリッ
クのスピードアップをサポートするため、ポートカード
の出口側は、ポートカードの着信側の2倍に等しいリン
クバンド幅を用いる。
【0038】ポセイドンをベースにした(Poseidon-base
d、水冷式のICクーラー)ATMポートカードのブロッ
ク図は、図2に示される。各2.5Gチャンネルは入力
側TM、入力側の分散器ASIC、非分散器ASIC、
出力側の出力TM ASICの4つのASICで構成さ
れる。
【0039】入力側において、OC−48c又は4OC
−12cインターフェースは集約される。各ボルテック
ス(vortexs)は、2.5Gセルストリームを専用の分散
器ASICへ送信する(下記に表されるようにBIBバ
スを使用する)。分散器は準備されたルートワードを2
つの部分へ変換する。ルートワードの一部は、セルへの
出力ポートを決定するためファブリックへ送られる。全
ルートワードも出力メモリコントローラによって使用さ
れるルートワードとしてバスの一部のデータ上へ送られ
る。第1ルートワードはファブリックルートワードとし
て表される。出力メモリコントローラのルートワードは
出口ルートワードである。
【0040】出力側において、各チャンネルの非分散器
ASICは各ポートカードからトラフィックをとり、エ
ラーチェックしデータを修復し、出力バス上へ正常なパ
ケットを送信する。非分散器ASICは、予備のファブ
リックからのデータ、及び分散器によりインサートされ
るチェックサムを使用して、データ異常を検出し修復す
る。
【0041】図2は、OC48ポートカードを表す。O
C192ポートカードは、ファブリックへの一つの10
Gデータ流れ、及び10Gと20G間の出口データ流れ
をサポートする。このボードも4つの分散器及び4つの
非分散器を使用する。しかし、4つのチップは拡張デー
タバス上で並行に操作される。各ファブリックへ送られ
たデータは、OC48及びOC192ポート共に同一で
あり、データは、特別な変換機能無しでポートタイプ間
を流れる。
【0042】図3は、10G連結ネットワークブレード
を表す。各40Gスイッチファブリックは、40Gbp
sセル/フレームまでエンキューし(enqueue、キューに
入る)、それらを80Gbpsでデキューする。この2
Xスピードアップにより、ファブリックにて緩衝された
トラフィックの量が減り、ラインレートでトラフィック
の出力ASICダイジェストバーストを噴出(lets)させ
る。 スイッチファブリックは集約装置(aggregator)、
メモリコントローラ、セパレータの3種類のASICか
ら構成される。9つの集約装置ASICは、48までの
ネットワークブレード及びコントロールポートからのト
ラフィックの40Gbpsを受信する。集約装置ASI
Cは、ファブリックルートワード及びペイロードを結合
して、単一データストリーム、及びソース間に配備され
生じる結果をワイド出力バス上に設置するTDMにす
る。追加のコントロールバス(destid)は、どの
ようにメモリコントローラがデータをエンキューするか
をコントロールするのに使用される。各集約装置ASI
Cからのデータストリームは12のメモリコントローラ
へ分けられる。
【0043】メモリコントローラは、16のセル/フレ
ームまでを各時刻サイクルで受信する。各12のASI
Cは集約されたデータストリームの1/12を収納す
る。入力中のデータはdestidバス上に受信された
コントロール情報を基にしており収納される。データの
収納は、メモリコントローラにて、パケット境界に比較
的気づかないほどに単純化される(キャッシュ ライン
コンセプト)。全12のASICは80Gbpsに集
約されたスピードで、収納されたセルを同時にデキュー
する(キューから外す)。
【0044】9つのセパレータASICは集約装置AS
ICの逆機能を実行する。各セパレータは全ての12の
メモリコントローラからのデータを受信し、集約装置に
よってデータストリームに埋め込まれたルートワードを
復号し、パケット境界を探す。各セパレータASIC
は、データがセパレータへ送られたようにメモリコント
ローラによって示された正確な目的地に基づいて、24
までの別の非分散器にデータを送る。
【0045】デキュー工程は、背圧(back-pressure)駆
動される。もし、背圧駆動が非分散器に適用されたら、
背圧はセパレータへ逆連繋される。セパレータ及びメモ
リコントローラも、メモリコントローラが出力ポートへ
トラフィックをデキューできる時に制御する背圧駆動メ
カニズムを有する。
【0046】チップセットのOC48及びOC192を
有効的に利用する為に、1つのポートカードからの4つ
のOC48ポートは常に同じ集約装置へと同じセパレー
タから送られる(集約装置及びセパレータのポート接続
は常に対称である)。
【0047】図4及び図5は、ファブリックASICの
接続を表している。スイッチの外部インターフェース
は、分散器ASICとボルテックス(vortex)などの入口
ブレードASIC間の入力バス(BIB)であり、非分
散器ASICとトライデント等の出口ブレードASIC
間の出力バス(BOB)である。
【0048】分散器ASICは入力バス(BIB)を経
由した入口ポートからのデータを受け取る(DIN ST bl
ch busとしても知られる)。このバスは、4つの別々の
32ビット入力バス(4×OC48c)、又はコントロ
ールラインの共通セットを具え、全ての分散器への単一
128ビット幅データバスの何れとしても作動できる。
このバスは、分散器チップのソフトウェア構成に基づい
たセル又はパケットのどちらをも用いる。
【0049】非分散器ASICは出力バス(BOB)
(DOUT UN bl ch busとしても知られる)を経由して出
口ポートへデータを送る。それはセル又はパケットのど
ちらでも用いることができる64(又は256)ビット
データバスである。それは下記の信号から構成される。
【0050】このバスは、4つの別々の32ビット出力
バス(4×OC48c)、又はコントロールラインの共
通セットを具え、全ての非分散器からの単一128ビッ
ト幅データバスの何れとしても作動できる。このバス
は、非分散器チップのソフトウェア構成に基づくセル又
はパケットのどちらをも用いる。
【0051】同期装置は2つの主な目的を持つ。第1の
目的は、論理的セル/パケット又は全てのファブリック
を順序付けるデータグラムを維持することである。ファ
ブリックの入口インターフェース上で、1つのポートカ
ードのチャンネルから1つ以上のファブリックに達する
データグラムは、全てのファブリックが同じ順序で処理
される必要がある。同期装置の第2の目的は、ポートカ
ードの出口チャンネルを有し、一緒に属している全ての
セグメント又はデータグラムのストライプを再構成する
ことである。しかし、データグラムセグメントは1つ以
上のファブリックから送られ又は違う時間にブレード出
口入力に到着する。このメカニズムは、別のネット遅延
と、ブレードとファブリック間にてクロックドリフトの
変動量を有するシステムで維持することが必要である。
【0052】スイッチは、システムに開始情報が伝達さ
れる同期ウィンドウのシステムを使用する。各送信器及
び受信器は、最新の再同期表示から多重ソースからの同
期データまで関連するクロックカウントを見ることが出
来る。受信器は広域同期表示を受け取った後に、プログ
ラム可能な遅延まで、同期期間での第1クロックサイク
ルのデータの受取を遅らせる。この時点で、全てのデー
タは同時に受信されたと考えられ、修正された順序付け
が適用される。ボックスを通じた遅れのために、パケッ
ト0及びセル0の遅延が別の順序で受信器に見られるこ
とを引き起こすにもかかわらず、受信時間=1に於ける
両方のストリームの結果順序は、物理的バスに基づい
て、そこから受信したパケット0、セル0と同じであ
る。
【0053】多重セル又はパケットは、1つのカウンタ
ーティック(counter tick)へ送信される。全ての宛先
は、第2インターフェース等に移動する前に、第1イン
ターフェースから全てのセルに向けられる。このセル同
期化技術は、全てのセルインターフェースに使用され
る。幾つかのインターフェース上には別の解決方法が必
要とされる。
【0054】同期装置は、2つの主なブロックから成
る。主に、送信器と受信器である。送信器ブロックは、
分散器及びセパレータASICに属する。受信器ブロッ
クは、集約装置及び非分散器ASIC内にある。集約装
置の受信器は、24(6ポートカード×4チャンネル)
入力レーンまで扱える。非分散器の受信器は、13(1
2ファブリック+1パリティーファブリック)入力レー
ンまで扱える。同期パルスの受信時、送信器は先ず早い
クロックサイクル(Nクロック)の数を計算する。
【0055】送信同期装置は、出力ストリーム及びロッ
クダウンするよう指示された伝達NKキャラクターを遮
断する。ロックダウン連続の最後に、送信器は次のクロ
ックサイクルにて有効データが始まることを示している
Kキャラクターを伝達する。この次のサイクル有効表示
は、全てのソースから同期トラフィックへ受信器によっ
て使用される。
【0056】次の伝達の最後に、送信器は、インターフ
ェース上に少なくとも1つのアイドルを挿入する。これ
らのアイドルは、もし復号器が同期から外れるとした
ら、10ビット復号器を10ビットシリアルコードウイ
ンドウへ正常に再同期させる。
【0057】受信同期装置は広域同期パルスを受信し、
プログラムされた数により同期パルスを遅らせる。(物
理的ボックスが有し得る最大量のトランスポート遅延に
基いてプログラムされている。)同期パルスを遅延させ
た後、受信器は同期キャラクターが受信するのに適した
直ぐ後に、クロックサイクルととらえる。データは各ク
ロックサイクルで、次の同期キャラクターが入力ストリ
ーム上に現れるまで受信される。このデータは、遅延広
域同期パルスが現れるまで受信に適しているとはとらえ
ない。
【0058】送信器及び受信器が別々の物理的ボード上
にあり、別の発振器によってクロックされ、クロックス
ピードの差がその間にある。別の送信器及び受信器間の
クロックサイクルの数を区切るのに、広域同期パルスは
全ての連続カウンターを再同期するのにシステムレベル
で使用される。各チップは、全ての有効なクロックスキ
ューのもとでの動作を保証するプログラムが格納されて
いる。各送信器及び受信器は、少なくとも1つのクロッ
クサイクルにより早くなると考えられる。各チップは、
それらの現在の同期パルスウインドウへのクロックサイ
クルの適正な数を待つ。これは全てのソースが同期パル
ス間のN同期パルスウインドウの有効なクロックサイク
ルを実行することを保証する。
【0059】例えば、同期パルスウインドウは100ク
ロックまでプログラム可能であり、同期パルスは100
00クロック毎の同期パルスの名目速度で送られる。同
期パルス送信器クロック、及び同期パルス受信クロック
が共にドリフトした最悪の場合に基いて、同期パルス送
信器上に10000クロックとして受信器の9995か
ら10005クロックが実際にある。この場合、同期パ
ルス送信器は各10006クロックサイクルで同期パル
スを送信するようにプログラムされ、10006クロッ
クにより、全ての受信器が必ずそれらの次のウインドウ
にあるよう保証される。もし同期パルス送信器が遅いク
ロックを有すれば、受信器は早いクロックを具えて、実
質上10012クロックを有する。同期パルスは12ク
ロックサイクルで受信されるから、チップは12クロッ
クサイクル遅延する。別の受信器には10006クロッ
クが見られ、同期パルスウインドウの最後にて、6クロ
ックサイクルへロックダウンする。両方の場合、各ソー
スは10100クロックサイクルで動作する。
【0060】ポートカード又はファブリックが存在せ
ず、又は挿入直後であり、どちらかが受信同期装置の入
力を駆動するとすると、特定の入力FIFOへのデータ
の書込は禁止される。というのは、入力クロックは存在
せず、又は不安定でデータラインの状態が判らないから
である。ポートカード又はファブリックが挿入された
時、ソフトウェアは必ず入れられ、バイトレーンへの入
力を可能にして、データ入力可能に成ったソースからの
データ入力を許す。入力FIFOへの書込は可能にな
る。可能信号はデータ入力の後、主張され、ポートカー
ド及びファブリックからのルートワード及びクロックは
安定すると考えられる。
【0061】システムレベルでは、第1及び第2同期パ
ルス送信器が2つの別のファブリック上にある。各ファ
ブリック及びブレード上には同期パルス受信器がある。
これらは図6に見られる。第1同期パルス送信器は、フ
リーランニングの同期パルスジェネレータであり、第2
同期パルス送信器はその同期パルスを第1同期パルス送
信器へ同期化させる。同期パルス受信器は、第1及び第
2同期パルスを共に受信し、エラー検査アルゴリズムに
基いて、そのボード上のASIC上へ正しい同期パルス
を選択して送信する。同期パルス受信器は、もし同期パ
ルス送信器からの同期パルスが、その連続0カウント中
に落ちたならば、パルスは残りのボードのみに送られる
ことが保証される。例えば、同期パルス受信器及び非分
散器ASICは共に同じブレード上にある。同期パルス
受信器及び非分散器の受信同期装置は同じ水晶発振器か
らクロックされ、クロックドリフトは 内部連続カウン
タを増大させるのに用いられるクロック間には存在しな
い。受信同期装置は、受信する同期パルスは”0”カウ
ントウインドウ内に常にあることを要求する。
【0062】もし同期パルス受信器が、第1同期パルス
送信器が同期から外れていると決定したら、第2同期パ
ルス送信器ソースへ切り換える。第2同期パルス送信器
も第1同期パルス送信器が同期から外れているかを判定
し、第1同期パルス送信器から独立して、第2同期パル
ス送信器自身の同期パルスを発生する。これが第2同期
パルス送信器の操作の第1モードである。もし同期パル
ス受信器が第1同期パルス送信器が再び同期するように
成ったと判定すると、第1同期パルス送信器側に切り換
える。第2同期パルス送信器も、第1同期パルス送信器
が再び同期すると決定したら、第2モードへ切り換え
る。第2モードで、独自の同期パルスを第1同期パルス
へ同期させる。同期パルス受信器は、同期パルスフィル
タリングメカニズムにおいて第2同期パルス送信器より
少容量である。同期パルス受信器は、第2同期パルス送
信器よりさらに早く切り換わる。これは第2同期パルス
送信器が第1モードに切り換わる前に、全ての受信同期
装置が第2同期パルス送信器ソースを使用して変換する
ことを保証するために行われる。
【0063】図6は、同期パルスの分布状況を表す。同
期演算で示されるクロックサイクルの数によるファブリ
ックからのバックプレーン伝達をロックダウンするため
に、全てのファブリックは、多くのクロックサイクルを
効果的にフリーズし、同じエンキュー及びデキュー判定
が同期内に留まることを確実にする。これは各ファブリ
ックASICにおける利用を必要とする。ロックダウン
は、キューリシンクのような特殊な機能を含む全ての機
能を止める。
【0064】同期パルス受信器からの同期信号は、全て
のASICへ分配される。各ファブリックASICは、
広域同期パルス間のクロックサイクルをカウントするコ
アクロックドメインのカウンターを含む。同期パルス受
信後、各ASICは早いクロックサイクルの数を演算す
る。広域同期パルスは独自のクロックで伝えられないか
ら、演算されたロックダウンサイクル値は同じファブリ
ック上の全てのASICと同じにはならない。この差
は、ロックダウンカウントの最大スキューを許容する全
てのインターフェースFIFOの奥行きを保持すること
により説明される。
【0065】全てのチップ上のロックダウンサイクル
は、最新の連続した有用な(ロックダウンしない)サイ
クルの始まりに関する同じ論理的ポイントへ常に挿入さ
れている。それは、各チップは常に、ロックダウンサイ
クルの数が変化するにも係わらず、ロックダウン事象間
の同じ数の”有用な”サイクルを実行する。
【0066】ロックダウンは、異なる時間に異なるチッ
プで発生するかも知れない。全てのファブリック入力F
IFOは、初期に設定され、FIFOが、ドライ又はオ
ーバーフローすることなしに、ロックダウンはFIFO
のどちら側でも発生できるようになっている。各々のチ
ップツーチップインターフェースには、(基板トレース
長さ及びクロックスキューと同じく)ロックダウンサイ
クルを引き起こす同期FIFOがある。送信器は、ロッ
クダウン状態の間、ロックダウンを知らせる。受信器
は、示されたサイクルの間はデータを入れず(push)、ま
た、それ自体のロックダウンの間はデータを取り出さな
い(pop)。FIFOの奥行きは、どのチップが最初にロ
ックするかによって変化するが、その変化は、ロックダ
ウンサイクルの最大数によって制限される。特定のチッ
プが1回の広域同期期間の間に判断するロックダウンサ
イクルの数は変化するが、それらは全て、同じ数の有効
なサイクルを有している。特定のファブリック上の各チ
ップが判断するロックダウンサイクルの総数は、同じで
あって、制限された許容誤差の範囲である。
【0067】集約装置コアクロックドメインは、ロック
ダウン持続時間のために完全に停止し、全てのフロップ
とメモリは、その状態を保持する。入力FIFOは、拡
張可能である。ロックダウンバスサイクルは、出力キュ
ーに挿入される。コアロックダウンが実行される正確な
時間は、DOUT_AG(Digital OUT-Analog Ground)
バスプロトコルがロックダウンサイクルを挿入させる時
間によって指図される。DOUT_AGロックダウンサ
イクルは、DestIDバスに示されている。
【0068】メモリコントローラは、適当な数のサイク
ルのために、全てのフロップをロックダウンせねばなら
ない。メモリコントローラにおけるシリコン領域への影
響を削減するため、伝搬ロックダウンと呼ばれる技術が
用いられる。
【0069】ファブリック上のチップツーチップ同期化
は、あらゆる同期パルスで実行される。幾つかの同期エ
ラー検出能力が幾つかのASICに存在するけれども、
ファブリック同期エラーを検出し、有害なファブリック
を取り除くことが非分散器の仕事である。チップツーチ
ップ同期化は、ファブリック上でどの様なパケット流れ
も可能となる前に行なわれる連鎖式機能である。この同
期設定は、集約装置からメモリコントローラへ流れ、セ
パレータへ行き、またメモリコントローラへ戻る。シス
テムがリセットされた後、集約装置は、第1広域同期信
号を待つ。受信後、各集約装置は、DestIDバス上
のローカル同期コマンド(値0x2)を、各メモリーコン
トローラへ送信する。
【0070】分散処理機能は、ビットを着信データスト
リームから個々のファブリックに割り当てる。分散処理
機能を導き出す際に、2つの項目が最適化された: 1.バックプレーン効率は、OC48及びOC192の
ために最適化されねばならない。 2.バックプレーン相互接続は、OC192オペレーシ
ョンのために大きく変更されるべきではない。
【0071】これらは、分散器及び非分散器ASICに
追加された多重通信回路用(muxing)レッグに対して、交
互に使用された(traded-off)。最適化にも拘わらず、ス
イッチは、OC48とOC192の両方用のメモリコン
トローラにおいて、同一のデータフォーマットを有さな
ければならない。
【0072】バックプレーン効率は、バックプレーンバ
スを形成する際、最小のパッディング(padding)が加え
られると、よくなる。OC48のための12ビットバッ
クプレーンバスと、OC192のための48ビットバッ
クプレーンバスの場合、最適な割り当ての為には、転送
用の未使用ビットの数が、(バイト数 *8)/バス幅と同
一であることを必要とし、“/”は、整数の分数であ
る。OC48のためには、バスは、0,4又は8の未使
用ビットを有することができる。OC192のために
は、バスは、0,8,16,24,32又は40の未使
用ビットを有することができる。
【0073】このことは、どのビットも12ビットの境
界の間を移動することができないか、あるいは、OC4
8パッディングは、一定のパケット長さにとって最適で
はないことを意味している。OC192cに関し、最大
帯域幅利用とは、各分散器が、同じ数のビットを受信せ
ねばならないということを意味している(即ち、分散器
へのビットインターリーブを意味する)。同一のバック
プレーン相互接続と組み合わされた場合、これは、OC
192cにおいて、各分散器は、1/4のビットを有す
る各分散器から来る、確実に正しい数のビットを有して
いなければならないことを意味する。
【0074】データビットをファブリックに割り当てる
ために、48ビットのフレームが使用される。分散器の
内部には、80〜100Hzでは32ビット幅で書き込
まれ、125Hzでは24ビット幅で読み取られるFI
FOがある。3つの32ビットの語は、4つの24ビッ
トの語を生じる。24ビットの語の各組は、48ビット
のフレームとして扱われる。ビットとファブリック間の
割り当ては、ファブリックの数に左右される。
【0075】
【表2】 表11:ビット分散処理機能
【0076】次の表は、集約装置にて最初に読み取ら
れ、セパレータにて最初に書き込まれるバイトレーンを
示している。4つのチャネルは、A、B、C、Dで表さ
れている。全てのバスが完全に使用されうるよう、異な
るファブリックは、異なるチャネルの読取/書込オーダ
ーを有している。
【0077】1つのファブリック−40G 次の表は、集約装置のインターフェース読取オーダーを
示している。
【0078】
【表3】
【0079】2つのファブリック−80G
【表4】
【0080】120G
【表5】
【0081】3つのファブリック−160G
【表6】
【0082】6つのファブリック−240G
【表7】
【0083】12のファブリック−480G
【表8】
【0084】ギガビット送受信器へのインターフェース
は、2つの分離したルートワードバスとデータバスとを
有する分割バスとして、送受信器バスを使用する。ルー
トワードバスは、固定サイズ(OC48の入口には2ビ
ット、OC48の出口には4ビット、OC192の入口
及び出口には8ビット)であり、データバスは、変更で
きるサイズのバスである。送信オーダーは、決められた
位置にルートワードバスを常に有している。あらゆる分
散処理構造は、1つの送受信器を有しており、これは、
全ての有効な構造において目的物と通話するために用い
られるものである。その送受信器は、両方のルートワー
ドバスを送り、データの送信を開始するために用いられ
る。
【0085】バックプレーンインターフェースは、バッ
クプレーン送受信器へのインターフェースを用いて、物
理的に行なわれる。入口及び出口両用のバスは、2つの
半分部分から構成されていると考えられ、各々は、ルー
トワードデータを有している。第1バスの半分部分がパ
ケットを終了するなら、半分バスの2つは、個々のパケ
ットに関する情報を有していてよい。
【0086】例えば、ファブリックローカル通話に行く
OC48インターフェースは、24データビットと2ル
ートワードビットを有している。このバスは、2x(1
2ビットデータバス+1ビットルートワードバス)を有
しているかの如く作用して用いられる。2つのバスの半
分を、A及びBとする。バスAは、第1データであっ
て、その後にバスBが続く。パケットは、バスAとバス
Bのどちらでも開始でき、バスAとバスBのどちらでも
終了できる。
【0087】データビットとルートワードビットを送受
信器ビットにマッピングする際、バスビットはインター
リーブされる。これによって、全ての送受信器は、たと
え分散処理量が変化しても、確実に同一の有効/無効状
態を有さねばならなくなる。ルートワードは、バスBの
前に現れるバスAによって解釈される。バスA/バスB
という概念は、チップ間にインターフェースを有するこ
とと密接に対応している。
【0088】全てのバックプレーンバスは、データの断
片化を支持している。使用されるプロトコルは、(ルー
トワード中の最終セグメントによって)最後の転送を記
録する。最終セグメントでない全ての転送は、たとえ偶
数のバイトではなくても、バスの幅全体を利用する必要
がある。いかなる一定のパケットも、そのパケットの全
ての転送のため、同一の数のファブリックに分散されね
ばならない。パケットの送信中に、分散器の分散処理量
が更新されるとしても、次のパケットの初めに分散処理
が更新されるだけである。
【0089】ASICにおける各送信機は、各チャネル
のための次のI/Oを有している:8ビットデータバ
ス、1ビットクロック、1ビットコントロール。受信側
では、ASICは、チャネルに次のものを受信する:受
信クロック、8ビットデータバス、3ビットステータス
バス。
【0090】スイッチは、送信器を1〜3組のバックプ
レーンにマッピングすることによって、送受信器を最適
化し、各受信器は、1〜3組のバックプレーンを具え
る。これにより、構造に必要なトラフィックを利用する
のに十分な送信器だけが、完全な1組のバックプレーン
ネットを維持しながら、基板上に配備される。このよう
な最適化の目的は、必要とされる送受信器の数を削減す
ることである。
【0091】最適化が行なわれる一方、どのようなとき
にも、2つの異なる分散処理量がギガビット送受信器に
おいて支持されねばならないということが未だに求めら
れる。このことは、トラフィックが、分散処理データか
ら1つのファブリックへ、又、分散器の分散処理データ
から同時に2つのファブリックへエンキュー(enqueue、
キューに入れる)されることを可能とする。
【0092】バスの構造によっては、複数のチャネル
は、1つの更に大きな帯域幅のパイプを形成するため
に、互いに連結される必要があるかもしれない(どのよ
うなときにも、論理的な接続では1つ以上の送受信器が
存在する)。4倍ギガビット送受信器は4つのチャネル
を互いに連結することができるが、この機能は用いられ
ない。代わりに、受信ASICが、1つのソースからの
チャネル間での同期設定について責任を負う。これは、
総称同期アルゴリズムと同じ文脈である。
【0093】ギガビット送受信器における8b/10b
符号化/復号化は、多数の制御事象がチャネルによって
送られる。これらの制御事象は、K文字で表示され、符
号化された10ビット値に基づいて数字が付される。こ
れらのK文字の幾つかは、チップセットで用いられる。
使用されるK文字とその機能は、下記の表に示されてい
る。
【0094】
【表9】
【0095】パケットに対する分散処理構造によって、
スイッチは、各バックプレーンチャネルに用いられる、
変更可能な数のデータビットを有する。送受信器一式の
内部には、データが次のオーダーで満たされる: F[ファブリック]_[oc192ポート数][oc4
8ポート指定(a,b,c,d)][送受信器_数]
【0096】チップセットは、ここに説明する一定の機
能を実行する。ここで記載した機能の大半は、複数のA
SICで用いられているため、それらをASIC毎に記
載することは、求められる機能の全体的な範囲について
の明確な理解を妨げることになる。
【0097】スイッチチップセットは、64K+6バイ
トの長さまでパケットと協働するように構成されてい
る。スイッチの入口側には、複数のポート間で共有され
るバスが存在する。大半のパケットに関して、それら
は、パケットの初めからパケットの終わりまで、いかな
る中断もなく送信される。しかしながら、この方法は、
遅延感知トラフィックの遅延変動量を大きくすることに
なりかねない。遅延感知トラフィックとロングトラフィ
ックとが、同一のスイッチファブリックに共存できるよ
うにするため、ロングパケットという概念が導入されて
いる。基本的に、ロングパケットによって、大量のデー
タは、キューイングロケーションに送られ、ソースを基
にキューイングロケーションで集積され、ロングパケッ
トの末端部が転送されると、直ちにキューに加えられ
る。ロングパケットの定義は、各ファブリック上のビッ
ト数に基づいている。
【0098】イーサネット(登録商標)MTUがネットワ
ーク全体に維持された環境でスイッチが作動している場
合、ロングパケットは、40Gbpsより大きいサイズの
スイッチには見受けられない。ワイドキャッシュライン
共有メモリ技術は、セル/パケットをポート/優先キュ
ーに格納するために用いられる。共有メモリーは、セル
/パケットを継続的に記憶するので、仮想的には、共有
メモリーにおいて断片化及び帯域幅の無駄が存在しな
い。
【0099】複数のキューが共有メモリーに存在する。
それらは、宛先及び優先度毎に基づいている。同一の出
力優先度とブレード/チャネルIDを有する全てのセル
/パケットは、同一のキューに記憶される。セルは、常
にリストの先頭からデキュー(キューから外す)され、待
ち行列の末尾にエンキュー(キューに入れる)される。各
セル/パケットは、一部の出口ルートワードと、パケッ
ト長さ、及び変更可能な長さのパケットデータによって
構成されている。セル及びパケットは、継続的に記憶さ
れる。即ち、メモリーコントローラー自体は、ユニキャ
スト(アドレスを1つだけ指定する通信)接続用のセル/
パケットの境界を認識しない。パケット長さは、MCパ
ケット用に記憶される。
【0100】マルチキャストポートマスクメモリー64
Kx16−ビットは、マルチキャスト接続用宛先ポート
マスク、即ち、マルチキャストVC毎に1つのエントリ
ー(又は複数のエントリー)を記憶するために用いられ
る。 マルチキャストDestID FIFOによって
示されるヘッドマルチキャスト接続のポートマスクは、
スケジューリング検索のために内的に記憶される。ヘッ
ド接続のポートマスクがクリアされ、新たなヘッド接続
が提供されると、ポートマスクメモリーが検索される。
【0101】APSとは、自動保護スイッチングを表
し、SONET冗長標準のことである。スイッチにおい
てAPSの特徴を利用するため、2つの異なるポートカ
ードの2つの出力ポートが、略同一のトラフィックを送
る。メモリーコントローラーは、APSポート用に1組
のキューを維持し、両方の出力ポートに同じデータを送
る。
【0102】メモリーコントローラーASICにおける
2重化データを用いるため、複数のユニキャストキュー
の1つは各々、プログラム可能なAPSビットを有して
いる。APSビットが1に設定されると、パケットは、
両方の出力ポートにデキューされる。APSビットがポ
ート用にゼロに設定されると、ユニキャストキューは、
正常モードで作動する。ポートがAPSスレイブとして
構成されると、ポートは、APSマスターポートのキュ
ーから読み取る。OC48ポートに関し、APSポート
は、隣接するポートカードの同じOC48ポート上に常
に存在する。
【0103】ファブリック間のメモリーコントローラー
における共有メモリーキューは、クロックドリフト又は
新たに挿入されたファブリックのために、同期から外れ
ている(即ち、異なるメモリーコントローラーASIC
間の同一のキューは、異なる奥行きを有している)。フ
ァブリックキューを、任意の状態から有効かつ同期の状
態に持っていくことは重要である。又、いかなる復元機
構でもセルをドロップしないことが望ましい。
【0104】リシンク(再同期)セルは、全てのファブリ
ック(新たな及び既にあるもの)に一斉に送られて、リシ
ンク状態に入る。ファブリックは、リシンクセルの前に
受け取った全てのトラフィックを、キューリシンクが終
わる前に、排出しようと試みる。しかし、リシンクセル
後に受信したトラフィック(回線上のデータ情報量)は、
リシンクセルが終了するまで引き出されない。キューリ
シンクは2つの出来事の1つが生じると終了する。 1.時間切れのとき 2.新たなトラフィックの総量が(リシンクセルの後に
受け取ったトラフィック)しきい値を越えたとき
【0105】リシンクキューの終端にて、全てのメモリ
コントローラは、どのレフトオーバー旧トラフィック
(リシンクセルのキューの前に受け取ったトラフィック)
をも排出する。オペレーションを自由にすることは、全
てのメモリコントローラがリシンク状態に入るときはい
つでも、メモリの全てを一杯にするのに十分速い。
【0106】キューリシンクは、3つの全てのASIC
ファブリックに与えられる。集約器はFIFOメモリが
リシンクセルのキュー後に同様に排出することを確実に
しなければならない。メモリコントローラは、キューイ
ング及びドロッピング(データ送信時の損失)を実行す
る。分離器はトラッフィクをドロッピングし、これが起
こったときにパージング(構文解析)状態マシンをリセッ
トする。個々のASICにて、キューリシンクの詳細に
ついては、ADSチップを参照されたい。
【0107】デキューについては、マルチキャスト接続
(複数の端末に同じ内容を流すこと)は、独立した32の
トークンを各ポートに有し、各々は50ビットのデータ
又はまとまったパケットに相当する。先頭の接続及びそ
の高優先キューのポートマスクは、各サイクル毎にFI
FO接続及びポートマスクメモリから読み出される。ま
とまったパケットは先頭接続の長さ領域に基づくマルチ
キャストキャッシュラインから隔てられている。先頭の
パケットは、全ての宛先ポートに送られる。ポートに対
してマルチキャストトークンが有用であるときは、8つ
のキュー排出器は、パケットを分離器に送る。次の先頭
接続は、現在の先頭パケットがその全てのポートに送ら
れるときにのみ、処理されるだろう。
【0108】キューファブリックは、リシンクセルファ
ブリックを介して直ぐに変換され、ポート領域当たりの
優先の数が、各ポートがいくつの優先キューを有するか
を示すのに用いられる。分散ASICは、ネットワーク
ブレード上にある。
【0109】以下の語は、スイッチの語彙にて、かなり
特有の意味を有する。多くはどこかで述べられたが、こ
れは1箇所にそれらを集めて定義することを企画してい
る。
【0110】
【表10】
【0111】送信カウンタと受信カウンタの関係は、図
7に示される。
【0112】本発明は例示の目的で前述の実施例に於い
て、詳細に記載されてきたが、そのような詳細な記載は
単にその目的の為であり、当該分野の専門家であれば、
後述の特許請求の範囲によって記載されるようなものの
ほかにも、発明の精神と範囲から逸脱することなく、変
形を成し得るものと理解されるべきである。
【図面の簡単な説明】
添付図は、本発明の望ましい実施例及び、本発明を実践
する望ましい方法を示している。
【図1】本発明のスイッチに於けるパケット分散処理を
示す概略図である。
【図2】OC48ポートカードの概略図である。
【図3】鎖状ネットワークブレードの概略図である。
【図4】ASICファブリックに於ける相互接続を示す
概略図である。
【図5】ASICファブリックに於ける相互接続を示す
概略図である。
【図6】同期パルスの分配状況を示す概略図である。
【図7】夫々セパレータ及び非分散器用の送受信連続カ
ウンタ間の関係に関する概略図である。
【図8】本発明のスイッチの概略図である。
【図9】長さ表示器を具えたパケットの概略図である。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ヴェラ レディー アメリカ合衆国 15090 ペンシルベニア, ウェックスフォード,サットン プレース エクステンション 5011 (72)発明者 ジョン ボーゲル アメリカ合衆国 16046 ペンシルベニア, マーズ,アダムズ ポイント ブルバード 220,#4 Fターム(参考) 5K030 HA08 HA10 JL10 MA13 MB11

Claims (21)

    【特許請求の範囲】
  1. 【請求項1】 パケットを切り換えるスイッチであっ
    て、各パケットは長さを有するスイッチに於いて、 ネットワークからパケットを受信し、ネットワークにパ
    ケットを送信するポートカードと、 ポートカードに繋がって、パケットを切り換えるファブ
    リックであって、各ファブリックはメモリメカニズムを
    有し、各ファブリックはファブリックによって受信され
    た各パケットの長さを決定し、パケットがメモリメカニ
    ズムに格納されたときに、パケットとともに長さ表示器
    を設置するメカニズムを有し、 決定するメカニズムは長さ表示器からパケット長さがど
    れだけか、メモリメカニズムのどこでパケットが終わる
    かを識別することを特徴とするスイッチ。
  2. 【請求項2】 決定するメカニズムは、ポートカードか
    らパケットのフラグメントを受信し、パケットの長さを
    決定して長さ表示器内にてパケットの頭部にパケット長
    さ情報を添える集約装置を含む請求項1に記載のスイッ
    チ。
  3. 【請求項3】 メモリメカニズムは、メモリコントロー
    ラを含み、集約装置はメモリコントローラにパケット長
    さ情報とともにパケットを送信し、メモリコントローラ
    はパケット長さ情報とパケットを格納する請求項2に記
    載のスイッチ。
  4. 【請求項4】 メモリコントローラはワイドキャッシュ
    バッファ構造を有するメモリを有し、多数のパケットは
    メモリ内に1つのワードで入れられる請求項3に記載の
    スイッチ。
  5. 【請求項5】 ファブリックは、メモリコントローラか
    らパケットを読み、各パケットからパケット長さ情報を
    引き出して各パケットがいつ終了するかを決定し、パケ
    ットのフラグメントをポートカードに送信するセパレー
    タを含む請求項4に記載のスイッチ。
  6. 【請求項6】 セパレータは、各パケットの何れかのフ
    ラグメントをポートカードの非分散器に送る前に、各パ
    ケットからパケット長さ情報を除去する請求項5に記載
    のスイッチ。
  7. 【請求項7】 長さを有するパケットを切り換える方法
    であって、 スイッチのポートカードにてパケットを受信する工程
    と、 スイッチのファブリックにパケットのフラグメントを送
    る工程と、 スイッチのファブリックにてパケットのフラグメントを
    受信する工程と、 各ファブリックにて受信したパケットのフラグメントか
    ら、各ファブリックでパケットの長さを測定する工程
    と、 ファブリックのメモリメカニズムに、長さ表示器ととも
    にパケットを格納する工程と、 メモリメカニズムからパケットを読む工程と、 パケットの長さ表示器からパケットがどこで終了するか
    を決定する工程を有する方法。
  8. 【請求項8】 受信する工程は、ファブリックの集約装
    置にて、フラグメントを受信する工程を含む請求項7に
    記載の方法。
  9. 【請求項9】 測定する工程は、集約装置を用いて、パ
    ケットの長さを測る工程を含む請求項8に記載の方法。
  10. 【請求項10】 添える工程は、集約装置を用いて、長
    さ表示器をパケットに添える工程を含む請求項9に記載
    の方法。
  11. 【請求項11】 格納する工程は、メモリメカニズムの
    メモリコントローラにて、長さ表示器とともにパケット
    を格納する工程を含む請求項10に記載の方法。
  12. 【請求項12】 読む工程は、ファブリックのセパレー
    タを用いて、メモリコントローラからパケットを読む工
    程を有する請求項11に記載の方法。
  13. 【請求項13】 決定する工程は、セパレータを用い
    て、長さ表示器からパケットがどこで終了するかを決定
    する工程を含む請求項12に記載の方法。
  14. 【請求項14】 決定する工程の後に、セパレータから
    パケット長さ情報を除去する工程を含む請求項13に記
    載の方法。
  15. 【請求項15】 除去する工程の後に、セパレータから
    ポートカードにパケットのフラグメントを送る工程があ
    る請求項14に記載の方法。
  16. 【請求項16】 フラグメントを送る工程は、対応した
    フラグメントが他のファブリックからポートカードへ送
    られるのと同じ論理的時間で、パケットのフラグメント
    をポートカードへ送る工程を含む請求項15に記載の方
    法。
  17. 【請求項17】 格納する工程は、ワイドキャッシュバ
    ッファ構造を有するメモリコントローラのメモリにパケ
    ットのフラグメントを格納し、多数のパケットは1つの
    ワードに入れられる請求項16に記載の方法。
  18. 【請求項18】 読む工程の後に、セパレータを用い
    て、パケットからパケット長さ情報を引き出す工程があ
    る請求項17に記載の方法。
  19. 【請求項19】 受信する工程は、ポートカードの非分
    散器を用いて、ファブリックからパケットのフラグメン
    トを受信する工程を含む請求項18に記載の方法。
  20. 【請求項20】 ファブリックにフラグメントを送る工
    程は、ポートカードの分散器を用いて、パケットのフラ
    グメントを各ファブリックの集約装置に送る工程を有す
    る請求項19に記載の方法。
  21. 【請求項21】 ポートカードにフラグメントを送る工
    程は、セパレータからポートカードの非分散器にフラグ
    メントを送る工程を含む請求項20に記載の方法。
JP2001241632A 2000-08-11 2001-08-09 長さとデータを1つのストリームとする転送及び待合せ Expired - Fee Related JP4662658B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/637049 2000-08-11
US09/637,049 US7035267B1 (en) 2000-08-11 2000-08-11 Transferring and queueing length and data as one stream

Publications (2)

Publication Number Publication Date
JP2002124988A true JP2002124988A (ja) 2002-04-26
JP4662658B2 JP4662658B2 (ja) 2011-03-30

Family

ID=24554334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001241632A Expired - Fee Related JP4662658B2 (ja) 2000-08-11 2001-08-09 長さとデータを1つのストリームとする転送及び待合せ

Country Status (4)

Country Link
US (1) US7035267B1 (ja)
EP (1) EP1179929B1 (ja)
JP (1) JP4662658B2 (ja)
DE (1) DE60111139T2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6894970B1 (en) * 2000-10-31 2005-05-17 Chiaro Networks, Ltd. Router switch fabric protection using forward error correction
FR2822319B1 (fr) * 2001-03-16 2003-05-30 Thomson Csf Commutateur de trames d'informations de taille variable pour reseaux securitaires embarques
US7352751B2 (en) * 2003-08-18 2008-04-01 Ericsson Ab Accounting for link utilization in scheduling and billing
US7330479B2 (en) * 2003-09-25 2008-02-12 International Business Machines Corporation Shared transmit buffer for network processor and methods for using same
KR20050060286A (ko) * 2003-12-16 2005-06-22 삼성전자주식회사 기록 매체에 데이터를 저장하는 방법 및 장치, 그리고기록 매체에 저장된 데이터를 읽어 오는 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09102802A (ja) * 1995-06-28 1997-04-15 Hyundai Electron Ind Co Ltd ハードウェアパケットルータの転送先アドレス検出装置
JPH11261633A (ja) * 1998-03-09 1999-09-24 Nippon Telegr & Teleph Corp <Ntt> パケット中継装置
EP1009132A2 (en) * 1998-12-09 2000-06-14 Hitachi, Ltd. Variable length packet communication device

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5072440A (en) * 1989-03-01 1991-12-10 Fujitsu Limited Self-routing switching system having dual self-routing switch module network structure
US5166926A (en) * 1990-12-18 1992-11-24 Bell Communications Research, Inc. Packet address look-ahead technique for use in implementing a high speed packet switch
US5309432A (en) 1992-05-06 1994-05-03 At&T Bell Laboratories High-speed packet switch
US5457681A (en) * 1992-06-05 1995-10-10 Washington University ATM-Ethernet portal/concentrator
US5732041A (en) * 1993-08-19 1998-03-24 Mmc Networks, Inc. Memory interface unit, shared memory switch system and associated method
JP3405800B2 (ja) * 1994-03-16 2003-05-12 富士通株式会社 Atmによる可変長セルの転送方式,atmによる可変長セルのスイッチ及びatmによる可変長セルの交換機
US5905725A (en) * 1996-12-16 1999-05-18 Juniper Networks High speed switching device
US6493347B2 (en) 1996-12-16 2002-12-10 Juniper Networks, Inc. Memory organization in a switching device
US6078595A (en) * 1997-08-28 2000-06-20 Ascend Communications, Inc. Timing synchronization and switchover in a network switch
US6570876B1 (en) * 1998-04-01 2003-05-27 Hitachi, Ltd. Packet switch and switching method for switching variable length packets
US6161155A (en) * 1998-07-20 2000-12-12 Hewlett-Packard Company Apparatus and method for storing retrievable boundary information into a buffer memory of a receiving device
JP4043125B2 (ja) * 1999-01-20 2008-02-06 富士通株式会社 セル処理装置及びatm交換機及びセル廃棄方法
US6650660B1 (en) * 1999-07-27 2003-11-18 Pluris, Inc. Apparatus and method for synchronization of multiple data paths and recovery from lost synchronization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09102802A (ja) * 1995-06-28 1997-04-15 Hyundai Electron Ind Co Ltd ハードウェアパケットルータの転送先アドレス検出装置
JPH11261633A (ja) * 1998-03-09 1999-09-24 Nippon Telegr & Teleph Corp <Ntt> パケット中継装置
EP1009132A2 (en) * 1998-12-09 2000-06-14 Hitachi, Ltd. Variable length packet communication device

Also Published As

Publication number Publication date
EP1179929A2 (en) 2002-02-13
US7035267B1 (en) 2006-04-25
DE60111139T2 (de) 2005-10-27
EP1179929B1 (en) 2005-06-01
JP4662658B2 (ja) 2011-03-30
EP1179929A3 (en) 2002-05-15
DE60111139D1 (de) 2005-07-07

Similar Documents

Publication Publication Date Title
JP4679794B2 (ja) 正しくする受信器
US6792484B1 (en) Method and apparatus for storing data using a plurality of queues
JP2004503133A (ja) クロックドリフトとトランスポート遅延を有する分散型システムに於けるバックプレーン同期化
US6473433B1 (en) Queue resynch: synchronous real-time upgrade of a distributed switching system
US6973092B1 (en) Dynamic queue utilization
JP2002164927A (ja) Apsポートのミラーリング
JP5167391B2 (ja) パケット境界表示器を用いてパケットを格納する方法及び装置
US6473435B1 (en) Method and apparatus for transferring packets to a memory
JP4798889B2 (ja) ロングパケットの取り扱い
JP4662658B2 (ja) 長さとデータを1つのストリームとする転送及び待合せ
JP4679793B2 (ja) スイッチに於いてn+1冗長化を狙わないことを許す受信器デコードアルゴリズム
JP4679792B2 (ja) 1つの送信先から複数の送信元への非同期バックプレッシャの同期化
JP4716614B2 (ja) 分散されたシステムを更新する同期的且つ動的なレジスタ

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20040817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20040831

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20040831

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080514

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080722

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110104

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4662658

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140114

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees