JP2004503131A - 1つの送信先から複数の送信元への非同期バックプレッシャの同期化 - Google Patents
1つの送信先から複数の送信元への非同期バックプレッシャの同期化 Download PDFInfo
- Publication number
- JP2004503131A JP2004503131A JP2002507551A JP2002507551A JP2004503131A JP 2004503131 A JP2004503131 A JP 2004503131A JP 2002507551 A JP2002507551 A JP 2002507551A JP 2002507551 A JP2002507551 A JP 2002507551A JP 2004503131 A JP2004503131 A JP 2004503131A
- Authority
- JP
- Japan
- Prior art keywords
- fabric
- separator
- distributor
- timing
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/60—Software-defined switches
- H04L49/608—ATM switches adapted to switch variable length packets, e.g. IP packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/54—Store-and-forward switching systems
- H04L12/56—Packet switching systems
- H04L12/5601—Transfer mode dependent, e.g. ATM
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/10—Packet switching elements characterised by the switching fabric construction
- H04L49/104—Asynchronous transfer mode [ATM] switching fabrics
- H04L49/105—ATM switching elements
- H04L49/108—ATM switching elements using shared central buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/15—Interconnection of switching modules
- H04L49/1553—Interconnection of ATM switching modules, e.g. ATM switching fabrics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/90—Buffering arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/90—Buffering arrangements
- H04L49/9063—Intermediate storage in different physical parts of a node or terminal
- H04L49/9078—Intermediate storage in different physical parts of a node or terminal using an external memory or storage device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/0635—Clock or time synchronisation in a network
- H04J3/0685—Clock or time synchronisation in a node; Intranode synchronisation
- H04J3/0688—Change of the master or reference, e.g. take-over or failure of the master
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/54—Store-and-forward switching systems
- H04L12/56—Packet switching systems
- H04L12/5601—Transfer mode dependent, e.g. ATM
- H04L2012/5625—Operations, administration and maintenance [OAM]
- H04L2012/5627—Fault tolerance and recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/54—Store-and-forward switching systems
- H04L12/56—Packet switching systems
- H04L12/5601—Transfer mode dependent, e.g. ATM
- H04L2012/5629—Admission control
- H04L2012/5631—Resource management and allocation
- H04L2012/5632—Bandwidth allocation
- H04L2012/5635—Backpressure, e.g. for ABR
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/54—Store-and-forward switching systems
- H04L12/56—Packet switching systems
- H04L12/5601—Transfer mode dependent, e.g. ATM
- H04L2012/5638—Services, e.g. multimedia, GOS, QOS
- H04L2012/564—Connection-oriented
- H04L2012/5642—Multicast/broadcast/point-multipoint, e.g. VOD
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/54—Store-and-forward switching systems
- H04L12/56—Packet switching systems
- H04L12/5601—Transfer mode dependent, e.g. ATM
- H04L2012/5638—Services, e.g. multimedia, GOS, QOS
- H04L2012/5665—Interaction of ATM with other protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/54—Store-and-forward switching systems
- H04L12/56—Packet switching systems
- H04L12/5601—Transfer mode dependent, e.g. ATM
- H04L2012/5678—Traffic aspects, e.g. arbitration, load balancing, smoothing, buffer management
- H04L2012/5681—Buffer or queue management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
Abstract
Description
発明の分野
本発明は、ファブリック(fabric)からポートカードへ、パケットのフラグメント(fragment)を伝送することに関する。特に、本発明は、ファブリック(fabric)からポートカードへ、パケットのフラグメント(fragment)を伝送すること
、及び、バックプレッシャ信号によって、異なるファブリックからポートカードへ、同じパケットのコンパニオン(companion)フラグメントの伝送が停止されることに関する。
【0002】
発明の背景
非分散器は、非分散器内部のFIFOが満杯に近くなると、セパレータにバックプレッシャを与える必要がある。バックプレッシャ信号は、全てのASICに対して非同期(asynchronous)であり、関係する全てのセパレータが、正確に同じ論理的サイクルで、非分散器の特定のチャンネルからのバックプレッシャを受信することが要求される。セパレータは、1つの完全なカウンタチック間隔(counter tick interval)について、正確に同じ論理的サイクルで正しいデータ(同じパケットのコンパニオンフラグメント)を送信することを停止する必要がある。複数のファブリックへのデータの分散を行い、パリティデータを別のファブリックへ送るスイッチは、米国特許公報09/333,450号に開示されている。同公報は引用をもって記載に加える。また、米国特許公報09/293,563号を参照すると、ワイドメモリTDMスイッチングシステムが開示してあり、同公報も引用をもって記載に加える。
【0003】
発明の要約
本発明はスイッチに関する。スイッチは、複数のポートカードを具えている。各ポートカードは、複数の内部FIFOを有する非分散器を具えており、該複数の内部FIFOが所定の量のパケットのフラグメントを有する場合はいつでも、非分散器は、バックプレッシャ信号を発生する。非分散器は、非分散器タイミング機構を有し、該機構は、非分散器のオペレーションのタイミングを維持する。スイッチは、複数のファブリックを具えている。各ファブリックは、各ポートカードと繋がれている。各ファブリックはセパレータを有し、該セパレータは、パケットのフラグメントを関係する非分散器に送り、セパレータがバックプレッシャ信号を受信する場合には、パケットのフラグメントの送信を停止する。また、各ファブリックはファブリッククロックを有し、該クロックは、セパレータのオペレーションのタイミングを維持する。該ファブリッククロックは、非分散器のオペレーションのタイミングに対する所定のセパレータ遅延で、セパレータのオペレーションのタイミングを維持する。全てのセパレータが、同時に同じパケットのコンパニオンフラグメントを送ることを停止するように、セパレータ遅延は、複数の非分散器のいずれか1つと複数のセパレータのいずれか1つとの間のあらゆるバックプレッシャ伝播遅延よりも大きい。
【0004】
本発明は、パケットをスイッチングする方法に関する。該方法は、ポートカードに繋がれているファブリックのフラグメントからの、所定の量のパケットのフラグメントで、ポートカードの内部メモリを充てんする工程を具える。そして、全てのファブリックが、同時に同じパケットのコンパニオンフラグメントを送ることを停止するように、ポートカードからファブリックへバックプレッシャ信号を送信する工程がある。充てん工程は、ポートカードの複数のFIFOのうち少なくとも1つのFIFOを所定の量に充てんする工程を含むのが好ましい。
【詳細な説明】
【0005】
幾つかの図面を通じて、同じ符号は類似又は同一の部分を示している。図8を参照すると、スイッチ(10)が示されている。スイッチ(10)は、複数のポートカード(12)を具えている。各ポートカード(12)は、非分散器(14)を有しており、該非分散器(14)は、複数の内部FIFOを有している。複数の内部FIFOのいずれか1つが、所定の量のデータのパケットのフラグメントを有する場合にはいつでも、非分散器(14)はバックプレッシャ信号を発生する。非分散器(14)は、非分散器タイミング機構(18)を有し、該機構(18)は、非分散器(14)のオペレーションタイミングを維持する。スイッチ(10)は、複数のファブリック(20)を具える。各ファブリック(20)は、各ポートカード(12)と繋がれている。各ファブリックはセパレータ(22)を有し、該セパレータ(22)は、パケットのフラグメントを関係する非分散器(14)に送り、セパレータ(22)がバックプレッシャ信号を受信する場合には、パケットのフラグメントの送信を停止する。また、各ファブリック(20)はファブリッククロック(24)を有し、該クロック(24)は、セパレータ(22)のオペレーションのタイミングを維持する。該ファブリッククロック(24)は、非分散器(14)のオペレーションのタイミングに対して、所定のセパレータ(22)遅延で、セパレータ(22)のオペレーションのタイミングを維持する。セパレータ(22)は、周期的なベント(vent)を用いて、非分散器(14)が用いるイベントに対する所定の遅延であるバックプレッシャ信号と同期する。全てのセパレータが、同じ論理的サイクルで、同じパケットのコンパニオンフラグメントを送ることを停止するように、セパレータ(22)遅延は、複数の非分散器のいずれか1つと複数のセパレータのいずれか1つとの間のあらゆるバックプレッシャ伝播遅延よりも大きい。セパレータは、xサイクル毎にカウンタをインクリメントする。非分散器は、xサイクル毎にカウンタをインクリメントする。非分散器のカウンタ遷移(transition)は、セパレータに対してdサイクルだけ遅れている。
【0006】
各ポートカード(12)は分散器(26)を有し、非分散器(14)からのバックプレッシャ信号は、分散器(26)に送られ、さらに分散器(26)から各ファブリック(20)に送られる。各ファブリック(20)は集約装置(28)を有し、該集約装置(28)はバックプレッシャ信号を受信し、そのバックプレッシャ信号をセパレータ(22)に送るのが好ましい。非分散器タイミング機構(18)は、受信シーケンスカウンタを含むのが好ましい。
【0007】
分散器(26)は送信シーケンスカウンタ(32)を有し、該送信シーケンスカウンタ(32)は、受信シーケンスカウンタ(30)のタイミングシーケンスから遅れた所定のサイクル数に、分散器(26)のタイミングシーケンスを維持する。非分散器(14)は、バックプレッシャ信号を非同期的に(asynchronously)発生するのが好ましい。受信シーケンスカウンタ(30)からのタイミングは、図20に示されるように、送信シーケンスカウンタ(32)からのタイミングに対して150サイクル遅れるのが好ましい。
【0008】
本発明は、パケットをスイッチングする方法に関する。該方法は、ポートカード(12)に繋がれているファブリックのフラグメントからの、所定の量のパケットのフラグメントで、ポートカード(12)の内部メモリを充てんする工程を具える。そして、全てのファブリック(20)が、同時に同じパケットのコンパニオンフラグメントを送ることを停止するように、ポートカード(12)からファブリック(20)へバックプレッシャ信号を送信する送信工程がある。充てん工程は、ポートカード(12)の複数のFIFOのうち少なくとも1つのFIFO(16)を、所定の量に充てんする工程を含むのが好ましい。
【0009】
充てん工程は、ポートカード(12)の非分散器(14)の複数のFIFO(16)のうち少なくとも1つのFIFOを、所定の量に充てんする工程を含むのが好ましい。全てのセパレータが、同時に同じパケットのコンパニオンフラグメントを送ることを停止するように、送信工程は、バックプレッシャ信号を各ファブリック(20)のセパレータ(22)に送信する工程を含むのが好ましい。送信工程は、バックプレッシャ信号を非分散器(14)からポートカード(12)の分散器(26)へ送る工程と、バックプレッシャ信号を分散器(26)から各ファブリック(20)の各セパレータ(22)へ送る工程とを含むのが好ましい。
【0010】
分散器(26)から各セパレータ(22)へバックプレッシャ信号を送る工程は、分散器(26)から各ファブリック(20)の集約装置(28)へバックプレッシャ信号を送る工程と、集約装置(28)からセパレータ(22)へバックプレッシャ信号を送る工程とを含むのが好ましい。非分散器からセパレータへの直接のパスが存在しないので、このようにされる。集約装置パスの分散器は、単にバックプレッシャ信号を運ぶ手段である。充てん工程の前に、ポートカード(12)の受信シーケンスカウンタを用いて、ポートカード(12)のタイミングシーケンスを維持する工程があるのが好ましい。充てん工程の前に、送信シーケンスカウンタ(32)、及び受信シーケンスカウンタ(30)のタイミングシーケンスから遅れた所定のサイクル数を用いて、分散器(26)のタイミングシーケンスを維持する工程があるのが好ましい。充てん工程の前に、各セパレータ(22)のファブリッククロック(24)を用いて、各ファブリック(20)のセパレータ(22)のオペレーションを、非分散器(14)のオペレーションのタイミングに対する所定のセパレータ(22)遅延に維持する工程を含むのが好ましい。全てのセパレータが、同時に同じパケットのコンパニオンフラグメントを送ることを停止するように、セパレータ(22)遅延は、複数の非分散器のいずれか1つと複数のセパレータのいずれか1つとの間のあらゆるバックプレッシャ伝播遅延よりも大きい。その上、さらに好ましい実施例では、分散器及び集約装置を通過する必要がなく非分散器とセパレータの間で通信を行うことができるような、非分散器とセパレータの間の直接的なコネクションが存在する。
【0011】
本発明の実施において、スイッチ(10)は、同期バックプレッシャ信号を用いることなしに、大きく変化する伝播遅延とクロックドリフトとを有するシステムで、1つの送信先から複数の送信元に亘って同期バックプレッシャイベントが発生するという意味で、明らかな利点を有する。
【0012】
非分散器(14)の内部FIFO(16)が満杯に近くなる場合に、非分散器(14)は、バックプレッシャをセパレータに与える。各セパレータ(22)は、これが繋がれている全てのポートカード(12)から、独立した24のバックプレッシャ信号が来ることを見込んでいる。バックプレッシャ信号は、全てのASICに対して非同期であると考えられる。全ての関係するセパレータは、正確に同じサイクルで非分散器(14)の特定のチャンネルからバックプレッシャを受け取る。このことは、非分散器(14)の受信シーケンスカウンタ(30)が遷移する際に、非分散器(14)がバックプレッシャ信号を表明する(assert)ことによって行われる。非分散器の受信シーケンスカウンタ(30)は、セパレータの送信シーケンスカウンタの遅延バージョンであると想定される。カウンタチックの長さ250サイクルであり、受信カウンタは、送信カウンタに対して150サイクル遅れているから、図20に示すように、非分散器(14)からセパレータ(22)へバックプレッシャを運ぶための150サイクルのマージンが存在する。セパレータ(22)は、バックプレッシャ信号をサンプリングするのに、シーケンスカウンタの遷移の前に、約10サイクルを必要とする。これによりセパレータ(22)は充分な時間が与えられ、カウンタ遷移の前に、バックプレッシャを上流のASICに与える。これは、バックプレッシャ信号に最大の要求を出す。以下の要求が当てはまる:
バックプレッシャ伝播遅延 < カウンタチック長さ − 受信同期パルス遅延 − セパレータのサンプルポイントのセットアップ時間
バックプレッシャ伝播遅延 < 250 − 150 − 10
バックプレッシャ伝播遅延 < 90サイクル@125MHz又は720ns
【0013】
最悪のケースを仮定すると、予期される最悪の伝播遅れは次のようになる:
バックプレッシャ伝播遅延 = (非分散器から分散器への遅延)+(分散器から集約装置への遅延)+ 集約装置からセパレータへの遅延
バックプレッシャ伝播遅延 =5サイクル(チップ及びボードの遅延)+(5+62サイクル(チップ及びボードからファブリックへの500nsの遅延))+5サイクル(チップ及びボードの遅延)
バックプレッシャ伝播遅延 = 77サイクル < 90サイクル
この見積りから理解されるように、最悪のバックプレッシャ遅延に出くわす。
【0014】
全ての関係するセパレータが、次のシーケンスカウントへの遷移の前にバックプレッシャ信号を受信すると仮定すると、それは、送信シーケンスカウンタ(32)の次の遷移に同期化される。このことにより、全ての関係するセパレータが、1つの完全なコンピュータチック間隔の間、正確に同じ論理的サイクルで正しいデータを送ることを中止できる。送信シーケンスカウンタ(32)が遷移する際、セパレータが送っているデータは同じパケットのフラグメントであると想定されるから、このことは正しい。次のカウンタ遷移の前にパックプレッシャが再度サンプリングされる場合は、データは別のカウンタチック間隔の間中止される。この機構は、バックプレッシャはカウンタチック長さの粒度でのみ生成されることを暗示する。非分散器(14)からセパレータ(22)までの直接の経路は存在しないから、バックプレッシャ信号は、非分散器(14)から分散器(26)へ、さらに集約装置(28)へ、最終的にセパレータ(22)へと再送される(re−routed)必要がある。これを行うために、各非分散器(14)は、そのポートカード(12)上の対応する分散器(26)にバックプレッシャ信号を送る必要がある。分散器(26)は、バックプレーンギガビットトランシーバを通じて集約装置(28)にバックプレッシャ信号を転送する。集約装置(28)は、バス当たり4チャンネルを有する6つのバスに対応して、1つのセパレータ(22)に独立した24のバックプレッシャ信号を転送する。バックプレッシャ信号は、通常ギガビットトランシーバのビット0を使用する。集約装置(28)内の受信シンクロナイザ(synchronizer)ブロックは、セパレータ(22)への適切なバスとチャンネルのために正しいバックプレッシャ信号を転送する。ギガビットレシーバは、いかなる特定のバスとチャンネルにも専用されていないから、シンクロナイザは、通常のデータについて行うのと同じように、スイッチ(10)の構成に基づく正しいギガビットレシーバを選択する必要がある。これがなされると、ギガビットレシーバのビット0は、バックプレッシャ信号のように転送される。ビット0は、また、kキャラクタを受信するために使用され、kキャラクタを送信する際に変化できることに注意しなければならない。正しいバックプレッシャ信号としてkキャラクタのビット0を誤って解釈することを避けるために、シンクロナイザは、正しいデータがギガビットレシーバから受信された際に、バックプレッシャビットのみサンプリングする。kキャラクタが受信される場合、シンクロナイザは、バックプレッシャ信号を現在の値に保持する。さらに、送るものが存在しないから、分散器(26)は、連続する(back−to−back)アイドルキャラクタを送れる場合もある。この場合において、分散器(26)はバックプレッシャ信号の値を変える必要があるならば、バックプレッシャの値を変化させる2つのkキャラクタの1つを送る。使用される2つのkキャラクタは、バックプレッシャ信号のセットとクリアである。シンクロナイザは、バックプレッシャセット又はクリアのキャラクタを受信する場合、それぞれバックプレッシャ信号をセット又はクリアする。いかなる他のkキャラクタが受信されても、適切なギガビットレシーバのビット0は、バックプレッシャ信号と同様にサンプリングされる。
【0015】
スイッチは、RAID技術を使用し、個別のファブリック帯域幅を最小限にしつつ、スイッチ帯域幅全体を増大する。スイッチアーキテクチャにおいて、全てのデータは全てのファブリックに均一に分配されるので、スイッチはファブリックを加えることによって帯域幅を増し、ファブリックは、スイッチが帯域幅容量を増大すれば、ファブリックの帯域幅容量を増大する必要がない。
【0016】
各ファブリックは40G(bps)の交換帯域幅を提供しており、システムは、冗長/予備ファブリックを除いた1、2、3、4、6又は12ファブリックを利用する。換言すると、スイッチは、ファブリックが幾つインストールされるかによって、40G(bps)、80G、120G、160G、240G又は480Gのスイッチとなり得る。
【0017】
ポートカードは、10G(bps)のポート帯域幅を提供する。4ポートカード当たり1ファブリックになることが必要である。スイッチアーキテクチャは、ポートカード及びファブリックの任意インストレーションをサポートしない。
【0018】
ファブリックASICsは、セルとパケットの両方をサポートする。全体として、スイッチは、”受信器が適切にする(receiver makes right)”方法をとっており、この方法においてATMブレード上の出口パス(egress path)は、フレームをセグメント化してセルにしなければならず、フレームブレード上の出口パスは、セルをまとめて再びパケットにしなければならない。
【0019】
スイッチ内で使用される一般に8スイッチのASICは:
−分散器(Striper)−分散器は、ポートカード及びSCP−IM上に在する。それは、データを12ビットのデータストリームにフォーマットし、チェックワードを添付し、N即ちシステム中の予備でないファブリックを横切ってデータストリームを分割し、他のファブリックに向かうストライプと同等な幅のパリティストライプを生成し、且つN+1データストリームをバックプレーンへ送出する。
−非分散器(unstriper)−非分散器は、スイッチアーキテクチャ内の他のポートカードASICである。これは、システム中の全てのファブリックからデータストリームを受信する。次に、誤り検出修正を実行するために、チェックワード及びパリティ分散を使用して、元のデータストライプを再構築する。
−集約装置(Aggregator)−集約装置は、分散器からデータストリーム及びルートワードを取り出し、それらを多重化してメモリコントローラへの単一の入力ストリームにする。
−メモリコントローラ− メモリコントローラは、スイッチのキュー及びデキュー(キューから外す)メカニズムを実行する。これは、クロックサイクル毎に複数セルのデータを同時にエンキュー(enqueue、キューに入れる)/デキューをするために、独占排他権を有する広いメモリインタフェースを含んでいる。メモリコントローラのデキュー側は、コネクションのキュー及びシェーピングの大部分をポートカード上で行わせるために、40Gbpsよりも80Gbpsで稼働する。
−セパレータ− セパレータは、集約装置と逆の操作を実行する。メモリコントローラからのデータストリームは、複数のデータストリームに逆多重され、適当な非分散器ASICへ送達される。非分散器へのインタフェースには、キューとフローとの制御ハンドシェーキングが含まれている。
【0020】
ファブリック間のコネクションについては、3つの異なった視点即ち、物理的、論理的、及び「動的」な視点で見ることができる。物理的には、ポートカードとファブリックとの間のコネクションは、あらゆるギガビット速度の差分ペアのシリアルリンクである。これは、厳密に言うと、バックプレーンへ向かう信号数を減少するための実現(implementation、ソフトとハードの調整)の問題である。”動的な”観点では、単一のスイッチの形状を考察するか、又は所定の時点でデータが如何に処理されているかというスナップショットとして考察されるだろう。ポートカード上のファブリックASICとファブリックとの間のインタフェースは、12ビット幅であるのが効果的である。それらの12ビットは、ファブリックASICsが如何に構成されているかによって1、2、3、4、6又は12ファブリックへ均一に分散(stripe)される。”動的”な観点は、現在の構成において各ファブリックによって処理されているビットの数を意味しており、これはファブリック数で割るとちょうど12である。
【0021】
論理的な視点は、ある得る動的構成の全ての合併又は最大機能として考えられることができる。ファブリックスロット#1は、構成に応じて、単一分散器からのデータの12、6、4、3、2又は1ビットを処理しているであろうゆえに、12ビットバスで引き抜かれる。それとは対照的に、ファブリックスロット#3は、単一分散器からのデータの4、3、2又は1ビットを処理するのに使用されるだけであるがゆえに、4ビットバスで引き抜かれる。
【0022】
以前のスイッチとは違って、該スイッチは、ソフトウェアにより制御可能なファブリック冗長モードの概念を全く有していない。ファブリックASICsは、予備ファブリックがインストールされている限り、介入なしにN+1冗長を実行する。
【0023】
ここで提供される限り、N+1冗長は、ハードウェアが、データの損失なしに自動的に単一の障害を検出し、修正することを意味する。
【0024】
冗長性が作動する方法はかなり単純だが、3つのファブリック(A、B及びC)+予備(S)を有する120Gスイッチが使用される特定のケースを理解すれば、より簡単になる。分散器は、12ビットバスを選び、まず、データユニット(セル又はフレーム)に添付されるチェックワードを生成する。次に、データユニット及びチェックワードは、A、B及びCファブリックの各々についてクロックサイクル当り4ビットデータストライプ(A3A2A1A0、B3B2B1B0及びC3C2C1C0)に分割される。次に、これらのストライプは、予備ファブリックS3S2S1S0用のストライプを生成するのに使用される。ここで、Sn=An XOR Bn XOR Cnであり、これら4つのストライプは、それらの対応するファブリックへ送られる。ファブリックの反対側において、非分散器は、A、B、C及びSから4つの4ビットストライプを受け取る。次に、3つのファブリックのあり得る全ての組合せ(ABC、ABS、ASC及びSBC)は、”一時的な”(tentative)12ビットのデータストリームの再構築に使用される。次に、チェックワードは、4つの一時的なストリームの各々のために計算され、計算されたチェックワードは、データユニットの端部のチェックワードと比較される。伝送の間にエラーが生じなかった場合、4ストリーム全ては、チェックワードが整合しており、ABCストリームは非分散器出力へ転送される。(単一の)エラーが生じた場合、1つのチェックワードだけが整合しており、整合を含むストリームはチップ外へ転送され、非分散器は不良のファブリック分散を識別する。
【0025】
スイッチの構成が異なると、即ち、1、2、4、6又は12ファブリックであると、アルゴリズムは同一であるが、ストライプ幅は変化する。
2つのファブリックが故障すると、スイッチ中を流れるデータの全ては、殆ど確実に崩れが生じるであろう。
【0026】
ファブリックスロットは、番号が付され、昇順に並べられなくてはならない。また、予備ファブリックは特定のスロットであるから、ファブリックスロット1、2、3及び4は、ファブリックスロット1、2、3及び予備とは異なる。前者は冗長のない160Gスイッチであり、後者は冗長を含む120Gである。
【0027】
第一に、特定のポートカードスロットを使用するには、そこに、予備を含まない少なくとも1つの所定の最小数のファブリックがインストールされることが必要であるように、ASICは構成され、バックプレーンは接続される。この関係は表0に示されている。
【0028】
それに加え、スイッチ内のAPS冗長は、特にペアのポートカードに限定される。ポートカード1及び2はペア、ポートカード3及び4はペアというようになっており、これはポートカード47及び48まで続いている。これは、APS冗長が要求される場合、ペアのスロットは一緒でなければならないことを意味している。
【0029】
簡単な例として、2つのポートカード及びファブリックを1つだけ含む構成を挙げてみる。ユーザがAPS冗長の使用を望まない場合、2つのポートカードは、ポートカードスロット1乃至4のうちの任意の2つにインストールされることができる。APS冗長が望まれる場合には、2つのポートカードは、スロット1及び2、或いはスロット3及び4の何れかにインストールされなければならない。
【0030】
【表1】
表0:ポートカードスロットの使用に関するファブリックの要件
【0031】
容量を増やすには、新たなファブリックを追加し、スイッチが変化を認識し、新しいファブリックの数を分散してシステムを再形成するのを待つ。新しいポートカードをインストールする。
【0032】
技術的には、ファブリック毎に容量一杯の4つのポートカードを持つことは不要である。スイッチは、3つのインストール済ファブリック及びスロット(12)の単一ポートカードで正常に機能する。これはコスト面では有効ではないが、機能可能である。
【0033】
容量を削除するには、容量追加の工程を逆に行う。
もし、スイッチが超過したとき、即ち、8つのポートカードと1つのファブリックをインストールした場合。
スイッチが超過するのは、スイッチを適度でないアップグレードしたとき、又はある種のシステム障害の結果として発生するだけである。現実には、この状況がどのように発生するかによって2つのうちの1つが発生する。もしスイッチが40Gスイッチとして構成され、ファブリック前にポートカードが追加されたら、第5から第8ポートカードは用いられない。もし、スイッチが80Gの非冗長のスイッチとして構成され、第2ファブリックが不能又は削除されると、スイッチを通じたすべてのデータが不正になる(予備のファブリックはインストールされていないと仮定する)。そして、完了直前に、もし8つのポートカードが80Gの冗長スイッチにインストールされており、そして、第2ファブリックが不能又は削除されていると、予備のスイッチが不能又は削除されたファブリックをカバーして通常の操作を続行する。
【0034】
図1は、スイッチのパケットストライピングを表している。
チップセットは、OC48及びOC192cの両方の構成中のATM及びPOSポートカードをサポートする。OC48ポートカードは、4つの別々のOC48フローを用いてスイッチングファブリックへインターフェースする。OC192ポートカードは、4チャンネルを10Gストリームへ論理的に結合させる。ポートカードの入口側は、ATMセルとパケット間で変化するトラフィックへのトラフィック変換を実行しない。受信したトラフィックのフォームがどれであれ、スイッチファブリックへ送られる。スイッチファブリックはパケットとセルを混合し、パケットとセルの混合をポートカードの出口側へデキューする(キューから外す)。
【0035】
ポートの出口側は、トラフィックを変換して出力ポートへの適正なフォーマットとしなければならない。この変換は、スイッチの内容について”受信器が適切にする(receiver makes right)”として呼ばれている。セルブレードは、パケットの区切りを実行し、セルブレードはセルをパケット内にて再組立する必要がある。ファブリックのスピードアップをサポートするため、ポートカードの出口側は、ポートカードの着信側の2倍に等しいリンクバンド幅を用いる。
【0036】
ポセイドンをベースにした(Poseidon−based)ATMポートカードのブロック図は、図2に示される。各2.5Gチャンネルは入力側TM、入力側の分散器ASIC、非分散器ASIC、出力側の出力TM ASICの4つのASICで構成される。
【0037】
入力側において、OC−48c又は4OC−12cインターフェースは集約される。各ボルテックス(vortexs)は、2.5Gセルストリームを専用の分散器ASICへ送信する(下記に表されるようにBIBバスを使用する)。分散器は供給されたルートワードを2つの部分へ変換する。ルートワードの一部は、セルへの出力ポートを決定するためファブリックへ送られる。全ルートワードもまた、出力メモリコントローラによって使用されるルートワードとしてバスのデータ部分上へ送られる。第1ルートワードは「ファブリックルートワード」として表される。出力メモリコントローラのルートワードは「出口ルートワード」である。
【0038】
出力側において、各チャンネルの非分散器ASICは各ポートカードからトラフィックをとり、エラーチェックしデータを修復し、出力バス上へ正常なパケットを送信する。非分散器ASICは、予備のファブリックからのデータ、及び分散器によりインサートされるチェックサムを使用して、データ異常を検出し修復する。
【0039】
図2は、OC48ポートカードを表す。
OC192ポートカードは、ファブリックへの一つの10Gデータ流れ、及び10Gと20G間の出口データ流れをサポートする。このボードも4つの分散器及び4つの非分散器を使用する。しかし、4つのチップは拡張データバス上で並列に操作される。各ファブリックへ送られたデータは、OC48及びOC192ポートの両方について同一であり、データは、特別な変換機能を必要としないポートタイプ間を流れる。
【0040】
図3は、10G連結ネットワークブレードを表す。
各40Gスイッチファブリックは、40Gbpsセル/フレームまでエンキューし(enqueue、キューに入る)、それらを80Gbpsでデキューする。この2Xスピードアップにより、ファブリックにて緩衝されたトラフィックの量が減り、ラインレートの十分上方で出力ASICダイジェストのトラフィックを噴出させる。 スイッチファブリックは集約装置(aggregator)、メモリコントローラ、セパレータの3種類のASICから構成される。9つの集約装置ASICは、48までのネットワークブレード及びコントロールポートからのトラフィックの40Gbpsを受信する。集約装置ASICは、ファブリックルートワード及びペイロードを結合して、単一データストリーム、及びソース間のTDMにし、配備され生じる結果をワイド出力バス上に設置する。追加のコントロールバス(destid)は、メモリコントローラがデータをどのようにエンキューするかをコントロールするのに使用される。各集約装置ASICからのデータストリームは12のメモリコントローラへ分けられる。
【0041】
メモリコントローラは、16までのセル/フレームを各時刻サイクルで受信する。各12のASICは集約されたデータストリームの1/12を収納する。次に入力中のデータはdestidバス上に受信されたコントロール情報を基にしており収納される。データの収納は、メモリコントローラにて、パケット境界が比較的気づかないほどに単純化される(キャッシュ ライン コンセプト)。全12のASICは80Gbpsに集約されたスピードで、収納されたセルを同時にデキューする(キューから外す)。
【0042】
9つのセパレータASICは集約装置ASICの逆機能を実行する。各セパレータは全ての12のメモリコントローラからのデータを受信し、集約装置によってデータストリームに埋め込まれたルートワードを復号し、パケット境界を探す。各セパレータASICは、データがセパレータへ送られたようにメモリコントローラによって示された正確な目的地に応じて、24までの別の非分散器にデータを送る。
【0043】
デキュー工程は、バックプレッシャされる。もし、バックプレッシャが非分散器に適用されたら、バックプレッシャはセパレータへ逆連繋される。セパレータ及びメモリコントローラも、メモリコントローラが出力ポートへトラフィックをデキューできる時に制御するバックプレッシャメカニズムを有する。
【0044】
チップセットのOC48及びOC192を有効的にサポートする為に、1つのポートカードからの4つのOC48ポートは常に同じ集約装置へと同じセパレータから送られる(集約装置及びセパレータのポート接続は常に対称である)。
【0045】
図4及び図5は、ファブリックASICの接続を表している。
スイッチの外部インターフェースは、分散器ASICとボルテックス(vortex)などの入口ブレードASIC間の入力バス(BIB)であり、非分散器ASICとトライデント等の出口ブレードASIC間の出力バス(BOB)である。
分散器ASICは入力バス(BIB)を経由した入口ポートからのデータを受け取る(DIN ST bl ch busとしても知られる)。
【0046】
このバスは、4つの別々の32ビット入力バス(4×OC48c)、又は全ての分散器へのコントロールラインの共通セットを具え、単一128ビット幅データバスの何れかとしても作動できる。このバスは、分散器チップのソフトウェア構成に基づいたセル又はパケットのどちらかをサポートする。
【0047】
非分散器ASICは出力バス(BOB)(DOUT UN bl ch busとしても知られる)を経由して出口ポートへデータを送る。それはセル又はパケットのどちらかをサポートできる64(又は256)ビットデータバスである。それは下記の信号から構成される。
【0048】
このバスは、4つの別々の32ビット出力バス(4×OC48c)、又は全ての非分散器からのコントロールラインの共通セットを具え、単一128ビット幅データバスの何れかとして作動できる。このバスは、非分散器チップのソフトウェア構成に基づくセル又はパケットのどちらをも用いる。
【0049】
同期装置は2つの主な目的を持つ。第1の目的は、論理的セル/パケット又はデータグラムを全てのファブリックに亘って順序付けて維持することである。ファブリックの入口インターフェース上で、1つのポートカードのチャンネルから1つ以上のファブリックに達するデータグラムは、全てのファブリックが同じ順序で処理される必要がある。同期装置の第2の目的は、たとえ、データグラムセグメントは1つ以上のファブリックから送られ、違う時間にブレード出口入力に到着しても、ポートカードの出口チャンネルを有し、一緒に属している全てのセグメント又はデータグラムのストライプを再構成することである。このメカニズムは、別のネット遅延と、ブレードとファブリック間にてクロックドリフトの変動量を有するシステムで維持することが必要である。
【0050】
スイッチは、開始情報がシステム全体に伝わる同期ウィンドウのシステムを使用する。各送信器及び受信器は、最新の再同期表示から多数のソースからの同期データまで関連するクロックカウントを見ることが出来る。受信器は広域同期表示を受け取った後に、プログラム可能な遅延まで、同期期間での第1クロックサイクルのデータの受取を遅らせる。
この時点で、全てのデータは同時に受信されたと考えられ、修正された順序付けが適用される。ボックスを通じた遅れのために、パケット0及びセル0の遅延が別の順序で受信器に見られることを引き起こすにもかかわらず、受信時間=1に於ける両方のストリームの結果順序は、物理的バスに基づいて、そこから受信したパケット0、セル0と同じである。
【0051】
多重セル又はパケットを、1つのカウンタチック(counter tick)へ送信することができる。全ての宛先は、第2インターフェース等に移動する前に、第1インターフェースからの全てのセルを整える。このセル同期化技術は、全てのセルインターフェースに使用される。幾つかのインターフェース上には別の解決方法が必要とされる。
【0052】
同期装置は、2つの主なブロックから成る。主に、送信器と受信器である。送信器ブロックは、分散器及びセパレータASICに属する。受信器ブロックは、集約装置及び非分散器ASIC内にある。集約装置の受信器は、24(6ポートカード×4チャンネル)入力レーンまで扱える。非分散器の受信器は、13(12ファブリック+1パリティーファブリック)入力レーンまで扱える。
【0053】
同期パルスの受信時、送信器は先ず早いクロックサイクル(Nクロック)の数を計算する。
【0054】
送信同期装置は、出力ストリームを遮断し、及びロックダウンすることを示すNKキャラクターを伝達する。ロックダウンシーケンスの最後に、送信器は次のクロックサイクルにて有効データが始まることを示しているKキャラクターを伝達する。この次のサイクル有効表示は、全てのソースからトラフィックを同期すらために受信器によって使用される。
【0055】
次の伝達の最後に、送信器は、インターフェース上に少なくとも1つのアイドルを挿入する。これらのアイドルは、もし復号器が同期から外れるとしたら、10ビット復号器を10ビットシリアルコードウインドウへ正常に再同期させる。
【0056】
受信同期装置は広域同期パルスを受信し、プログラムされた数により同期パルスを遅らせる。(物理的ボックスが有し得る最大量のトランスポート遅延に基いてプログラムされている。)同期パルスを遅延させた後、受信器は同期キャラクターの直ぐ後のクロックサイクルを受信するのに適しているとする。データは各クロックサイクルで、次の同期キャラクターが入力ストリーム上に現れるまで受信される。このデータは、遅延広域同期パルスが現れるまで受信に適しているとはとらえない。
【0057】
送信器及び受信器が別々の物理的ボード上にあり、別の発振器によってクロックされているから、クロックスピードの差がその間にある。別の送信器及び受信器間のクロックサイクルの数を区切るのに、全てのシーケンスカウンタを再同期するために広域同期パルスがシステムレベルで使用される。各チップは、全ての有効なクロックスキューのもとで、各送信器及び受信器は、少なくとも1つのクロックサイクルにより早いと必ずするように、プログラムされている。各チップは、適正な数のクロックサイクルを待って、それらの現在の同期パルスウインドウへとなる。これは全てのソースが同期パルス間のN同期パルスウインドウの有効なクロックサイクルを実行することを保証する。
【0058】
例えば、同期パルスウインドウは100クロックまでプログラム可能であるとすると、同期パルスは10000クロック毎の同期パルスの名目速度で送られる。同期パルス送信器クロック、及び同期パルス受信クロックが共にドリフトした最悪の場合に基いて、同期パルス送信器上に10000クロックとして受信器には9995から10005クロックが実際にある。この場合、同期パルス送信器は各10006クロックサイクル毎に同期パルスを送信するようにプログラムされる。10006クロックにより、全ての受信器が必ずそれらの次のウインドウにあるよう保証される。もし同期パルス送信器が遅いクロックを有すれば、受信器は早いクロックを具えて、実質上10012クロックを有する。同期パルスは12クロックサイクルで受信され、同期パルスウィンドウへ送信するから、チップは12クロックサイクル遅延する。別の受信器には10006クロックが見られ、同期パルスウインドウの最後にて、6クロックサイクルへロックダウンする。両方の場合、各ソースは10100クロックサイクルで動作する。
【0059】
ポートカード又はファブリックが存在せず、又は挿入直後であり、どちらかが受信同期装置の入力を駆動しているとすると、特定の入力FIFOへのデータの書込は禁止される。というのは、入力クロックは存在せず、又は不安定でデータラインの状態が判らないからである。ポートカード又はファブリックが挿入された時、ソフトウェアは必ず入れられ、バイトレーンへの入力を可能にして、該ソースからのデータ入力が可能となることを許す。入力FIFOへの書込は可能になる。イネーブル信号はポートカード及びファブリックからのデータ、ルートワード、及びクロックが安定した後に、アサート(assert)されると考えられる。
【0060】
システムレベルでは、第1及び第2同期パルス送信器が2つの個別のファブリック上にある。各ファブリック及びブレード上には同期パルス受信器もある。これらは図6に見られる。
第1同期パルス送信器は、フリーランニングの同期パルスジェネレータであり、第2同期パルス送信器はその同期パルスを第1同期パルス送信器へ同期化させる。同期パルス受信器は、第1及び第2同期パルスを共に受信し、エラー検査アルゴリズムに基いて、そのボード上のASIC上へ正しい同期パルスを選択して送信する。同期パルス受信器は、もし同期パルス送信器からの同期パルスが、それ自信のシーケンス0カウント中に落ちたならば、同期パルスは残りのボードに送られることのみが保証される。例えば、同期パルス受信器及び非分散器ASICは共に同じブレード上にある。同期パルス受信器及び非分散器の受信同期装置は同じ水晶発振器からクロックされ、クロックドリフトは 内部シーケンスカウンタを増大させるのに用いられるクロック間には存在しない。受信同期装置は、受信する同期パルスは”0”カウントウインドウ内に常にあることを要求する。
【0061】
もし同期パルス受信器が、第1同期パルス送信器が同期から外れていると判断したら、第2同期パルス送信器ソースへ切り換える。第2同期パルス送信器も第1同期パルス送信器が同期から外れているかを判定し、第1同期パルス送信器から独立して、第2同期パルス送信器自身の同期パルスを発生する。これが第2同期パルス送信器の操作の第1モードである。
もし同期パルス受信器が第1同期パルス送信器は再び同期するように成ったと判定すると、第1同期パルス送信器側に切り換える。第2同期パルス送信器も、第1同期パルス送信器が再び同期するようになったと判断したら、第2モードへ切り換える。第2モードで、独自の同期パルスを第1同期パルスへ同期させる。同期パルス受信器は、その同期パルスフィルタリングメカニズムにおいて第2同期パルス送信器よりも余裕は少ない。同期パルス受信器は、第2同期パルス送信器よりさらに早く切り換わる。これは第2同期パルス送信器が第1モードに切り換わる前に、全ての受信同期装置が第2同期パルス送信器ソースを使用することへ切り換えることを保証するために行われる。
【0062】
図6は、同期パルスの分布状況を表す。
同期演算で示されるクロックサイクルの数によるファブリックからのバックプレーン伝達をロックダウンするために、全てのファブリックは、多くのクロックサイクルを効果的にフリーズし、同じエンキュー及びデキュー判定が同期内に留まることを確実にする。これは各ファブリックASICにおけるサポートを必要とする。ロックダウンは、キューリシンク(再同期)のような特殊な機能を含む全ての機能を止める。
【0063】
同期パルス受信器からの同期信号は、全てのASICへ分配される。各ファブリックASICは、広域同期パルス間のクロックサイクルをカウントするコアクロックドメインのカウンタを含む。同期パルス受信後、各ASICは早いクロックサイクルの数を演算する。広域同期パルスは自身のクロックで伝えられないから、演算されたロックダウンサイクル値は同じファブリック上の全てのASICと同じにはならない。この差は、全てのインターフェースFIFOをロックダウンカウントの最大スキューを許容できる奥行きを保持することにより説明される。
【0064】
全てのチップ上のロックダウンサイクルは、「有用な(ロックダウンしない)」サイクルの最後のシーケンスの始まりに対応した同じ論理的ポイントへ常に挿入されている。それは、各チップは常に、ロックダウンサイクルの数がたとえ変化しても、ロックダウン事象間の同じ数の”有用な”サイクルを実行する。
【0065】
ロックダウンは、異なる時間に異なるチップで発生するかも知れない。全てのファブリック入力FIFOは、初期に設定され、FIFOが、ドライ又はオーバーフローすることなしに、ロックダウンはFIFOのどちらか側で最初に発生できるようになっている。各々のチップツーチップインターフェースには、(基板トレース長さ及びクロックスキューと同じく)ロックダウンサイクルを引き起こす同期FIFOがある。送信機は、ロックダウン状態の間、ロックダウンを知らせる。
受信器は、示されたサイクルの間はデータを入れず(push)、また、それ自体のロックダウンの間はデータを取り出さない(pop)。FIFOの奥行きは、どのチップが最初にロックするかによって変化するが、その変化は、ロックダウンサイクルの最大数によって制限される。特定のチップが1回の広域同期期間の間に判断するロックダウンサイクルの数は変化するが、それらは全て、同じ数の有効なサイクルを有している。特定のファブリック上の各チップが判断するロックダウンサイクルの総数は、同じであって、制限された許容誤差の範囲である。
【0066】
集約装置コアクロックドメインは、ロックダウン持続時間のために完全に停止し、全てのフロップとメモリは、その状態を保持する。入力FIFOは、拡張可能である。ロックダウンバスサイクルは、出力キューに挿入される。コアロックダウンが実行される正確な時期は、DOUT_AG(Digital OUT−Analog Ground)バスプロトコルがロックダウンサイクルを挿入させる時期によって指図される。DOUT_AGロックダウンサイクルは、DestIDバスに示されている。
【0067】
メモリコントローラは、適当な数のサイクルのために、全てのフロップをロックダウンせねばならない。メモリコントローラにおけるシリコン領域への影響を削減するため、伝搬ロックダウンと呼ばれる技術が用いられる。
【0068】
オン−ファブリックのチップツーチップ同期化は、あらゆる同期パルスで実行される。幾つかの同期エラー検出能力が幾つかのASICに存在するけれども、ファブリック同期エラーを検出し、有害なファブリックを取り除くことが非分散器の仕事である。チップツーチップ同期化は、ファブリック上でどの様なパケット流れも可能となる前に行なわれる連鎖式機能である。この同期設定は、集約装置からメモリコントローラへ流れ、セパレータへ行き、またメモリコントローラへ戻る。システムがリセットされた後、集約装置は、第1広域同期信号を待つ。受信後、各集約装置は、DestIDバス上のローカル同期コマンド(値0x2)を、各メモリーコントローラへ送信する。
【0069】
分散処理機能は、ビットを着信データストリームから個々のファブリックに割り当てる。分散処理機能を導き出す際に、2つの項目が最適化された:
1.バックプレーン効率は、OC48及びOC192のために最適化されねばならない。
2.バックプレーン相互接続は、OC192オペレーションのために大きく変更されるべきではない。
【0070】
これらは、分散器及び非分散器ASICに追加された多重通信回路用(muxing)レッグに対して、交互に使用された(traded−off)。最適化に関係なく、スイッチは、OC48とOC192の両方用のメモリコントローラにおいて、同一のデータフォーマットを有さなければならない。
【0071】
バックプレーン効率を効率よくするには、バックプレーンバスを形成する際に加えられるパッディング(padding)を最小にする必要がある。OC48のための12ビットバックプレーンバスと、OC192のための48ビットバックプレーンバスの場合、最適な割り当ての為には、転送用の未使用ビットの数が、(バイト数 *8)/バス幅と同一であることを必要とし、“/”は、整数の分数である。OC48のためには、バスは、0,4又は8の未使用ビットを有することができる。OC192のためには、バスは、0,8,16,24,32又は40の未使用ビットを有することができる。
【0072】
このことは、どのビットも12ビットの境界の間を移動することができないか、あるいは、OC48パッディングは、所定のパケット長さにとって最適ではないことを意味している。
【0073】
OC192cに関し、最大帯域幅利用とは、各分散器が、同じ数のビットを受信せねばならないということを意味している(即ち、分散器へのビットインターリーブを意味する)。同一のバックプレーン相互接続と組み合わされた場合、これは、OC192cにおいて、各分散器は、1/4のビットを有する各分散器から来る、確実に正しい数のビットを有していなければならないことを意味する。
【0074】
データビットをファブリックに割り当てるために、48ビットのフレームが使用される。分散器の内部には、80〜100MHzでは32ビット幅で書き込まれ、125MHzでは24ビット幅で読み取られるFIFOがある。3つの32ビットの語は、4つの24ビットの語を生じる。24ビットの語の各対は、48ビットのフレームとして扱われる。ビットとファブリック間の割り当ては、ファブリックの数に左右される。
【0075】
表11:ビット分散処理機能
【表2】
【0076】
次の表は、集約装置にて最初に読み取られ、セパレータにて最初に書き込まれるバイトレーンを示している。4つのチャネルは、A、B、C、Dで表されている。全てのバスが完全に使用されるよう、異なるファブリックは、異なるチャネルの読取/書込オーダーを有している。
【0077】
1つのファブリック−40G
次の表は、集約装置のインターフェース読取オーダーを示している。
【0078】
【表3】
【0079】
2つのファブリック−80G
【表4】
【0080】
120G
【表5】
【0081】
3つのファブリック−160G
【表6】
【0082】
6つのファブリック−240G
【表7】
【0083】
12のファブリック−480G
【表8】
【0084】
ギガビットトランシーバへのインターフェースは、トランシーババスを2つの分離したルートワードバスとデータバスとを有する分割バスとして使用する。ルートワードバスは、固定サイズ(OC48の入口には2ビット、OC48の出口には4ビット、OC192の入口には8ビット、OC192の出口には16ビット)であり、データバスは、変更できるサイズのバスである。送信オーダーは、決められた位置にルートワードバスを常に有している。あらゆる分散処理構造は、1つのトランシーバを有しており、これは、全ての有効な構造において目的物と通話するために用いられるものである。そのトランシーバは、両方のルートワードバスを送り、データの送信を開始するために用いられる。
【0085】
バックプレーンインターフェースは、バックプレーントランシーバへのインターフェースを用いて、物理的に行なわれる。入口及び出口両用のバスは、2つの半分部分から構成されていると考えられ、各々は、ルートワードデータを有している。
第1バスの半分部分がパケットを終了するなら、半分バスの2つは、個々のパケットに関する情報を有していてよい。
【0086】
例えば、ファブリックローカル通話に行くOC48インターフェースは、24データビットと2ルートワードビットを有している。このバスは、2x(12ビットデータバス+1ビットルートワードバス)を有しているかの如く作用して用いられる。2つの半バスを、A及びBとする。バスAは、第1データであって、その後にバスBが続く。パケットは、バスAとバスBのどちらでも開始でき、バスAとバスBのどちらでも終了できる。
【0087】
データビットルートワードビットをトランシーバビットにマッピングする際、バスビットはインターリーブされる。これによって、全てのトランシーバは、たとえ分散処理量が変化しても、同一の有効/無効状態を有さねばならないことを確実にする。ルートワードは、バスBの前に現れるバスAによって解釈される。 バスA/バスBという概念は、チップ間にインターフェースを有することと密接に対応している。
【0088】
全てのバックプレーンバスは、データの断片化をサポートしている。使用されたプロトコルは、(ルートワード中の最終セグメントによって)最後の転送を記録する。最終セグメントでない全ての転送は、たとえ偶数のバイトではなくても、バスの幅全体を利用する必要がある。いかなる一定のパケットも、そのパケットの全ての転送のため、同一の数のファブリックに分散されねばならない。パケットの送信中に、分散器の分散処理量が更新されるとしても、次のパケットの初めに分散処理が更新されるだけである。
【0089】
ASICにおける送信機の各々は、各チャネルのための次のI/Oを有している: 8ビットデータバス、1ビットクロック、1ビットコントロール。
受信側では、ASICは、チャネルに次のものを受信する:
受信クロック、8ビットデータバス、3ビットステータスバス。
【0090】
スイッチは、送信器を1〜3組のバックプレーンにマッピングすることによって、トランシーバを最適化し、各受信器は、1〜3組のバックプレーンを具える。これにより、構造に必要なトラフィックをサポートするのに十分な送信器だけが、完全な1組のバックプレーンネットを維持しながら、基板上に配備される。このような最適化の目的は、必要とされるトランシーバの数を削減することである。
【0091】
最適化が行なわれる一方、どのようなときにも、2つの異なる分散処理量がギガビットトランシーバにおいて支持されねばならないということが尚求められる。このことは、トラフィックが、分散処理データから1つのファブリックへ、又、分散器の分散処理データから2つのファブリックへ同時にエンキュー(enqueue、キューに入れる)されることを可能とする。
【0092】
バスの構造によっては、複数のチャネルは、1つの更に大きな帯域幅のパイプを形成するために、互いに連結される必要があるかもしれない(どのようなときにも、論理的な接続では1つ以上のトランシーバが存在する)。4倍ギガビットトランシーバは4つのチャネルを互いに連結することができるが、この機能は用いられない。代わりに、受信ASICが、1つのソースからのチャネル間での同期設定について役割を果たす。これは、総称同期アルゴリズムと同じ文脈である。
【0093】
ギガビットトランシーバにおける8b/10b符号化/復号化は、多数の制御事象がチャネルによって送られることを許容する。これらの制御事象は、K文字で表示され、符号化された10ビット値に基づいて数字が付される。これらのK文字の幾つかは、チップセットで用いられる。使用されるK文字とその機能は、下記の表に示されている。
【0094】
【表9】
【0095】
パケットに対する分散処理構造によって、スイッチは、各バックプレーンチャネルにサポートされる、変更可能な数のデータビットを有する。トランシーバ一式の内部には、データが次のオーダーで満たされる:
F[ファブリック]_[oc192ポート数][oc48ポート指定(a,b,c,d)][トランシーバ_数]
【0096】
チップセットは、ここに説明する一定の機能を実行する。ここで記載した機能の大半は、複数のASICでサポートされているため、それらをASIC毎に逐次記載することは、求められる機能の全体的な範囲についての明確な理解を妨げることになる。
【0097】
スイッチチップセットは、64K+6バイトの長さまでパケットと協働するように構成されている。スイッチの入口側には、複数のポート間で共有されるバスが存在する。大半のパケットに関して、それらは、パケットの初めからパケットの終わりまで、いかなる中断もなく送信される。しかしながら、この方法は、遅延感知トラフィックの遅延変動量を大きくすることになりかねない。遅延感知トラフィックとロングトラフィックとが、同一のスイッチファブリックに共存できるようにするため、ロングパケットという概念が導入されている。基本的に、ロングパケットによって、大量のデータは、キューイングロケーションに送られ、ソースを基にキューイングロケーションで集積され、ロングパケットの末端部が転送されると、直ちにキューに加えられる。ロングパケットの定義は、各ファブリック上のビット数に基づいている。
【0098】
イーサネット(登録商標)MTUがネットワーク全体に維持された環境でスイッチが作動している場合、ロングパケットは、40Gbpsより大きいサイズのスイッチには見受けられない。
【0099】
ワイドキャッシュライン共有メモリ技術は、セル/パケットをポート/優先キューに格納するために用いられる。共有メモリーは、セル/パケットを継続的に記憶するので、仮想的には、共有メモリーにおいて断片化及び帯域幅の無駄は存在しない。
【0100】
複数のキューが共有メモリーに存在する。それらは、宛先及び優先度毎に基づいている。同一の出力優先度とブレード/チャネルIDを有する全てのセル/パケットは、同一のキューに記憶される。セルは、常にリストの先頭からデキュー(キューから外す)され、待ち行列の末尾にエンキュー(キューに入れる)される。各セル/パケットは、出口ルートワードの一部と、パケット長さ、及び変更可能な長さのパケットデータによって構成されている。セル及びパケットは、継続的に記憶される。即ち、メモリーコントローラー自体は、ユニキャスト(アドレスを1つだけ指定する通信)接続用のセル/パケットの境界を認識しない。パケット長さは、MCパケット用に記憶される。
【0101】
マルチキャストポートマスクメモリー64Kx16−ビットが、マルチキャスト接続用宛先ポートマスクを記憶するために用いられる、即ち、マルチキャストVC毎に1つのエントリー(又は複数のエントリー)である。 マルチキャストDestID FIFOによって示されるヘッドマルチキャスト接続のポートマスクは、スケジューリング検索のために内的に記憶される。ヘッド接続のポートマスクがクリアされ、新たなヘッド接続が提供されると、ポートマスクメモリーが検索される。
【0102】
APSとは、自動保護スイッチングを表し、SONET冗長基準のことである。スイッチにおいてAPSの特徴をサポートするため、2つの異なるポートカードの2つの出力ポートが、略同一のトラフィックを送る。メモリーコントローラーは、APSポート用に1組のキューを維持し、両方の出力ポートに同じデータを送る。
【0103】
メモリーコントローラーASICにおけるデータ2重化をサポートするため、複数のユニキャストキューの1つは各々、プログラム可能なAPSビットを有している。APSビットが1に設定されると、パケットは、両方の出力ポートにデキューされる。APSビットがポート用にゼロに設定されると、ユニキャストキューは、正常モードで作動する。ポートがAPSスレイブとして構成されると、ポートは、APSマスターポートのキューから読み取る。OC48ポートに関し、APSポートは、隣接するポートカードの同じOC48ポート上に常に存在する。
【0104】
ファブリック間のメモリーコントローラーにおける共有メモリーキューは、クロックドリフト又は新たに挿入されたファブリックのために、同期から外れている(即ち、異なるメモリーコントローラーASIC間の同一のキューは、異なる奥行きを有している)。ファブリックキューを、任意の状態から有効かつ同期の状態に持っていくことは重要である。又、いかなる復元機構でもセルをドロップしないことが望ましい。
【0105】
リシンク(再同期)セルは、全てのファブリック(新たな及び既にあるもの)に一斉に送られて、リシンク状態に入る。ファブリックは、リシンクセルの前に受け取った全てのトラフィックを、キューリシンクが終わる前に、排出しようと試みる。しかし、リシンクセル後に受信したトラフィック(回線上のデータ情報量)は、リシンクセルが終了するまで排出されない。キューリシンクは2つの出来事の1つが生じると終了する。
1.時間切れのとき
2.新たなトラフィックの総量が(リシンクセルの後に受け取ったトラフィック)しきい値を越えたとき
【0106】
リシンクキューの終端にて、全てのメモリコントローラは、どのレフトオーバー旧トラフィック(リシンクセルのキューの前に受け取ったトラフィック)をも排出する。解放オペレーションは十分速く、いつリシンク状態に入ったかに拘わらず、全てのメモリコントローラはメモリの全てを一杯にすることができる。
【0107】
キューリシンクは、3つの全てのファブリックASICに与えられる。集約器はFIFOメモリがリシンクセルのキュー後に同様に排出することを確実にしなければならない。メモリコントローラは、キューイング及びドロッピング(データ送信時の損失)を実行する。分離器はトラッフィクをドロッピングし、これが起こったときに長さパージング(構文解析)状態マシンをリセットする。個々のASICにて、キューリシンクの詳細については、ADSチップを参照されたい。
【0108】
デキューについては、マルチキャスト接続(複数の端末に同じ内容を流すこと)は、独立した32のトークンを各ポートに有し、各々は50ビットのデータ又はまとまったパケットに相当する。先頭の接続及びその高優先キューのポートマスクは、各サイクル毎にFIFO接続及びポートマスクメモリから読み出される。まとまったパケットは先頭接続の長さ領域に基づくマルチキャストキャッシュラインから隔てられている。先頭のパケットは、全ての宛先ポートに送られる。
ポートに対してゼロでないマルチキャストトークンが使用可能であるときは、8つのキュー排出器は、パケットを分離器に送る。次の先頭接続は、現在の先頭パケットがその全てのポートに送られるときにのみ、処理されるだろう。
【0109】
キューファブリックは、リシンクセルファブリックを介して直ぐに変換され、ポート領域当たりの優先の数が、各ポートがいくつの優先キューを有するかを示すのに用いられる。分散ASICは、ネットワークブレード上にある。
【0110】
以下の語は、スイッチの語彙にて、かなり特有の意味を有する。多くはどこかで述べられたが、これは1箇所にそれらを集めて定義することを企画している。
【0111】
【表10】
【0112】
カウンタ送信と受信の関係は、図7に示される。
【0113】
本発明は例示の目的で前述の実施例に於いて、詳細に記載されてきたが、そのような詳細な記載は単にその目的の為であり、当該分野の専門家であれば、先述の特許請求の範囲によって記載されるようなもののほかにも、発明の精神と範囲から逸脱することなく、変形を成し得るものと理解されるべきである。
【図面の簡単な説明】
添付図は、本発明の好ましい実施例、及び本発明を実施する好ましい方法を示している。
【図1】本発明のスイッチに於けるパケット分散処理を示す概略図である。
【図2】OC48ポートカードの概略図である。
【図3】鎖状ネットワークブレードの概略図である。
【図4】ファブリックASICに於ける相互接続を示す概略図である。
【図5】ファブリックASICに於ける相互接続を示す概略図である。
【図6】同期パルスの分配状況を示す概略図である。
【図7】夫々、セパレータ及び非分散器の送受信シーケンスカウンタ間の関係に関する概略図である。
【図8】本発明のスイッチの概略図である。
Claims (17)
- 複数のポートカードと複数のファブリックとを具えるスイッチにおいて、
各ポートカードは非分散器を有し、
非分散器は、複数の内部FIFOを有しており、該複数の内部FIFOのいずれか1つが、所定の量のデータのパケットのフラグメントを有する場合にはいつでも、バックプレッシャ信号を発生し、
さらに、非分散器は非分散器タイミング機構を有し、該機構は非分散器のオペレーションタイミングを維持し、
各ファブリックは各ポートカードと繋がれており、
各ファブリックはセパレータを有し、該セパレータは、パケットのフラグメントを関係する非分散器に送り、セパレータがバックプレッシャ信号を受信する場合には、パケットのフラグメントの送信を停止し、
さらに、各ファブリックは、セパレータのオペレーションのタイミングを維持するファブリッククロックを有し、該ファブリッククロックは、非分散器のオペレーションのタイミングに対して、所定のセパレータ遅延で、セパレータのオペレーションのタイミングを維持し、
全てのセパレータが、論理的サイクルで、同じパケットのコンパニオンフラグメントを送ることを停止するように、セパレータ遅延は、複数の非分散器のいずれか1つと複数のセパレータのいずれか1つとの間のいかなるバックプレッシャ伝播遅延よりも大きいスイッチ。 - 各ポートカードは分散器を有し、非分散器からのバックプレッシャ信号は、分散器に送られ、さらに分散器から各ファブリックに送られる請求項1に記載のスイッチ。
- 各ファブリックは集約装置を有し、該集約装置はバックプレッシャ信号を受信し、そのバックプレッシャ信号をセパレータに送る請求項2に記載のスイッチ。
- 非分散器タイミング機構は、受信シーケンスカウンタを含む請求項3に記載のスイッチ。
- セパレータは、送信シーケンスカウンタを有し、該送信シーケンスカウンタは、受信シーケンスカウンタのタイミングシーケンスから遅れた所定のサイクル数に、分散器のタイミングシーケンスを維持する請求項4に記載のスイッチ。
- 非分散器は、バックプレッシャ信号を非同期的に発生する請求項5に記載のスイッチ。
- 受信シーケンスカウンタからのタイミングは、送信シーケンスカウンタからのタイミングに対して150サイクル遅れている請求項6に記載のスイッチ。
- バックプレッシャ信号をポートカードからファブリックに送る送信工程と、
全てのファブリックが、同じ論理的サイクルで、同じパケットのコンパニオンフラグメントを送ることを中止する工程とを具えるパケットをスイッチングする方法。 - 送信工程は、全てのセパレータが、同じ論理的サイクルで、同じパケットのコンパニオンフラグメントを送ることを停止するように、各ファブリックのセパレータへバックプレッシャ信号を送信する工程を含む請求項8に記載の方法。
- 送信工程の前に、送信シーケンスカウンタ、及び受信シーケンスカウンタのタイミングシーケンスから遅れた所定のサイクル数を用いて、セパレータのタイミングシーケンスを維持する工程を含む請求項9に記載の方法。
- 送信工程は、非分散器の受信シーケンスカウンタが遷移する際に、バックプレッシャ信号を送る工程を含む請求項10に記載の方法。
- 送信工程の前に、ポートカードに繋がれたファブリックからのパケットの所定量のフラグメントで、ポートカードのメモリを充てんする充てん工程がある請求項11に記載の方法。
- 充てん工程は、ポートカードの複数のFIFOのうち少なくとも1つのFIFOを、所定の量で満たす工程を具える請求項12に記載の方法。
- 充てん工程は、ポートカードの非分散器の複数のFIFOのうち少なくとも1つのFIFOを、所定の量で満たす工程を具える請求項13に記載の方法。
- バックプレッシャ信号を分散器から各セパレータに送る工程は、
バックプレッシャ信号を分散器から各ファブリックの集約装置に送る工程と、バックプレッシャ信号を集約装置からセパレータに送る工程とを含む請求項14に記載の方法。 - 充てん工程の前に、ポートカードの受信シーケンスカウンタを用いて、ポートカードのタイミングシーケンスを維持する工程を具える請求項15に記載の方法。
- 充てん工程の前に、各セパレータのファブリッククロックを用いて、各ファブリックのセパレータのオペレーションを、非分散器のオペレーションのタイミングに対する所定のセパレータ遅延に維持する工程を含み、全てのセパレータが、同じパケットのコンパニオンフラグメントを送ることを同時に停止するように、セパレータ遅延は、複数の非分散器のいずれか1つと複数のセパレータのいずれか1つとの間のあらゆるバックプレッシャ伝播遅延よりも大きい請求項16に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/607,763 US6526024B1 (en) | 2000-06-30 | 2000-06-30 | Synchronization of asynchronous back-pressure from one destination to multiple sources |
PCT/US2001/020708 WO2002003589A2 (en) | 2000-06-30 | 2001-06-29 | Synchronization of asynchronous back-pressure from one destination to multiple sources |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004503131A true JP2004503131A (ja) | 2004-01-29 |
JP2004503131A5 JP2004503131A5 (ja) | 2004-12-24 |
JP4679792B2 JP4679792B2 (ja) | 2011-04-27 |
Family
ID=24433611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002507551A Expired - Fee Related JP4679792B2 (ja) | 2000-06-30 | 2001-06-29 | 1つの送信先から複数の送信元への非同期バックプレッシャの同期化 |
Country Status (6)
Country | Link |
---|---|
US (1) | US6526024B1 (ja) |
EP (1) | EP1249093B1 (ja) |
JP (1) | JP4679792B2 (ja) |
AU (1) | AU2001270249A1 (ja) |
DE (1) | DE60137488D1 (ja) |
WO (1) | WO2002003589A2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002064497A (ja) * | 2000-08-15 | 2002-02-28 | Nec Corp | Atm交換機 |
US6850997B1 (en) * | 2000-09-27 | 2005-02-01 | International Business Machines Corporation | System, method, and program for determining the availability of paths to a device |
US7009963B1 (en) * | 2000-10-11 | 2006-03-07 | Marconi Intellectual Property (Ringfence), Inc. | Dual optimality for different data rate backplane transfer |
US20040128413A1 (en) * | 2001-06-08 | 2004-07-01 | Tiberiu Chelcea | Low latency fifo circuits for mixed asynchronous and synchronous systems |
US8989009B2 (en) * | 2011-04-29 | 2015-03-24 | Futurewei Technologies, Inc. | Port and priority based flow control mechanism for lossless ethernet |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07500702A (ja) * | 1991-07-01 | 1995-01-19 | テルストラ コーポレイション リミテッド | 高速交換アーキテクチャ |
JPH10224377A (ja) * | 1996-08-30 | 1998-08-21 | Sgs Thomson Microelectron Ltd | デジタル信号の双方向伝送のための経路指定スイッチ |
JPH10285187A (ja) * | 1996-12-30 | 1998-10-23 | Hyundai Electron America Inc | Atmスイッチ用の分散形バッファリング・システム |
JPH10285186A (ja) * | 1996-12-30 | 1998-10-23 | Hyundai Electron America Inc | Atmスイッチ・キューイング・システム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10126419A (ja) * | 1996-10-23 | 1998-05-15 | Nec Corp | Atm交換機システム |
US6201789B1 (en) * | 1996-12-30 | 2001-03-13 | Compaq Computer Corporation | Network switch with dynamic backpressure per port |
US6160813A (en) * | 1997-03-21 | 2000-12-12 | Brocade Communications Systems, Inc. | Fibre channel switching system and method |
JP3429994B2 (ja) * | 1997-11-25 | 2003-07-28 | 沖電気工業株式会社 | セルバッファ回路 |
-
2000
- 2000-06-30 US US09/607,763 patent/US6526024B1/en not_active Expired - Lifetime
-
2001
- 2001-06-29 DE DE60137488T patent/DE60137488D1/de not_active Expired - Lifetime
- 2001-06-29 WO PCT/US2001/020708 patent/WO2002003589A2/en active Application Filing
- 2001-06-29 JP JP2002507551A patent/JP4679792B2/ja not_active Expired - Fee Related
- 2001-06-29 EP EP01948819A patent/EP1249093B1/en not_active Expired - Lifetime
- 2001-06-29 AU AU2001270249A patent/AU2001270249A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07500702A (ja) * | 1991-07-01 | 1995-01-19 | テルストラ コーポレイション リミテッド | 高速交換アーキテクチャ |
JPH10224377A (ja) * | 1996-08-30 | 1998-08-21 | Sgs Thomson Microelectron Ltd | デジタル信号の双方向伝送のための経路指定スイッチ |
JPH10285187A (ja) * | 1996-12-30 | 1998-10-23 | Hyundai Electron America Inc | Atmスイッチ用の分散形バッファリング・システム |
JPH10285186A (ja) * | 1996-12-30 | 1998-10-23 | Hyundai Electron America Inc | Atmスイッチ・キューイング・システム |
Also Published As
Publication number | Publication date |
---|---|
JP4679792B2 (ja) | 2011-04-27 |
EP1249093A4 (en) | 2007-12-26 |
US6526024B1 (en) | 2003-02-25 |
WO2002003589A2 (en) | 2002-01-10 |
DE60137488D1 (de) | 2009-03-12 |
AU2001270249A1 (en) | 2002-01-14 |
EP1249093A2 (en) | 2002-10-16 |
EP1249093B1 (en) | 2009-01-21 |
WO2002003589A3 (en) | 2002-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4679794B2 (ja) | 正しくする受信器 | |
US6792484B1 (en) | Method and apparatus for storing data using a plurality of queues | |
JP2004503133A (ja) | クロックドリフトとトランスポート遅延を有する分散型システムに於けるバックプレーン同期化 | |
US6473433B1 (en) | Queue resynch: synchronous real-time upgrade of a distributed switching system | |
US7283547B1 (en) | Switch fabrics logical synchronization utilizing propagation lockdown | |
US6973092B1 (en) | Dynamic queue utilization | |
US7106692B1 (en) | APS/port mirroring | |
JP5167391B2 (ja) | パケット境界表示器を用いてパケットを格納する方法及び装置 | |
US6473435B1 (en) | Method and apparatus for transferring packets to a memory | |
JP4798889B2 (ja) | ロングパケットの取り扱い | |
JP4662658B2 (ja) | 長さとデータを1つのストリームとする転送及び待合せ | |
JP4679792B2 (ja) | 1つの送信先から複数の送信元への非同期バックプレッシャの同期化 | |
JP4679793B2 (ja) | スイッチに於いてn+1冗長化を狙わないことを許す受信器デコードアルゴリズム | |
JP4716614B2 (ja) | 分散されたシステムを更新する同期的且つ動的なレジスタ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20040824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040831 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040831 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080514 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080617 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100727 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110118 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4679792 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140210 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |