JP2006505188A - ソフトウェアおよびハードウェア・パケット・フロー転送を行うルータまたはスイッチ、およびその方法 - Google Patents

ソフトウェアおよびハードウェア・パケット・フロー転送を行うルータまたはスイッチ、およびその方法 Download PDF

Info

Publication number
JP2006505188A
JP2006505188A JP2004548218A JP2004548218A JP2006505188A JP 2006505188 A JP2006505188 A JP 2006505188A JP 2004548218 A JP2004548218 A JP 2004548218A JP 2004548218 A JP2004548218 A JP 2004548218A JP 2006505188 A JP2006505188 A JP 2006505188A
Authority
JP
Japan
Prior art keywords
flow
hardware
software
packet
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004548218A
Other languages
English (en)
Other versions
JP4384048B2 (ja
Inventor
エーマン,アンドレアス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Packetfront Sweden AB
Original Assignee
Packetfront Sweden AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Packetfront Sweden AB filed Critical Packetfront Sweden AB
Publication of JP2006505188A publication Critical patent/JP2006505188A/ja
Application granted granted Critical
Publication of JP4384048B2 publication Critical patent/JP4384048B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/60Router architectures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/56Routing software
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/54Organization of routing tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本発明は、パケット・フロー転送によって動作するブロードバンド・ネットワークにおけるルータまたはスイッチに関する。そのルータは、少なくともハードウェア部(22)、中間部(24)およびソフトウェア部(26)に区分された相互フロー・テーブル(20)をフロー転送に用いて、階層的フロー転送(HFF)に従ってCPU切換えソフトウェア・フロー(12)とハードウェア切換え高速フロー(10)を提供する。テーブルは、定期的に所定の期間検査され、時間当たりのパケット数の比率に応じてソートされる。ハードウェア部(22,22a)は最高比率で満たし、中間部(24,22a,26a)は中間比率で満たし、ソフトウェア部(26)は最低比率で満たす。前回の検査で中間フロー(22a,26a)に適合したパケット・フローは、中間部(24)に依然として適合する場合は、そのメモリ空間に残る。それによって、テーブルの中間部内のメモリ空間(22a,26a)の間で交換が生じるのを防止し、CPUの負荷を軽減する。

Description

本発明は、CPU(中央処理装置)切換えソフトウェア・フローおよびハードウェア切換え高速化フローを含むパケット・フローの転送を行うことによって動作する、ブロードバンド・ネットワークにおけるルータまたはスイッチ、およびその方法に関する。
特定のタイプのアクセス・スイッチング・ルータ(ASR、アクセス切換えルータ)は、ブロードバンド・ネットワークにおけるパケット転送用のASIC(特定用途集積回路)、即ちハードウェア解決手段(solution)を利用する。ASICには、パケット・フロー用のハードウェア高速化転送テーブル・メモリにおけるエントリ数に関して制限がある。これは、有線速度パケット転送を維持しつつ複雑なネットワーク・トポロジ形成が可能なブロードバンド・ルータの設計における関心または懸念の主要な要因(原因)である。
例えばBroadcom56xx層スイッチ(strata-switch)転送ASIC用のドライバを設計するとき、全てのフィルタリング・ルールがASICに静的に(固定的に)組み込まれていた。1024のルールだけが使用されていたので、特にネットワークに高度のポリシー(方針)およびサービスを配備するとき、これは重大な制限となる。
古いバージョンのパケット転送では、ルータのCPUがRAMを介してその転送を制御していた。そのような解決手段は、CPUが常にルータの他のタスクに従事するので、相対的に低いパケット伝送速度で伝送を行い、CPUとして用途が広くない。
より新しい世代のフロー転送用ルータは、CPUに膨大な量の負荷をかけないようにするためにフロー転送の目的で特に設計されたASICによるハードウェア高速化フロー転送を導入した。これらのASICでも、例えばWWW(ワールドワイドウェブ)におけるフロー転送用の、例えば、ルータ、スイッチ、サーバ等のようなその他の主要な装置に対して15万個ものアドレス・エントリを有するようなCAMテーブル・リストを有するCAM(コンテンツ・アドレス可能メモリ、内容参照可能メモリ)を配備しなければならない。これらのメモリは、非常に高価で、従ってルータのコストが増大する。
現世代のルータには、記憶容量が例えば200個のアドレスに低減された小型のCAMを有するASICSが設けられている。従って、大量のトラフィック(トラヒック)が存在する場合は、ハードウェア・メモリにおけるそのアドレスだけがハードウェア高速化フロー転送による恩恵を受け、その他(のアドレス)はCPUソフトウェア制御による恩恵を受ける。
ハードウェア高速化転送資源に限りのあるシステムにおいて、ハードウェアにはフロー・エントリに利用可能な充分な空間が存在しないというだけの理由で、完全なフロー切り換えを行うことはできない。フローのハードウェア高速化はCPU転送パケットよりも大きい性能上の利点を有するので、ハードウェア資源が不足によって、性能上の問題が生じ、または、ハードウェア・アーキテクチャの利用性が制限され、それによって高速化機能(能力)が制限される。
発明の概要
本発明の目的は、階層的フロー転送(Hierarchical Flow Forwarding)(HFF)切り換えを導入することによって、既存のハードウェア・フロー転送を増強する(向上させる)ことである。階層的フロー転送(HFF)切り換えは、本発明の通称名である。
その目的および目標を達成するために、本発明は、パケット・フロー転送によって動作するブロードバンド・ネットワークにおけるルータまたはスイッチを提供する。それは、中央処理装置(CPU)切換えソフトウェア・フローおよびハードウェア切換え高速フローを含んで成る。そのルータまたはスイッチは、次の構成を具えている。
ルータ出力ポートを介してパケットのフロー転送切換えを行うハードウェア手段およびソフトウェア手段;
前記ハードウェア手段に接続された制限された記憶容量を用いてハードウェア・フロー転送テーブルを格納するメモリ手段;
中央処理装置手段に接続され中央処理装置関連の記憶容量を用いて動作するソフトウェア・フロー転送テーブルを格納するメモリ手段;
前記メモリ手段におけるフロー転送用のエントリのメモリ空間用の、少なくともハードウェア部指定領域、中間部指定領域およびソフトウェア部指定領域からなる(に)相互テーブルの区分を有し、前記メモリ手段用のエントリ・リストを有する相互テーブルであって、前記中間部は所定の割当てのメモリ空間に前記両メモリ手段における利用可能なメモリ空間を指定するものである、相互テーブル;
或る時間期間によって定まる定期的ベースで前記相互テーブルを検査し、時間期間当たりのパケット数の比率に基づいてソートし、前記相互テーブルにおいてハードウェア部を最高の比率のもので、中間部を中間の比率のもので、およびソフトウェア部を最低の比率のもので満たし、前の検査において中間フローとして適合したパケット・フローが依然として前記中間部として適合する場合にはそれをそれの前記メモリ空間に残して、それによって前記テーブルの前記中間部内のメモリ空間指定領域の間で交換が生じるのを防止して前記中央処理装置の負荷を軽減させる手段;および
ハードウェア・フロー転送テーブルを格納する前記メモリ手段と、ソフトウェア・フロー転送テーブルを格納する前記メモリ手段とに、前記相互テーブルのエントリ・リストを格納する手段。
一実施形態において、前記相互テーブルには、テーブルから取り除くべきメモリ空間占有領域を指定する下部のフラッシュ部分が設けられている。
別の実施形態において、システム・コンフィギュレーションによってまたはその他の理由で常にハードウェア高速化されるべき所定の特定のフローが、パケット・ヘッダ情報を照合してハードウェア高速化されるべきものとして認識されるよう設定される。
さらに別の実施形態において、各フロー・エントリがシステム・ルーティング・テーブルを用いて検査されて、フロー・エントリが生成されたときに用いられたルートとは異なる場所の宛先位置への新しいルートが存在するかどうかが判定される。
さらに別の実施形態において、宛先へのルートが変更された場合、フロー・エントリが消去されて、フロー中の次のパケットが出現したときそれが確実に再生成されるようにし、それによって、パケット・フィルタ、再優先度付与または類似の処理が新しいパケット・パスについて正しく処理されるようにできるようにする。
本発明は、中央処理装置切換えソフトウェア・フローおよびハードウェア切換え高速フローを含むパケット・フローを転送するよう動作する、ブロードバンド・ネットワークにおけるルータまたはスイッチに用いられる方法に関する。それは、次の各ステップを含んでいる。
ルータ出力ポートを介してパケットのフロー転送切換えを行うハードウェア手段およびソフトウェア手段を設定するステップ;
前記ハードウェア手段に接続された制限された記憶容量を用いてハードウェア・フロー転送テーブルを格納するメモリ手段を設定するステップ;
中央処理装置手段に接続され中央処理装置関連の記憶容量を用いて動作するソフトウェア・フロー転送テーブルを格納するメモリ手段を設定するステップ;
前記メモリ手段におけるフロー転送用のエントリのメモリ空間用の、少なくともハードウェア部指定領域、中間部指定領域およびソフトウェア部指定領域からなる(に)相互テーブルの区分を有し、前記メモリ手段用のエントリ・リストを有する相互テーブルであって、前記中間部は所定の割当てのメモリ空間に前記両メモリ手段における利用可能なメモリ空間を指定するものである、相互テーブルを設定するステップ;
或る時間期間によって定まる定期的ベースで前記相互テーブルを検査し、時間期間当たりのパケット数の比率に基づいてソートし、前記相互テーブルにおいてハードウェア部を最高の比率のもので、中間部を中間の比率のもので、およびソフトウェア部を最低の比率のもので満たし、前の検査において中間フローとして適合したパケット・フローが依然として前記中間部として適合する場合にはそれをそれの前記メモリ空間に残して、それによって前記テーブルの前記中間部内のメモリ空間指定領域の間で交換が生じるのを防止して前記中央処理装置の負荷を軽減させるステップ;および
ハードウェア・フロー転送テーブルを格納する前記メモリ手段と、ソフトウェア・フロー転送テーブルを格納する前記メモリ手段とに、前記相互テーブルのエントリ・リストを格納するステップ。
従って、次の詳細な説明において、本発明をより良く理解するために、図面を参照して所与の例および実施形態を用いて本発明を説明する。
本発明の階層的フロー転送(Hierarchical Flow Forwarding)(HFF)切り換えの概念をより良く理解するためには、フロー切り換え制御の基本を理解しなければならない。
TCP/IP通信において、通信はフローの形で生じる。1つのフローは、ネットワークを介して2つの通信ホストの間で一方向に流れる(streaming)1シーケンスの関連(related)パケットである。ここで、“関連(related)”という表現は、キーワードであり、即ち、複数の送信パケットが互いに関連していることを表している。
IP(Internet Protocol)を用いた最も一般的な形態の通信は、開放型システム間相互接続(Open Systems Interconnection)(OSI)トランスポート層プロトコルであるUDP(User Datagram Protocol)またはTCP(Transmission Control Protocol)を用いるものである。これらの双方のプロトコルは、2つの通信ホストの各々における通信ソフトウェアを識別するためのポート番号として知られているユニーク(一意的、固有の)識別子を含んでいる。IPヘッダには発信元(source)および宛先(destination)IPアドレスおよびプロトコル番号が、UDPまたはTCPヘッダには発信元および宛先ポート(番号)が含まれ、それとともに、2つのホスト間における任意の特定の通信のための一意的な(ユニーク)1組(tuple)の識別子が存在する。2つのホストが同じプロトコルを用いて同時に2つの通信を行っていたとしても、少なくとも発信元または宛先ポートは異なる。
その情報を用いて、パケット転送を行うためのASICまたはネットワーク・プロセッサによって使用される例えばASICまたはCAMテーブルのような転送ハードウェアをプログラム(設定)することができる。基本的思想は、いつパケットが入力され(エントリし)ても、そのパケットについて5つの組で構成された1つのフロー・エントリが存在するかどうかを検査し、そうであれば、そのCPUにおいてそれを処理することなく、そのパケットを転送するようそのハードウェアをイネーブルする、というものである。フロー・エントリが存在しない場合は、そのパケットはそのCPUに転送されて、さらに分析される。本発明の一実施形態において、その5つの組は、IPsrc(発信元)ポート、IPdst(宛先)ポート、例えばTCP、UDP、ICMP等のようなプロトコルのタイプ、プロトコルsrcポート、およびプロトコルdstポートである。
分析は、課金および/または統計の目的のためのアカウント情報、許可の決定、ファイアウォール・フィルタおよびパケット検査(inspection)、パケット・タイプの再分類、パケット優先度付与(処理)、およびその他のオペレーション(操作)で構成される。CPUがいったんそのパケットをどのように処理すべきかを判断すると、パケットを受け入れるよう転送ハードウェアを再プログラム(設定)することもあればしないこともある。さらに強力なシステムでは、これ(分析)に、そのフロー中の後続パケットに対するそのハードウェアによる自動的な処理(アクション)が含まれていてもよい。
重要な結果は、大部分の事例において、同じフローに属するいかなる1シーケンスのパケットにおける第1(最初)のパケットだけはCPUによって検査されなければならないということである。その他の全てのパケットは、ハードウェアによって処理され、従ってCPUにおける貴重な処理サイクルをその他のタスクに充てる(取っておく)ことができる。その結果、アカウント処理、フィルタリングおよび転送における有線速度品質が得られるだけでなく、より低い能力の小さいハードウェア解決法でも高速通信が可能となる。
ハードウェア高速化転送資源が制限されているシステムにおいて、ハードウェアにはフロー・エントリに利用可能な充分な空間が存在しないというだけの理由で、完全なフロー切り換えを行うことはできない。フローのハードウェア高速化はパケットのCPU転送に比べてかなりの性能上の利点があるので、ハードウェア資源の不足によって、性能上の問題が生じることになり、または、高速化機能(容量)の制限(限界)に起因してハードウェア・アーキテクチャの利用性が制限されることになる。
システムがネットワーク環境において効率的に動作するためには、最高の活動状態のフロー、即ち最大量のトラフィックを有するフローは、ハードウェアへの供給の優先度を高くし、一方、より小さいトラフィック量のまたは重要度の低いその他のフロー、例えばより低い優先度が与えられたフローは、CPUによって処理されるべきである。
本発明によるHFFにおける基本的思想は、CPUに全てのパケットを転送させ、ハードウェアを高速化器(accelerator)として用いることである。
本発明による切換えASICにおけるハードウェア転送エントリが制限されているルータにおける有線速度転送の問題に対する解決法は、古典的なIPv4の5組多層フロー・スイッチング・アルゴリズム(IPv4 five-tuple multi-layer flows switching algorithm)の適合化バージョンであり、ここでは、階層的フロー転送(HFF)切換え(スイッチング)と称する。
図1は、本発明による、ルータまたはスイッチにおけるフロー転送ハードウェア・パス(path)10およびCPUソフトウェア・パス12を示している。図1に示されているように、パケット(P)はスタートにおいてそのシステムに入る。そのパケットPは、ハードウェアによって受信されて、判断点Aに達する。点Aにおいて、P(パケット)のフロー・エントリを求めてハードウェア転送テーブルを調査する(図示せず)。エントリが存在しない場合は、そのパケットはCPU1にデフォルト転送される。CPU1において、図示されていないソフトウェア・フロー・キャッシュを調査して、そのパケットがCPU切換えフローの一部であるかどうかが判定される。フロー・エントリが存在する場合は、そのパケットはCPU2に転送される。そのパケット用のソフトウェア・フロー・エントリが存在しない場合は、そのパケットは新しいフローの第1(最初)のパケットであると判定される。そのパケットPは任意の構成(コンフィギュア)されたフィルタまたはその他のポリシーと照合(マッチング)されて、そのパケットが転送されるべきかどうかが判定される。そのパケットが転送されるべきである場合は、適正なソフトウェア・フロー・エントリが生成されて、その後そのパケットはCPU2に転送される。それ以外の場合は、そのパケットは廃棄(discard)される。
CPU2において、そのパケットPは出力キューに入れるために準備処理される。任意の適当なヘッダ処理(オペレーション、操作)が実行され、そのパケットが出力ポートのキューに入れられる。フロー・テーブルにおけるフロー用のパケット・カウンタがインクレメント(増分)される。逆に、そのテーブルにハードウェア転送エントリが存在する場合は、そのパケットはハードウェア1(HW1)に転送される。HW1において、そのパケットは、例えば、フィルタリング、優先度付与、再カラー化(recolour、優先度再付与)、ルーティング・テーブル/CAM、テーブル・ルックアップ、ヘッダ処理またはその他の処理のような任意のハードウェア機能によって処理(影響)され、その後ハードウェア2(HW2)に転送される。HW2において、そのパケットは分析されてハードウェア・フロー・テーブルにおいてフロー・カウンタ更新が行われ、その後、そのパケットは出力ポートのキューに入れられる。フロー・テーブルにおけるフロー用のパケット・カウンタがインクレメントされる。
再カラー化(recolour、優先度再付与)は、優先度付与に類似したもので、パケットの優先度値を変更することを表すための技術用語である。
Bにおいて、ハードウェアはポートの出力キューを処理実行して(走って)待ちパケットを送信する。例えば、レート(速度、率)制限、パケット・フィルタリング、アカウント処理、優先度再付与(再カラー化)、優先度付与、等のような処理のシーケンス(順)は、使用されるアーキテクチャに応じて決めてもよいが、フローの現在のトラフィック・レート(速度、率)に依存してハードウェアとソフトウェアのフロー・キャッシュの間でフローが移動するのを許容するアルゴリズムの基本的原理を変更するものではない。
本発明によるブロードバンドにおけるルータまたはスイッチには、CPU切換えソフトウェア・フロー12とハードウェア切換え高速化フロー10とが供給される。ルータまたはスイッチは、ルータの出力ポートを通して各パケットのフロー転送の切り換えを行うためのハードウェア手段およびソフトウェア手段を含んでいる。ハードウェア手段には、制限された記憶容量を有するハードウェア・フロー転送テーブルを格納するメモリ手段が接続されている。CPU手段には、ソフトウェア・フロー転送テーブルを格納するメモリ手段が接続されている。
次に図2を参照すると、図2は、本発明によって区分された相互フロー転送テーブル20またはフロー・キャッシュを概略的に示している。本発明のこの実施形態において、図2に示されているようなフロー・テーブル20が維持(保存)され、フロー・テーブル20によってハードウェアとソフトウェアの双方のフロー・エントリが追跡される。テーブルの上部分は、ハードウェア・フロー・テーブル部分22を介したハードウェア・フロー・パス10用に指定されている。この上部分の後に、ソフトウェア・フロー・テーブル部分26およびフラッシュ(flush)ゾーン部分28が続く。
本発明によれば、図2における長方形の破線で示されたテーブル20の中間部分24が形成される。この中間部分24は、テーブル20のハードウェア部分22とソフトウェア部分26の双方に重なって(オーバラップして)いる。重なったハードウェア部分22aはフロー転送用のハードウェア・メモリ・エントリを指定し、重なったソフトウェア部分26aはフロー転送用のソフトウェア・メモリ・エントリを指定する。図2から分かるように、導入した中間部分24は、ハードウェアおよびソフトウェア・フロー転送メモリ空間指定に関して相互(mutual、共通、共用、共同)部分22aおよび26aを有する。
フラッシュ部分28を用いて、進行(転送)中のトラフィックを示(提示)していないエントリが削除される。フラッシュ部分28においてエントリが除去されなかったならば、可能なフローの組み合わせの数が、可能な全てのプロトコルに対する可能なポート番号の何十万もの組み合わせ全てに対する可能な全てのIPアドレスとなるので、フロー・テーブル20は無限に増加することになるであろう。従って、利用可能なメモリ空間は充分でなく、或る期間に全くトラフィックを示さ(提示し)なかった蓄積フローをそのテーブルから消去して、それ(フロー)がメモリ全体に指定されないようにする。
本発明を、制限されたハードウェア資源を有するシステムに用いると、ハードウェア・フロー・テーブル部分22、22aは、利用可能なハードウェアによってイネーブル(可動化)される(量)より大きくなることがなく、一方、ソフトウェア・フロー・テーブル部分26、26aは、何倍も大きくてよく、使用されるルータまたはスイッチのシステムの性能によってのみ制限される。
テーブル20は、テーブルの底部から、ハードウェア指定メモリ空間とソフトウェア指定メモリ空間の間の境界を指す実線矢印まで、例えばRAMのようなCPU制御されるメモリ空間28、26、26aを指定する。その境界は、中間部分24内に位置し、中間部分24を異なるタイプの2つの指定部分22aおよび26aに分割し、その一方の部分26aはソフトウェア・メモリ空間を指定するものであり、別の部分22aはハードウェア・メモリ空間を指定するものである。また、図2は、テーブル20において、上向き破線矢印とHWで示されたハードウェア・メモリ指定空間22の方向と、下向き破線矢印とSWで示されたソフトウェア指定空間26の方向を示している。
ハードウェア指定メモリ空間22、22aは、例えばCAMタイプのものとし、ソフトウェア指定空間26、26aはRAMタイプのものとすることができる。従って、図2から分かるように、中間部分24はハードウェア22aとソフトウェア26aの双方のメモリ空間を指定する。
中間部分24は、フロー転送のトラフィック状況に応じて可能な最大性能をルータが発揮するよう設計すべきであることが分かり、その際、中間部分内のハードウェア指定メモリ空間とソフトウェア指定メモリ空間22a、26aの間のパーセント割合は各アプリケーションごとに異なるものである。
例えば、フロー転送用の例えばASICにおけるハードウェア高速化メモリ・テーブルが200個のエントリを保存できる場合、全体のフロー・テーブル・メモリは、例えば5000個のエントリの大きさになってもよいであろう。中間部分24のサイズ並びにフラッシュ部分28のサイズは、共にルータのシステムの実際の状態に応じて決められる。性能を最大化するためには、ハードウェア指定フロー・テーブル22、22aは、最高の活動状態のフローを含むべきであり、従って最も強い(大量の)パケット転送をハードウェアHW1、HW2に移動させるべきである。これは、定期的間隔で、例えば、毎秒1回または別の適当な時間期間毎に1回、現在の相互フロー・テーブル20を検査し、各フローにおいて決定される1秒当たりのパケット数または他の時間期間当たりのパケット数に基づいてテーブル20をソートすることによって、行われる。
本発明は、或る時間期間によって定まる定期的ベースで(定期的に)相互テーブル20を検査する手段を適用する。時間期間当たりのパケット数の比率に基づいてソートを行い、テーブル20のハードウェア部分22、22aを最高の比率(のもの)で満たす。図2から明らかなように、中間部分24における中間比率の一部分は指定されたハードウェア・メモリ空間であり、その中間部分の別の一部分は指定されたソフトウェア・メモリ空間26aであり、最低の比率(のもの)は、中間部分24におけるソフトウェア部分26aの下のソフトウェア・メモリ空間26に指定される。
本発明に従って前に検査したときに流れた中間部分24に適合する(その資格を有する、に等級付けされる)パケット・フローは、それら(フロー)が中間部分24に依然として適合する場合にはそのフローの指定されたメモリ空間に残留し、それによって、テーブル20の中間部分24内のメモリ空間指定領域22aと26aの間での交換(移動、切換)が防止され、従ってCPUの負荷が軽減される。それの意味は(i.a.)、中間部分24におけるソフトウェア指定部分26aには、ハードウェア・メモリ空間22aに指定されるパケット転送用の比率よりも高い比率を有するパケット転送用のメモリ空間指定領域が存在しても、それらが依然として中間比率として適合しているのであればそれらがソフトウェア指定メモリ部分26aに残留することである。本発明によるこの解決法(アプローチ)は、テーブル20の中間部分24におけるメモリ指定空間22aと26aの間でパケット・フロー指定領域を移動させる必要がないことによって、ルータまたはスイッチにおけるCPUの負荷を軽減する。
相互テーブル20の検査の後、相互テーブル20のエントリ・リストは、それぞれ、例えばCAMのようなハードウェア・フロー転送テーブルを格納するメモリ手段と、例えばRAMのようなソフトウェア・フロー転送テーブルを格納するメモリ手段とに、それらを格納する手段によって格納される。
従って、最高の活動状態のフローはテーブル20の最上部にソートされ、一方、最低の活動状態のフローはそのテーブルの底部にソートされる。テーブル22のハードウェア・フロー部分に利用可能なスロット/空間を満たすそのソートされたテーブル中のそれらエントリは、ハードウェア中に配置される。中間部分24のフローとして指定されたスロットに整合するフローは、変更されない。それらがハードウェア22aに位置する(存在する)場合は、それらはハードウェアに残る。それらがソフトウェア部分26aに位置する場合は、それらはソフトウェアに残る。それによって、図1によるハードウェア・パスとソフトウェア・パスの間で(一方から他方へ他方から一方へと)移動するエントリのフラッピング(揺れ)/交換が最小化される。
中間部分より下のフローはテーブル20のソフトウェア・フロー部分中に配置され、最後に、フラッシュ部分28に位置する底部のエントリはルータから取り除かれる。これらの(底部)エントリは活動状態でないフローを表している。
システム構成(コンフィギュレーション)またはその他の理由により特定のフローが常にハードウェア高速化されるべきである場合には、制御ヘッダ情報が照合されて、高速化されるものとして認識される。特定のパケット・フローに対して固定的または永続的ハードウェア・フローを確立することができるようにするためには、固定的フロー確立のために照合されるべきパケット・ヘッダにおける、例えば2進法または16進法のようなフィールドを定義する必要がある。その使用されるフィールドは、例えば、プロトコル発信元/宛先アドレス、特定のプロトコル・フラグ、等であってもよいであろう。
システム・ルーティング・テーブルを(に対して)各フロー・エントリについて検査して、フロー・エントリが生成されたときに用いられたルート以外のどこかの場所の宛先位置への新しいルートが存在するかどうかを判定する。その宛先へのルートが変更された場合は、フロー・エントリは一気に消去(フラッシュ)されて、フロー中の次のパケットが出現したときそれが確実に再生成(relearn、再記憶)されるようにする。それによって、任意のパケット・フィルタ、再優先度付与または類似の処理が、新しいパケット・パスについて正しく処理できる。
本明細書に記載した手段は、具体的な名称はなくても、ソフトウェア手段、ハードウェア手段またはそれらの組み合わせであることが分かる。
本発明の別の実施形態は、請求の範囲から明らかである。
図1は、本発明によるフロー転送ハードウェア・パスおよびCPUソフトウェア・パスを概略的に示している。 図2は、本発明による分割されたフロー転送テーブルを概略的に示している。

Claims (10)

  1. 中央処理装置切換えソフトウェア・フロー(12)およびハードウェア切換え高速フロー(10)を含むパケット・フローを転送するよう動作する、ブロードバンド・ネットワークにおけるルータまたはスイッチであって、
    ルータ出力ポートを介してパケットのフロー転送切換え(10、12)を行うハードウェア手段(HW1、HW2)およびソフトウェア手段と、
    前記ハードウェア手段(HW1、HW2)に接続された制限された記憶容量を用いてハードウェア・フロー転送テーブルを格納するメモリ手段と、
    中央処理装置手段(CPU1、CPU2)に接続され中央処理装置関連の記憶容量を用いて動作するソフトウェア・フロー転送テーブルを格納するメモリ手段と、
    前記メモリ手段におけるフロー転送用のエントリのメモリ空間用の、少なくともハードウェア部指定領域(22)、中間部指定領域(24)およびソフトウェア部指定領域(26)からなる相互テーブルの区分を有し、前記メモリ手段用のエントリ・リストを有する相互テーブル(20)であって、前記中間部(24)は所定の割当てのメモリ空間に前記両メモリ手段における利用可能なメモリ空間(22a、26a)を指定するものである、相互テーブル(20)と、
    或る時間期間によって定まる定期的ベースで前記相互テーブル(20)を検査し、時間期間当たりのパケット数の比率に基づいてソートし、前記相互テーブル(20)においてハードウェア部(22、22a)を最高の比率のもので、中間部(24、22a、26a)を中間の比率のもので、およびソフトウェア部(26)を最低の比率のもので満たし、前の検査において中間フロー(24)として適合したパケット・フローが依然として前記中間部(24)として適合する場合にはそれをそれのメモリ空間に残して、それによって前記テーブル(20)の前記中間部(24)内のメモリ空間指定領域(22a、26a)間で交換が生じるのを防止して前記中央処理装置の負荷を軽減させる手段と、
    ハードウェア・フロー転送テーブルを格納する前記メモリ手段と、ソフトウェア・フロー転送テーブルを格納する前記メモリ手段とに、前記相互テーブル(20)のエントリ・リストを格納する手段と、
    を具える、ルータまたはスイッチ。
  2. 前記相互テーブルには、テーブル(20)から取り除くべきメモリ空間占有領域を指定する下部のフラッシュ部分(28)が設けられていることを特徴とする、請求項1に記載のルータ。
  3. システム・コンフィギュレーションによってまたはその他の理由で常にハードウェア高速化されるべき(10)所定の特定のフローが、パケット・ヘッダ情報を照合してハードウェア高速化されるべきものとして認識されるよう設定されることを特徴とする、請求項1または2に記載のルータ。
  4. 各フロー・エントリがシステム・ルーティング・テーブルを用いて検査されて、フロー・エントリが生成されたときに用いられたルートとは異なる場所の宛先位置への新しいルートが存在するかどうかが判定されることを特徴とする、請求項1乃至3のいずれかに記載のルータ。
  5. 宛先へのルートが変更された場合、フロー・エントリが消去されて、フロー中の次のパケットが出現したときそれが確実に再生成されるようにし、それによって、パケット・フィルタ、再優先度付与または類似の処理が新しいパケット・パスについて正しく処理されるようにできるようにすることを特徴とする、請求項4に記載のルータ。
  6. 中央処理装置切換えソフトウェア・フロー(12)およびハードウェア切換え高速フロー(10)を含むパケット・フローを転送するよう動作する、ブロードバンド・ネットワークにおけるルータまたはスイッチに用いられる方法であって、
    ルータ出力ポートを介してパケットのフロー転送切換え(10、12)を行うハードウェア手段(HW1、HW2)およびソフトウェア手段を設定するステップと、
    前記ハードウェア手段(HW1、HW2)に接続された制限された記憶容量を用いてハードウェア・フロー転送テーブルを格納するメモリ手段を設定するステップと、
    中央処理装置手段(CPU1、CPU2)に接続され中央処理装置関連の記憶容量を用いて動作するソフトウェア・フロー転送テーブルを格納するメモリ手段を設定するステップと、
    前記メモリ手段におけるフロー転送用のエントリのメモリ空間用の、少なくともハードウェア部指定領域(22)、中間部指定領域(24)およびソフトウェア部指定領域(26)からなる相互テーブルの区分を有し、前記メモリ手段用のエントリ・リストを有する相互テーブル(20)であって、前記中間部(24)は所定の割当てのメモリ空間に前記両メモリ手段における利用可能なメモリ空間(22a、26a)を指定するものである、相互テーブル(20)を設定するステップと、
    或る時間期間によって定まる定期的ベースで前記相互テーブル(20)を検査し、時間期間当たりのパケット数の比率に基づいてソートし、前記相互テーブル(20)においてハードウェア部(22、22a)を最高の比率のもので、中間部(24、22a、26a)を中間の比率のもので、およびソフトウェア部(26)を最低の比率のもので満たし、前の検査において中間フロー(24)として適合したパケット・フローが依然として前記中間部(24)として適合する場合にはそれをそれのメモリ空間に残して、それによって前記テーブル(20)の前記中間部(24)内のメモリ空間指定領域(22a、26a)間で交換が生じるのを防止して前記中央処理装置の負荷を軽減させるステップと、
    ハードウェア・フロー転送テーブルを格納する前記メモリ手段と、ソフトウェア・フロー転送テーブルを格納する前記メモリ手段とに、前記相互テーブル(20)のエントリ・リストを格納するステップと、
    を含む方法。
  7. 前記相互テーブルには、テーブル(20)から取り除くべきメモリ空間占有領域を指定する下部のフラッシュ部分(28)が設けられていることを特徴とする、請求項6に記載の方法。
  8. システム・コンフィギュレーションによってまたはその他の理由で常にハードウェア高速化されるべき(10)所定の特定のフローが、パケット・ヘッダ情報を照合してハードウェア高速化されるべきものとして認識されるよう設定されることを特徴とする、請求項6または7に記載の方法。
  9. 各フロー・エントリがシステム・ルーティング・テーブルを用いて検査されて、フロー・エントリが生成されたときに用いられたルートとは異なる場所の宛先位置への新しいルートが存在するかどうかが判定されることを特徴とする、請求項6乃至8のいずれかに記載の方法。
  10. 宛先へのルートが変更された場合、フロー・エントリが消去されて、フロー中の次のパケットが出現したときそれが確実に再生成されるようにし、それによって、パケット・フィルタ、再優先度付与または類似の処理が新しいパケット・パスについて正しく処理されるようにできるようにすることを特徴とする、請求項9に記載の方法。

JP2004548218A 2002-10-30 2003-10-30 ソフトウェアおよびハードウェア・パケット・フロー転送を行うルータまたはスイッチ、およびその方法 Expired - Fee Related JP4384048B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE0203190A SE525800C2 (sv) 2002-10-30 2002-10-30 Anordning och router i ett bredbandsnät som arbetar genom överföring av paketflöden, med ett av en central processorenhet omkopplat mjukvaruflöde och ett hårdvaruomkopplat accelerarat flöde
PCT/SE2003/001684 WO2004040864A1 (en) 2002-10-30 2003-10-30 Method, router or switch for software and hardware packet flow forwarding

Publications (2)

Publication Number Publication Date
JP2006505188A true JP2006505188A (ja) 2006-02-09
JP4384048B2 JP4384048B2 (ja) 2009-12-16

Family

ID=20289401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004548218A Expired - Fee Related JP4384048B2 (ja) 2002-10-30 2003-10-30 ソフトウェアおよびハードウェア・パケット・フロー転送を行うルータまたはスイッチ、およびその方法

Country Status (12)

Country Link
US (1) US7251245B2 (ja)
EP (1) EP1557012A1 (ja)
JP (1) JP4384048B2 (ja)
KR (1) KR20050063799A (ja)
CN (1) CN1708959A (ja)
AU (1) AU2003274881A1 (ja)
CA (1) CA2502869A1 (ja)
ES (1) ES2348283T3 (ja)
NO (1) NO20052316D0 (ja)
RU (1) RU2005116257A (ja)
SE (1) SE525800C2 (ja)
WO (1) WO2004040864A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008018318A1 (fr) * 2006-08-11 2008-02-14 Panasonic Corporation Dispositif de chiffrement, dispositif de déchiffrement, procédé de chiffrement et procédé de déchiffrement
JP2016163085A (ja) * 2015-02-27 2016-09-05 アラクサラネットワークス株式会社 通信装置
US11590318B2 (en) 2016-12-23 2023-02-28 Xenios Ag Cannula having a wire that extends along said cannula

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10394291B4 (de) * 2003-08-29 2012-10-11 Lantiq Deutschland Gmbh Datenschalter und Kommunikationssystem, das diesen Datenschalter verwendet
CN100391164C (zh) * 2005-12-31 2008-05-28 华为技术有限公司 一种实现转发不间断的内存告警处理方法及路由器
US20070171825A1 (en) * 2006-01-20 2007-07-26 Anagran, Inc. System, method, and computer program product for IP flow routing
US8547843B2 (en) * 2006-01-20 2013-10-01 Saisei Networks Pte Ltd System, method, and computer program product for controlling output port utilization
US8619766B2 (en) * 2007-03-02 2013-12-31 At&T Intellectual Property Ii, L.P. Method and apparatus for classifying packets
US8327014B2 (en) * 2008-06-30 2012-12-04 Cisco Technology, Inc. Multi-layer hardware-based service acceleration (MHSA)
CN101442494B (zh) * 2008-12-16 2011-06-22 中兴通讯股份有限公司 一种实现快速重路由的方法
CN101800707B (zh) 2010-04-22 2011-12-28 华为技术有限公司 建立流转发表项的方法及数据通信设备
DE102010020446B4 (de) 2010-05-12 2012-12-06 Wago Verwaltungsgesellschaft Mbh Automatisierungsgerät und Verfahren zur beschleunigten Verarbeitung von selektierten Prozessdaten
KR101476940B1 (ko) * 2010-10-15 2014-12-24 닛본 덴끼 가부시끼가이샤 스위치 시스템, 및 데이터 전송 방법
US20130304915A1 (en) * 2011-01-17 2013-11-14 Nec Corporation Network system, controller, switch and traffic monitoring method
US20140016649A1 (en) * 2011-03-31 2014-01-16 Tejas Networks Limited Optimizing forward database for a bursty network traffic
US8886827B2 (en) * 2012-02-13 2014-11-11 Juniper Networks, Inc. Flow cache mechanism for performing packet flow lookups in a network device
US9253019B1 (en) 2012-03-09 2016-02-02 Juniper Networks, Inc. Fault tolerance for authentication, authorization, and accounting (AAA) functionality
KR101569588B1 (ko) 2013-08-29 2015-11-16 주식회사 케이티 패킷 출력 제어 방법 및 이를 이용한 네트워크 장치
WO2015030503A1 (ko) * 2013-08-29 2015-03-05 주식회사 케이티 패킷 출력 제어 방법 및 이를 이용한 네트워크 장치
US9374308B2 (en) 2013-08-30 2016-06-21 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Openflow switch mode transition processing
US9313131B2 (en) * 2013-09-06 2016-04-12 Stmicroelectronics, Inc. Hardware implemented ethernet multiple tuple filter system and method
KR101491699B1 (ko) * 2013-11-12 2015-02-11 아토리서치(주) 소프트웨어 정의 네트워킹에서 제어 장치 및 그 동작 방법
KR101818082B1 (ko) * 2014-01-06 2018-02-21 한국전자통신연구원 플로우 테이블 관리 방법 및 그 장치
US20150195183A1 (en) * 2014-01-06 2015-07-09 Electronics And Telecommunications Research Institute Method and apparatus for managing flow table
KR101501231B1 (ko) * 2014-02-07 2015-03-12 주식회사 파이오링크 오픈 플로우(OpenFlow)를 이용하여 패킷을 처리하기 위한 방법, 오픈 플로우 스위치 및 컴퓨터 판독 가능한 기록 매체
CN105791141B (zh) * 2014-12-23 2019-02-12 华为技术有限公司 一种流表置换方法及装置
US9930010B2 (en) * 2015-04-06 2018-03-27 Nicira, Inc. Security agent for distributed network security system
CN107196776A (zh) * 2016-03-14 2017-09-22 中兴通讯股份有限公司 一种报文转发的方法和装置
CN113132262B (zh) * 2020-01-15 2024-05-03 阿里巴巴集团控股有限公司 一种数据流处理及分类方法、装置和系统
CN111787435A (zh) * 2020-06-12 2020-10-16 芯河半导体科技(无锡)有限公司 一种基于gpon路由器的网络加速系统
CN111988238B (zh) * 2020-08-18 2022-02-22 新华三大数据技术有限公司 一种报文转发方法及装置
US11611494B2 (en) * 2021-05-07 2023-03-21 Arista Networks, Inc. Systems and methods for tracking and exporting flows in software with augmented processing in hardware

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE180126T1 (de) * 1989-03-31 1999-05-15 J Noel Chiappa Sehr schnelle datenpaketschaltung und verfahren
US5566170A (en) * 1994-12-29 1996-10-15 Storage Technology Corporation Method and apparatus for accelerated packet forwarding
US6810427B1 (en) * 1999-04-23 2004-10-26 Nortel Networks Limited Router table manager
US6657955B1 (en) * 1999-05-27 2003-12-02 Alcatel Canada Inc. Buffering system employing per traffic flow accounting congestion control
US7804785B2 (en) * 2002-04-19 2010-09-28 Avaya Inc. Network system having an instructional sequence for performing packet processing and optimizing the packet processing

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008018318A1 (fr) * 2006-08-11 2008-02-14 Panasonic Corporation Dispositif de chiffrement, dispositif de déchiffrement, procédé de chiffrement et procédé de déchiffrement
JP2008048042A (ja) * 2006-08-11 2008-02-28 Matsushita Electric Ind Co Ltd 暗号装置、復号装置、暗号方法、および復号方法
US8171284B2 (en) 2006-08-11 2012-05-01 Panasonic Corporation Encryption device, decryption device, encryption method, and decryption method
JP2016163085A (ja) * 2015-02-27 2016-09-05 アラクサラネットワークス株式会社 通信装置
US11590318B2 (en) 2016-12-23 2023-02-28 Xenios Ag Cannula having a wire that extends along said cannula

Also Published As

Publication number Publication date
WO2004040864A1 (en) 2004-05-13
NO20052316L (no) 2005-05-11
AU2003274881A1 (en) 2004-05-25
EP1557012A1 (en) 2005-07-27
NO20052316D0 (no) 2005-05-11
RU2005116257A (ru) 2005-11-10
SE0203190L (sv) 2004-05-01
US20040085958A1 (en) 2004-05-06
CA2502869A1 (en) 2004-05-13
SE525800C2 (sv) 2005-04-26
US7251245B2 (en) 2007-07-31
SE0203190D0 (sv) 2002-10-30
KR20050063799A (ko) 2005-06-28
ES2348283T3 (es) 2010-12-02
JP4384048B2 (ja) 2009-12-16
CN1708959A (zh) 2005-12-14

Similar Documents

Publication Publication Date Title
JP4384048B2 (ja) ソフトウェアおよびハードウェア・パケット・フロー転送を行うルータまたはスイッチ、およびその方法
JP3790217B2 (ja) 高速インターネットプロトコルルートルックアップ遂行及びルーティング/フォワーディングテーブル管理のための装置及び方法
US7280752B2 (en) Network address routing using multiple routing identifiers
Yu et al. Scalable flow-based networking with DIFANE
JP4076586B2 (ja) マルチレイヤ・ネットワーク要素用のシステムおよび方法
US8432914B2 (en) Method for optimizing a network prefix-list search
US7957396B1 (en) Targeted flow sampling
US20060221967A1 (en) Methods for performing packet classification
EP2924927A1 (en) Techniques for aggregating hardware routing resources in a multi-packet processor networking system
CA2347998C (en) Improved internet protocol packet router
US8719917B1 (en) Merging firewall filters using merge graphs
EP1793539B1 (en) Method and equipment for Quality-of-Service (QoS) based routing
US7903658B1 (en) Forwarding tree having multiple bit and intermediate bit pattern comparisons
US11563698B2 (en) Packet value based packet processing
CN112087533A (zh) 报文处理方法、装置、设备和存储介质
Hammer et al. Efficient Transparent Access to 5G Edge Services
US8743907B1 (en) Apparatus for reassembling a fragmented data unit and transmitting the reassembled data unit
Waldvogel Multi-dimensional prefix matching using line search
US10972402B1 (en) Dynamic management of inline entries in hardware across protocols in a scaled environment
AT&T figs/stretch.eps
Adiseshu et al. Packet filter management for layer 4 switching
Mohammadkhan et al. Protocols to support autonomy and control for NFV in software defined networks
Jo et al. Hash-based Internet traffic load balancing
Hammer et al. Scalable Transparent Access to 5G Edge Services
Comer et al. Building experimental virtual routers with network processors

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061013

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20081119

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20081119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20081119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090902

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090924

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20120823

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120823

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131002

Year of fee payment: 4

A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A072

Effective date: 20130122

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees