JP5283638B2 - パケット中継装置 - Google Patents
パケット中継装置 Download PDFInfo
- Publication number
- JP5283638B2 JP5283638B2 JP2010002597A JP2010002597A JP5283638B2 JP 5283638 B2 JP5283638 B2 JP 5283638B2 JP 2010002597 A JP2010002597 A JP 2010002597A JP 2010002597 A JP2010002597 A JP 2010002597A JP 5283638 B2 JP5283638 B2 JP 5283638B2
- Authority
- JP
- Japan
- Prior art keywords
- queue
- packet
- output
- replication
- destination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010076 replication Effects 0.000 claims description 63
- 238000012544 monitoring process Methods 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 2
- 239000000872 buffer Substances 0.000 description 28
- 238000000034 method Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000012536 storage buffer Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/90—Buffering arrangements
- H04L49/9063—Intermediate storage in different physical parts of a node or terminal
- H04L49/9078—Intermediate storage in different physical parts of a node or terminal using an external memory or storage device
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
パケット中継装置はこうしたバーストトラフィックを受けたとき、入力回線帯域より出力回線帯域の方が細い場合には、出力側回線のキューにバースト中の間だけパケットを滞留させ、バースト終了後にキューからパケットを出すことでパケットロスを防止している。また、パケット中継装置の中継性能が性能限界に達した場合も、入力側のキューにて同様な措置を取り、パケットロスを防止する。
昨今のサーバや端末の性能向上に伴い、こうしたバーストのトラフィック流量が大きくなる傾向にある。バーストのトラフィック流量があまりに大きい場合、パケット中継装置のキューでパケットを滞留しきれなくなり、パケットロスに至ってしまうことが想定され得る。
こうしたパケットロスは、瞬間的とはいえ、信頼性劣化(UDPなどのパケットロス未対応トラフィックの場合)やスループット劣化(TCPなどのパケットロス対応トラフィックの場合)につながる可能性があり、避けることが望ましい。かといってパケット中継装置のキューを長くすることもあまり適切ではない。パケット中継装置の費用が高くなったり、キューに滞留する時間が長くなりすぎるために遅延が大きくなりすぎたりするためである。
こうしたバーストによるパケットロスの課題に対して、過去には、装置や端末間連携によりバーストを抑制する技術が多数開発されてきた。例としては、Explicit Congestion Notification(非特許文献1)、Backward Congestion Notification(非特許文献2)、Priority−based Flow−control(非特許文献3)、Pre−Congestion Notification(非特許文献4)といった技術があげられる。いずれの技術も、パケット中継装置でバーストによるキュー溢れが起こりそうになったときに、その情報を前段のパケット中継装置や端末へフィードバックし、そのフィードバックを受けた場所でバースト抑制することに特徴がある。
こうした運用の最大の課題は、解析対象となるミラーリングパケットが膨大なため、解析に手間がかかることである。仮にバーストを効率的に解析できる装置があったとしても、バーストとキュー溢れとの関連性まではわからないため、結局キュー溢れの原因はつかめないことが多いことも課題である。
本発明は、以上の点に鑑み、バーストトラフィック等のトラフィックによるパケットロスを監視及び/又は防止するためのパケット中継装置を提供することを目的とする。
本発明のパケット中継装置では、特に、パケット複製動作の要否を判断する基準として、パケットが入力もしくは出力されるポートやパケットの各フィールドの値のみならず、パケットが通過したバッファの使用量も用いることが出来る。
本発明のバーストトラフィック監視方法では、パケット格納用バッファの使用量に応じて、該当バッファを通るパケットを複製対象とするか否かを決定することにより、バッファから溢れようとしているバーストトラフィックだけを複製して監視することができる。
また、本発明のシステムでは、パケット複製動作の要否を判断する基準として、パケットがどのバッファを通過したかも用いることが出来るパケット中継装置と、パケット中継装置のパケット格納用バッファの使用量を監視する外部サーバから構成されるシステムにおいて、外部サーバがパケット格納用バッファの使用量を監視し、同使用量に基づいて該当バッファを通るパケットを複製対象とするか否かを指示することで、バッファから溢れようとしているバーストトラフィックだけを複製して監視することができる。
さらに、本発明では、パケット格納用バッファの使用量をある閾値と比較することでパケット複製を行うか否かを判定することができる。
また、パケット複製を、パケットミラーリングにて実現することができる。
また、本発明のパケット中継装置では、一部のパケット格納用バッファをパケット入出力には用いないダミーのバッファとして有し、パケット複製を、ダミーバッファへのパケットコピーで実現することができる。
さらに、本発明では、複製動作を開始する閾値を、複製動作を終了する閾値よりも大きい値にすることで、バッファ使用量が閾値付近で不安定な場合に、バーストトラフィック監視が不安定になることを防ぐことができる。
また、本発明では、パケット複製動作を新たに開始するたびに、該当バッファに関する閾値を減らし、パケット複製動作を終了してから一定時間パケット複製動作を開始しなかった場合に、該当バッファに関する閾値を増やすことで、バーストトラフィック監視で、溢れやすいバッファを効率的に監視することができる。
本発明では、複製されたパケットに対して、更にパケット中継装置内で適切なフィルタリングを行うことで、バーストの原因となったトラフィックを更に絞り込むことができる。
本発明では、パケット中継装置がパケット複製動作の動作間隔を変更できる機能を有する場合に、複製動作の動作間隔をバッファ使用量に応じて変更することができる。
本発明において、ダミーバッファを用いる場合、ダミーバッファへパケットのヘッダ部のみをコピーすることで、ダミーバッファの消費を節約しつつ、バーストトラフィックのフロー情報をより多く採取することができる。
さらにその場合、ダミーバッファへパケットをコピーする際、パケットには明記されない装置内の転送に関連した情報も付与することで、バーストトラフィックの装置内での振る舞いをより正確に把握することができる。
本発明では、上述のような機能を有するパケット中継装置、もしくは、パケット複製動作の要否を判断する基準として、パケットがどのバッファを通過したかも用いることが出来るパケット中継装置と、上述のいずれかの方法で得られたバーストパケットを、外部のトラフィックアナライザで分析することで、バーストの原因となったトラフィックを効率的に特定するシステムを提供することができる。
パケットの転送処理を司るパケット転送処理部と、
複数のキューを有し、前記複数のキューのいずれかからキューを選択し、該キューにあるパケットをポートへ出力するための、ポート単位の出力キューリストと、
出力キューリストの制御を行う出力キュー管理部と、
宛先に対応する出力先ポートと出力先キュー番号を記憶した経路表と、
出力先ポートと出力先キュー番号に対応する、複製先ポートと複製動作有効フラグを記憶した複製動作管理表と
を備え、
前記パケット転送処理部は、受信パケットの宛先を前記経路表の宛先と照合し、マッチするエントリの出力先ポートと出力先キュー番号を、パケットの出力先ポートと出力先キュー番号として求め、
前記パケット転送処理部は、求められた出力先ポートと出力先キュー番号を前記複製動作管理表と照合し、
マッチするエントリの複製動作有効フラグが有効ならば、前記パケット転送処理部は、前記出力キュー管理部に該エントリの複製先ポートへの複製を指示し、前記指示を受けた前記出力キュー管理部は、出力先ポートに対応する前記出力キューリスト内のキュー番号のキューへパケットを出力し、且つ、複製先ポートに対応する前記出力キューリスト内のキュー番号のキューへパケットをコピーして出力し、
マッチするエントリの複製動作有効フラグが無効ならば、前記パケット転送処理部は、前記出力キュー管理部にパケットの出力を指示し、前記指示を受けた前記出力キュー管理部は、出力先ポートに対応する前記出力キューリスト内のキュー番号のキューへパケットを出力し、
前記出力キュー管理部は、パケットを出力したキューの長さを取得し、キュー長が予め定められた複製開始閾値より大きい場合は、前記複製動作管理表の該当キューエントリの複製動作フラグを有効に変更し、一方、前記キュー長が予め定められた複製終了閾値より小さい場合は、該フラグを無効に変更し、
前記出力キューリストは、前記複数のキューからキューを選択し、対応するポートへパケットを出力する
ようにしたパケット中継装置が提供される。
パケットの転送処理を司るパケット転送処理部と、
複数のキューを有し、前記複数のキューのいずれかから適切なキューを選択し、該キューにあるパケットをポートへ出力するための、ポート単位の出力キューリストと、
宛先に対応する出力先ポートと出力先キュー番号を記憶した経路表と
を備え、
前記出力キューリストは、さらに、
出力先キュー番号に対応する複製動作有効フラグを記憶した複製動作管理表と、
パケット出力には用いないダミーキューと、
前記パケット転送処理部から受け取ったパケットを前記複数のキュー及びダミーキューの内のいずれかへ出力するための出力キュー管理部と
を有し、
前記パケット転送処理部は、受信パケットの宛先を前記経路表の宛先と照合し、マッチするエントリの出力先ポートからパケットの前記出力キューリストを決め、マッチするエントリの出力キュー番号のキューへパケットを出力するよう前記出力キューリストへ指示し、
前記指示を受けた前記出力キューリストの前記出力キュー管理部は、出力先キュー番号を、前記複製動作管理表と照合し、マッチするエントリの複製動作有効フラグが無効ならば前記出力キュー管理部は前記決められた出力先ポートの出力先キュー番号のキューへだけパケットを出力し、有効の場合は、出力先の前記キューに加えて、前記決められた出力先ポートの出力キューリスト内にある前記ダミーキューにもパケットを出力し、
前記出力キュー管理部は、パケットを出力したキューの長さを取得し、キュー長が予め定められた複製開始閾値より大きい場合は、前記複製動作管理表の該当キューエントリの複製動作有効フラグを有効に変更し、一方、前記キュー長が予め定められた複製終了閾値より小さい場合は、該フラグの値を無効に変更し、
前記出力キューリストは、前記複数のキューからキューを選択し、対応するポートへパケットを出力する
ようにしたパケット中継装置が提供される。
本発明は、1台のパケット中継装置に閉じた技術であるため、従来技術に比べて、網内への導入が容易である。また実際にキューから溢れたもしくは溢れかかったパケットだけをミラーリングするため、単純なミラーリングに比べて、解析対象となるトラフィック量が少ない。またミラーリングされたパケットとキュー溢れの関連性も自明である。
1−1.実施の形態1
図2に、実施の形態1のパケット中継装置100の物理構成図を示す。
パケット中継装置100は、パケット中継プログラム110と、ポート104、105、106、とを備える。パケット中継プログラム110は、CPU101、メモリ102、共有メモリ103を有する。パケット中継装置100は、ポート104、105、106から来たパケットを共有メモリ103に格納し、CPU101やメモリ102の上で動くパケット中継プログラム110により同メモリ上のパケットを処理し、適切なポートへ出力する装置である。
図3(A)は、パケット中継プログラム110の論理構成を示す図である。図3(B)は、出力キューリストの構成図である。
パケット中継プログラム110は、パケット転送処理を司るパケット転送処理部120、経路表130、ミラーリング動作管理表140(複製動作管理表)、ポートへパケットを出力するためのポート単位の出力キューリスト151、同出力キューリストの制御を行う出力キュー管理部150を備える。出力キューリスト151内には複数のキュー155、156、157がある。そして出力キューリスト151に対応するポート104が、出力キューリスト151内のセレクタ154を通して、キューの中から適切なキューを選択し、該当キューにあるパケットを出力するようになっている。セレクタ154のキューの選択基準には、キュー番号の大きい順やラウンドロビンなど多数あるが、本発明の規定の対象外であり、適宜採用することができる。
パケット転送処理部120には、転送先を決めるための経路表130とミラーリング要否を決めるためのミラーリング動作管理表140が付与されている。
図4(A)及び(B)に、経路表130とミラーリング動作管理表140の構造をそれぞれ示す。
経路表130は、宛先131に対応する出力先ポート132と出力先キュー番号133を管理するための表である。ミラーリング動作管理表140は、出力先ポート141と出力先キュー番号142に対応する、ミラーリング先ポート143とミラーリング動作有効フラグ144を管理するための表である。
図5は、パケット転送処理プログラム110のパケット中継動作を示すフローチャートである。
パケット転送処理部120は、ポートからパケットが到着すると、同パケットをポートから刈り取る(”take out”, “pick out”, “fetch”, “retrieve”など)(ステップ210)。そして、パケット転送処理部120は、同パケットの宛先を経路表130の宛先(Destination)131と照合し、マッチするエントリの出力先ポート(Outgoing Interface)132と出力先キュー番号(Outgoing Queue)133を、パケットの出力先ポートと出力キューとする(ステップ220)。更に、パケット転送処理部120は、ステップ220で決まったパケットの出力先ポート132と出力先キュー番号133をミラーリング動作管理表140と照合し、出力先ポート(Outgoing Interface)141と出力先キュー番号(Outgoing Queue)142とマッチするエントリのミラーリング動作有効フラグ(ON/OFF)144の値がONならば、同エントリのミラーリング先(Mirroring Destination)ポート及びキュー番号143へのミラーリング(複製)を実施することとする(ステップ230、240)。
パケット転送処理部120は、求めた結果を出力キュー管理部150に与え、対応するキューでのパケット出力を指示する。出力キュー管理部150は、以上の手順で算出したポートに対応する出力キューリスト内のキューへパケットをコピーする(ステップ250、260)。すなわち、ステップ240でミラーリング動作有効フラグ144の値がOFFと判断された場合、ステップ220で求めた出力先ポートと出力先キュー番号にパケットを出力する(ステップ250)。一方、ステップ240でミラーリング動作有効フラグ144の値がONと判断された場合、ステップ220で求めた出力先ポートと出力先キュー番号にパケットを出力するとともに、ステップ230で求めたミラーリング先ポート及びキュー番号にコピー(ミラーリング)したパケットを出力する(ステップ260)。さらに、出力キュー管理部150は、後述の要領でミラーリング動作管理表140を更新する(ステップ270)。出力キューリスト151,152、153は、セレクタ154で適当なキューを選択し、対応するポート104、105、106は、そのキューからパケットを刈り取ることで、実際にパケットを出力する(ステップ280、290)。
出力キュー管理部150は、ステップ250、260にてパケットを出力キューリスト内のキューへコピーした後、該当キューの長さを確認し取得する(ステップ272)。キューの長さの数え方としては、例えば、キューに詰まれたパケットの個数を数える方法や、キューで消費されたバッファのバイト数を数える方法などがあるが、他の数え方でも本発明は実施可能である。
そして、出力キュー管理部150は、ミラーリング要否判定のため、その長さをミラーリング開始閾値とミラーリング終了閾値と比較する(ステップ273)。ミラーリング開始閾値とミラーリング終了閾値は、例えば、出力キュー管理部150の内部のメモリ又は外部のメモリに、予め記憶しておき、出力キュー管理部150は、その値を参照するように構成することができる。なお、ミラーリング開始閾値は、ミラーリング終了閾値よりも、大きな値を取ることが望ましい。これは、キュー長が閾値で不安定な場合に、ミラーリング動作が不安定になることを防ぐためである。
キュー長がミラーリング開始閾値より大きい場合は、出力キュー管理部150は、ミラーリング動作管理表140の該当キューエントリのミラーリング動作フラグ144の値をONに変更する(ステップ275)。キュー長がミラーリング終了閾値より小さい場合は、出力キュー管理部150は、逆に同フラグの値をOFFに変更する(ステップ274)。ステップ273でその他(キュー長がミラーリング開始閾値以下かつミラーリング終了閾値以上の場合)の場合は、出力キュー管理部150は、ミラーリング動作管理表140を変更せずに、ステップ276に進む。
以上により、キュー長がミラーリング開始閾値より越えた後からキュー長がミラーリング終了閾値よりも低くなるまでの間、該当キューへ出力されるパケットだけがミラーリングされるようになる。こうしたミラーリングを活用したトラフィック解析では、例えば、外部のトラフィック解析装置がキューから溢れそうになったパケットだけを分析すればよくなるため、バーストトラフィックの監視が容易になる。
本実施の形態はソフトウェアによるパケット中継装置を例に記載しているが、ハードウェアによるパケット中継装置での同等な発明を否定するものではない。
また、本実施の形態は出力キュー管理部150が出力キューの溢れに着目しているが、同様な形で、入力キューやポリサのバッファの溢れにも対応することも可能である。具体的には、パケット中継装置内100内で入力キューやポリサのバッファの使用量を管理する部分が、本実施の形態で紹介した出力キュー管理部150のキュー長監視動作を行えばよい。
実施の形態2は、実施の形態1において、パケット転送処理部120がミラーリングしたパケットを予め指定されたルールに従ってフィルタリングすることもできる場合の実施の形態である。
本実施の形態におけるパケット中継動作は、実施の形態1のパケット中継動作(図5)に以下の手順を加えたものである。
図11は、実施の形態2におけるフィルタリングデータベースを示す図である。
パケット転送処理部120が、ステップ240とステップ260への間で、出力するパケットの宛先とミラーリング先ポート番号を、図11のフィルタリングデータベース180のDestination欄181とOutgoing Interface欄182とそれぞれ照合する。なお、パケットの宛先(Destination)と出力先ポート(Outgoing Interface)に限らず、パケットヘッダの他のフィールドを用いてもよい。そして、マッチしたエントリのAction欄183の値がPermit(許可)ならば、パケット転送処理部120は、ステップ260へ進み、ミラーリングを行う。一方、Action欄183の値がDeny(拒絶)の場合、又は、マッチしたエントリが存在しない場合は、パケット転送処理部120は、ステップ250へ進み、ミラーリングを行わない。
以上により、実施の形態1の手順でミラーリングした解析対象パケットを、フィルタリングデータベースで絞り込み、更に解析を容易にすることができる。
なお、フィルタリングデータベース180は、図1のようなパケットフィルタの他、過去のセッションのやりとりまで精査するStateful Inspectionやパケットの詳細内容に立ち入って精査するFirewallのようなものであっても、同様にして本実施の形態に適用可能である。
図12は、実施の形態3におけるミラーリング動作管理表を示す図である。
実施の形態3は、実施の形態1において、パケット中継装置が一定間隔でパケットをミラーリングする機能を有する場合の実施の形態である。ミラーリング動作管理表140が、図12のように、Interval欄148とSkipped Packet欄149を有することが、実施の形態1との違いである。
本実施の形態におけるパケット中継動作は、実施の形態1のパケット中継動作(図5)に以下の手順を加えたものである。
パケット転送部120は、ミラーリングを行う直前(ステップ240とステップ260の間)に、ミラーリング動作管理表140の該当するエントリのSkipped Packet欄149の値を1つインクリメントさせる。その結果、Skipped Packet欄149の値がInterval欄148の値以上になった場合は、パケット転送処理部120は、Skipped Packet欄149の値を0リセットし、ステップ260に進んでミラーリングを行う。逆にSkipped Packet欄149の値がInterval欄149の値未満の場合は、パケット転送処理部120は、ステップ250へ進みミラーリングは行わない。以上により、Interval欄148のパケット数毎に1回だけミラーリング動作するようになる。
上記の機能を有するパケット中継装置における、ミラーリング動作管理表140の更新手順は、実施の形態1のミラーリング動作管理表更新手順(図1)に以下の手順を加えたものである。
ステップ273の判定の結果キュー長が終了閾値未満(ステップ274)以外の場合に、出力キュー管理部150が、ON/OFF欄144に加えて、Interval欄148も更新する。新しいInterval欄148の値は、ステップ272で取得したキュー長やミラーリング開始閾値やミラーリング終了閾値に基づいて計算する。例えば、この計算を、N÷キュー長とミラーリング開始閾値の差(ただし、Nはある定数で、キュー長>ミラーリング開始閾値)とした場合は、キュー長とミラーリング開始閾値の差に反比例してミラーリング頻度を高くすることが出来る。
本計算式を適切に定義することで、キューが溢れる直前だけ細かくミラーリングしたり、キューの長さに比例して細かくミラーリングを行ったりすることができるようになる。
図9に、実施の形態4におけるパケット中継装置とキュー長監視サーバを示す図を示す。
実施の形態4は、図9のように、外付けのキュー長監視サーバ107とパケット中継装置を組み合わせた形での実施の形態である。キュー長監視サーバ107は、実施の形態1の出力キュー管理部150から出力キュー長監視機能とミラーリング開始指示を出す機能を外付けのサーバに分離したものである。
キュー長監視サーバ107は、出力キュー管理部150へ定期的にパケット中継装置の各出力キュー長を問合せ、図1と同じ要領でキュー長がある閾値に達したことを検知すると、パケット中継装置へミラーリング動作管理表140の更新を命令する。
また、キュー長監視サーバ107は、出力キューリスト151〜153内の各キューのキュー長を監視し、キュー長に基づいてパケットをミラーリング対象とするか否かを指示するようにしてもよい。
以上の形でキュー長管理サーバ107を導入することにより、キュー長監視機能とミラーリング機能が連動しないパケット中継装置でも、実施の形態1と等価な効果を得ることが出来る。
実施の形態5は、実施の形態1にて、ミラーリング動作の判定基準をより細かくした応用形態である。
図10は、実施の形態5におけるミラーリング動作管理表を示す図である。
実施の形態5では、実施の形態1にて、ミラーリング動作管理表140を図10のような形に変更している。実施の形態1ではミラーリング開始閾値や終了閾値は装置全体で共用する値であったが、本実施の形態では、キュー毎に異なる値(欄145、146)を取れるようになっている。なお、Last Update欄147は本実施の形態では使用しないため、この欄を省いた形で実施しても構わない。
実施の形態5でも、実施の形態1と同様な形で、パケット転送部120及び出力キュー管理部150は、このミラーリング動作管理表140を用いることによりパケット中継動作(図5のステップ230〜270等)やミラーリング状態管理表の更新(図1のステップ273〜275等)を行う。そのため、ミラーリング開始や終了を判定する際に参照する閾値が固定値ではなく、欄145、146の値になっている。
溢れやすいキューについて予め閾値を低めに設定しておくことで、溢れやすいキューをより厳しく監視することができるようになる。
実施の形態6は、実施の形態1のパケット中継手順ステップ280にて、出力キューリスト151内の出力セレクタ154がパケット出力のためにキューを選択するスケジューリングアルゴリズムの特性上、任意の2つのキュー間でどちらのキューからパケットが出やすいかを一意に定められる場合の実施の形態である。
本実施の形態でのミラーリング動作管理表140の手順は、図1に下記の変更を加えたものである。
出力キュー管理部150は、ステップ275にて、ある出力キューのON/OFF欄144をONにしてミラーリングを開始した後で、そのキューよりも出力されにくい他のキューについても、ON/OFF欄144もONにしてミラーリングを開始する。出力キュー管理部150は、出力されにくいか否かを例えば、キュー番号の値の大小(Priority Queueing)やキュー毎のスケジューリング優先度を示す重みの大小(Weighted Fair Queueing)やキュー長の大小(Queue−Length−based Queueing)などから、一意に定めることができる。
出力キュー管理部150は、ステップ274にて、ある出力キューのON/OFF欄144をOFFにしてミラーリングを終了した後で、そのキューよりも出力されにくいキューについてもステップ272、273、274、275を実施し、ON/OFF欄144を更新する。その結ON/OFF欄144がONのままのキューが1つでも残った場合は、そのキューよりも出力されにくいキューについて、ON/OFF欄144の値をONに設定する。
このように、出力キューリストのスケジューリングを考慮して閾値を変更することにより、キュー溢れの兆候をより早く検出することが可能となる。
実施の形態7は、実施の形態5にて、過去のキュー溢れの履歴を考慮した応用形態である。
実施の形態7では、実施の形態5のミラーリング動作管理表140(図10)のLast Update欄147にて、最後にミラーリングを開始したり終了したりした時刻を管理できるようにしている。
実施の形態7でのパケット中継動作やミラーリング動作管理表の更新手順は、実施の形態5の手順に下記の変更を加えたものである。
例えば、出力キュー管理部150は、ステップ275で新たにミラーリングを開始するたびに、欄145、146の閾値を低く変更すると同時に、Last Update欄147にミラーリング開始時間を記載する。同様に、ステップ274で新たにミラーリングを終了するたびに、Last Update欄にミラーリング終了時間を記載する。
出力キュー管理部150は、定期的にミラーリング動作管理表140の全エントリのLast Update欄147の内容をチェックし、一定時間ミラーリング開始状態になっていないエントリについて、欄145、146の閾値を高く変更する。
以上により、キューの溢れやすさに応じた監視を自動的に行うことが可能となる。
2−1.実施の形態8
図6に、実施の形態8におけるパケット中継装置の構成図を示す。
実施の形態8は、図2と同じ物理構成のパケット中継装置100で、図6の論理構成をとる場合の実施の形態である。 図6(A)は、パケット中継プログラム110の論理構成を示す図である。図6(B)は、出力キューリストの構成図である。以下図6に示したパケット中継装置プログラム110について説明する。
この実施の形態では、図2とは異なり、パケット転送処理部120にミラーリング動作管理表140や出力キュー管理部150がない代わりに、ポート毎の出力キューリスト171内にキューイング状態管理表160(複製動作管理表)やキューイング部174(出力キュー管理部)がある。
出力キューリスト171内のキューイング状態管理表160は、出力先キュー番号(Outgoing Queue)161に対応するコピー動作有効フラグ(Copy ON/OFF)162を管理するための表である。
経路表130の構成は、図4(A)に示したものと同様である。
出力キューリスト171の中には、図3Bと同様な出力キュー176、177の他に、パケット出力には用いないダミーキュー175が存在する。また、出力キューリスト171には、パケット転送処理部120から受け取ったパケットを、しかるべきキュー(175や176や177)へ積むためのキューイング部174と、ダミーキュー以外のキュー(176や177)からポートにパケットを出すための出力セレクタ178が存在する。
図7は、図6のパケット中継装置のパケット中継動作を示すフローチャートである。
パケット転送処理部120は、ポートからパケットが到着すると、同パケットをポートから刈り取る(ステップ310)。そして、パケット転送処理部120は、同パケットの宛先を経路表130の宛先(Destination)131と照合し、マッチするエントリの出力先ポート(Outogoing Interface)132からパケットのポートに対応する出力キューリストを決め、マッチするエントリのキュー番号(Outgoing Queue)133へパケットを出すよう同出力キューリストへ指令を出す(ステップ320)。
本指令を受けた出力先キューリストのキューイング部174は、ステップ320で決まったパケットの出力先キュー番号133を、出力キュー状態管理表160と照合し、出力先キュー番号(Outgoing Queue)161とマッチするエントリのコピー動作有効フラグ(Copy ON/OFF)162の値を確認する。この値がOFFならばキューイング部174はステップ320で決まった出力先ポートの出力先キューへだけパケットをコピーして出力するが(ステップ350)、ONの場合は、加えて、ステップ320で決まった出力先ポートの出力キューリスト内にあるダミーキュー175にもパケットを出力する(ステップ360)。
キューイング部174は、更に後述の要領でキューイング状態管理表160を更新する(ステップ370)。出力キューリスト171、172、173は、出力セレクタ178で適当なキューを選び、対応するポート104、105、106は、そのキューにあるパケットを刈り取り、実際にパケットを出力する(ステップ380、390)。
キューイング部174は、パケットを出力キューリスト内のキュー(176や177)へ出力又はコピーした後、該当キューの長さを確認する(ステップ372)。そしてミラーリング要否判定のため、その長さをミラーリング開始閾値とミラーリング終了閾値と比較する(ステップ373)。ミラーリング開始閾値とミラーリング終了閾値は、例えば、キューイング部174の内部のメモリ又は外部のメモリに、予め記憶しておき、キューイング部174は、その値を参照するように構成することができる。なお、実施の形態1と同様に、ミラーリング開始閾値は、ミラーリング終了閾値よりも、大きな値を取ることが望ましい。
キュー長がミラーリング開始閾値より大きい場合は、キューイング部174は、キューイング状態管理表160の該当キューエントリのコピー動作フラグ162の値をONに変更する(ステップ375)。キュー長がミラーリング終了閾値より小さい場合は、キューイング部174は、逆に同フラグの値をOFFに変更する(ステップ374)。ステップ273でその他(キュー長がミラーリング開始閾値以下かつミラーリング終了閾値以上の場合)の場合は、キューイング部174は、キューイング状態管理表160を変更せずに、ステップ276に進む。
以上により、キュー長がミラーリング開始閾値より越えた後からキュー長がミラーリング終了閾値よりも低くなるまでの間、該当キューへ出力されるパケットがダミーキューにもコピーされるようになる。これにより、実施の形態1とは異なり、例えば、外部サーバを一切用いずに、パケット中継装置単体でキューから溢れそうになったパケットを採取することができる。
本実施の形態はソフトウェアによるパケット中継装置を例に記載しているが、ハードウェアによるパケット中継装置での同等な発明を否定するものではない。
また、本実施の形態は出力キュー管理部150が出力キューの溢れに着目しているが、同様な形で、入力キューやポリサのバッファの溢れにも対応することも可能である。具体的には、パケット中継装置内100内で入力キューやポリサのバッファの使用量を管理する部分が、本実施の形態で紹介した出力キュー管理部150のキュー長監視動作を行えばよい。
なお、実施の形態2や3や5や6や7に書いたような応用事例については、本実施の形態についても同様に実現可能である。
ここで、実施の形態2及び3においては、「1.パケット中継装置(1)」における図5のステップ240及び260等が、「2.パケット中継装置(2)」における図7のステップ340及び360等に、それぞれ対応するので、そのように説明を読み替えればよい。
また、実施の形態5〜7に「1.パケット中継装置(1)」における図5のステップ230〜270、図1のステップ273〜275等が、「2.パケット中継装置(2)」における図7のステップ330〜370、図8のステップ373〜375等に、それぞれ対応するので、そのように説明を読み替えればよい。また、「1.パケット中継装置(1)」における出力キュー管理部150、ミラーリング動作管理表140が、「2.パケット中継装置(2)」におけるキューイング部174、キューイング状態管理表160にそれぞれ対応させて説明を読み替えるようにしてもよい。
また実施の形態4のように、本実施の形態を外部サーバと連動させることにより、実現させることも可能である。
また、ステップ360でキューイング部174がダミーキューへパケットをコピーする際、実際に入出力されるパケットだけでなく、装置内での転送状況を示す情報(例えば、通ったキュー番号やキュー長や入出力ポート番号など)も付与することにより、外部のトラフィック解析装置でパケットの内容を解析するだけでは判断できない詳細な情報をパケットと一緒に採取することができる。これにより、キュー溢れの原因を更に突き止めやすくすることが可能となる。
101 CPU
102 メモリ
103 共有メモリ
104 ポート
107 キュー長監視サーバ
120 パケット中継処理部
130 経路表
140 ミラーリング動作管理表
150 出力キュー管理部
151 出力キューリスト
160 キューイング状態管理表
171 出力キューリスト
174 キューイング部
175 ダミーキュー
178 出力セレクタ
180 フィルタリングデータベース
Claims (11)
- パケットの転送処理を司るパケット転送処理部と、
複数のキューを有し、前記複数のキューのいずれかからキューを選択し、該キューにあるパケットをポートへ出力するための、ポート単位の出力キューリストと、
出力キューリストの制御を行う出力キュー管理部と、
宛先に対応する出力先ポートと出力先キュー番号を記憶した経路表と、
出力先ポートと出力先キュー番号に対応する、複製先ポートと複製動作有効フラグを記憶した複製動作管理表と
を備え、
前記パケット転送処理部は、受信パケットの宛先を前記経路表の宛先と照合し、マッチするエントリの出力先ポートと出力先キュー番号を、パケットの出力先ポートと出力先キュー番号として求め、
前記パケット転送処理部は、求められた出力先ポートと出力先キュー番号を前記複製動作管理表と照合し、
マッチするエントリの複製動作有効フラグが有効ならば、前記パケット転送処理部は、前記出力キュー管理部に該エントリの複製先ポートへの複製を指示し、前記指示を受けた前記出力キュー管理部は、出力先ポートに対応する前記出力キューリスト内のキュー番号のキューへパケットを出力し、且つ、複製先ポートに対応する前記出力キューリスト内のキュー番号のキューへパケットをコピーして出力し、
マッチするエントリの複製動作有効フラグが無効ならば、前記パケット転送処理部は、前記出力キュー管理部にパケットの出力を指示し、前記指示を受けた前記出力キュー管理部は、出力先ポートに対応する前記出力キューリスト内のキュー番号のキューへパケットを出力し、
前記出力キュー管理部は、パケットを出力したキューの長さを取得し、キュー長が予め定められた複製開始閾値より大きい場合は、前記複製動作管理表の該当キューエントリの複製動作フラグを有効に変更し、一方、前記キュー長が予め定められた複製終了閾値より小さい場合は、該フラグを無効に変更し、
前記出力キューリストは、前記複数のキューからキューを選択し、対応するポートへパケットを出力する
ようにしたパケット中継装置。
- パケットの転送処理を司るパケット転送処理部と、
複数のキューを有し、前記複数のキューのいずれかから適切なキューを選択し、該キューにあるパケットをポートへ出力するための、ポート単位の出力キューリストと、
宛先に対応する出力先ポートと出力先キュー番号を記憶した経路表と
を備え、
前記出力キューリストは、さらに、
出力先キュー番号に対応する複製動作有効フラグを記憶した複製動作管理表と、
パケット出力には用いないダミーキューと、
前記パケット転送処理部から受け取ったパケットを前記複数のキュー及びダミーキューの内のいずれかへ出力するための出力キュー管理部と
を有し、
前記パケット転送処理部は、受信パケットの宛先を前記経路表の宛先と照合し、マッチするエントリの出力先ポートからパケットの前記出力キューリストを決め、マッチするエントリの出力キュー番号のキューへパケットを出力するよう前記出力キューリストへ指示し、
前記指示を受けた前記出力キューリストの前記出力キュー管理部は、出力先キュー番号を、前記複製動作管理表と照合し、マッチするエントリの複製動作有効フラグが無効ならば前記出力キュー管理部は前記決められた出力先ポートの出力先キュー番号のキューへだけパケットを出力し、有効の場合は、出力先の前記キューに加えて、前記決められた出力先ポートの出力キューリスト内にある前記ダミーキューにもパケットを出力し、
前記出力キュー管理部は、パケットを出力したキューの長さを取得し、キュー長が予め定められた複製開始閾値より大きい場合は、前記複製動作管理表の該当キューエントリの複製動作有効フラグを有効に変更し、一方、前記キュー長が予め定められた複製終了閾値より小さい場合は、該フラグの値を無効に変更し、
前記出力キューリストは、前記複数のキューからキューを選択し、対応するポートへパケットを出力する
ようにしたパケット中継装置。
- 請求項1又は2に記載のパケット中継装置において、
パケットのヘッダの内容に対応して、許可又は拒絶のアクションを記憶したフィルタリングデータベースをさらに備え、
前記パケット転送処理部は、
複製動作有効フラグが有効で複製を行う前に、
パケットのヘッダの内容を、フィルタリングデータベースに記憶された条件と照合して、マッチしたエントリのアクションが許可の場合複製を行い、アクションが拒絶の場合又はマッチしたエントリが存在しない場合は複製を行わないことを特徴とするパケット中継装置。
- 請求項1又は2に記載のパケット中継装置において、
前記複製動作管理表が、各エントリに対してさらに、インターバルとスキップパケットの各情報を有し、
前記パケット転送処理部は、複製動作有効フラグが有効で複製を行う前に、前記複製動作管理表の該当するエントリのスキップパケットの値をインクリメントさせ、スキップパケットの値がインターバルの値以上になった場合は複製を行い、逆にスキップパケットの値がインターバルの値未満の場合は複製を行わず、
前記出力キュー管理部は、前記複製動作管理表の更新のとき、該当するキューのキュー長が終了閾値未満以外の場合に、複製動作有効フラグの更新に加えて、インターバルも更新することを特徴とするパケット中継装置。
- 請求項1又は2に記載のパケット中継装置において、
前記出力キューリストの各キューのキュー長を監視する機能と、複製を指示する機能とを有する外部サーバをさらに備え、
前記外部サーバは、複数の前記出力キューリスト内の各キューのキュー長を監視し、該キュー長に基づいてパケットを複製対象とするか否かを指示することを特徴とするパケット中継装置。
- 請求項1又は2に記載のパケット中継装置において、
前記出力キューリストの各キューのキュー長を監視する機能と、複製を指示する機能とを有する外部サーバをさらに備え、
前記外部サーバは、出力キュー管理部へ複数の前記出力キューリスト内の各出力キューのキュー長を定期的に問合せ、キュー長が予め定められた閾値に達したことを検知すると、パケット中継装置へ前記複製動作管理表の更新を命令することを特徴とするパケット中継装置。
- 請求項1又は2に記載のパケット中継装置において、
前記複製動作管理表は、各エントリにさらに、複製開始閾値及び/又は複製終了閾値、を含み
前記出力キュー管理部は、複製開始や終了を判定する際に、該当する複製開始閾値及び/又は複製終了閾値を用いることを特徴とするパケット中継装置。
- 請求項1又は2に記載のパケット中継装置において、
出力キューリスト内の出力セレクタがパケット出力のためにキューを選択するスケジューリングアルゴリズムの特性上、任意の2キュー間でどちらのキューからパケットが出やすいかを一意に定められる場合に、
前記出力キュー管理部は、ある出力キューの複製動作有効フラグを有効にして複製を開始した後で、スケジューリングアルゴリズムの特性上そのキューよりも出力されにくい他のキューについても、複製動作有効フラグも有効にして複製を開始することを特徴とするパケット中継装置。
- 請求項1又は2に記載のパケット中継装置において、
前記複製動作管理表は、各エントリに対して、最後に複製を開始又は終了した時刻を表すアップデート情報をさらに含み、
前記出力キュー管理部は、複製を開始するたびに、アップデート情報に複製開始時間を記憶し、
前記出力キュー管理部は、定期的に前記複製動作管理表のアップデート情報の内容をチェックし、一定時間複製開始状態になっていないエントリについて、複製開始閾値又は複製終了閾値を高く変更することを特徴とするパケット中継装置。
- 請求項2のパケット中継装置において、
前記出力キューリストは、前記ダミーキューへパケットのヘッダ部のみをコピーすることを特徴とするパケット中継装置。
- 請求項2のパケット中継装置において、
前記出力キューリストは、前記ダミーキューへパケットをコピーする際、パケットが通ったキュー番号、キュー長、入出力ポート番号のうちいずれかひとつ又は複数を含むパケットには記述されない装置内の転送に関連した情報も付与することを特徴とするパケット中継装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010002597A JP5283638B2 (ja) | 2010-01-08 | 2010-01-08 | パケット中継装置 |
US12/969,739 US8565246B2 (en) | 2010-01-08 | 2010-12-16 | Packet relay apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010002597A JP5283638B2 (ja) | 2010-01-08 | 2010-01-08 | パケット中継装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011142535A JP2011142535A (ja) | 2011-07-21 |
JP2011142535A5 JP2011142535A5 (ja) | 2012-04-26 |
JP5283638B2 true JP5283638B2 (ja) | 2013-09-04 |
Family
ID=44258468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010002597A Active JP5283638B2 (ja) | 2010-01-08 | 2010-01-08 | パケット中継装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8565246B2 (ja) |
JP (1) | JP5283638B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103155489B (zh) * | 2010-10-15 | 2016-02-17 | 日本电气株式会社 | 交换机系统以及监视集中控制方法 |
US9026168B2 (en) * | 2013-09-26 | 2015-05-05 | L-3 Communications Corp. | Transmitting portions of a data block in transmission bursts from a plurality of transmitters |
US10389655B2 (en) * | 2014-09-22 | 2019-08-20 | Dell Products L.P. | Event-based packet mirroring |
US10102174B2 (en) * | 2014-10-03 | 2018-10-16 | Verizon Patent And Licensing Inc. | Smart harness |
CN105516024B (zh) * | 2014-12-31 | 2019-05-07 | 哈尔滨安天科技股份有限公司 | 一种基于队列的任务流量监控方法及系统 |
JP6466279B2 (ja) | 2015-08-05 | 2019-02-06 | アラクサラネットワークス株式会社 | 通信装置 |
JP2019125914A (ja) * | 2018-01-16 | 2019-07-25 | アラクサラネットワークス株式会社 | 通信装置及びプログラム |
CN113328960B (zh) * | 2020-02-28 | 2023-11-17 | 华为技术有限公司 | 一种队列缓存管理方法、装置、存储介质及设备 |
US20220166718A1 (en) * | 2020-11-23 | 2022-05-26 | Pensando Systems Inc. | Systems and methods to prevent packet reordering when establishing a flow entry |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5404353A (en) * | 1991-06-28 | 1995-04-04 | Digital Equipment Corp. | Dynamic defer technique for traffic congestion control in a communication network bridge device |
US6061351A (en) * | 1997-02-14 | 2000-05-09 | Advanced Micro Devices, Inc. | Multicopy queue structure with searchable cache area |
JP3413788B2 (ja) * | 1997-09-25 | 2003-06-09 | 日本電信電話株式会社 | 層間のフロー制御を行う通信プロトコルを持つ通信方法およびデータ通信端末 |
US6577636B1 (en) * | 1999-05-21 | 2003-06-10 | Advanced Micro Devices, Inc. | Decision making engine receiving and storing a portion of a data frame in order to perform a frame forwarding decision |
US6738371B1 (en) * | 1999-09-28 | 2004-05-18 | Ericsson Inc. | Ingress data queue management in a packet data router |
US20010055274A1 (en) * | 2000-02-22 | 2001-12-27 | Doug Hegge | System and method for flow mirroring in a network switch |
US6731613B1 (en) * | 2000-06-14 | 2004-05-04 | Motorola, Inc. | Power management using a bandwidth control mechanism |
US6958978B1 (en) * | 2001-06-25 | 2005-10-25 | Nortel Networks Limited | Differentiated services in packet-switched networks |
EP1454460A1 (en) * | 2001-11-13 | 2004-09-08 | Transwitch Corporation | Overcoming access latency inefficiency in memories for packet switched networks |
US7382788B2 (en) * | 2002-12-24 | 2008-06-03 | Applied Micro Circuit Corporation | Method and apparatus for implementing a data frame processing model |
US7366101B1 (en) * | 2003-06-30 | 2008-04-29 | Packeteer, Inc. | Network traffic synchronization mechanism |
JP2005277804A (ja) * | 2004-03-25 | 2005-10-06 | Hitachi Ltd | 情報中継装置 |
US7738385B2 (en) * | 2004-11-30 | 2010-06-15 | Broadcom Corporation | Mirroring of data in a network device |
US9544216B2 (en) * | 2005-02-04 | 2017-01-10 | Hewlett Packard Enterprise Development Lp | Mesh mirroring with path tags |
US7990980B2 (en) * | 2007-12-27 | 2011-08-02 | International Business Machines Corporation | Modeling non-deterministic priority queues for efficient model checking |
JP4988632B2 (ja) * | 2008-03-19 | 2012-08-01 | アラクサラネットワークス株式会社 | パケット中継装置およびトラフィックモニタシステム |
-
2010
- 2010-01-08 JP JP2010002597A patent/JP5283638B2/ja active Active
- 2010-12-16 US US12/969,739 patent/US8565246B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011142535A (ja) | 2011-07-21 |
US8565246B2 (en) | 2013-10-22 |
US20110170552A1 (en) | 2011-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5283638B2 (ja) | パケット中継装置 | |
US11005769B2 (en) | Congestion avoidance in a network device | |
US7660252B1 (en) | System and method for regulating data traffic in a network device | |
EP3120253B1 (en) | Flow aware buffer management for data center switches | |
TWI543568B (zh) | 用於分封交換網路的系統及其方法、在分封交換網路中用於接收資料包的交換機中的方法 | |
WO2017039606A1 (en) | Control channel usage monitoring in a software-defined network | |
EP2456142A1 (en) | Methods and apparatus for detecting and limiting focused server overload in a network | |
US20200162401A1 (en) | Generating automatic bandwidth adjustment policies per label-switched path | |
WO2013133400A1 (ja) | 制御装置、通信システム、スイッチ制御方法及びプログラム | |
CN108667898B (zh) | 网元和用于提供网元中的缓冲器内容的快照的方法 | |
JP2013034164A (ja) | 中継装置、中継方法 | |
JP5100479B2 (ja) | パケット転送装置 | |
CN108476175B (zh) | 使用对偶变量的传送sdn流量工程方法与系统 | |
US20140192647A1 (en) | Network apparatus, performance control method, and network system | |
US20180167337A1 (en) | Application of network flow rule action based on packet counter | |
WO2021083160A1 (zh) | 数据传输的方法和装置 | |
Islam et al. | Coupled congestion control for RTP media | |
Gallardo et al. | Performance modeling of virtual switching systems | |
KR20140051802A (ko) | 패킷 포워딩 룰 설정 방법 및 이를 이용한 제어 장치 | |
JP2017034574A (ja) | 通信装置 | |
CN110192378B (zh) | 控制非最佳路径的使用的装置和方法 | |
JP2010193334A (ja) | フロー制御方法とシステムおよびプログラム | |
JP4238150B2 (ja) | 通信網におけるレート制御方法およびレート制御システム | |
Lhamo et al. | RED-SP-CoDel: Random early detection with static priority scheduling and controlled delay AQM in programmable data planes | |
US9088530B2 (en) | Maximizing bottleneck link utilization under constraint of minimizing queuing delay for targeted delay-sensitive traffic |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120308 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120308 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130528 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5283638 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |