JP2008141777A - Tcp接続における制限因子の自動検出 - Google Patents

Tcp接続における制限因子の自動検出 Download PDF

Info

Publication number
JP2008141777A
JP2008141777A JP2007329005A JP2007329005A JP2008141777A JP 2008141777 A JP2008141777 A JP 2008141777A JP 2007329005 A JP2007329005 A JP 2007329005A JP 2007329005 A JP2007329005 A JP 2007329005A JP 2008141777 A JP2008141777 A JP 2008141777A
Authority
JP
Japan
Prior art keywords
tcp
packets
predetermined
threshold
performance problem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007329005A
Other languages
English (en)
Other versions
JP4578515B2 (ja
Inventor
Gaurav Banga
ゴーラブ・バンガ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NetApp Inc
Original Assignee
Network Appliance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Network Appliance Inc filed Critical Network Appliance Inc
Publication of JP2008141777A publication Critical patent/JP2008141777A/ja
Application granted granted Critical
Publication of JP4578515B2 publication Critical patent/JP4578515B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/163In-band adaptation of TCP data exchange; In-band control procedures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823Errors, e.g. transmission errors
    • H04L43/0829Packet loss
    • H04L43/0841Round trip packet loss
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852Delays
    • H04L43/0864Round trip delays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/10Active monitoring, e.g. heartbeat, ping or trace-route
    • H04L43/106Active monitoring, e.g. heartbeat, ping or trace-route using time related information in packets, e.g. by adding timestamps

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Maintenance And Management Of Digital Transmission (AREA)
  • Computer And Data Communications (AREA)

Abstract

【課題】TCP関連の問題を検出し、および診断するための方法およびシステムを提供する。
【解決手段】本方法は、TCP送信装置からネットワーク経路を介して送信されてTCP受信装置において受信されたTCPパケットの時間及び順序に従って、再送タイムアウトが何回発生したかを検出することと、上記再送タイムアウトの発生回数が予め決められたしきい値を超過したとき、上記ネットワーク経路によって第1の性能問題が生じたことを表示することとを含む。
【選択図】図1

Description

本発明は、伝送制御プロトコル(TCP)パフォーマンス問題状況の診断に関する。
TCPは、最も広く用いられているトランスポートプロトコルの1つである。TCPは、インターネットおよび多くのイントラネットの双方で用いられ、NFS(ネットワークファイルシステム)データのみならず、HTTP(ハイパーテキスト転送プロトコル)およびCIFTS(共通インターネットファイルシステム)トラフィックにも用いられている。TCPは、様々なネットワーク上で、また、様々な速度で、信頼性のあるコネクション型通信を実現する強力なプロトコルであるが、以下の理由により、データ転送の測定レートが予想を下回る場合がある。(1)データパケット受信装置、もしくはデータパケット送信装置、もしくはその両方が、不十分に構成され、またはオーバーロードに陥っている、(2)ネットワークもしくはその一部が、十分な帯域幅を有していない(例えば、フリンジ上でギガビットレートで実行するネットワークでは、データ送信装置とデータ受信装置との間の経路のどこかにメガビットリンクを含むことがある)、(3)(輻輳もしくは他の理由で)複数のデータパケットの損失が起こり、粗い粒度(細分性)での再送タイムアウトが要求される、もしくは、(4)他の関連する原因。
ほとんどのTCPの実装は、問題を容易にデバッグするようには設計されていないため、TCP関連問題の診断には、様々な技術が設計されおよび実装されて来た。第1の技術は、バークリーパケットフィルター(Berkeley Packet Filters)等の何らかのタイプのパケットキャプチャメカニズムと、キャプチャした低レベルのパケットトレースに対する手動のエキスパート分析とを用いて、異常なプロトコルの振舞いを隔離し、それをネットワーク経路内における構成上の障害がある要素もしくは過負荷の要素まで追跡することを含む。この技術により特定の通信の分析は可能となるが、どちらかと言えば、不便であり、高価な上にエラーが生じがちである。この技術の変形は、LBL研究者により開発された、ティーシーパナリー(tcpanaly)と呼ばれるツール内に実装されている。ティーシーパナリー(Tcpanaly)は、パケットフィルタトレースを用いるTCPの動作のパケットトレースを点検することにより、自動的にTCPの実装の振舞いを分析する。トレースが、TCPの仕様に矛盾することが判明すると、ティーシーパナリー(tcpanaly)は、どの特定の動作が異常なのか、(可能ならば)診断し、もしくは指摘することになる。他のパケット駆動システムと同様に、ティーシーパナリー(tcpanaly)は、ネットワークの一般的な動的振舞いに注目するのではなく、輻輳制御を実行し、様々な形式のパケットの損失を扱う間、コーナー状態を処理するよう、むしろパケットフィルタの測定誤差、およびTCPアルゴリズムの他の低レベルの詳細を検出することに注目している。
特開平11−27308号公報。 特表平9−509927号公報。 W.リチャード・スティーヴンス,詳解TCP/IP Vol.1 [新装版] プロトコル,株式会社ピアソン・エデュケーション,2000年12月20日。
市販のパケットスニファシステムなどの他の技術は、ユニックス(UNIX)(登録商標)のネットスタット(netstat)コマンドにより報告される種類の、集約されたTCP統計情報を分析するロジックを含んでいる;あいにく、他の同様のこうした技術は、概して、システムがそれまでに体験した総接続の広域分析に制限される。このように、これらは2つのシステム間の特定の接続の特定の障害を検出したり、もしくは診断したりするのに役立つ手段ではない。
従って、TCP関連の問題を検出し、および診断するための方法およびシステムを提供することが望まれている。この方法は、自動診断ロジックを含む機器システムが、ネットワークと接続可能で、TCPのための自動診断技術を実装可能な、本発明の実施例で達成される。
本発明は、TCPプロトコルの動的動作での、パフォーマンスの障害を検出し、および分析するための方法およびシステムを提供する。好ましい実施例では、本発明は自動診断ロジックを含み、このような自動診断ロジックは、TCP受信装置、TCP送信装置、もしくは双方に接続される何らかの機器の形態の自動診断モジュールにおけるさまざまなオペレーティングシステム(データオンタップ(Data ONTAP)など)のいずれにおいても実装可能である。
本発明の第1の態様では、TCPイベントがサンプルされ、これらのイベントにおいて注意深く維持された統計値の組が維持される。サンプリングの粒度およびサンプルされる期間は、特定のシステムの必要条件を満たすよう調整されてもよい。これらの統計値は、送信装置側または受信装置側のいずれか、もしくはその両方における障害を診断する際に用いることが出来る。
受信装置側のTCP診断技術は、(1)送信装置の再送タイムアウトを検出すること、(2)受信されるパケットの平均サイズを評価すること、(3)受信装置が、計算もしくはプロトコルのボトルネックとして作用しないと決定すること、および(4)着信したデータストリームについての他の統計学的評価を実行することを含んでいる。
送信装置側の診断技術は、(1)過度の伝送タイムアウトにフラグを立てること、(2)伝送されるパケットの平均サイズをモニターすること、(3)広告ウィンドウが、受信装置システムと送信装置システムを接続するネットワークの遅延帯域積に対して十分に大きいか否かを評価すること、(4)様々なボトルネックチェックを実行すること、および、(5)送出されるデータストリームについての他の統計学的評価を行うことを含んでいる。
本発明の第2の態様では、クライアントシステムの既知の属性を含むデータベースを用いて、自動診断の結果が集約される。属性の例には、IPサブネット番号、OSタイプ/バージョン、最新の構成変更日付、遅延距離、ルート情報、バーチャルLAN情報、自動診断情報の履歴の概要、および、自動診断情報の集約に役立ち得る他の属性が含まれる。共通問題領域および共通属性を伴うクライアントシステムは、システム管理者への提示のために一緒にグループ化される。
好ましい実施例では、TCP自動診断ロジックは、オンラインもしくはオフラインで実行可能である。この自動診断ロジックは、どんな合理的実装に対しても、比較的非破壊的であるが、この特徴により、例えば、演算リソースへの総需要が比較的小さい場合には、非臨界時にシステム分析が実行可能となる。
以下の説明では、好ましい処理ステップとデータ構造を伴う、本発明の好ましい実施例が説明されている。しかし、当業者は、この出願の熟読後に、本発明の実施例が、プログラム制御下で作動する1台以上の汎用プロセッサ(もしくは、特定の処理ステップとデータ構造に順応した専用プロセッサ)を用いて実行可能であり、さらに、こうした設備を用いる、本願明細書内で説明される好ましい処理ステップおよびデータ構造の実現が、過度の実験、あるいはさらなる発明を要しないことを認識するだろう。
システム要素
図1は、TCP接続内の制限因子自動検出システムのブロック図を示している。
システム100は、通信ネットワーク130と接続される、複数のTCP受信装置110およびTCP送信装置120を含んでいる。TCP送信装置110もしくはTCP受信装置120のうちの少なくとも1つは、オペレーティングシステム140と自動診断モジュール150とを含んでいる。
TCP受信装置110およびTCP送信装置120は、クライアントワークステーション、もしくはサーバ、もしくは一般化されたチューリングパラダイム内に包含される他の情報機器などの、汎用コンピュータを含んでいてもよい。これらの装置は、TCP受信装置110もしくはTCP送信装置120として分類されるが、この区別は一方の装置と他方の装置との関係に基づくものである。特定のデータパケット用のTCP受信装置110として特徴付けられた装置が、他のデータパケット用のTCP送信装置120として特徴付けられることもある。
通信ネットワーク130は、データ通信のために、TCP受信装置110とTCP送信装置120の間に配置される。好ましい実施例では、通信ネットワーク130は、インターネットなどのパケット交換ネットワークを含むとともに、追加または代替として、イントラネット、企業ネットワーク、エクストラネット、仮想専用線ネットワークまたは仮想交換ネットワークを含んでいる。代替的実施例では、通信ネットワーク130は、TCP受信装置110およびTCP送信装置120を接続する、他のいかなる通信リンクの組をも含んでいてもよい。
自動診断モジュール150は、オペレーティングシステム140(好ましくはデータオンタップ(Data ONTAP))と結合され得るソフトウェアインストラクションのセット155を含んでいる。他の実施例では、自動診断モジュール150は、TCP受信装置110またはTCP送信装置120のいずれか一方、もしくはその両方と接続可能な、別個の機器の形を取ってもよい。これらのソフトウェアインストラクション155は、TCP受信装置110およびTCP送信装置の双方上の、問題となる状態を診断するロジック技術を含んでいる。これらのロジック技術に加えて、ソフトウェアインストラクション155は、さらに以下を含んでいる。(1)(以下に説明される)様々な決定手順を実行するインストラクション。(2)特定の問題となる状態を改善するインストラクション、および(3)システム管理者に提示するための情報を集約するインストラクション。
TCP受信装置110側で実行可能なソフトウェアインストラクション155は、以下を含む:
TCP送信装置120再送タイムアウトを検出し、および評価するインストラクション
インストラクションセット155は、TCP送信装置120で起こる再送タイムアウトを評価する。インストラクションセット155は、TCP再アセンブリ待ち行列に挿入される各受信パケットに、タグ付けをするインストラクションを含んでいる。インストラクションが、(1)データパケットが各TCP受信装置110上に到達する時間、および(2)データパケットが到達するシーケンス番号、の双方を評価するので、「バースト」トラフィックにおける沈黙期間と、再送タイムアウトとを区別することが可能である。特定のパケット間到着ギャップ(通常500ms)を伴う、順序が前後した多数のパケットの存在は、TCP送信装置で再送タイムアウトが起こったことを示している。
平均パケットサイズ
インストラクションセット155は、TCP送信装置120が十分大きなフレームを用いているか否かを判定するため、着信したデータパケットのサイズを測定し、着信パケットの到達時間を測定するインストラクションを含んでいる。インストラクションセット155は、連続した複数のパケット(back-to-back packets)のバーストの一部であるそれらの着信パケットのサイズを決定することにより、小さなTCPパケットを用いて必須のものとして伝送される制御情報等の情報や、またはメタデータに対して混乱をもたらすことを回避する。この決定は、バーストの一部でない着信パケットには実行されない。平均パケットサイズが不適当に小さいような場合(これは、アプリケーションが不十分に書かれていたり、もしくは、ネットワークに構成上の障害があるような場合に起こる)では、インストラクションセット155が、修復ステップに提供されてもよい。
ボトルネックチェック
インストラクションセット155は、TCP受信装置110が、データ転送でボトルネックを生成するか否か判定する、インストラクションの3つの関連するサブセットを含んでいる。第1のインストラクションサブセットは、TCP受信装置110に接続したバッファ内の、利用可能な空きスペース量をモニターすることを伴う。第2のインストラクションサブセットは、プロトコル処理に利用される受信装置CPUの量をモニターすること、および、TCP処理で費やされるCPUサイクルの量と、アイドルタイムとして残された量とを比較することを伴う。第3のインストラクションサブセットは、受信装置アプリケーションが、TCPソケット受信装置バッファから読み出すレートをモニターすることを伴う。(1)所定量にわたる空きスペースの収縮を実質的に伴うことなく、パケットがおおよそ一定レートで連続的に到達する場合、(2)TCP受信装置110が、プロトコル処理実行のためにCPUサイクルを消費し尽くしているのではない場合、あるいは(3)受信装置アプリケーションがバッファから読み出すレートが、所定の閾値を下回らない場合、TCP受信装置110は、計算もしくはプロトコルのボトルネックとして作用している可能性は低い。
TCP送信装置120側で実行可能なソフトウェアインストラクション155は、以下を含む:
過度の再送タイムアウトにフラグを立てること
インストラクションセット155は、(1)いつ粗い粒度の再送タイマが満了してパケットが再送されるかを判定するインストラクション、(2)任意のTCP接続における再送タイムアウトの数が、特定の所定閾値を超えるか否かを判定するインストラクション、および、(3)この閾値が超過された場合にシステムマネージャに通知するインストラクションを含んでいる。
平均パケットサイズ
インストラクションセット155は、TCP送信装置120により送られる伝送データパケットの平均サイズをモニターするインストラクションを含んでいる。TCP受信装置110上で実行されるパケットサイズのモニタリングと同様に、平均パケットサイズの分析を、連続したパケット列に含まれているパケットに制限することにより、制御情報を運ぶ小さなパケットのようなデータを歪める多くの要因を排除する。
受信装置ウィンドウモニタリング
TCP送信装置120上のインストラクションセット155は、TCP受信装置110によって広告されるウィンドウをモニターする。特定のインストラクションは、広告ウィンドウが送信装置および受信装置間の経路の遅延帯域積に対して十分に大きいか否かを、TCP送信装置120にチェックさせる。また、インストラクションセット155は、経時的なTCP受信装置の広告ウィンドウの変化のモニタリングを制御する。広告ウィンドウが比較的一定のまま変化しない場合、TCP受信装置110がボトルネックとして作用している可能性は低い。
ボトルネックチェック
TCP受信装置110と同様に、インストラクションセット155は、TCP送信装置120が、計算的もしくはプロトコルのボトルネックでないことを保証するよう、様々なインストラクションサブセットを含んでいる。第1のインストラクションサブセットは、TCP送信装置120に接続されるバッファサイズと、TCP送信装置120およびTCP受信装置110間のネットワーク経路の完全な帯域幅とを比較することを伴っている。バッファサイズが適切で、後述のような他の指示情報が存在しない場合は、TCP送信装置がボトルネックとして作用している可能性は低い。第2のインストラクションサブセットは、送信バッファ装置にキューイングされた未送信のデータをモニターすることを伴っている。TCP送信装置120が何も送ることが出来ない期間がある場合、TCP送信装置120は、ボトルネックとして作用している可能性がある。最後に、第3インストラクションサブセットは、TCP送信装置120が、TCP受信装置110のデータ消費ペースを維持するよう、プロトコル処理を十分速く実行可能か否かをモニターする。プロトコル処理がTCP受信装置110に対して低速度で実行される場合、TCP送信装置はボトルネックとして作用している可能性がある。
様々な決定手順を実行するインストラクションは、周期的なICMP(インターネット制御メッセージプロトコル)pingを用いてラウンドリップ時間を測定し、TCPのフィンガープリンティング(TCP fingerprinting)を使用し、帯域幅、MTUサイズ、およびRTO推定に関する様々な仮定をおくことにより、オフライン遅延計算値を測定することを含んでいる。これらの様々な決定手順は、上述された他のタイプのインストラクションの実行に用いられてもよい。
また、ソフトウェアインストラクション155に加えて、自動診断モジュールは、データベース157を含んでいる。データベース157は、IPサブネット番号、OSタイプ/バージョン、最新の構成変更日付、遅延距離、ルート情報、バーチャルLAN情報、自動診断情報の履歴の概要、および、診断情報を集約してシステム管理者にそれを提示する場合に役に立ち得るような他の属性など、既知のクライアントシステムの様々な属性を記述する、一連のフィールド158を含んでいる。この一連のフィールド158内に含まれる各フィールドには、適切な重み付けが割り当てられる。この加重された値は、自動診断結果を集約する時に用いられる。
図2Aおよび図2Bは、TCP受信装置での制限因子自動検出方法の、処理フローチャートを示している。
方法200の自動診断は、自動診断モジュール150がTCP受信装置110側と接続されている、システム100の実施例によって実行される。自動診断方法200は逐次的な一連のステップとして説明されているが、方法200のステップは、複数の構成要素によって共にもしくは並列に、非同期式でも、パイプライン方式でも、もしくは他の方式でも実行可能である。方法200は、特に断りのない限り、本明細書及び図面にステップを列挙した順序と同じ順序で実行されなければならないという特別な要件はない。
フローポイント205では、システム100は、TCP受信装置110で自動診断を始める準備ができている。
ステップ210で、1組のイベント統計が定義される。1組のイベント統計の定義は、どんなイベントがモニターされ、そのイベントをモニターするためにどのような時間粒度が用いられるかを決定する。好ましい実施例では、自動診断を特定のシステムに合わせて調節するように特定イベントと特定粒度を識別することが可能である。
ステップ215では、TCP再アセンブリ待ち行列に挿入される着信パケットは、パケットがTCP受信装置110に到達した時間、および、パケットが到着した順序に関してタグ付けされる。
ステップ220では、タグは、順序が前後して受信されたパケットを識別するために評価される。あるパケットが本来の順序とは異なる順序で到達したと識別され、パケット間到達時間が閾値を超えている場合、TCP送信装置120の再送タイムアウトを示すイベントのフラグが立てられる。過度の数のこうした再送タイムアウトは、送信装置と受信装置との間のネットワーク経路の何らかの問題による、パフォーマンス上の問題を示すもの考えられ、システム管理者に報告されてもよい。可能なら、修復手順が管理者に提示されてもよく、もしくは実行されてもよい。
ステップ225では、特定のタイムフレーム内に到達する特定セットのパケットは、(1)セット内のどのパケットも、小さなパケットの使用を必要とする制御情報、メタデータ、もしくは他のタイプのデータを含まず、かつ、(2)セット内のすべてのパケットがデータパケットの同一バーストの一部であるものとして、識別される。「バースト」は、TCP送信装置により連続して伝送されるパケットにてなるセットと定義される。
ステップ230では、ステップ225で識別されたパケットのセット内に含まれたパケットの平均サイズが計算される。セット内のパケットの所定数が不適当に小さい場合は、TCPアプリケーションが不十分に書かれていること、もしくは、ネットワークに構成上の障害があることを示すフラグが設定される。修復手順が、システム管理者に提示されてもよく、もしくは実行されてもよい。
ステップ235では、TCP受信装置110に接続したバッファ内の空きスペース量が、所定期間モニターされ、同じ期間の間にパケットが受信されるレートと比較される。パケットが比較的一定レートに到達する時間の間に、空きスペース量が所定の閾値未満になる場合、フラグが設定される。これは、受信装置がデータ転送においてボトルネックである状況を示していると考えられるだろう。可能なら、修復手順が、システム管理者に提示されてもよく、もしくは実行されてもよい。
ステップ240では、受信装置TCP110の処理に利用されるCPUサイクル数は、アイドルタイムとして残される量と比較される。CPUサイクル数が、所定の閾値を超える場合、フラグが設定される。この状況は、受信装置システムがデータ転送においてボトルネックとなっていることを示していると考えられる。可能なら、修復手順が自動的に実行されてもよい。
ステップ245では、受信装置アプリケーションがTCPソケット受信装置バッファから読み出すレートが、モニターされる。レートが所定の閾値未満になる場合、フラグが設定される。フラグが設定される場合、可能なら、修復手順が自動的に実行されてもよい。
ステップ250では、適切なタイプおよび適切な量のデータをシステム管理者に提示出来るように、モニターされてきたイベントに対して診断後集約が実行される。この診断後集約は、以下のうちの一部もしくはすべてを識別することを含む:(1)集約のために適切なクライアントシステムのグループ、(2)特に関連する1つ以上の属性タイプ(IPサブネット番号、OSタイプ/バージョン、最新の構成変更および他の要因など)の組、(3)これらのクライアントシステム内で起こった一連の問題。どのクライアントシステムが集約のために適切であるかを決定した後、共通の問題を共有するシステムが特定される。これは、データベース157に格納されている様々な属性に与えられた特性および重み付けを参照することにより行われる。
ステップ255では、最終レポートが、(1)診断後集約と、(2)集約されなかった個々の問題の記述とに基づいて生成される。
ステップ260では、最終レポートは、システム管理者に伝送される。
ステップ265では、方法200のパフォーマンスに関連した、診断結果、修復手順、システム管理者へのメッセージ、および他の情報の記録が、データベース157に格納される。
図3Aおよび図3Bは、TCP送信装置での制限因子自動検出方法の処理フロー図を示している。
自動診断のための方法300は、自動診断モジュール150がTCP送信装置120側に接続されている、システム100の実施例により実行される。自動診断方法300は連続した一連のステップとして説明されているが、方法300のステップは、複数の構成要素のよって共に、もしくは並列に、非同期式でも、パイプライン方式でも、もしくは他の方式でも実行可能である。方法300は、特に断りのない限り、本明細書及び図面にステップを列挙した順序と同じ順序で実行されなければならないという特別な要件はない。
フローポイント305では、システム100は、TCP送信装置120で自動診断を始める準備ができている。
ステップ310では、粗な粒度の再送タイマがモニターされ、いつタイマが満了してパケットが再送されるかを判定する。再送タイムアウトの数が所定の閾値を超える場合、フラグが設定される。この状況は、送信装置と受信装置との間のネットワーク経路内に、何らかの問題があることを示していると考えられる。可能なら、修復手順が実行されてもよい。
ステップ315では、特定のタイムフレーム内に送られる特定セットのパケットは、(1)セット内のどのパケットも、小さなパケットの使用を必要とする制御情報、メタデータ、もしくは他のタイプのデータを含まず、かつ、(2)セット内のすべてのパケットがデータパケットの同一バーストの一部であるものとして、識別される。
ステップ320では、ステップ315で識別されたパケットのセット内に含まれたパケットの、平均サイズが計算される。セット内のパケットの所定数が不適当に小さい場合は、TCPアプリケーションが不十分に書かれていること、もしくは、ネットワークに構成上の障害があることを示すフラグが設定される。可能なら、修復手順が実行されてもよい。
ステップ325では、TCP受信装置110により広告されるウィンドウのサイズがモニターされる。
ステップ330では、遅延帯域積が計算される。
ステップ335では、広告ウィンドウのサイズと遅延帯域積とが比較される。ウィンドウのサイズが遅延帯域積に対して十分に大きくない場合、このことは、TCP受信装置110がボトルネックとして作用しているのを示している可能性がある。これらの条件の下でフラグが設定され、可能なら、修復ステップが実行されてもよい。
ステップ340では、TCP受信装置110上の広告ウィンドウサイズの変化が、TCP送信装置120のパフォーマンスと比較される。サイズ変化が所定のパターンに適合する場合、TCP送信装置120は、ボトルネックとして作用していると考え得る。これらの条件の下ではフラグが設定され、可能ならば、修復ステップが実行されてもよい。
ステップ345では、TCP送信装置120のバッファのサイズが、TCP送信装置120とTCP受信装置110との間のネットワーク経路の帯域幅と比較される。送信バッファサイズがネットワーク経路の帯域幅に対して不十分なものである場合は、TCP送信装置120はボトルネックとなっている可能性がある。これらの条件の下ではフラグが設定され、可能ならば、修復ステップが実行されてもよい。
ステップ350では、各TCP送信装置120上の送信バッファにキューイングされた未送信のデータの量がモニターされる。TCP送信装置120が接続経路上に何も送信出来ない回数が、特定の閾値を超える場合、TCP送信装置120はボトルネックとなっている可能性がある。これらの条件の下ではフラグが設定され、可能ならば、修復ステップが実行されてもよい。
ステップ355では、モニターされて来たイベントに対して診断後集約が実行される。このステップは、方法200のステップ250と同様である。この診断後集約は、(1)集約のために適切なクライアントシステムのグループ、(2)特に関連する1つ以上の属性タイプ(IPサブネット番号、OSタイプ/バージョン、最新の構成変化、他の要因など)の組、あるいは、(3)これらのクライアントシステム内で発生した問題の組、を識別することを含んでいる。どのクライアントシステムが集約のために適切かを決定した後、共通の問題を共有するシステムは、データベース157に格納された様々な属性の重みづけを調べることにより特定される。
ステップ360では、最終レポートが、(1)診断後集約と、(2)集約されなかった個々の問題の記述とに基づいて生成される。
ステップ365では、最終レポートがシステム管理者に伝送される。
ステップ370では、方法300のパフォーマンスに関連する診断結果、修復手順、システム管理者へのメッセージ、および他の情報の記録が、データベース157に格納される。
代替実施例
好ましい実施例が、本願明細書に開示されているが、本発明の概念、範囲、および精神の範囲内で、多くの変形が可能であり、これらの変形は、この出願を熟読することにより、当業者にとり明白なものとなろう。
TCP接続内の、パフォーマンス制限因子自動検出システムのブロック図を示す。 TCP受信装置内のパフォーマンス制限因子自動検出方法の処理フロー図の一部を示す。 TCP受信装置内のパフォーマンス制限因子自動検出方法の処理フロー図の残部を示す。 TCP送信装置内のパフォーマンス制限因子自動検出方法の処理フロー図の一部を示す。 TCP送信装置内のパフォーマンス制限因子自動検出方法の処理フロー図の残部を示す。
符号の説明
100 システム、110 TCP受信装置、 120TCP送信装置、130 通信ネットワーク、140 オペレーティングシステム、150 自動診断モジュール、155 ソフトウエアインストラクション、157 データベース、158 フィールド。

Claims (11)

  1. TCP送信装置からネットワーク経路を介して送信されてTCP受信装置において受信されたTCPパケットの時間及び順序に従って、再送タイムアウトが何回発生したかを検出することと、
    上記再送タイムアウトの発生回数が予め決められたしきい値を超過したとき、上記ネットワーク経路によって第1の性能問題が生じたことを表示することとを含む方法。
  2. 上記受信された複数のTCPパケットから、連続した複数のパケットのバーストを識別することと、
    予め決められた第2のしきい値未満のサイズをそれぞれ有する上記連続した複数のパケットのバーストに係る第2の数を決定することと、
    上記第2の数が予め決められた第3のしきい値を超過したとき、第2の性能問題を表示することとを含む請求項1記載の方法。
  3. 上記複数のTCPパケットが定常レートで受信される所定の時間期間にわたって、上記TCP受信装置に接続されたバッファにおける空きスペースの量をモニタリングすることと、
    上記空きスペースの量が予め決められた第2のしきい値未満になったとき、上記TCP受信装置によって第2の性能問題が生じたことを表示することとを含む請求項1記載の方法。
  4. 上記TCPパケットを処理するために使用される上記TCP受信装置のプロセッササイクルの百分率を決定することと、
    上記百分率が予め決められた第2のしきい値を超過したとき、上記TCP受信装置によって第2の性能問題が生じたことを表示することとを含む請求項1記載の方法。
  5. 上記再送タイムアウトが何回発生したかを検出することは、
    上記各TCPパケットに、タイムスタンプ及びシーケンス番号をタグ付けすることと、
    上記タイムスタンプ及び上記シーケンス番号に従って、上記各TCPパケットが連続した順序で到来したか否かを決定することとを含む請求項1記載の方法。
  6. 予め決められたサイズ未満のサイズをそれぞれ有するパケットの使用を要求する制御情報、メタデータ又は他のタイプのデータをいずれも含まないようなTCPパケットのセットを、TCP送信装置から送信されるTCPパケットのバーストから識別することと、
    上記TCPパケットのセットの平均サイズを計算することと、
    予め決められた値だけ上記平均サイズよりも小さなサイズをそれぞれ有する上記TCPパケットのセットの数を決定することと、
    上記数が予め決められたしきい値を超過したとき、第1の性能問題を表示することとを含む方法。
  7. 広告ウィンドウのサイズの変動が予め決められたパターンに適合するか否かを決定することと、
    上記広告ウィンドウのサイズが遅延帯域積に対して十分に大きくないとき、第2の性能問題を表示することとを含む請求項6記載の方法。
  8. 上記広告ウィンドウのサイズの変動が予め決められたパターンに適合するか否かを決定することと、
    上記変動が上記予め決められたパターンに適合するとき、第3の性能問題を表示することとを含む請求項7記載の方法。
  9. プロセッサと、
    上記プロセッサに接続されたメモリとを備えた処理システムであって、上記メモリは、上記プロセッサによって実行されたときに上記処理システムに以下の処理を実行させる命令を格納し、上記処理は、
    TCP送信装置からネットワーク経路を介して送信されてTCP受信装置において受信されたTCPパケットの時間及び順序に従って、再送タイムアウトが何回発生したかを検出することと、
    上記再送タイムアウトの発生回数が予め決められたしきい値を超過したとき、上記ネットワーク経路によって第1の性能問題が生じたことを表示することとを含む処理システム。
  10. 上記処理はさらに、
    上記受信された複数のTCPパケットから、連続した複数のパケットのバーストを識別することと、
    予め決められたしきい値未満のサイズをそれぞれ有する上記連続した複数のパケットのバーストに係る第2の数を決定することと、
    上記第2の数が予め決められた第3のしきい値を超過したとき、第2の性能問題を表示することとを含む請求項9記載の処理システム。
  11. 上記処理はさらに、
    上記複数のTCPパケットが定常レートで受信される所定の時間期間にわたって、上記TCP受信装置に接続されたバッファにおける空きスペースの量をモニタリングすることと、
    上記空きスペースの量が予め決められた第2のしきい値未満になったとき、上記TCP受信装置によって第2の性能問題が生じたことを表示することとを含む請求項9記載の処理システム。
JP2007329005A 2000-12-22 2007-12-20 Tcp接続における制限因子の自動検出 Expired - Fee Related JP4578515B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US09/748,070 US6772375B1 (en) 2000-12-22 2000-12-22 Auto-detection of limiting factors in a TCP connection

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002582531A Division JP2004528648A (ja) 2000-12-22 2001-12-19 Tcp接続における制限因子の自動検出

Publications (2)

Publication Number Publication Date
JP2008141777A true JP2008141777A (ja) 2008-06-19
JP4578515B2 JP4578515B2 (ja) 2010-11-10

Family

ID=25007862

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2002582531A Pending JP2004528648A (ja) 2000-12-22 2001-12-19 Tcp接続における制限因子の自動検出
JP2007329005A Expired - Fee Related JP4578515B2 (ja) 2000-12-22 2007-12-20 Tcp接続における制限因子の自動検出

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2002582531A Pending JP2004528648A (ja) 2000-12-22 2001-12-19 Tcp接続における制限因子の自動検出

Country Status (4)

Country Link
US (1) US6772375B1 (ja)
EP (1) EP1350352B1 (ja)
JP (2) JP2004528648A (ja)
WO (1) WO2002084920A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8929212B2 (en) 2008-12-25 2015-01-06 Nec Corporation Communication quality monitoring device, communication system, communication quality monitoring method and program thereof
JP2020170331A (ja) * 2019-04-03 2020-10-15 富士ゼロックス株式会社 情報処理装置及びプログラム

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6883120B1 (en) 1999-12-03 2005-04-19 Network Appliance, Inc. Computer assisted automatic error detection and diagnosis of file servers
US7266613B1 (en) * 2000-08-09 2007-09-04 Microsoft Corporation Fast dynamic measurement of bandwidth in a TCP network environment
US7185082B1 (en) * 2000-08-09 2007-02-27 Microsoft Corporation Fast dynamic measurement of connection bandwidth using at least a pair of non-compressible packets having measurable characteristics
US6792449B2 (en) 2001-06-28 2004-09-14 Microsoft Corporation Startup methods and apparatuses for use in streaming content
US7299280B2 (en) * 2001-10-17 2007-11-20 The Regents Of University Of California Method and apparatus for TCP with faster recovery
US7725557B2 (en) * 2002-06-24 2010-05-25 Microsoft Corporation Client-side caching of streaming media content
US7420929B1 (en) 2002-07-02 2008-09-02 Juniper Networks, Inc. Adaptive network flow analysis
US7313100B1 (en) 2002-08-26 2007-12-25 Juniper Networks, Inc. Network device having accounting service card
US7251215B1 (en) 2002-08-26 2007-07-31 Juniper Networks, Inc. Adaptive network router
US7254114B1 (en) 2002-08-26 2007-08-07 Juniper Networks, Inc. Network router having integrated flow accounting and packet interception
US20040066747A1 (en) * 2002-10-02 2004-04-08 Ben Jorgensen Methods and structure for automated troubleshooting of a virtual private network connection
US20040103193A1 (en) * 2002-11-08 2004-05-27 Pandya Suketu J. Response time and resource consumption management in a distributed network environment
US7650421B2 (en) * 2002-12-30 2010-01-19 Microsoft Corporation Adaptable accelerated content streaming
US8204051B2 (en) * 2003-03-19 2012-06-19 Samsung Electronics Co., Ltd. Apparatus and method for queuing delay-sensitive packets for transmission on heterogenous links
US20040268400A1 (en) * 2003-06-26 2004-12-30 Microsoft Corporation Quick starting video content
GB2403378B (en) 2003-06-27 2007-05-30 Ipwireless Inc Method and arrangement for TCP flow control
US7054774B2 (en) 2003-06-27 2006-05-30 Microsoft Corporation Midstream determination of varying bandwidth availability
US20050038697A1 (en) * 2003-06-30 2005-02-17 Aaron Jeffrey A. Automatically facilitated marketing and provision of electronic services
US7237266B2 (en) * 2003-06-30 2007-06-26 At&T Intellectual Property, Inc. Electronic vulnerability and reliability assessment
US7391717B2 (en) * 2003-06-30 2008-06-24 Microsoft Corporation Streaming of variable bit rate multimedia content
US7409593B2 (en) * 2003-06-30 2008-08-05 At&T Delaware Intellectual Property, Inc. Automated diagnosis for computer networks
US7353218B2 (en) * 2003-08-14 2008-04-01 International Business Machines Corporation Methods and apparatus for clustering evolving data streams through online and offline components
US9032095B1 (en) 2004-01-06 2015-05-12 Juniper Networks, Inc. Routing device having multiple logical routers
US7818444B2 (en) 2004-04-30 2010-10-19 Move Networks, Inc. Apparatus, system, and method for multi-bitrate content streaming
US7162533B2 (en) * 2004-04-30 2007-01-09 Microsoft Corporation Session description message extensions
CN101185085B (zh) * 2005-04-15 2011-11-16 Nxp股份有限公司 Rfid应答器
US20060294228A1 (en) * 2005-05-16 2006-12-28 Cinnober Financial Technology Ab Systems and methods for preventing server overload
US7633944B1 (en) 2006-05-12 2009-12-15 Juniper Networks, Inc. Managing timeouts for dynamic flow capture and monitoring of packet flows
US7809827B1 (en) 2006-05-12 2010-10-05 Juniper Networks, Inc. Network device having service card for lawful intercept and monitoring of packet flows
US8009609B2 (en) * 2006-06-09 2011-08-30 Alcatel Lucent Maintaining quality of service for wireless communications
US10387919B1 (en) * 2006-06-30 2019-08-20 Google Llc Accelerated content delivery in bandwidth-constrained networks
US7856574B2 (en) * 2007-09-27 2010-12-21 Microsoft Corporation Internet connectivity evaluation
FI121836B (fi) 2008-01-29 2011-04-29 Tellabs Oy Menetelmä ja järjestely tiedonsiirtoviiveiden erojen ilmaisemiseksi
US8943191B2 (en) * 2008-04-02 2015-01-27 International Business Machines Corporation Detection of an unresponsive application in a high availability system
KR101045956B1 (ko) 2009-03-26 2011-07-04 한국과학기술정보연구원 데이터 전송성능 진단 시스템 및 방법과, 그 방법을 실행하기 위한 프로그램이 기록된 기록매체
US8509080B2 (en) * 2009-06-29 2013-08-13 The Chinese University Of Hong Kong Network traffic accelerator
US8369345B1 (en) 2009-11-13 2013-02-05 Juniper Networks, Inc. Multi-router system having shared network interfaces
US8307030B1 (en) 2010-04-20 2012-11-06 Juniper Networks, Inc. Large-scale timer management
US9870296B1 (en) * 2011-06-17 2018-01-16 Mark A. Parenti Evaluating system performance
CN104753980B (zh) * 2013-12-26 2018-04-27 腾讯科技(深圳)有限公司 数据传输方法及相关装置和通信系统
US10291682B1 (en) * 2016-09-22 2019-05-14 Juniper Networks, Inc. Efficient transmission control protocol (TCP) reassembly for HTTP/2 streams
CN114826750B (zh) * 2022-04-29 2024-02-06 阿里巴巴(中国)有限公司 一种网络异常检测方法、服务器、服务器集群及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092052A (ja) * 1998-09-08 2000-03-31 Fujitsu Ltd ネットワークサーバ負荷検出装置、割当装置および方法
JP2000156706A (ja) * 1998-11-19 2000-06-06 Nippon Telegr & Teleph Corp <Ntt> データ送受信方法並びにデータ送信プログラムを記憶した媒体及びデータ受信プログラムを記憶した媒体

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3893024A (en) 1973-11-15 1975-07-01 Itt Method and apparatus for fault testing multiple stage networks
US5049873A (en) 1988-01-29 1991-09-17 Network Equipment Technologies, Inc. Communications network state and topology monitor
JP2547069B2 (ja) 1988-04-20 1996-10-23 富士通株式会社 故障診断方式
US4937763A (en) 1988-09-06 1990-06-26 E I International, Inc. Method of system state analysis
US5067099A (en) 1988-11-03 1991-11-19 Allied-Signal Inc. Methods and apparatus for monitoring system performance
EP0503784B1 (en) 1991-03-12 1998-06-10 Hewlett-Packard Company Hypothesis and conclusion method to diagnose data communication network
SE470031B (sv) 1991-06-20 1993-10-25 Icl Systems Ab System och metod för övervakning och förändring av driften av ett datorsystem
US5680541A (en) * 1991-12-16 1997-10-21 Fuji Xerox Co., Ltd. Diagnosing method and apparatus
US5715396A (en) 1992-10-13 1998-02-03 Bay Networks, Inc. Method for providing for automatic topology discovery in an ATM network or the like
US5506955A (en) * 1992-10-23 1996-04-09 International Business Machines Corporation System and method for monitoring and optimizing performance in a data processing system
WO1995027236A1 (de) * 1994-03-31 1995-10-12 Siemens Aktiengesellschaft Verfahren zur automatischen diagnose von störungsfällen
US6625166B2 (en) * 1996-11-15 2003-09-23 Canon Kabushiki Kaisha Communication system for communicating a plurality of time-division multiplexed data, and control method therefor
US6163853A (en) 1997-05-13 2000-12-19 Micron Electronics, Inc. Method for communicating a software-generated pulse waveform between two servers in a network
US6105064A (en) * 1997-05-30 2000-08-15 Novell, Inc. System for placing packets on network for transmission from sending endnode to receiving endnode at times which are determined by window size and metering interval
JP3343054B2 (ja) 1997-07-01 2002-11-11 ケイディーディーアイ株式会社 インターネット対応リンクモニタ方法
AU8490898A (en) * 1997-07-18 1999-02-10 Interprophet Corporation Tcp/ip network accelerator system and method
USH1860H (en) 1997-09-26 2000-09-05 Dsc/Celcore, Inc. Fault testing in a telecommunications switching platform
US6473425B1 (en) * 1997-10-02 2002-10-29 Sun Microsystems, Inc. Mechanism for dispatching packets via a telecommunications network
US6295557B1 (en) * 1998-06-30 2001-09-25 Cisco Technology, Inc. Apparatus for simulating internet traffic
US6415312B1 (en) * 1999-01-29 2002-07-02 International Business Machines Corporation Reliable multicast for small groups
US6363429B1 (en) * 1999-04-20 2002-03-26 3Com Corporation Method and system for automatic determination of priority data streams on computer networks
SG87029A1 (en) * 1999-05-08 2002-03-19 Kent Ridge Digital Labs Dynamically delayed acknowledgement transmission system
US6330560B1 (en) * 1999-09-10 2001-12-11 International Business Machines Corporation Multiple manager to multiple server IP locking mechanism in a directory-enabled network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092052A (ja) * 1998-09-08 2000-03-31 Fujitsu Ltd ネットワークサーバ負荷検出装置、割当装置および方法
JP2000156706A (ja) * 1998-11-19 2000-06-06 Nippon Telegr & Teleph Corp <Ntt> データ送受信方法並びにデータ送信プログラムを記憶した媒体及びデータ受信プログラムを記憶した媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8929212B2 (en) 2008-12-25 2015-01-06 Nec Corporation Communication quality monitoring device, communication system, communication quality monitoring method and program thereof
JP2020170331A (ja) * 2019-04-03 2020-10-15 富士ゼロックス株式会社 情報処理装置及びプログラム

Also Published As

Publication number Publication date
EP1350352B1 (en) 2011-11-02
JP4578515B2 (ja) 2010-11-10
EP1350352A2 (en) 2003-10-08
EP1350352A4 (en) 2006-01-11
WO2002084920A3 (en) 2003-05-08
US6772375B1 (en) 2004-08-03
WO2002084920A2 (en) 2002-10-24
JP2004528648A (ja) 2004-09-16

Similar Documents

Publication Publication Date Title
JP4578515B2 (ja) Tcp接続における制限因子の自動検出
JP2004528648A5 (ja)
Ghasemi et al. Dapper: Data plane performance diagnosis of tcp
CN100356733C (zh) 记录介质、故障分析设备以及故障分析方法
US20230261960A1 (en) Link fault isolation using latencies
Tierney et al. The NetLogger methodology for high performance distributed systems performance analysis
US7440419B2 (en) Methods for detecting nagling on a TCP network connection
US6216163B1 (en) Method and apparatus providing for automatically restarting a client-server connection in a distributed network
US7065482B2 (en) Internet traffic analysis tool
CA2535198C (en) Methods and apparatus for identifying chronic performance problems on data networks
US20120278477A1 (en) Methods, systems, and computer program products for network server performance anomaly detection
US20080186876A1 (en) Method for classifying applications and detecting network abnormality by statistical information of packets and apparatus therefor
US6297823B1 (en) Method and apparatus providing insertion of inlays in an application user interface
US7006448B1 (en) System and method for measuring network round trip time by monitoring fast-response operations
WO2001020918A2 (en) Server and network performance monitoring
Carlson Developing the Web100 based network diagnostic tool (NDT)
US7385930B2 (en) Packet discard point probing method and device
JP2002164890A (ja) ネットワークの診断装置
JP3961415B2 (ja) プロトコル不具合自動検出方法、及び、プロトコル不具合自動検出装置
US20050198314A1 (en) Method and apparatus for characterizing a network connection
Tlaiss et al. Automated slow-start detection for anomaly root cause analysis and BBR identification
Borzemski et al. An Empirical Study of Web Quality: Measuring the Web from Wroclaw University of Technology Campus.
JP5537692B1 (ja) 品質劣化原因推定装置、品質劣化原因推定方法、品質劣化原因推定プログラム
CN114826750B (zh) 一种网络异常检测方法、服务器、服务器集群及存储介质
CN110022249B (zh) 基于反向波测技术的复杂网络环境网络延时监测方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080403

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080715

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080731

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100727

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100824

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees