JP2006295576A - フロークラス推定方法およびその装置 - Google Patents
フロークラス推定方法およびその装置 Download PDFInfo
- Publication number
- JP2006295576A JP2006295576A JP2005114116A JP2005114116A JP2006295576A JP 2006295576 A JP2006295576 A JP 2006295576A JP 2005114116 A JP2005114116 A JP 2005114116A JP 2005114116 A JP2005114116 A JP 2005114116A JP 2006295576 A JP2006295576 A JP 2006295576A
- Authority
- JP
- Japan
- Prior art keywords
- flow
- class
- attribute
- management table
- estimation method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
【解決手段】フロー統計管理部111は、当該リンク(あるいは複数リンク)を通過するフローの計測を実施するか、あるいは、別途設置されたフロー計測器からフロー統計を取得し、取得したフロー統計データをフロー管理テーブル112に登録する。また、フロー学習部113は、フロー管理テーブル112に登録された情報を元に、フローが持つ属性とそのフローが属するクラスとの確率的な関係を算出し、学習データ114に記録する。フロークラス推定部115は、前記学習データを元に、新たに到来したフローの属性からそのフローが属するクラスをナイーブベイズ分類器を用いることにより、確率的に推定する。
【選択図】図2
Description
このように、フローの特性(例えば、正常フロー・異常フロー等)に応じてフローのクラス分けを行い、クラスに応じた制御を行うことにより、効果的なネットワーク管理が可能となる。
さらに、クラスの決定は、送信元において静的に行われるため、例えば異常トラヒックのように突発的に発生するフローに対して動的にクラス分けをすることができない、という問題があった。
また、クラスの決定は、送信元において静的に行われるため、異常トラヒックのように突発的に発生するフローに対して動的にクラス分けをすることができない。
本発明の目的は、このような従来の課題を解決し、予め定めたクラスに対して、新たに到来したフローがどのクラスに属するかを動的に、かつ高精度に推定することができ、過去に存在しないような属性の組み合わせを持つフローに対してもクラスを推定することが可能なフロークラス推定方法およびその装置を提供することにある。
また、前記フロー属性は、例えば当該フローを構成するパケットのヘッダに記載の発着IPアドレス、発着AS番号、発着プレフィックス、発着ポート番号、プロトコル種別、TTL(Time−to−live)、TCPフラグ、TCPウィンドウサイズ、ウィンドウスケールオプションの有無、および、その他の値やそれらの値の統計値などのフローについて計測し得るデータのあらゆる組み合わせによって定めることができ、さらに、これらの統計値をハッシュ関数などの手段により集約した形によっても記録することが可能である。ハッシュ関数を用いることにより、管理するデータ数を低減することができる。
フロー管理テーブルを参照し、クラスiが生起した回数ni、およびクラスiに分類されたフローが属性ajkを有する回数nijkを計数し、
これらの値ni,nijkを用いてクラスCiが生起した条件の下で属性Ajが属性値ajkを有する確率をP(Aj=ajk|Ci)=nijk/niのように算出し、学習データに記録する。
なお、実施例では、簡単のために、1)フロー統計をフロークラス推定装置自身が取得し、2)フローは、同一の発着IPアドレス、発着ポート番号、プロトコル種別を有するパケットの場合として定義し、3)フロークラスはフローサイズの大小によって定める2クラスである場合を例に説明するが、本発明の適用範囲はこの実施例に限定されるものではない。
図1に示すように、フロークラス推定装置11は、ネットワークの主要なリンク12を構成するルータ10等のノードに併設する形態で利用される。
フロークラス推定装置11は、ルータ10上を経由するトラヒックを、以下のような方法のいずれかにより計測することができる。
1)リンク12上を光カプラやタップ等のデバイスを用いることにより、リンク12上を流れる全てのパケットをフロークラス推定装置11に向けて分岐される。
2)ルータ10におけるポートミラーリング機能などを用い、ルータ10を経由する全てのパケットをフロークラス推定装置11にコピーする。
フロークラス推定装置11にパケットが到着すると、まずフロー統計管理部111に入力する。フローを管理するために必要な処理を行った後、フロー管理テーブル112に必要事項を書き込む。フロー学習部113は、書き込まれたフロー管理テーブル112の内容を読み込んで、これを解析し、学習データ114に一旦書き込んだ後、フロークラス推定部115に転送して、フロークラスを推定させる。
本実施例では、フロークラス推定装置11への入力は、上記1)あるいは2)等の手段により取得したパケットのヘッダ情報であるが、他の例として、Cisco社が提供しているNetFlow等の別途リンク上に設置されたフロー計測装置が出力するデータであっても構わない。
図3では、簡単のためにフロー属性として発着IPアドレス、発着ポート番号、プロトコル種別を用い、フロー統計値として累積送信バイト数のみを用いた例を示している。それ以外に、最初に到着した時刻、最後に到着した時刻も記録される。
図4の上図のデータベースでは、クラスCiに属するフロー数、およびクラスCiかつ属性Ajが値ajkを持つフローの数を記録する。
また、図4の下図のデータベースでは、上図のデータおよびLaplaceの補正を用いてクラスCiであるフローが属性Aを持つ確率を算出している。
この例では、簡単のために、属性を2つ(A1,A2)とし、それぞれが取り得る値を図中に示したように(a11,a12,・・・a24)、4個ずつに限定した例を示している。例えば、図から、クラスC1に属するフローの総数はn1=37であり、クラスC2かつその属性A2の値が,A2=a23となったフローの数はn223=4である。
図2に示した通り、フロークラス推定装置11にパケットが到着すると(ステップ101)、フロー統計管理部111において、ヘッダに記載された値を読み込み、フロー毎に統計値をフロー管理テーブル112に記録し、更新する。図5では、統計値の例として、最初にパケットが到着した時刻、最後にパケットが到着した時刻、累積バイト数を示している。フロー統計管理部111は、フロー管理テーブル112に登録されていない新たなフローが到来する毎に新たに登録し、既にフロー管理テーブル112に登録されているフローが到来したならば、その統計値を更新する。
フロー学習部113は、さらに学習データに記録されたデータを元に、確率P(Ci)およびP(Aj=ajk|Ci)を算出する。
その例を、図4の下図に示している。
そして、本発明のフロークラス推定装置11は、コンピュータの制御により処理を実施する。
11:フロークラス推定装置
12:リンク
111:フロー統計管理部
112:フロー管理テーブル
113:フロー学習部
114:学習データ
115:フロークラス推定部
Claims (9)
- コンピュータの制御により、通信網における1ないし複数のリンクを経由するフローのクラスを確率的に推定する装置であって、
当該1ないし複数のリンクを通過するフローをそれぞれ計測して、計測値を読み出すことで取得するか、あるいは、別途設置されたフロー計測器からフロー統計値を読み出すことで取得し、取得したフロー統計データをフロー管理テーブルに登録するフロー統計管理部と、
前記フロー管理テーブルに登録された情報を元に、フローが持つ属性と該フローが属するクラスとの確率的な関係を演算回路により算出し、算出結果を学習データに記録するフロー学習部と、
前記学習データを元に新たに到来したフローの属性から、ナイーブベイズ分類器を用いて該分類器の分類結果を読み取ることにより、該フローが属するクラスを確率的に推定するフロークラス推定部と
を有することを特徴とするフロークラス推定装置。 - コンピュータの制御により、通信網における1ないし複数のリンクを経由するフローのクラスを確率的に推定する方法であって、
フロー統計管理部は、当該1ないし複数のリンクを通過するフローをそれぞれ計測して、計測値を読み出すことで取得するか、あるいは、別途設置されたフロー計測器からフロー統計値を読み出すことで取得し、取得したフロー統計データをフロー管理テーブルに書き込むことにより登録し、
フロー学習部は、前記フロー管理テーブルに登録された情報を読み出し、該情報に基づいてフローが持つ属性と該フローが属するクラスとの確率的な関係を演算回路により算出し、算出結果を学習データに記録し、
フロー推定部は、前記学習データを元に新たに到来したフローの属性から、ナイーブベイズ分類器を用いて該分類器の分類結果を読み取ることにより、該フローが属するクラスを確率的に推定する
ことを特徴とするフロークラス推定方法。 - 請求項2に記載のフロークラス推定方法において、
前記フロー統計管理部は、フロー管理テーブルを管理するために、1)当該リンクを通過するパケットのヘッダ部を参照し、計数することにより得られた情報をフロー管理テーブルに保持することにより実施するか、あるいは、2)当該リンクに対して別途設置された他のフロー計測装置を用いて、前記別途設置されたフロー計測装置が出力する統計値を取得し、前記フロー管理テーブルに登録することにより実施する
ことを特徴とするフロークラス推定方法。 - 請求項2に記載のフロークラス推定方法において、
前記フロー管理テーブルは、予め定めた計測期間において、少なくともフローを構成するパケットが最初に到着した時刻、最後に到着した時刻、累積送信パケット数、累積送信バイト数、発着インタフェース、フロー属性から成り、
前記フロー属性は、例えば当該フローを構成するパケットのヘッダに記載の発着IPアドレス、発着AS番号、発着プリフィックス、発着ポート番号、プロトコル種別、TTL、TCPフラグ、TCPウィンドウサイズ、ウィンドウスケールオプションの有無、および、その他の値やそれらの統計値を含むものから、フローについて計測し得るデータの任意の組み合わせにより定め、さらに該統計値をハッシュ関数などの方法により集約した形によっても記録する
ことを特徴とするフロークラス推定方法。 - 請求項2に記載のフロークラス推定方法において、
前記フロー学習部は、予め定めた期間において、フロー管理テーブルに記載のフローサイズ等のフロー統計値を参照し、予め定めた閾値を用いるか、あるいは、統計値の平均値、標準偏差などの値を用いるか、あるいは、その他の任意の統計的手法によって、各フローを複数個のクラスに分類する
ことを特徴とするフロークラス推定方法。 - 請求項2に記載のフロークラス推定方法において、
前記フロー学習部は、フローが分類されるクラスCi、各フローが持つ属性A={A1,A2,A3,・・,Am}(m個の属性)、各属性Ajの取り得る値をAj=ajk(k=1,2,・・)とし、
フロー管理テーブルを参照して、クラスiが生起した回数ni、およびクラスiに分類されたフローが属性ajkを持つ回数nijkを計数し、
前記の値ni,nijkを用いて、クラスCiが生起した条件の下で属性Ajが属性値ajkを有する確率をP(Aj=ajk|Ci)=nijk/niのように算出し、
学習データに記録する
ことを特徴とするフロークラス推定方法。 - 請求項6に記載のフロークラス推定方法において、
前記フロー学習部における確率P(Aj=ajk|Ci)の算出は、クラスCiと属性Ajがフロー管理テーブル内において同時に存在しない場合を考慮して、該フロー管理テーブルに存在するフローの数n、および、その逆数f=1/n、属性jが取り得る値の数をnjとし、Laplaceの補正によって、
P(Aj=ajk|Ci)=(nijk+f)/(ni+f×nj)
のように算出するか、あるいは、
補正の方法は前記Laplaceの補正に限らない
ことを特徴とするフロークラス推定方法。 - 請求項2,5または6のいずれかに記載のフロークラス推定方法において、
前記フロークラス推定部は、リンクの計測、あるいは別途設置されたフロー計測機器からの出力に基づき、新たに到来したフロー毎にその属性Aを取得し、
請求項5または6に記載した学習データに記録された確率P(Aj=ajk|Ci)、および、クラスCiが生起する確率P(Ci)=ni/nを用いて、判別関数f(Ci)=P(Ci)×ΠjP(Aj=ajk|Ci)(Πjは全てのjについて以降に続く項を乗算する演算を示す)を全てのクラスCiに対して算出し、
そのうち前記判別関数の最大値を与えるCiを当該フローのクラスとして、ナイーブベイズ分類器により推定する
ことを特徴とするフロークラス推定方法。 - 請求項8に記載のフロークラス推定方法において、
前記フロークラス推定部は、全てのフローが到来する毎に実施するか、あるいは、サンプリングやフィルタリングなどの手法により、推定を実施するフローを限定する
ことを特徴とするフロークラス推定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005114116A JP4420850B2 (ja) | 2005-04-12 | 2005-04-12 | フロークラス推定方法と装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005114116A JP4420850B2 (ja) | 2005-04-12 | 2005-04-12 | フロークラス推定方法と装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006295576A true JP2006295576A (ja) | 2006-10-26 |
JP4420850B2 JP4420850B2 (ja) | 2010-02-24 |
Family
ID=37415658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005114116A Expired - Fee Related JP4420850B2 (ja) | 2005-04-12 | 2005-04-12 | フロークラス推定方法と装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4420850B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011048622A (ja) * | 2009-08-27 | 2011-03-10 | Nippon Telegr & Teleph Corp <Ntt> | 高速二値分類システムと方法およびプログラム |
US11392879B2 (en) | 2016-12-16 | 2022-07-19 | Kabushiki Kaisha Toshiba | Operation estimating method and operation estimating system |
-
2005
- 2005-04-12 JP JP2005114116A patent/JP4420850B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011048622A (ja) * | 2009-08-27 | 2011-03-10 | Nippon Telegr & Teleph Corp <Ntt> | 高速二値分類システムと方法およびプログラム |
US11392879B2 (en) | 2016-12-16 | 2022-07-19 | Kabushiki Kaisha Toshiba | Operation estimating method and operation estimating system |
Also Published As
Publication number | Publication date |
---|---|
JP4420850B2 (ja) | 2010-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210360004A1 (en) | Detection of malware and malicious applications | |
CN108028778B (zh) | 生成信息传输性能警告的方法、系统和装置 | |
US8229705B1 (en) | Performance monitoring in computer networks | |
US20070064611A1 (en) | Method for monitoring packet loss ratio | |
US10924374B2 (en) | Telemetry event aggregation | |
JP4924503B2 (ja) | 輻輳検出方法、輻輳検出装置及び輻輳検出プログラム | |
WO2012147909A1 (ja) | ネットワーク装置、通信システム、異常トラヒックの検出方法およびプログラム | |
CN109479015B (zh) | 网络设备及其延迟监测方法 | |
US20210336960A1 (en) | A System and a Method for Monitoring Traffic Flows in a Communications Network | |
JP2016144039A (ja) | 評価装置、評価方法、及びプログラム | |
JP4420850B2 (ja) | フロークラス推定方法と装置およびプログラム | |
US8614965B2 (en) | Packet loss frequency measuring system, packet loss frequency measuring method, and program | |
US20200220794A1 (en) | Method and system for monitoing communication in a network | |
JP4266379B2 (ja) | トラヒック情報集約システムおよび方法 | |
US11025519B2 (en) | Systems, methods and computer-readable media for external non-intrusive packet delay measurement | |
CN115348273A (zh) | 一种业务报文处理方法、装置及存储介质 | |
JP4938042B2 (ja) | フロー情報送信装置、中間装置、フロー情報送信方法およびプログラム | |
US11265237B2 (en) | System and method for detecting dropped aggregated traffic metadata packets | |
JP4814270B2 (ja) | トラヒック変動量推定方法およびその装置とプログラム | |
CN113812119B (zh) | 用于性能测量的网络节点 | |
Ho et al. | Performance improvement of delay-based TCPs in asymmetric networks | |
JP2009296158A (ja) | 通信データ統計装置および通信データ統計方法 | |
JP2012039324A (ja) | フロー通信品質推定方法及び装置及びプログラム | |
JP2009267892A (ja) | 巨大フロー特定方法とシステムおよびプログラムとフロー制御システム | |
JP6632556B2 (ja) | リンク品質計測装置およびそのフローエントリ決定サーバ装置ならびにスイッチ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070808 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090612 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090630 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090828 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091201 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091201 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121211 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121211 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131211 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |