JP2016167799A - ネットワークモニタリング方法及び装置、並びにパケットフィルタリング方法及び装置 - Google Patents

ネットワークモニタリング方法及び装置、並びにパケットフィルタリング方法及び装置 Download PDF

Info

Publication number
JP2016167799A
JP2016167799A JP2016003966A JP2016003966A JP2016167799A JP 2016167799 A JP2016167799 A JP 2016167799A JP 2016003966 A JP2016003966 A JP 2016003966A JP 2016003966 A JP2016003966 A JP 2016003966A JP 2016167799 A JP2016167799 A JP 2016167799A
Authority
JP
Japan
Prior art keywords
packet
metadata
filter
flow information
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016003966A
Other languages
English (en)
Inventor
パン アロン
Arong Pan
パン アロン
ジャン リアン
Liang Zhang
ジャン リアン
パン シグアン
Shiguang Pan
パン シグアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fluke Corp
Original Assignee
Fluke Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fluke Corp filed Critical Fluke Corp
Publication of JP2016167799A publication Critical patent/JP2016167799A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227Filtering policies
    • H04L63/0254Stateful filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/02Capturing of monitoring data
    • H04L43/026Capturing of monitoring data using flow identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/02Capturing of monitoring data
    • H04L43/028Capturing of monitoring data by filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227Filtering policies
    • H04L63/0245Filtering by information in the payload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【課題】高速度通信でネットワーク上のパケットをキャプチャし、同時にそのパケットの関連情報を獲得できる方法を提供する。【解決手段】本願発明は、ネットワークモニタリング方法と装置を開示する。ネットワークモニタリング方法は、ネットワーク上で送信されるパケットを受信するが、そのパケットがパケット送信のためのネットワークフローを示すフロー情報を有することと、パケットのフロー情報を獲得することと、メタデータベースがパケットに対応するフロー情報を含むかを検知するが、メタデータベースがメタデータ及びメタデータに関連するフロー情報を保存するために使用されることと、フロー情報についての検知結果に従い、パケット送信に関連するメタデータを生成し、メタデータを対応するフロー情報に関連付けることと、生成されたメタデータ及びその生成されたメタデータに関連するフロー情報をメタデータベースに保存することを含む。【選択図】 図3

Description

本願発明は、通信技術分野、特には、ネットワークモニタリング方法と装置、及びパケットフィルタリング方法と装置に関する。
クラウドコンピューティング、高解像度画像通信、データベース等の新しい情報技術の応用が、通信技術の発展を大きく促進させた。例えば、10 Gbpsイーサネット技術などの高速ネットワーク通信技術が、それゆえ、幅広く応用されている。しかしながら、通信速度が大きく改善されるにつれて、高速通信ネットワークをモニタすることや管理することはより困難になる。
特開2003-67207号
ネットワークから十分な情報を得るには、ネットワークモニタリング中に、ネットワーク障害箇所識別、侵入検知、トラフィック統計、ネットワークセキュリティー及び信頼性の保障などの目的を達成するために、ネットワーク上で送信されるパケットをキャプチャし、キャプチャしたパケットを分析する必要がある。しかしながら、高速度通信ではパケットが喪失し、そしてパケットロスがデータ分析精度に影響を与えるため、既存のネットワークモニタリング及び分析装置は、10 Gbps等の高速度通信で、効率よくパケットキャプチャをサポートすることができない。更に、多くのアプリケーションシナリオでは、その後の分析及び比較処理を容易にするために、ネットワーク上で送信されたパケットを保存する必要がある。パケット保存を必要とすることが、ネットワークモニタリング及び分析装置の処理負荷を増大させている。
本願発明の目的は、高速度通信でネットワーク上のパケットをキャプチャでき、同時に該パケットの関連情報を獲得できる方法を提供することである。
本願発明のひとつの側面は、ネットワークモニタリング方法を開示する。該モニタリング方法は、ネットワーク上で送信されるパケットを受信するが、該パケットがパケット送信のためのネットワークフローを示すフロー情報を有することと、前記パケットの前記フロー情報を獲得することと、メタデータベースが前記パケットに対応する前記フロー情報を含むかを検知するが、前記メタデータベースがメタデータ及び該メタデータに関連するフロー情報を保存するために使用されることと、前記フロー情報についての検知結果に従い、パケット送信に関連するメタデータを生成し、該メタデータを対応するフロー情報に関連付けることと、前記生成されたメタデータ及び該生成されたメタデータに関連するフロー情報を前記メタデータベースに保存することを含む。
いくつかの実施形態では、前記フロー情報についての検知結果に従い、パケット送信に関するメタデータを生成する工程は、メタデータベースが該パケットに対応するフロー情報を含まないと検知される場合、該メタデータを生成するために該パケットの送信に関するデータを該パケットから抽出することと、メタデータベースが該パケットに対応するフロー情報を含むと検知される場合、該フロー情報に関連するメタデータを該メタデータベースから複製することと、そして該パケットのメタデータとして複製されたメタデータを使用することを含む。
いくつかの実施形態では、メタデータを生成するためにパケット送信に関するデータを該パケットから抽出する工程が、該パケットのメタデータを獲得するために、該パケットの少なくともヘッダの一部を複製及び/又は処理することを含む。
いくつかの実施形態では、パケットの少なくともヘッダの一部を処理することは、1つ又は複数の所定の変換機能を使用して、該パケットのヘッダに含まれる少なくともいくつかのデータを変換することを含む。
いくつかの実施形態では、該メタデータを対応するフロー情報に関連づけすることは、該フロー情報を該生成されたメタデータに追加することを含む。
いくつかの実施形態では、受信したパケットは、ネットワーク上で送信された複数のパケットの一つであり、該ネットワークモニタリング方法は、複数のパケットを受信することと、複数のパケットに対応するメタデータに応じて、該複数パケットのためのネットワーク統計情報を生成すること含む。
いくつかの実施形態では、前記ネットワーク統計情報は、送信元アドレスと宛先アドレス、送信元ポートと宛先ポート、送信元ドメイン識別子、宛先ドメイン識別子、サービスタイプ識別子、パケットフローダイレクション、プロトコル識別子、VLAN識別子、パケットカウント、及び/又はパケットサイズを含む。
いくつかの実施形態では、ネットワークモニタリング方法は、更に、該パケットをパケットライブラリへ保存するが、該パケットは該生成されたメタデータと共に前記メタデータベースにアロケートされることを含む。
いくつかの実施形態では、生成されたメタデータと該生成されたメタデータに関連づけられたフロー情報をメタデータベースの中に保存する工程は、パケットの生成されたメタデータと該生成されたメタデータに関連づけられたフロー情報をバッファメモリの中へバッファリングすることと、バッファリングされたメタデータと該パケットの関連づけられたフロー情報、並びにバッファリングされたメタデータと他パケットの関連づけられたフロー情報を、バッファメモリからメタデータベースに非同期に転送することを含む。
いくつかの実施形態では、受信したパケットは、ネットワーク上で送信されたパケット群内の一つのパケットであり、前記ネットワークモニタリング方法は、該パケット群を受信することと、該パケット群内の各パケットがメタデータベースに、対応するメタデータと共にアロケートされる場合、各パケットが対応するメタデータと共にアロケートされていることを示すブロックタグを該パケット群に追加することを含んでいる。
いくつかの実施形態では、ネットワークモニタリング方法は、更に、各パケットが対応するメタデータと共にアロケートされていることを示すブロックタグを有するパケット群をフィルタリングするために、メタデータフィルタを使用することを含む。
いくつかの実施形態では、前記メタデータは、対となる送信元アドレスと宛先アドレス、対となる送信元ポートと宛先ポート、送信側サブネットワーク識別子、宛先側サブネットワーク識別子、パケットフローダイレクション、サービスタイプ識別子、プロトコル識別子、アプリケーション識別子、及び/又はVLAN識別子を含む。
いくつかの実施形態では、前記フロー情報は、対となる送信元アドレスと宛先アドレスを含む。
いくつかの実施形態では、前記フロー情報は更に、対となる送信元ポートと宛先ポートを含む。
本願発明の別の側面は更に、ネットワーク上で送信される少なくとも一つのパケット群をフィルタリングする方法を開示する。該方法は、メタデータフィルタ及びパケットフィルタを提供するが、該パケットフィルタが該メタデータフィルタに関連していることと、少なくとも一つのパケット群における各パケット群では、該パケット群がブロックタグを有するかを検知するが、該ブロックタグが、該パケット群が該群内にある各パケットの送信に関連するメタデータと共にアロケートされることを示していることと、該メタデータフィルタ又は該パケットフィルタを使用して、前記ブロックタグについての検知結果に従い、少なくとも一つのパケット群をフィルタリングすることを含む。
いくつかの実施形態では、メタデータフィルタ又はパケットフィルタを使用して、前記ブロックタグについての検知結果に従い、少なくとも一つのパケット群をフィルタリングする工程は、少なくとも一つのパケット群でパケット群が、メタデータ群と共にアロケートされることが検知される場合、該パケット群をフィルタリングするために該メタデータフィルタを使用することと、少なくとも一つのパケット群でパケット群が、メタデータ群と共にアロケートされないことが検知される場合、該パケット群をフィルタリングするために該パケットフィルタを使用することを含む。
いくつかの実施形態では、少なくとも一つのパケット群における各パケット群がデータブロックヘッダを有し、且つ、各パケットが対応するメタデータと共にアロケートされることを示すブロックタグが、データブロックヘッダに追加される。
いくつかの実施形態では、パケットブロックインデックスを使用して、少なくとも一つのパケット群にインデックスがつけられ、且つ、該ブロックタグは更に、パケットブロックインデックスに追加される。
いくつかの実施形態では、該方法は、更に、フィルタリングしたパケットを少なくとも一つのパケット群から獲得することを含む。
いくつかの実施形態では、該パケットフィルタは、メタデータフィルタの少なくとも一つのフィルタ規準に対応していて、且つ相互転換可能な、少なくとも一つの予め決められたフィルタ規準を有する。
いくつかの実施形態では、該メタデータは、対となる送信元アドレスと宛先アドレス、対となる送信元ポートと宛先ポート、送信側サブネットワーク識別子、宛先側サブネットワーク識別子、パケットフローダイレクション、サービスタイプ識別子、プロトコル識別子、アプリケーション識別子、及び/又はVLAN識別子を含む。
本願発明の別の側面は更に、ネットワーク上で送信される少なくとも一つのパケットをフィルタリングする方法を開示する。該方法は、メタデータフィルタ及びパケットフィルタを提供するが、該パケットフィルタが該メタデータフィルタに関連することと、少なくとも一つのパケットにおける各パケットでは、該パケットが対応するメタデータを有するかを検知することと、前記メタデータについての検知結果に従い、メタデータフィルタ又はパケットフィルタを使用して、少なくとも一つのパケットをフィルタリングすることを含む。
本願発明の別の側面は更に、ネットワークモニタリング装置を開示する。該ネットワークモニタリング装置は、ネットワーク上で送信されるパケットを受信するように構成された受信装置であって、該パケットがパケット送信のためのネットワークフローを示すフロー情報を有する受信装置と、パケットのフロー情報を獲得するように構成されたフロー情報獲得装置と、メタデータベースが前記パケットに対応するフロー情報を含むか検知するように構成された検知装置であって、前記メタデータベースが、メタデータ及び該メタデータに関連するフロー情報を保存するために使用される検知装置と、前記フロー情報についての検知結果に従い、少なくとも一つのパケットにおける各パケットの送信に関連するメタデータを生成し、該メタデータを対応するフロー情報に関連付けるように構成されたメタデータ生成装置と、前記生成されたメタデータ及び該生成されたメタデータに関連するフロー情報を前記メタデータベースに保存するように構成された保存装置とを含む。
本願発明の別の側面は更に、ネットワーク上で送信される少なくとも一つのパケット群をフィルタリングするための装置を開示する。該装置は、メタデータフィルタと、パケットフィルタであって、該パケットフィルタが前記メタデータフィルタと関連しているパケットフィルタと、少なくとも一つのパケット群における各パケット群では、該パケット群がブロックタグを有するか検知するように構成されたタグ検知装置であって、前記ブロックタグが、該パケット群が群内にある各パケットの送信に関連するメタデータと共にアロケートされていることを示すタグ検知装置と、前記ブロックタグについての検知結果に従い、メタデータフィルタ又はパケットフィルタを使用して、少なくとも一つのパケット群をフィルタリングするように構成されたフィルタ選択装置とを含む。
本願発明は、上記にまとめられており、詳細は簡略、概略及び省略されることもある。それゆえ、当事者は、この部分が例示的な説明にすぎず、いかなる方法によっても本願発明の範囲を制限することを意図するものではないと理解すべきである。本概要部分は、特許請求の範囲に記載された主題の重要な特徴又は必要な特徴を決定づけることを意図するものではなく、特許請求の範囲に記載された主題の範囲を決定するための補助手段となることを意図するものでもない。
本願発明に係るネットワークモニタリング方法では、パケット送信はメタデータ使用によって説明されており、該メタデータサイズは通常パケットサイズよりはるかに小さいといえる。パケットモニタリングを必要とする場合、例えば、該パケット送信状況などの情報についての統計が収集される場合、又は特定のアルゴリズムに従いパケットがフィルタリングされる場合に、ネットワークモニタリング装置は、メタデータのみを処理する必要があり、直接パケットを処理する必要は皆無かめったにない。このようなデータ分析処理方法が、ネットワーク上のパケット分析処理の困難を大いに減らし、それによりネットワークモニタリングの効果及び信頼性を向上させる。
本願発明の内容の前記及び他の特徴は、添付の図面に関連して、以下の明細書及び添付の特許請求の記載を通してより完全に、且つ明瞭に理解されることになる。これら図面は本願発明の内容のいくつかの実施方法を示すのみであり、それゆえ、本願発明の内容の範囲に対する制限として解されるべきではないと理解できる。添付図面によって、本願発明の内容がより明瞭に、且つ詳細に説明されている。
図1は本願発明のネットワークモニタリング装置が適用されうるネットワークシステム10の概要図である。 図2は本願発明の実施形態によるネットワークモニタリング装置16の概要図である。 図3は本願発明の実施形態によるネットワークモニタリング方法300のフローチャートである。 図4は本願発明の実施形態によるネットワーク上で送信される少なくとも一つのパケット群をフィルタリングするための方法400を示す。 図5は本願発明の実施形態によるネットワークモニタリング装置500の概要図である。 図6は本願発明の実施形態によるネットワーク上で送信される少なくとも一つのパケット群をフィルタリングするための装置600の概要図である。
以下の詳細な説明において、添付の図面に言及しているが、それは詳細な説明の一部を構成する。添付の図面において、別段説明の中で明記されていない限り、同様の符号は通常同様の構成要素を表す。詳細な実施方法と添付の図面と特許請求の範囲に記載された例示の実施方法は、制限的に解されない。本願発明の主題の精神又はその範囲を逸脱するものでない限り、他の実施方法も利用可能であり、他の変更もなされうる。概して明細書で明記され、且つ添付の図面で図解された本願発明の内容の様々な側面で、異なる構成要素の様々な構成、置換、組み合せ、及び設計が実行されうることが理解できるが、これら全ての構成、置換、組み合せ、及び設計は、本願発明の内容の一部を明確に構成するものである。
図1は本願発明のネットワークモニタリング装置が適用されうるネットワークシステム10の概要図である。
図1に示すように、ネットワークシステム10は複数のネットワークデバイス12を含むが、これらのネットワークデバイス12はネットワーク14を介して互いに伝達し、且つ互いにデータを送信及び受信する。ネットワーク14上で送信されるデータは、パケットの形式(パケット)であってよく、これらのパケットは同じ又は異なる通信トランスポートプロトコルを使用してもよいし、同じ又は異なるデータフォーマットを有してよい。これらのパケットのそれぞれが、パケットのデータと送信についての情報を含むヘッダを有する。ヘッダのパケット送信情報を使用することによって、ネットワーク14は、送信元ネットワークデバイスから宛先ネットワークデバイスへ、例えばルーターを使用して該パケットを送信することができる。例えば、TCP/IPプロトコルを使用するパケットでは、該パケットのヘッダは、送信元ネットワークデバイスの送信元アドレスと送信元ポート、及び宛先ネットワークデバイスの宛先アドレスと宛先ポートを含む。
ネットワークモニタリング装置16はネットワーク14に繋がり、ネットワーク14上で送信されるデータ情報をモニタリングするために使用される。例えば、ネットワークモニタリング装置16は、パケットをキャプチャし、そしてキャプチャしたパケットを、パケット分析エンジンを使用して分析できる。いくつかの実施形態では、ネットワークモニタリング装置16は、ネットワーク14への接続を確立し、ネットワーク14上送信されるデータをモニタリングする目的で、汎用プログラム又は特殊目的プログラムを実行するために、ハードウェア、ソフトウェア、CPU、メモリ、インターフェースなどのコンポーネントを含むこともある。ネットワークモニタリング装置16は、更に、その他のテスト及び測定オペレーション、データ送信及び受信オペレーション、並びに同様のオペレーションを実行することもある。
図2は本願発明の実施形態によるネットワークモニタリング装置の概要図である。
図2に示すように、ネットワークモニタリング装置16は、1つ又は複数のポートを介して、ネットワークモニタリング装置16をネットワーク14に接続するネットワークインターフェース22を含む。ネットワークモニタリング装置16は更に、1つ又は複数のプロセッサ23、1つ又は複数の揮発性メモリ24(ダイナミック・ランダム・アクセス・メモリ等)、及び1つ又は複数の不揮発性メモリ26(ハードディスクやフラッシュメモリ等)を含んでもよい。いくつかの実施形態では、ネットワークモニタリング装置16は、更に、ディスプレイ28、ユーザ入力コンポーネント30、外部装置に接続するための入力/出力インターフェース34等を含む。ネットワークモニタリング装置16は、メモリ26に保存されたオペレーティングシステム、例えば、Windows Server(登録商標)、Mac OS X(登録商標)、UNIX(登録商標)、Linux(登録商標)、FreeBSD(登録商標)に基づいて作動することもある。
図3は本願発明の実施形態によるネットワークモニタリング方法300のフローチャートである。該方法は処理ロジックによって実行され、並びに該処理ロジックは、ソフトウェア(汎用又は専用の演算装置で実行される)、ハードウェア(回路や特殊ロジックなど)、ファームウェアを含むか、若しくはそれらを組み合わせたものを含んでよい。いくつかの実施形態では、ネットワークモニタリング方法は、図2で示したネットワークモニタリング装置によって実行されることもある。
図3で示すように、ネットワークモニタリング方法300は、工程S302から開始する。すなわち、ネットワークモニタリング装置は、ネットワーク上で送信されるパケットを受信するが、該パケットがパケット送信のためのネットワークフローを示すフロー情報を有している。いくつかの実施形態では、フロー情報は、対となる送信元アドレスと宛先アドレスを含むか、若しくは、更に、対となる送信元ポートと宛先ポートを含んでもよい。対となる送信元アドレスと宛先アドレスに従い、ネットワークモニタリング装置は、受信パケットがネットワーク上で、2つの繋がれたネットワークデバイス間のうちのどちらのネットワークデバイスに送信されるかを決定づけてよく、且つ、送信元ポートと宛先ポートに従い、ネットワークモニタリング装置は、更に、受信パケットがネットワークデバイス上のどちらの特定のプロセスに関連するかを決定づけてよい。いくつかの実施形態では、ネットワークモニタリング装置は、1つ又は複数のルックアップテーブルを確立することで、フロー情報に含まれる対となる送信元アドレスと宛先アドレス及び/又は対となる送信元ポートと宛先ポートを保存してもよい。前記ルックアップテーブルは複数の対となる送信元アドレスと宛先アドレス及び/又は対となる送信元ポートと宛先ポートを含むが、アドレス及び/又はポートのそれぞれの一対がフロー識別子を使用して識別されてよい。
実際のアプリケーションでは、複数のパケットが、通常ネットワーク上で送信されると理解できる。ネットワークモニタリング装置は、これらのパケットを受信し、モニタする。言い換えれば、工程S302で受信されるパケットは、ネットワークモニタリング装置により受信される複数のパケットの中の一つであることもあり、ネットワークモニタリング装置は、このパケットにネットワークモニタリング方法300を実行することもある。更に、ネットワークモニタリング装置は、その他の受信パケットにネットワークモニタリング方法300を実行することもある。
その後、工程S304にて、ネットワークモニタリング装置は、工程S302で受信したパケットのフロー情報を獲得する。
一般にフロー情報はパケットのヘッダに含まれ、例えば、フロー情報はヘッダ内の所定フィールドで定義されてよい。それゆえ、いくつかの実施形態では、ネットワークモニタリング装置は、対応するフロー情報を獲得するために、パケットのヘッダで所定フィールドを照会することもある。異なる送信/受信ネットワークデバイスに従い、異なるパケットが、異なる又は同じフロー情報を有することがあると理解できる。しかしながら、パケット長は通常制限があり、例えば、IPパケットの最長は64kバイトである。それゆえ、2つのネットワークデバイス間での大量データの送信では、ネットワークモニタリング装置は、通常、数百もの、数千もの、あるいはそれ以上のパケットを検知することができ、且つこれらパケットは同じフロー情報を有する。
次に、工程S306で、ネットワークモニタリング装置は、メタデータベースが、受信したパケットに対応するフロー情報を含むかを検知するが、該メタデータベースは、メタデータ及び該メタデータに関連するフロー情報を保存してよい。
いくつかの実施形態では、メタデータベースは、メタデータと該メタデータに関連するフロー情報を組合せたものであり、受信されたパケットの情報に従い、ネットワークモニタリング装置によって作成される。メタデータはパケット送信に関する情報であり、例えば、対となる送信元アドレスと宛先アドレス、対となる送信元ポートと宛先ポート、送信側サブネットワーク識別子、宛先側サブネットワーク識別子、パケットフローダイレクション、サービスタイプ識別子、プロトコル識別子、及び/又はVLAN(仮想ローカルエリアネットワーク)識別子などの情報、若しくは、パケットのデータ及び/又はパケットの送信(例えば、パケットサイズ)に関連するその他の情報を含む。
いくつかの実施形態では、ネットワークモニタリング装置は、パケットのヘッダのいくつか、又は全てのデータを複製し、その複製データを該パケットのメタデータとして使用することがある。例えば、ネットワークモニタリング装置は、送信元アドレス、宛先アドレス、送信元ポート、宛先ポート、アドレスタイプ、パケット長、サービスタイプ識別子などのデータを直接複製し、その複製データをメタデータの一部として使用してよい。特定のプロトコルを使用するパケットでは、これらのデータはパケット内に特定のロケーションを有する。それゆえ、前もって決められたデータ抽出プログラムがメタデータ獲得のために、ネットワークモニタリング装置に提供されてよい。
いくつかの他の実施形態では、ネットワークモニタリング装置は更に、パケットのヘッダのいくつか、又は全てのデータを処理し、その処理済みデータを該パケットのメタデータとして使用してよい。例えば、TCP/IPプロトコルを使用するシステムでは、通常、異なるサービスポートが異なるアプリケーションやサービスにアロケートされる。通常、ポート番号53は、ネットワークシステム (DNS)にアロケートされ、名前解決を実行し、ポート番号80は、ハイパーテキストサーバ(HTTP)にアロケートされ、該ポート番号80を使用して、Webサーバがハイパーテキストを、ネットワークデバイスのローカルブラウザに転送し、ポート番号110は、電子メール送信に使用されるためにアロケートされる等である。それゆえ、ネットワークモニタリング装置は、予め決められた変換機能を含んでよく、該予め決められた変換機能は、TCP/IPプロトコル、又は他のネットワークトランスポートプロトコルによって定義されるポートとアプリケーション、又はポートとサービスの対応関係を含んでよい。前記予め決められた変換機能により、パケットのヘッダの送信元ポート、又は宛先ポートのデータは、対応するアプリケーション識別子へ変換でき、該アプリケーション識別子は、該パケットが適用されうるアプリケーションを示してよい。
いくつかの実施形態では、パケットのヘッダの送信元ポートと宛先ポートの一つが予め決められたサービスポートである限り、該パケットは、該サービスポートに対応するアプリケーション識別子を提供するか又はつけることができる。同様に、ネットワークモニタリング装置は更に、他の所定の変換機能を含んでよい。例えば、実際のアプリケーション要件により、いくつかの送信元アドレス、又は宛先アドレスがひとつの特定ドメイン、又はいくつかの特定ドメインに属すると定義されてよい。そしてそれに応じて、ネットワークモニタリング装置は、送信元アドレス及び/又は宛先アドレスと該ドメイン間での通信を含む所定の変換機能を提供してよい。そしてこの所定の変換機能により、パケットが送信された元のドメイン、又は、パケットが送信される先のドメインを個別に示す目的で、パケットのヘッダの送信元アドレスが、対応する送信元ドメイン識別子に変換され、一方、パケットのヘッダの宛先アドレスが対応する宛先ドメイン識別子に変換されてよい。
別の例では、2つのネットワークデバイス間のセッションにより、ネットワークモニタリング装置は更に、一対のアドレスとして、該セッションに関連する複数のパケットの送信元アドレス及び宛先アドレスを定義することもある。そして更に、その2つのネットワークデバイス間のマスタースレーブ関係を決定づけるが、最初の段階でパケットを送信するネットワークデバイスが、クライアント(通常、クライアントはデータを要求するセッションを開始する)として定義され、一方、パケットを受信するネットワークデバイスは、サーバ(サーバは、データ供給のリクエストに返答する)として定義されることもある。それゆえ、最初の段階で送信されるパケットのヘッダの送信元アドレスが、クライアントアドレスとして定義され、最初の段階で送信されるパケットのヘッダの宛先アドレスが、サーバアドレスとして定義されることもある。それに相応して、ネットワークモニタリング装置は、前記定義に従い、変換機能を構成し、このセッションの各パケットのヘッダの送信元アドレス及び宛先アドレスをクライアントアドレス及びサーバアドレスに変換してもよい。一方、ネットワークモニタリング装置は、更に、変換機能で、パケットフローダイレクションを決定する機能を設定してよく、(パケットの送信元アドレスがクライアントアドレスと同じか、又はパケットの宛先アドレスがサーバアドレスと同じであれば)該パケットフローダイレクションは、クライアントからサーバでもよいし、若しくは、(パケットの宛先アドレスがクライアントアドレスと同じか、又は該パケットの送信元アドレスがサーバアドレスと同じであれば)サーバからクライアントでもよい。該パケットフローダイレクションも、メタデータに追加されてもよい。
メタデータに含まれる前記データ情報は、単に一つの事例にすぎず、異なる特定のアプリケーションに従い、当業者はメタデータに含まれるデータ情報に対して、様々な修正、変更、処理を実行してよいと理解できる。
前述のように、メタデータベース内のメタデータは対応するフロー情報と関連している。いくつかの実施形態では、フロー情報は対応するメタデータに含まれていてもよい。例えば、対となる送信元アドレスと宛先アドレス、及び/又は対となる送信元ポートと宛先ポートを対応するメタデータに追加することで、該メタデータと該フロー情報の関連を確立してもよい。いくつかの他の実施形態では、該フロー情報は、フロー識別子を使用して識別され、例えば、該フロー情報と該フロー識別子の間にルックアップテーブルを確立してもよい。それに相応して、該フロー識別子を該等のメタデータに追加するか、又は該フロー識別子と該メタデータの間にルックアップテーブルを作成することで、該メタデータと該フロー情報の関連が確立されることもある。このような処理で、該フロー情報を該メタデータに追加するのと同様の効果を得ることができる。ネットワークモニタリング装置は、絶えず新しいパケットをネットワークからキャプチャ、又は受信するため、メタデータベース内のメタデータ量は絶えず増加することが理解できる。
また、該メタデータベースが大量のメタデータを含むため、該メタデータベースは更にメタデータインデックスを含んでもよい。該メタデータインデックスは、メタデータ検索やソートを容易にし、メタデータ検索効率を高めることができる。
工程S304で獲得したパケットのフロー情報に従い、ネットワークモニタリング装置は、該メタデータベースがフロー情報を含むかを検知することもある。いくつかの実施形態では、ネットワークモニタリング装置は、該メタデータベースが該フロー情報を含むかを決定するために、フロー情報とフロー識別子間のルックアップテーブルを照会することがある。ルックアップテーブルは、例えば、対となる送信元アドレスと宛先アドレス、及び/又は対となる送信元ポートと宛先ポート、及びフロー識別子間の対応関係を含む。該フロー情報が存在する場合、ネットワークモニタリング装置は、対応するフロー識別子を獲得することもある。該フロー情報が存在しない場合、ネットワークモニタリング装置は、無を示す、又は該フロー情報が存在しないと表示するナル(null)等の戻り値を獲得することもある。いくつかの他の実施形態では、該フロー情報はフロー識別子を使用して識別されず、対となる送信元アドレスと宛先アドレス、及び/又は対となる送信元ポートと宛先ポートを使用して表現されるのみでもよい。ネットワークモニタリング装置は、全ての対となる送信元アドレスと宛先アドレス、及び/又は対となる送信元ポートと宛先ポートを、ルックアップテーブルとして保存し、新規の対となる送信元アドレスと宛先アドレス、及び/又は新規の対となる送信元ポートと宛先ポートを受信した後で、該ルックアップテーブルを更新してもよい。このようにして、ネットワークモニタリング装置は、前記ルックアップテーブルをクエリすることで、該メタデータベースが該フロー情報を含むかを決定できる。
次に、工程S308で、ネットワークモニタリング装置は、前記フロー情報についての検知結果に従い、該パケットの送信に関連するメタデータを生成する。
具体的には、前記メタデータベースが、該パケットに対応するフロー情報を含まないと検知された場合、該メタデータベースは、該フロー情報に関連するメタデータを含まないと示す。この場合、ネットワークモニタリング装置は、該パケットから、パケットの送信に関連するデータを抽出して、該メタデータを生成する。ある実施形態では、データが抽出されるパケットでは、ネットワークモニタリング装置は、該パケットに対応するメタデータを獲得するために、該パケットのヘッダの少なくとも一部を複製してもよい。若しくは、任意で、ネットワークモニタリング装置が、パケットのヘッダのいくつか、又は全てのデータを処理し、且つ処理済データを該メタデータの一部として使用してもよい。いくつかの実施形態では、該メタデータは、該パケットから直接複製されたデータ、及び該パケットのデータ処理によって獲得したデータを含んでよい。ヘッダのデータ処理は、例えば所定の変換機能を使用して、ヘッダに含まれる少なくともいくつかのデータを変換することでよい。変換機能については、上記説明を参照して下さい。詳細説明はここでは省略します。
それどころか、該メタデータベースが、検知されたパケットに対応するフロー情報を含むと検知された場合、ネットワークモニタリング装置は、該メタデータベースから、該検知されたフロー情報に関連するメタデータを複製し、且つ、パケットのメタデータとして、該複製メタデータを使用してもよい。2つのネットワークデバイス間で送信される複数のパケット間の大きな相違がペイロードデータ(つまりユーザデータ)にあり、一方、ヘッダに含まれる情報は、実質上同じか、又は僅かに異なるため、前記処理方法が使用可能である。それゆえ、2つのネットワークデバイス間で送信される複数のパケットでは、通常、パケットのヘッダ構文解析によって得られるメタデータも同じである。更に、2つのネットワークデバイス間で送信されるパケットのフロー情報を使用することで、その2つのネットワークデバイスもまた表示されてよいし、そして該パケットが同じフロー情報を有する場合、該パケットに対応するメタデータもまた同じである。これに基づき、該メタデータが検知されたパケットに対応するフロー情報を含む場合、該メタデータベースが既に該フロー情報に関連するメタデータを含むと示し、それゆえ、該パケットのメタデータとして、該メタデータを使用してよい。このようにして、ネットワークモニタリング装置は、メタデータ獲得のために、パケット構文解析オペレーションをより少なく実行し、それによりメタデータ生成効率を大いに高めるようにしてもよい。この処理方法は、特に高速ネットワーク通信での応用に適している。
いくつかの実施形態では、対応するメタデータが各受信パケットに対して生成された後で、これらパケットのメタデータに従い、ネットワークモニタリング装置は、これらパケット用にネットワーク統計情報を生成してもよい。いくつかの実施形態では、ネットワーク統計情報は、送信元アドレスと宛先アドレス、送信元ポートと宛先ポート、送信元ドメイン識別子、宛先ドメイン識別子、サービスタイプ識別子、パケットフローダイレクション、プロトコル識別子、VLAN識別子、パケットカウント、及び/又はパケットサイズを含んでもよい。ネットワーク統計情報は、フロー情報に基づいて、つまり、互いに通信する対をなす2つのネットワークデバイスに基づいて、収集されてもよい。例えば、ネットワーク統計情報は、対をなすネットワークデバイス間の1つ又は複数のセッションで送信されるパケット量(つまり、カウント)を含むか、又はこれらパケットに含まれるデータサイズを含んでもよい。これら全てのネットワーク統計情報は、所定の統計機能や統計ルールを設定すること及びこれらの統計機能やルールを使用してメタデータを処理することで得られるようにしてもよい。ネットワーク統計情報は、更に、該メタデータ内のいくつかのデータ、例えば、プロトコル識別子、VLAN識別子、サービスタイプ識別子を直接抽出してよい。いくつかの実施形態では、ネットワークモニタリング装置で、例えばメインメモリで、ネットワーク統計情報をバッファリングしてよく、バッファリングされた情報は、所定時間(例えば60秒)の間隔で、ネットワーク統計データベースに保存される。
その後、工程S310で、ネットワークモニタリング装置は前記生成されたメタデータ及び該生成されたメタデータに関連するフロー情報をメタデータベースに保存する。このようにして、各受信パケットは、対応するメタデータの一つと共にアロケートされることができる。
いくつかの実施形態では、工程S308で、該メタデータベースがパケットのフロー情報を含まないと検知された場合、該パケットのメタデータを生成する必要があり、そして該パケットの生成されたメタデータは、該パケットのフロー情報に関連している。例えば、新しいフロー識別子が新規フロー情報を表すために生成、又はアロケートされ、そしてその新しいフロー識別子が生成されたメタデータに追加され、新規フロー情報と新規メタデータが関連付けられる。更に、新しく生成されたメタデータとその新しく生成されたメタデータに関連するフロー情報が、メタデータベースに保存されてよい。その上、工程S308で、該メタデータベースが既にパケットのフロー情報を含み、新規メタデータが、例えば、既存のフロー情報に対応するメタデータの複製オペレーションを使用することで、生成される場合、該新規メタデータに関連するフロー情報も確かであり、ネットワークモニタリング装置は、該メタデータ及び該メタデータに関連するフロー情報を該メタデータベースに保存してもよい。
前記工程を通して、ネットワークモニタリング装置は、受信パケットに対応するメタデータを獲得し、そしてこれら受信パケットでは、ネットワークモニタリング装置は、個別の特定のアプリケーション要件に従って、処理方法を選択してよい。いくつかの実施形態では、ネットワークモニタリング装置は、該メタデータを保存するだけでよく、保存されたメタデータに基づいて、ネットワークのパケット送信状態に関するその後の分析又はバックトラッキングを容易にする。いくつかの他の実施形態では、ネットワークモニタリング装置は更に、工程S302で受信するパケットを保存し、且つパケットライブラリに該受信パケットを保存してよい。パケットライブラリ内の各パケットは、該パケットの送信状態を示すために、メタデータベース内の対応するメタデータの一つと共にアロケートされてよい。例えば、該メタデータベースは、メタデータにインデックスをつけるためにメタデータインデックスを含んでよく、そしてパケットライブラリは、パケットにインデックスをつけるためにパケットインデックスを含んでよい。該パケットインデックスと該メタデータインデックスは互いに対応してよい。例えば、該パケットインデックスは、パケットの受信シーケンスに従い、パケットをソートし、そして各パケットは対応する固有のパケットシーケンス番号と共にアロケートされる。それに応じて、該メタデータに対応するパケットシーケンス番号に従い、該メタデータインデックスは、メタデータをソートしてよい。このようにして、ネットワークモニタリング装置は、メタデータ分析後、一部の情報が欠けている(例えば、ペイロードデータが欠けている場合)と検知した場合、ネットワークモニタリング装置は更に、該メタデータに従い、対応するパケットを見つけ、更にそのパケットに対して分析処理を実行してよい。
高速通信ネットワークでは、ネットワーク上で大量のパケットが送信されているが、それゆえ、ネットワークモニタリング装置は、大量のパケット及びメタデータを保存するために、十分な記憶速度及び記憶容量を備える必要があることが理解できる。時として、特に過剰な程の高速のネットワーク通信速度では、ネットワークモニタリング装置が、受信パケット及び生成されたメタデータを、内蔵大容量記憶媒体(ハードディスクやフラッシュメモリ等)に遅れずに保存できないことがありうる。そのようなケースを避ける、あるいは少なくするために、いくつかの実施形態では、バッファメモリがネットワークモニタリング装置用に設定されることもあり、工程S308で生成されるメタデータ及びネットワークから生成される他パケットのメタデータが、最初にバッファメモリにバッファリングされることができる。そして、所定条件を満たした後で、これらのバッファリングされたメタデータは、メタデータベース内の大容量記憶媒体に転送される。言い換えれば、これらのパケットのメタデータ及び関連するフロー情報は、該メタデータベースにバッチで転送される。例えば、バッファメモリがいっぱいになる毎に、又は所定時間の間隔で、該メタデータは、該メタデータベースに転送される。
いくつかの実施形態では、バッファリングされたメタデータ及びフロー情報は、バッファメモリから該メタデータベースに非同期的に転送され、つまり、メタデータベースのメモリが、非同期の入力/出力方法を使用して、データを保存する。具体的には、ネットワークモニタリング装置が、バッファリングされたメタデータのバッチを該メモリに転送するよう指示した後で、該メモリが、メタデータのこのバッチの記憶が完了されたかを示すレスポンスを返す前に、ネットワークモニタリング装置は、バッファリングされたメタデータの次のバッチを該メモリに転送し続ける。ネットワークモニタリング装置は、メタデータの転送や記憶を処理するために、特定のスレッドをアレンジしてよいし、且つ、転送されたメタデータが正常に保存されたかを検知するために、また別の一つ、又は複数のスレッドをアレンジしてもよい。ハードディスクメモリを使用するメタデータベースでは、データ書込み速度に影響を与えるアドレス指定が頻発するのを避けるために、前記非同期の記憶オペレーションで、ヘッドが継続的にハードディスクの同じエリア、又は付近のエリアにデータを書き込むようにできる。
前述のように、各IPパケットの最長は64Kバイトである。2つのネットワークデバイス間での大量データの送信では、ネットワークモニタリング装置は、通常、数百もの、数千もの、あるいはそれ以上のパケットを検知することができ、且つ、これらのパケットは同じフロー情報を有する。パケット処理効率を向上させるために、いくつかの実施形態では、複数のパケットは一つのパケット群にパッケージされ、例えば、64、128、256、又はそれ以上のパケットは、一つのパケット群にパッケージされる。該パケット群は、ネットワークモニタリング装置により、一緒に送信及び受信及び処理されてよく、各パケット群はデータブロックヘッダを含んでよく、該パケット群及び該パケット群の送信についての情報が、該データブロックヘッダに追加される。これに相応するように、複数の対応するメタデータもメタデータ群にパッケージされてよく、そして、メタデータブロックヘッダが提供される。
いくつかの実施形態では、ブロックタグは前記データブロックヘッダに追加されてよく、且つ、該ブロックタグが使用され、パケット群の各パケットが対応するメタデータと共にアロケートされることを表す。ブロックタグの使用は、その後のパケット及びメタデータ処理を容易にする。例えば、ネットワークモニタリング装置が、受信及び保存されたパケットにその後の処理を実行するとき、ネットワークモニタリング装置が、各パケット群のデータブロックヘッダがブロックタグを有するかを検知することもある。該データブロックヘッダが、該パケット群の各パケットがメタデータと共にアロケートされること示すブロックタグを有する場合、ネットワークモニタリング装置は、該パケット群に対応するメタデータ群の処理、例えば、該メタデータの分析及びフィルタリングなどを選択してよい。若しくは、該データブロックヘッダが、該パケット群の各パケットがメタデータと共にアロケートされることを示すブロックタグを有しない場合、ネットワークモニタリング装置は、該パケット群の処理、例えば、該パケットのデータ分析及びフィルタリングの実行を選択してもよい。
本願発明によるネットワークモニタリング方法では、パケット送信はメタデータ使用によって記述され、該メタデータのサイズは、通常パケットサイズよりはるかに小さいと理解できる。パケットのモニタリングが必要とされるとき、例えば、パケットの送信状況などの情報についての統計が収集されるとき、又はパケットが特定のアルゴリズムによってフィルタリングされるとき、通常、ネットワークモニタリング装置は、該メタデータのみを処理してよく、直接パケットを処理する必要は皆無、又はめったにない。このようなデータ分析処理方法が、ネットワーク上のパケット分析処理の困難を大きく減少させ、それによりネットワークモニタリングのその効果及び信頼性を向上させる。
本願発明は、更に、前記ネットワークモニタリング方法の使用で得られるパケット及びメタデータのフィルタリング方法を提供する。フィルタリング後、フィルタ規準及び要件を満たすパケット及び/又はメタデータは、回収可能で、且つ、その後の使用のためのデータファイルを形成するために、コンパイル、又は編成することができる。
図4は本願発明の実施形態によるネットワーク上で送信される少なくとも一つのパケット群をフィルタリングするための方法400を示す。該方法400は、例えば、図2で示すネットワークモニタリング装置により実行、又は同様のデータ処理装置によって実行されてよい。
図4に示すように、工程S402では、メタデータフィルタ及びパケットフィルタが提供されるが、該パケットフィルタは該メタデータフィルタと関連している。
具体的には、フィルタリングされるデータは、ネットワークモニタリング装置により通常受信され、且つパケットライブラリに保存されるパケットである。これらのパケットのいくつか、又は全ては、対応するメタデータと共にアロケートされ、該メタデータはメタデータベースに保存される。いくつかの実施形態では、該パケットは、グループ毎にパケットライブラリに保存されてよく、そして各パケット群はデータブロックヘッダを含んでよい。同様に、該メタデータは、グループ毎にメタデータベースに保存されてよく、そして各メタデータ群はメタデータブロックヘッダを含んでよい。
各パケット群はブロックタグを含んでもよいが、パケット群が群内の各パケットの送信に関連するメタデータと共にアロケートされていることを示すために、該ブロックタグが使用される。言い換えれば、パケット群内のいずれか一つ、又は複数のパケットが、対応するメタデータを有しない場合、該パケット群はブロックタグを有しなくてもよいし、又は、ブロックタグは対応するメタデータの欠如を示すよう設定されてもよい。いくつかの実施形態では、該ブロックタグは該データブロックヘッダに追加されてよい。いくつかの他の実施形態では、該ブロックタグもまた、パケットブロックインデックスに追加されてよい。
該メタデータフィルタは通常、いくつかの既定のフィルタ規準を含み、そしてこれらのフィルタ規準は、該メタデータに含まれるデータに対応する。例えば、該メタデータは、例として該メタデータに対応するパケットが適用できるアプリケーションを示すアプリケーション識別子を含むこともある。異なるアプリケーション識別子が異なる値と共にアロケートされてよい。アプリケーション識別子に関しては、図3で示したネットワークモニタリング方法にある関連する説明を参照して下さい。それに相応して、該メタデータフィルタは、1つ又は複数の特定のアプリケーション識別子値を含んでよく、そして該メタデータ内のアプリケーション識別子の値が該メタデータフィルタの値と同じとき、該メタデータがフィルタ規準を満たすとみなしてよい。また、該メタデータ内のアプリケーション識別子の値が該メタデータフィルタの値と異なるとき、該メタデータがフィルタ規準を満たさないとみなしてよい。いくつかの実施形態では、フィルタ規準を満たすメタデータが維持され、一方、フィルタ規準を満たさないメタデータが破棄されてよい。若しくは、反対に、フィルタ規準を満たすメタデータが破棄される。
いくつかの実施形態では、前記パケットフィルタが前記メタデータフィルタと関連していることは、該パケットフィルタが、該メタデータフィルタのフィルタ規準に対応、及び相互転換可能な、少なくとも一つのフィルタ規準を含むことをさす。例えば、パケットがメタデータのアプリケーション識別子を有せず、送信元ポートのポート番号、又は宛先ポートのポート番号のみを有することが可能である。しかしながら、これらのポート番号の少なくとも一つは、アプリケーションと一対一の対応にある。それゆえ、該パケットフィルタは、ポート番号に関連するフィルタ規準を含んでよく、それは該メタデータフィルタのアプリケーション識別子の値に対応する。例えば、該メタデータフィルタのフィルタ規準は、メタデータのアプリケーション識別子がDNSの識別子に対応する必要があることに制限してよい。これに対応して、パケットフィルタに含まれるフィルタ規準は、宛先ポート又は送信元ポートのポート番号が、53であることに制限してよい。TCP/IPプロトコルを使用するネットワークシステムでは、ポート番号53はネットワークシステム(DNS)にアロケートされ、名前解決を実行する。それゆえ、該パケットフィルタと該メタデータフィルタの2つのフィルタ規準は同じとなり、その2つのフィルタが実質的に、同じデータフィルタリングオペレーションを実行する。実際のアプリケーションでは、メタデータとパケット間のデータ通信に従い、該パケットフィルタ及び該メタデータフィルタは作成されることもある。
次に、工程S404で、フィルタリングされる各パケット群がブロックタグを有するか検知される。
前述のように、該ブロックタグはデータブロックヘッダに追加されてよく、又はパケットブロックインデックスに追加されてよい。それゆえ、各パケット群では、該データブロックヘッダ及び/又は該パケットブロックインデックスで、ブロックタグを検索及び検知してよい。
その後、工程S406で、前記ブロックタグについての検知結果に従い、該メタデータフィルタ、又は該パケットフィルタを使用し、パケットをフィルタリングする。
具体的には、パケット群がメタデータ群と共にアロケートされていると検知される場合、該メタデータフィルタを使用して、パケット群をフィルタリングするが、具体的には、該パケット群に対応するメタデータをフィルタリングする。パケット群がメタデータ群と共にアロケートされていないと検知される場合、該パケットフィルタを使用して、パケット群をフィルタリングする。
いくつかの実施形態では、工程S406の後で、フィルタリングしたパケットは、更に獲得されることがあり、これらのフィルタリングしたパケットを含むデータファイルを生成する。例えば、該パケットフィルタを使用してフィルタリングされるパケットでは、該パケットは所定の記憶位置に直接転送され、又はフィルタリング中にバッファリングされてよい。そして、該メタデータを使用してフィルタリングされるパケットでは、フィルタリングにより得られるメタデータに基づいて、該等のパケットは更に、前記パケットライブラリから読み込まれてよく、その後、それらのパケットが所定の記憶位置に転送され、又はバッファリングされる。このような処理の後で、該メタデータフィルタのフィルタ規準、又は該パケットフィルタのフィルタ規準を満たすパケットを獲得できる。これらのパケットは、その後の使用のためにデータファイルを形成するため、コンパイル、又は編成されてよい。
いくつかの実施形態では、ネットワークから受信されるパケットもまた、一つずつフィルタリングされてよい。それに応じて、フィルタリングされる各パケットでは、該パケットが対応するメタデータを有するか検知される。その後、前記メタデータについての検知結果に従い、該メタデータフィルタ、又は該パケットフィルタを使用して、受信パケットをフィルタリングする。いくつかの実施形態では、該メタデータベースに含まれるメタデータは、最初にフィルタリングされることもあり、そしてその後、該パケットライブラリに含まれ、且つメタデータを有しないパケットがフィルタリングされる。
図5は、本願発明の実施形態によるネットワークモニタリング装置500の概要図である。
図5に示すように、ネットワークモニタリング装置500は、
ネットワーク上で送信されるパケットを受信するように構成された受信装置501であって、該パケットがパケット送信のためのネットワークフローを示すフロー情報を有する受信装置501と、
パケットのフロー情報を獲得するように構成されたフロー情報獲得装置503と、
メタデータベースが前記パケットに対応するフロー情報を含むか検知するように構成された検知装置505であって、前記メタデータベースが、メタデータ及び該メタデータに関連するフロー情報を保存するために使用される検知装置505と、
前記フロー情報についての検知結果に従い、パケット送信に関連するメタデータを生成し、該メタデータを対応するフロー情報に関連付けるように構成されたメタデータ生成装置507と、
前記生成されたメタデータ及び該生成されたメタデータに関連するフロー情報を前記メタデータベースに保存するように構成された保存装置509
とを含む。
図6は、本願発明の実施形態によるネットワーク上で送信される少なくとも一つのパケット群をフィルタリングするための装置の概要図である。
図6に示すように、該装置600は、
メタデータフィルタ601と、
パケットフィルタ603であって、該パケットフィルタ603が前記メタデータフィルタ601と関連しているパケットフィルタ603と、
少なくとも一つのパケット群における各パケット群では、該パケット群がブロックタグを有するか検知するように構成されたタグ検知装置605であって、該ブロックタグが、該パケット群が群内にある各パケットの送信に関連するメタデータと共にアロケートされていることを示すタグ検知装置605と、
前記ブロックタグについての検知結果に従い、メタデータフィルタ601又はパケットフィルタ603を使用して、少なくとも一つのパケット群をフィルタリングするように構成されたフィルタ選択装置607
とを含む。
本願発明のいくつかの実施形態では、図5で示す該装置500及び図6で示す該装置600は、1つ又は複数の特定用途向け集積回路(ASIC)、デジタルシグナルプロセッサ(DSP)、デジタル信号処理装置(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、コントローラ、マイクロコントローラ、マイクロプロセッサ又は別の電子素子を使用して実行されることがあり、実に、図3で示す該方法300、又は図4で示す該方法400が用いられて実行されることがある。
いくつかの実施形態では、本願発明は更に、命令を含む不揮発性コンピュータ可読記憶媒体、例えば、命令を含むメモリを提供するが、前記命令は、図3で示す該方法300、又は図4で示す該方法400を実施するために、図2で示すネットワークモニタリング装置16のプロセッサ23によって実行されてよい。例えば、不揮発性コンピュータ可読記憶媒体は、ROM、ランダムアクセスメモリ(RAM)、CD-ROM、磁気テープ、フラッシュメモリ、ハードディスク、フロッピーディスク、光データ記憶装置等でよい。
本願発明の実施形態においてネットワークモニタリング装置のいくつかのモジュール又はサブモジュールが、上記詳細な説明で言及されているが、このような区別は例示的にすぎず、変更できないものでないことに留意されたい。実際、本願発明の実施形態によれば、上述の二つ、又はそれ以上のモジュールの特徴及び機能は、一つのモジュールで具現化されてよい。他方では、前述の一つのモジュールの特徴及び機能は、更に、複数モジュールで具現化されるように分離されてもよい。
その上、本願発明の該方法のオペレーションは添付の図面において特定の順序で説明されているが、これらのオペレーションがその特定の順序に従って実行せねばならないことを要求、又は示唆するものではなく、添付の図面で示す全てのオペレーションが実行されたときのみ、望ましい成果が実現できることを示唆するものでもない。それどころか、フローチャートで示す工程の実行順序は変更されてよい。更に、又は任意で、いくつかの工程を省略したり、複数の工程を結合し一つの工程で実行したり、及び/又は一つの工程を複数工程に分けて実行してもよい。
明細書、開示された内容、添付の図面、及び添付の請求項を考察することで、当業者は理解し、並びに開示された実施方法に他の変更を実行してよい。特許請求の範囲において、用語「含む」とは、他の構成要素又は工程を除外するものではなく、並びに、用語「一つ」は複数形を除外するものではない。本願発明の実際の応用では、一つの構成要素が特許請求の範囲で記載された複数の技術的特徴の機能を実行してもよい。特許請求の範囲において、添付の図面のいずれの引用符号も、発明の範囲に対して制限的に解されるべきではない。
10 ネットワークシステム
12 ネットワークデバイス
14 ネットワーク
16, 500 ネットワークモニタリング装置
22 ネットワークインターフェース
23 プロセッサ
24 揮発性メモリ
26 不揮発性メモリ
28 ディスプレイ
30 入力コンポーネント
34 入力/出力インターフェース
501 受信装置
503 フロー情報獲得装置
505 検知装置
507 メタデータ生成装置
509 保存装置
600 ネットワーク上で送信される少なくとも一つのパケット群をフィルタリングする装置
601 メタデータフィルタ
603 パケットフィルタ
605 タグ検知装置
607 フィルタ選択装置

Claims (5)

  1. ネットワーク上で送信されるパケットを受信するが、該パケットがパケット送信のためのネットワークフローを示すフロー情報を有することと、
    前記パケットの前記フロー情報を獲得することと、
    メタデータベースが前記パケットに対応する前記フロー情報を含むかを検知するが、前記メタデータベースがメタデータ及び該メタデータに関連するフロー情報を保存するために使用されることと、
    前記フロー情報についての検知結果に従い、パケット送信に関連するメタデータを生成し、該メタデータを対応するフロー情報に関連付けることと、
    前記生成されたメタデータ及び該生成されたメタデータに関連するフロー情報を前記メタデータベースに保存すること
    を含むことを特徴とするネットワークモニタリング方法。
  2. メタデータフィルタ及びパケットフィルタを提供するが、該パケットフィルタが該メタデータフィルタに関連していることと、
    少なくとも一つのパケット群における各パケット群では、該パケット群がブロックタグを有するかを検知するが、該ブロックタグが、該パケット群が該群内にある各パケットの送信に関連するメタデータと共にアロケートされることを示していることと、
    前記ブロックタグについての検知結果に従い、前記メタデータフィルタ又は前記パケットフィルタを使用して、少なくとも一つのパケット群をフィルタリングすること
    を含むことを特徴とする、ネットワーク上で送信される少なくとも一つのパケット群をフィルタリングする方法。
  3. メタデータフィルタ及びパケットフィルタを提供するが、該パケットフィルタが該メタデータフィルタに関連することと、
    少なくとも一つのパケットにおける各パケットでは、該パケットが対応するメタデータを有するかを検知することと、
    前記メタデータについての検知結果に従い、メタデータフィルタ又はパケットフィルタを使用して、少なくとも一つのパケットをフィルタリングすること
    を含むことを特徴とする、ネットワーク上で送信される少なくとも一つのパケットをフィルタリングする方法。
  4. ネットワーク上で送信されるパケットを受信するように構成された受信装置であって、該パケットがパケット送信のためのネットワークフローを示すフロー情報を有する受信装置と、
    パケットのフロー情報を獲得するように構成されたフロー情報獲得装置と、
    メタデータベースが前記パケットに対応するフロー情報を含むか検知するように構成された検知装置であって、前記メタデータベースが、メタデータ及び該メタデータに関連するフロー情報を保存するために使用される検知装置と、
    前記フロー情報についての検知結果に従い、パケット送信に関連するメタデータを生成し、該メタデータを対応するフロー情報に関連付けるように構成されたメタデータ生成装置と、
    前記生成されたメタデータ及び該生成されたメタデータに関連するフロー情報を前記メタデータベースに保存するように構成された保存装置と、
    を備えることを特徴とするネットワークモニタリング装置。
  5. メタデータフィルタと、
    パケットフィルタであって、該パケットフィルタが前記メタデータフィルタと関連しているパケットフィルタと、
    少なくとも一つのパケット群における各パケット群では、該パケット群がブロックタグを有するか検知するように構成されたタグ検知装置であって、前記ブロックタグが、前記パケット群が群内にある各パケットの送信に関連するメタデータと共にアロケートされていることを示すタグ検知装置と、
    前記ブロックタグについての検知結果に従い、前記メタデータフィルタ又は前記パケットフィルタを使用して、少なくとも一つのパケット群をフィルタリングするように構成されたフィルタ選択装置と
    を備えることを特徴とする、ネットワーク上で送信される少なくとも一つのパケット群をフィルタリングする装置。
JP2016003966A 2015-01-09 2016-01-12 ネットワークモニタリング方法及び装置、並びにパケットフィルタリング方法及び装置 Pending JP2016167799A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510011673.1 2015-01-09
CN201510011673.1A CN105827474A (zh) 2015-01-09 2015-01-09 网络监控方法、过滤数据包的方法及装置

Publications (1)

Publication Number Publication Date
JP2016167799A true JP2016167799A (ja) 2016-09-15

Family

ID=55696833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016003966A Pending JP2016167799A (ja) 2015-01-09 2016-01-12 ネットワークモニタリング方法及び装置、並びにパケットフィルタリング方法及び装置

Country Status (4)

Country Link
US (1) US10069797B2 (ja)
EP (1) EP3065343B1 (ja)
JP (1) JP2016167799A (ja)
CN (1) CN105827474A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7404389B2 (ja) 2019-05-28 2023-12-25 華為技術有限公司 運動軌跡記録方法及び関連デバイス

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10911579B1 (en) * 2016-03-01 2021-02-02 Amazon Technologies, Inc. Generating programmatically defined fields of metadata for network packets
WO2020041872A1 (en) * 2018-08-30 2020-03-05 Streamworx.Ai Inc. Systems, methods and computer program products for scalable, low-latency processing of streaming data
US11909609B1 (en) * 2019-07-17 2024-02-20 F5, Inc. Methods for managing insertion of metadata into a data stream to assist with analysis of network traffic and devices thereof
WO2022193196A1 (zh) * 2021-03-17 2022-09-22 华为技术有限公司 网络报文处理设备及方法、电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1293502C (zh) * 1999-06-30 2007-01-03 倾向探测公司 用于监控网络流量的方法和设备
US7624436B2 (en) * 2005-06-30 2009-11-24 Intel Corporation Multi-pattern packet content inspection mechanisms employing tagged values
JP4148285B2 (ja) * 2006-07-27 2008-09-10 ソニー株式会社 監視装置、フィルタ較正方法及びフィルタ較正プログラム
US7787454B1 (en) * 2007-10-31 2010-08-31 Gigamon Llc. Creating and/or managing meta-data for data storage devices using a packet switch appliance

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7404389B2 (ja) 2019-05-28 2023-12-25 華為技術有限公司 運動軌跡記録方法及び関連デバイス

Also Published As

Publication number Publication date
US20160226826A1 (en) 2016-08-04
EP3065343A3 (en) 2016-12-14
EP3065343B1 (en) 2021-03-24
US10069797B2 (en) 2018-09-04
CN105827474A (zh) 2016-08-03
EP3065343A2 (en) 2016-09-07

Similar Documents

Publication Publication Date Title
US8005012B1 (en) Traffic analysis of data flows
JP2016167799A (ja) ネットワークモニタリング方法及び装置、並びにパケットフィルタリング方法及び装置
US10764148B2 (en) Methods, systems, and computer readable media for network traffic statistics collection
US7561569B2 (en) Packet flow monitoring tool and method
US9276853B2 (en) Hashing of network packet flows for efficient searching
US20050276230A1 (en) Communication statistic information collection apparatus
US8254388B2 (en) Management device to investigate path states of network and network system
RU2014124009A (ru) Метод и система потоковой передачи данных для обработки сетевых метаданных
EP3082293B1 (en) Switching device and packet loss method therefor
US20170295068A1 (en) Logical network topology analyzer
US20160110239A1 (en) Identifying failed customer experience in distributed computer systems
CN112486914A (zh) 一种数据包存储与快查方法与系统
CN115174676A (zh) 汇聚分流方法及其相关设备
CN106648722B (zh) 基于大数据的Flume接收端数据处理方法和装置
WO2021027420A1 (zh) 用于数据传输的方法和装置
WO2005036834A1 (ja) 統計情報採取方法及び装置
US20070118655A1 (en) Network-based autodiscovery system for mac forwarding dispatcher
US10185783B2 (en) Data processing device, data processing method, and non-transitory computer readable medium
CN111064729A (zh) 报文的处理方法及装置、存储介质和电子装置
CN114244781B (zh) 一种基于dpdk的报文去重处理方法和装置
CN106161339A (zh) 获取ip访问关系的方法及装置
WO2021240634A1 (ja) トラフィック監視装置、トラフィック監視方法およびトラフィック監視プログラム
CN116527410B (zh) 一种反向代理模式下的防火墙多进程处理方法和装置
CN114301960B (zh) 集群非对称流量的处理方法及装置、电子设备及存储介质
US11916763B2 (en) Traffic monitoring device, and traffic monitoring method