JP2008545343A - 全ネットワークアノマリー診断用の方法及び装置並びにトラフィック特徴分布を使用してネットワークアノマリーを検出及び分類する方法 - Google Patents

Abstract

本発明は、通信ネットワークにおいて普通でないネットワークイベント又はネットワークアノマリーを検出、監視、又は分析するための方法及び装置並びに他の人のためにそのようにするビジネスに関する。本発明の実施形態は、多くの統計的及び数学的方法を適用することによって、ネットワークアノマリーを検出、監視、又は分析することができる。本発明の実施形態は、ネットワークアノマリーを検出、監視、又は分析する方法及び装置の両方を含む。これらは、分類と局在化を含んでいる。
【選択図】図１

Description

［関連出願との相互参照］
この出願は、２００５年６月２９日に双方共に出願された米国仮出願第６０／６９４，８５３号及び第６０／６９４，８４０号の３５ＵＳＣ§１１９（ｅ）による利益を主張し、そして両者の開示は参照によってここに完全に組み入れられる。

［連邦補助研究または開発に関する表明］
この発明は、部分的に全米科学財団による許可番号ＡＮＩ−９９８６３９７及びＣＣＲ−０３２５７０１の支援によって開発された。

［発明の背景］
ネットワークアノマリー（変則）は、ネットワークにおける普通でないイベントであり、これは、ネットワークプロバイダ、ネットワークユーザ、ネットワークオペレータ、又は法執行事務所のような者にとって興味がある。ネットワークアノマリーは、正規のネットワークトラフィック状態、例えばネットワーク資源のブレークダウンの結果として非意図的に創生されることがある。ネットワークアノマリーはまた、ハッカーや、ネットワークにダメージを与えたりネットワークの性能を害するように行動する個人による悪意の攻撃によって意図的に創生されることがある。

典型的に、ネットワークアノマリーは、ネットワーク要素、例えばネットワークの単一リンク又は単一ルータからデータを収集することによって、監視又は分析される。そのようなデータ収集は、他のネットワークデータ又は他のネットワーク要素から分離した状態でなされる。換言すれば、ネットワークアノマリーの発見は、リンクレベルのトラフィック特性と密接に関係付けられている。

ネットワークアノマリーを監視又は分析するもう１つのアプローチは、ネットワークアノマリーをトラフィックボリュームの偏差として扱う。このアプローチは、可視的に際立ったネットワークアノマリーの検出を可能にするが、低レートのネットワークアノマリー（ワーム、ポートスキャン、小さなアウテージ（品質劣化）イベント、等々）は、トラフィックボリュームに基づくアプローチによっては検出されない。

ネットワークアノマリーを監視又は分析する更にもう１つのアプローチは、マニュアル法であり、この場合には１つのルールが創生される。このルールの一致又は違反は、ネットワークアノマリーに遭遇しているか否かを決定する。しかしながら、ルールベースの方法は、新規な、それまで見られていないアノマリーを検出することができない。

多くの現在の方法は、ネットワークアノマリーの各クラスに対し、ネットワークの一要素について、１つの解を与えるが、ネットワークの多要素について１つの解となるが好ましい。

［発明の簡単な要約］
本発明は、通信ネットワークにおいて普通でないネットワークイベント又はネットワークアノマリーを検出、監視、又は分析するための方法及び装置並びに他の人のためにそのようにするビジネスに関する。本発明の実施形態は、多くの統計的及び数学的方法を適用することによって、ネットワークアノマリーを検出、監視、又は分析することができる。本発明の実施形態は、ネットワークアノマリーを検出、監視、又は分析する方法及び装置の両方を含む。これらは、分類と局在化を含んでいる。

この発明は、ネットワークにおける普通でないイベント（アノマリー）を効率の良い連続的手法で検出及び分類するための一般的技法である。この技法は、全ネットワークトラフィックの複数の特徴（アドレス、ポート、等）の分布的特性を分析することに基づいている。このトラフィック特徴の分布的分析は、ネットワークアノマリーの、有意なクラスタ（集団）への分類について２つの鍵となる要素を持つ。

ネットワークトラフィックは、同時に複数のトラフィック特徴（アドレス、ポート、プロトコル、等）の分布について分析される。特徴分布を使用したアノマリー検出は、ボリュームベースの方法によっては検出され得ない低レートの重要なアノマリーを暴くことによる、高感度な増補ボリュームベースの検出である。

ネットワークトラフィックの特徴分布は、アノマリーに関する構造的知識を抽出するために創生される。このアノマリーの構造的知識は、アノマリーを、明瞭に区別される構造的及び語義的に有意なクラスタに分類することに使用される。アノマリーの分類は、教師なしアプローチによって達成されるので、アノマリーを類別することに人的介入や先験的知識は必要とされない。この教師なしアプローチは、この発明が、新規な（これまでに見られない）アノマリー（例えば、新しいワーム）を認識及び分類することを可能にする。

更に、この発明は、全ネットワークデータ、即ちネットワーク中の複数の資源から収集されたデータ、の複数の特徴を分析する。全ネットワーク分析は、ネットワークの全域にわたるアノマリーの検出を可能にする。全ネットワーク分析は、特徴分布分析と結合して、この発明が、全ネットワークアノマリーを検出及び分類することを可能にし、大部分が単一資源データのボリュームベースの分析である現在の方式による検出を増補する。

複数のネットワーク資源（即ち、ネットワークリンク、ルータ、等）から収集されたデータデータの体系的分析は、この発明の鍵となる特徴である。全ネットワークデータを強化することによって、この発明は、ネットワーク全体にわたることがあるアノマリーを含む広範囲なアノマリーを診断することが可能になる。診断は、アノマリーが存在する時刻の識別と、ネットワーク内のアノマリの位置の識別と、アノマリータイプの識別とを可能にする。

アノマリーは、悪用（攻撃、ワーム、等）から故意でないもの（設備不良、人的エラー、等）まで種々の理由で起こり得る。この技術は、各タイプのアノマリーに対する個々の点の解に制限されるものではない。その代わりに、アノマリーを、確立された正規の挙動からの実質的偏差として扱うことによって、この発明は、大集合の変則的イベントを診断するための一般的な解を提供する。

１つの実施形態は、ネットワーク要素によって扱われる通信ネットワークトラフィックに対応した少なくとも１つの次元を持つ時系列を形成し、その時系列をそれらのネットワーク要素に存在するいくつかの通信ネットワークトラフィックパターンに分解する点について説明する。

もう１つの実施形態は、ネットワーク要素によって扱われる通信ネットワークトラフィックに対応した少なくとも１つの次元を持つユニ又はマルチ変量モデルを形成し、その通信ネットワークトラフィックのパターンのアノマリーを検出する。

更にもう１つの実施形態は、通信ネットワークトラフィックの特徴の偏差を見出す。

更にもう１つの実施形態は、通信ネットワークトラフィック特徴の分布を少なくとも発生し、通信ネットワークトラフィック特徴のエントロピーを推定し、通信ネットワークトラフィック特徴のエントロピーのしきい値を設定し、そして通信ネットワークトラフィック特徴のエントロピーが通信ネットワークトラフィック特徴のエントロピーの設定されたしきい値とは異なると見出された場合に、通信ネットワークトラフィック特徴を変則的であると指摘する。

この発明のこれら及び他の特徴は、以下、詳細な説明及び添付の図面において説明される。

［発明の詳細な説明］
本発明は、通信ネットワークにおいて普通でないネットワークイベント又はネットワークアノマリーを検出、監視、又は分析するための方法及び装置に関する。本発明の実施形態は、ネットワークアノマリーを検出、監視、又は分析する具体的な統計的技法を説明するが、他の既知の手法も使用可能である。本発明の実施形態は、ネットワークアノマリーを検出、監視、又は分析する方法及び装置の両方を含む。ここで使用されているように、全ネットワークという用語は、データ収集の基礎に適用されるときに、少なくともネットワークの実質的部分を意味して、データがアノマリー検出及び分析で有意となるようにする。

図１は、通信ネットワーク１００を描いている。この通信ネットワーク１００は、ルータ、サーバ等を持つノードａ〜ｍのようなネットワーク要素を有する。トラフィックの流れの図解がルート１１８によって示されている。ネットワーク要素は、容量、フォーマット等の特徴が同様又は極めて異なるネットワークリンク１０２によって接続されている。与えられたネットワークでは、より多くの又はより少ないネットワーク要素とネットワークリンクがある。事実インターネットの世界では、これは現実の単純化された描写である。

１つの図解として、ネットワークノードｊは、サブネットワーク、ＬＡＮ（ローカルエリアネットワーク）、パーソナルコンピュータ、及びモバイルエージェントを持つ、低レベル通信ネットワークで構成されているように示されている。そのような低レベル通信ネットワークは、ネットワーク要素１０４によって表されるように、範囲、サーバ、ルータ又は他の手段が同様又は異なることがある（サブ）ネットワーク要素１０６で構成されている。これらは、この技術分野では既知であるように、ネットワークリンク１０８を持つ。各サブネットワーク要素は典型的に同様又は明瞭に区別されるパーソナルコンピュータ１２０、又はモバイルエージェント１２２で構成される。これらは、ワイヤレス又は通常のネットワークリンク１１０によってリンクされる。

そのネットワーク内の１つの計算設備１２４は、この発明のプログラミング１１２を、媒体１１４を介してアップロードして、この発明で使用されるデータに対するデータマイニング及び／又は分析を遂行することに使用され得る。この発明の分析は、そこでデータ１１６についてなされる。このデータは、ノード又は他の要素からパス１３０又は別の場所を経由して受信されたものである。別の場所とは、例えばそのデータ１１６が送信されるプロセッサ１２０である。そのようにデータを得ることが可能である場合には、そのデータへのアクセスはネットワークの手中にある。サードパーティが分析を実行している場合には、アクセス許可が必要とされる。

ここで留意されるべき点は、上記の説明は、通信ネットワーク１００の図解的アーキテクチュアに対するだけのものである、ということである。通信ネットワーク１００の成分のいずれかがより多いかより少ないこともあり得る。また、与えられたネットワーク要素及び与えられたネットワークリンクに対して、より低いレベルの多くの層があり得る。

図２Ａ〜２Ｃは、通信ネットワーク１００のトラフィック１１８等を監視するための方法を描いている。この監視は、ネットワーク全体を通してデータにアクセスすることを必要とする。そして、そのようなものとして、各ノードａ〜ｍは、監視用プロセッサ（単数又は複数）にアクセス許可を与えなければならないか、与える必要がある。多量のデータは、このステップで収集され、そして典型的にはマトリクス形に組織化される。１以上の処理ステーション１２４を含むことができる収集マシン（単数又は複数）は、この目的のために使用される。

この発明を実施する場合、ステップ２０２で、時系列を形成するプロセスが開始される。この時系列は、通信ネットワーク１００のトラフィックに対応した少なくとも１つの次元を、いくつかのネットワーク要素、例えばいくつかの期間の各々に対するフロー１１８におけるネットワークノードに持つものである。これらの要素は、この図解の目的のために、ソースと称される。ステップ２０２では、時系列用のデータは、いくつかのネットワーク要素ノードａ〜ｍに存在する通信ネットワーク１００のいくつかのトラフィックパターンに分解される。要素２０６は、このデータのマトリクス２０８に分解された後の数学的形態を描いて、時系列を表している。

マトリクス２０８は、各列に対して別々のソースを持ち、そして各行は、データが収集された１つの期間にわたってデータ収集される。データは、そのようなネットワークトラフィックの変数に関する情報を、トラフィックのバイトの数、パケットの数、及びレコードの数として含んでいる。データは、各ノード内において、各リンクのトラフィック及びポートアドレス、例えばＰＣ１１０を搬送することに使用されるインターネットプロバイダ（ＩＰ）の情報を含んでいる。データは、多数の特徴、例えば発信元ＩＰ及び発信元ポートや、宛先ＩＰ及び宛先ポートを明らかにする。このデータの全ては、ネットワークトラフィックのブロック内で利用可能である。それは、リンク単位、即ち、起終点ＯＤ単位で収集される。

図２Ｂにおいて、マトリクス２０８はステップ２１２で処理され、各ソースに対するレベルを期間毎に見ることによって、共通パターンを経時的に抽出する。このことから、正規のパターンは抽出される。残りのパターンは、変則的と考えられる。正規のパターンは典型的に、ボリューム循環を規則的な時間、例えば２４時間にわたって示す（図２Ｈ）。これらのタイプがデータから全体として抽出されるときに、残りのデータは、ランダムに近い分布を示すが、ボリュームピーク（図２Ｉの２３０）は、疑わしい又は識別されたアノマリーにある。

これは、期間毎に行われ、その結果ステップ２１４は、マトリクス２０８内の全ての期間を通して歩進することに使用される。各繰り返しにおいて、ステップ２１４は、各期間のソースデータの組全体がしきい値よりも高い（正常）か、低い（変則の可能性）かを判定する。このしきい値は、プリセットされるか、データマイニングの結果から経時的に更新される。

ボリューム数が１期間でしきい値を超えたときに、処理は図２Ｃのステップ２１６に移って、疑わしい各アノマリーが仮説プロセスによって評価される。仮説プロセスでは、一致を見つけようとして、多数の可能なサイトがテストされる。この結果、位置について一致を見つけるサブステップか、最もありそうな不一致を識別するサブステップのいずれかを生じる。

ステップ２１８は、正常トラフィックにおける疑わしいソースのボリュームとアノマリーボリュームとを比較することによって、ステップ２１６で見つけられたアノマリーを分析する。これは、そのソースにおけるアノマリーに対して、バイト、パケット又はレコードの数の値を与えることになる。そこから、ステップ２２０は、許可されたユーザにアノマリーの時刻、位置及び量を与える。ステップ２２０から、ステップ２２２は、次の期間の評価をするために、処理をステップ２１４に戻す。

正常及び変則トラフィックの分布のボリューム差が、図２Ｄ〜２Ｇに示されている。図２Ｄ〜２Ｅは、正常トラフィックパターンを、検出されたポケット、バイト（ポケット内容）又はフローの関数及びポートの関数としてそれぞれ示している。図２Ｆ〜２Ｇは、同じデータソースについて変則トラフィックを示している。図２Ｈ及び２Ｉは、正常トラフィックの検出された周期的挙動（２Ｈ）と、疑わしいアノマリーのある残りのスパイク２３０を持つランダムな性質（２Ｉ）とを示している。

この点に数学的に達するために、ある形の次元分析が典型的に使用される。この発明で使用される１つの形は、以下で説明されるＰＣＡ（主成分分析）である。

ＰＣＡは、データ点の与えられた組を新しい軸上にマッピングする座標変換法である。これらの軸は、主軸又は主成分と呼ばれる。ゼロ平均データを扱うとき、各主成分は、既に先行する成分で分散が説明されている場合には、そのデータに残存する最大分散の方向を指す特性を持つ。そのようなものとして、最初の主成分は、単一軸上で可能な最大級までデータの分散を捕捉する。次の主成分は、それから各々残る直交方向の最大分散を捕捉する。

我々は、ＰＣＡを我々のリンクデータマトリクス２０８に適用し、Ｙの各行を扱う。Ｙを調節して、その列がゼロ平均を持つようにする必要がある。このことにより、ＰＣＡ次元が真の分散を捕捉し、そして平均リンク利用の差に起因する歪んだ結果を回避することを確実にする。Ｙは、平均中心的リンクトラフィックデータを示す。

部分空間法は、主軸を、トラフィックの正常及び変則的な変化に対応した２つの組に分離することによって機能する。正規の軸の組によって跨がれる空間は、正規の部分空間Ｓであり、また変則的な軸によって跨がれる空間は、変則的な部分空間Ｓである。このことは、図２Ｊに示されている。

データのＵｘ投影は、有意な変則的挙動を呈する。トラフィック“スパイク”２３０は、アノマリーによって誘導された可能性のある、普通でないネットワーク状態を示す。部分空間法は、そのようなデータの投影を、変則的部分空間に属するものとして扱う。

２つのタイプの投影を正常及び変則的な組に分離することに、種々の処置が適用され得る。典型的及び非定型的な投影間の差を調べることに基づいて、単純なしきい値ベースの分離法が実際に良く機能する。この分離処置は、各主軸上への投影を、予測される最大広がりから最小広がりまで順に調べる。しきい値を超える（例えば、平均から３σの偏差を含む）投影が見つかるや否や、その主軸と全ての後続する軸は、変則的部分空間に割り当てられる。それから、全ての先行する軸は、正規の部分空間に割り当てられる。この処置の結果、主成分は正規の部分空間に早めに配置されることになる。

ボリュームアノマリーを検出及び識別するために用いられた方法は、多変数プロセス制御における部分空間ベースの間違い検出用に開発された理論から得られたものである。

リンクトラフィックにおけるボリュームアノマリーの検出は、任意の時間ステップにおけるリンクトラフィックｙを、正常及び変則的成分に分離することを使用する。これらは、ｙのモデル化された部分及び残りの部分である。

ネットワークトラフィックは、次の場合には正常である。

但し、

この設定において、１−α信頼限界は、この結果が導き出された仮定が満たされるならば、間違い警報レートαに対応する。Ｑ統計値に対する信頼限界は、サンプルベクターｙが多変数ガウス分布に追従するという仮定の下で導き出される。しかしながら、元のデータの根元的分布がガウス分布と実質的に異なるときのＱ統計値は、それほど変化しない、という点が指摘される。

部分空間フレームワークでは、ボリュームアノマリーは、状態ベクターｙの、Ｓからの変位を表す。この変位の特別な方向は、アノマリーの性質に関する情報を与える。アノマリー識別に対するアプローチは、潜在的アノマリーの組のどのアノマリーが、正規の部分空間Ｓからのｙの偏差を最も記述可能であるかを問うことである。

全ての可能なアノマリーの組は、｛Ｆｉ，ｉ＝１，．．．，Ｉ｝である。この組は、できるだけ完全になるように選択されるべきである。何故ならば、それは、識別され得るアノマリーの組を規定するからである。

図解を単純化するために、１次元のアノマリー、即ち付加的なリンク当たりのトラフィックが単一変数の線形関数として記述され得るアノマリーだけが考慮されている。このアプローチを多次元のアノマリーに一般化することは、以下に示されているように、簡単なことである。

それから、各アノマリーＦ_ｉは、このアノマリーがネットワーク中の各リンクにトラフィックを加える手法を規定する関連ベクターθ_ｉを有する。θ_ｉが単位ノルムを持つものと仮定すると、アノマリーＦ_ｉの存在下で、状態ベクターｙは次のように表される。

かくして、以上のことをまとめると、識別アルゴリズムは、次のものから構成される。

特別なボリュームアノマリーＦｉの推定値により、このアノマリーを構成するバイトの数は推定される。選択されたアノマリーＦｉに起因する各リンク上の変則的トラフィックの推定された量は、次のように与えられる。

アノマリーがＯＤフローの組によって規定される現在の場合、我々の定量化は、Ａに依存する。我々は、Ａを使用してルーティングマトリクスを示す。このルーティングマトリクスは、Ａの各列が単位和を持つように、即ち次のように正規化されている。

それから、アノマリーＦｉの識別が与えられると、我々の定量化推定値は、次のようになる。

上述の原理は、この発明のもう１つの形態にも使用されて、トラフィックフローデータの多特徴（多手法）、多ソース（多変数）分布を生成する。このプロセスは、図３Ａのステップ３１０において、全ネットワークの複数の特徴にわたり且つ複数のソースに対してデータを収集することによって開始する。ステップ３４０では、データは３Ｄマトリクス形に組織化される。そのようなものの一例が図３Ｃに示されている。ここで、一連のマトリクス３３２が、各特徴に１つの割合で形成される。このマトリクス形は、ソースのＯＤ対又はリンクを有する。これは、期間の数に対し各列に１つの割合で、各行に１つの割合で存在する。本発明の例では、これらの特徴は、発信元ＩＰ、発信元ポート、宛先ＩＰ及び宛先ポートである。他の特徴又はより少ない特徴が使用されることもある。

図３Ｄは、各マトリクス要素に対するデータの組を示している。これは、マトリクス３３２が実際には３次元であって、各マトリクス位置が一連のデータ点３３４を持つことを意味する。かくして、それは、ソース対期間のデータを示す上記のマトリクスに似ている。

図３Ａのステップ３４４において、このデータは、各特徴分布を特徴付けるプロセス、この例ではエントロピーメトリックによって統計的に低減され、状態３４６の結果を与える。この結果、以下で論じられる図３Ｇに示された３Ｄマトリクス３３６の組が生じる。エントロピーメトリックは、次の式を用いて、各データ点を処理する。

ここで、ｉは、ｎ_ｉ回起こり、またＳは、マトリクス内の観察の総数である。図３Ｇの状態３６０における新しいマトリクス３３６は、同様に３Ｄ特性を持つ。

エントロピーメトリックによる２つの異なる分布の統計的単純化のプロセスが図３Ｅ及び３Ｆに示され、高及び低エントロピー特徴を描いている。分布ヒストグラムが分散されているとき（図３Ｅ）、ヒストグラムのエントロピー要約は高い。また、ヒストグラムが歪んでいるか、図３Ｆのように一握りの値に集中されているときは、ヒストグラムのエントロピー値は小さい。

後続のステップ３３８において、マトリックス３３６は、大きな２Ｄマトリクス３４２に“アンラップされる”。この大きな２Ｄマトリクスでは、各マトリクス３３６の行が、特徴から特徴へ連続することにより、長い行、例えば図３Ｇの行３４８に組み立てられている。図３Ｇでは、特徴は例示的あって、発信元ＩＰアドレス及びポート並びに宛先ＩＰアドレス及びポートを形成する。

マトリックス３４２は、それからステップ３５０及び３５２において、前述した原理に基づく部分空間クラスタ化技法によって処理される。これは、反復プロセスであって、ステップ３５２の処置を繰り返し歩進して、ステップ３７０及び３８０を経由するループを作る。

各検出されたアノマリーに対するアノマリー分類プロセスのステップ３５４において、残りの成分は、各々Ｋの特徴であると判明される。検出されたアノマリーは、マトリクス３４０内の特徴の各々に対し１つの割合となる、“Ｋ”数の組を生じる。Ｋ数は、Ｋ次元空間内の点を表すので、ステップ３５６においてそのように扱われる。即ち、Ｋ数は、Ｋ空間内のＫ軸に沿った位置として扱われ、それらは、ステップ３５８において、そのようにプロットされる。このプロットは、プロセッサ１２０のようなプロセッサと、関連するデータベースの中で起こる。

クラスタ化技法は、それからステップ３６０で適用されて、接近用しきい値に従って互いに接近したものとされる点のクラスタを識別する。そのようなしきい値用の値は、データ点から直接決定され、そしてまた使用プロセスからの学習の一部として、より正確な結果を求めて経時的に調整される。クラスタ化は、より低い次元の空間内で、例えば、それらを図３Ｈのように２Ｄ空間上に投影するように、実施されることがある。

図３Ｈのような結果としてのクラスタ（Ｋ＝２次元の例が３６２に示されている）は、ルールによって解釈される。このルールは、最初はマニュアルな観察に関する知識によって確立されて、１つの領域を、アノマリーの人に親切な説明に相関付けるものである。１つの例は、“高い残り宛先ＩＰエントロピー及び低い残り宛先ポートエントロピーの範囲に入るアノマリーは、ワームスキャンである”。図３Ｉは、実ネットワークトラフィックについてこの発明の評価によって得られた実際のデータ及びその解釈の表を示している。この表は、上述した４つの特徴について、いかにしてエントロピーメトリックレベル（−は低い、＋は高い）が、図に示された種々のアノマリータイプ（複数のラベル）として解釈されるクラスタ化位置を規定するのかを示している。このことにより、クラスタ化中に特徴として位置が加えられたときに、アノマリー分類が達成されることが可能になる。本発明は、分類と局在化を同時に許容する。分離され得る他のアノマリータイプには、内容分布、ルーティングループ、トラフィックエンジニアリング、オーバーロードが含まれる。この発明は、上記以外の、又はクラスタ化ベースのアプローチを使用したこれまでに知られているもの以外のアノマリータイプにスポットを当てる。このことは、新しいヘットワークアノマリータイプの識別に対する教師なし学習アプローチを与える。

このようにして、この発明を承諾又は使用する種々のネットワーク用サービスプロバイダ（例えば、サービスプロバイダネットワークやケーブルプロバイダ）は、アノマリーを扱ったり、その能力の購入者に保証を与える改善工程をとることが可能である。このことにより、それらのサービスを潜在的に更にアピール性の高いものにすることができる。プロバイダはまた、独立したアナリストにネットワーク要素への必要なアクセスを与えることによって、この機能を彼らと契約し、これにより新しいビジネス機会を創生することができる。

この発明は、サービスプロバイダネットワークで使用されるものとして説明されてきたが、他のタイプのネットワーク、例えば輸送ハイウエイネットワーク、郵便サービスネットワーク、及びセンサネットワークでも等しく使用され得る。

この発明でアノマリー検出するためのデータソース用に使用される全ネットワークを描いている。 この発明の１つの形態によるネットワークデータの処理を描いている。 この発明の１つの形態によるネットワークデータの処理を描いている。 この発明の１つの形態によるネットワークデータの処理を描いている。 この発明を理解するに有用な分布である。 この発明を理解するに有用な分布である。 この発明を理解するに有用な分布である。 この発明を理解するに有用な分布である。 この発明によって得られた、正規のネットワーク通信トラフィックを示すデータを描いている。 この発明によって得られた、変則的なネットワーク通信トラフィックを示すデータを描いている。 ２次元にわたるデータのクラスタ化を描いている。 この発明の別の形態によるネットワークデータに関する処理を描いている。 この発明の別の形態によるネットワークデータに関する処理を描いている。 この発明で創生された複数の特徴に対するデータの多次元マトリクスを描いている。 図３Ｃのマトリクスについてのマトリクス内容を描いている。 この発明によるエントロピーメトリックを使用した結果を描いている。 この発明によるエントロピーメトリックを使用した結果を描いている。 この発明で実行されたマトリクスアンラップ操作を描いている。 この発明で実行されたクラスタ化の結果を描いている。 この発明により特徴付けられたアノマリーについての例示的な表である。

符号の説明

ａ〜ｍ ノード
１００ 通信ネットワーク
１０２ ネットワークリンク
１０４ ネットワーク要素
１０６ （サブ）ネットワーク要素
１０８ ネットワークリンク
１１０ ネットワークリンク
１１２ プログラミング
１１４ 媒体
１１６ データ
１１８ ルート
１２０ パーソナルコンピュータ
１２２ モバイルエージェント
１２４ 計算設備
１３０ パス

Claims (75)

1. 通信ネットワークトラフィックを監視するための方法であって、
   複数のネットワーク要素上の通信ネットワークトラフィックを集合的に特徴付ける複数の時系列を形成する工程と、
   複数の時系列を複数のネットワーク要素の少なくとも２つに存在する少なくとも１つの通信ネットワークトラフィックパターンに分解する工程と
   を備えることを特徴とする方法。
2. 複数の時系列は、データストリームからのものである請求項１に記載の通信ネットワークトラフィックを監視する方法。
3. 複数の時系列は、複数のソースで形成される請求項１に記載の通信ネットワークトラフィックを監視する方法。
4. 通信ネットワークトラフィックを監視するための方法であって、
   複数のネットワーク要素上の通信ネットワークトラフィックを時間によって集合的に特徴付ける複数の時系列を形成する工程と、
   複数の時系列を複数のネットワーク要素の少なくとも１つに存在する少なくとも１つの通信ネットワークトラフィックパターンに時間によって分解する工程と
   を備えることを特徴とする方法。
5. 前記複数の時系列は、複数のネットワーク位置における通信ネットワークトラフィックに対応したデータによって形成される請求項１に記載の方法。
6. 前記分解する工程は、前記時系列について主成分分析を実施する工程を含む請求項５に記載の方法。
7. 複数のネットワーク要素内に存在する正規の通信ネットワークトラフィックパターンを表すデータモデルを構築する工程を更に備える請求項１に記載の方法。
8. 前記構築する工程は、正規の通信ネットワークトラフィックの低次元近似を形成する工程を含む請求項７に記載の方法。
9. 前記構築する工程は、前記時系列から、通信ネットワークトラフィック情報の一部分を表す少なくとも１つのパターンを抽出する工程を更に含む請求項８に記載の方法。
10. 前記構築する工程は、前記時系列から、その一部分をエントロピーによって測定されたものとして表す少なくとも１つのパターンを抽出する工程を更に含む請求項８に記載の方法。
11. アノマリーを検出する工程を更に備える先の請求項１〜１０のいずれかに記載の方法。
12. 前記アノマリーを検出する工程は、通信ネットワークトラフィックのデータフローを推定する工程を含む請求項１１に記載の方法。
13. 前記検出する工程は、少なくとも１つのパケットを計数する工程を含む請求項１１に記載の方法。
14. 前記検出する工程は、パケット内容を処理する工程を含む請求項１３に記載の方法。
15. 前記検出する工程は、前記アノマリーのタイプを検出する工程を含む請求項１１に記載の方法。
16. 前記検出する工程は、正規のネットワークトラフィックとは別の残りの通信ネットワークトラフィックを識別する工程を含む請求項１１に記載の方法。
17. 前記分析する工程は、前記残りの通信ネットワークトラフィックが統計的しきい値を超える時期を決定する工程を含む請求項１６に記載の方法。
18. 前記決定する工程は、前記アノマリーを、アノマリーによって影響される１以上のネットワーク要素に局在化する工程を含む請求項１７に記載の方法。
19. 前記局在化する工程は、前記アノマリーを、適合を見つけるために、少なくとも１つの学習された仮説と比較する工程を含む請求項１８に記載の方法。
20. 通信ネットワークトラフィックの特徴に偏差を見い出す工程を更に備える先の請求項１〜１９のいずれかに記載の方法。
21. 見い出す工程は、エントロピーを使用して、トラフィック特徴の分布を１つの数に要約する工程を含む請求項２０に記載の方法。
22. 特徴偏差を局在化する工程を更に含む請求項２０に記載の方法。
23. 前記分解する工程は、クラスタ化する工程を含む先の請求項１〜２２のいずれかに記載の方法。
24. 通信ネットワークトラフィックを分析するための方法であって、
    複数のネットワーク要素上の通信ネットワークトラフィックに対応した少なくとも１つの次元を有する１以上のソースからの１以上のデータタイプからモデルを形成する工程と、
    通信ネットワークトラフィックのモデル内のパターンとしてアノマリーを検出する工程と
    を備えることを特徴とする方法。
25. 前記検出されたアノマリーパターンは、ＤｏＳ攻撃、ワームスキャン、ポートスキャン、フラッシュクラウド、内容分布、大トラフィックシフト、オーバーロード、アウテージイベント、ルーティングループ、トラフィックエンジニアリングからなる群において１以上のアノマリーを特徴付けるパターンである請求項２４に記載の方法。
26. 前記パターンは、予め知られていないパターンである請求項２４に記載の方法。
27. 検出する工程は、通信ネットワークトラフィックのデータフローを推定する工程を含む請求項２４に記載の方法。
28. 検出する工程は、少なくとも１つのパケットを計数する工程を含む請求項２４に記載の方法。
29. 検出する工程は、パケット内容を処理する工程を含む請求項２８に記載の方法。
30. 検出する工程は、前記アノマリーのタイプを検出する工程を含む請求項２４に記載の方法。
31. 検出する工程は、正規のネットワークトラフィックとは別の残りの通信ネットワークトラフィックを識別する工程を含む請求項２４に記載の方法。
32. 分析する工程は、前記残りの又は前記正規の通信ネットワークトラフィックのいずれかが統計的しきい値を超える時期を決定する工程を含む請求項３１に記載の方法。
33. 前記決定する工程は、前記アノマリーを、アノマリーによって影響される１以上のネットワーク要素に局在化する工程を含む請求項３２に記載の方法。
34. 局在化する工程は、前記アノマリーを、適合を見つけるために、少なくとも１つの所定の仮説と比較する工程を含む請求項３３に記載の方法。
35. 通信ネットワークトラフィックの特徴に偏差を見い出す工程を更に備える請求項２４〜３４のいずれかに記載の方法。
36. 前記見い出す工程は、エントロピーを使用して、分布を１つの数に要約する工程を含む請求項３５に記載の方法。
37. 特徴の偏差を、アノマリーによって影響される１以上のネットワーク要素に局在化する工程を更に含む請求項３５に記載の方法。
38. 前記検出する工程は、クラスタ化する工程を含む先の請求項２４〜３７のいずれかに記載の方法。
39. 通信ネットワークのアノマリーを検出するための方法であって、
    通信ネットワークトラフィックの複数の特徴から決定されるパターンに偏差を見出す工程を備えることを特徴とする方法。
40. 前記パターン偏差は、ＤｏＳ攻撃、ワームスキャン、ポートスキャン、フラッシュクラウド、内容分布、大トラフィックシフト、オーバーロード、アウテージイベント、ルーティングループ、トラフィックエンジニアリングからなる群において１以上のアノマリーを特徴付けるパターンである請求項３９に記載の方法。
41. 前記パターンは、予め知られていないパターンを表す請求項４０に記載の方法。
42. 偏差を見出す工程は、発信元アドレス、宛先アドレス、アプリケーションポート、及びプロトコル情報の特徴を含む特徴の組から偏差を見出す請求項３９に記載の方法。
43. 偏差を見出す工程は、通信ネットワークトラフィックのデータフローを推定する工程を含む請求項３９に記載の方法。
44. 偏差を見出す工程は、少なくとも１つのパケットを計数する工程を含む請求項３９に記載の方法。
45. 偏差を見出す工程は、パケット内容を処理する工程を含む請求項４４に記載の方法。
46. 偏差を見出す工程は、前記アノマリーのタイプを検出する工程を含む請求項３９に記載の方法。
47. 偏差を、影響を受ける要素に局在化する工程を更に含む請求項３９に記載の方法。
48. 前記偏差を見出す工程は、クラスタ化する工程を含む先の請求項３９〜４７のいずれかに記載の方法。
49. 通信ネットワークトラフィックを監視するための方法であって、
    通信ネットワークトラフィック特徴の分布を少なくとも発生する工程と、
    分布のエントロピーを推定する工程と、
    通信ネットワークトラフィック特徴のエントロピーがエントロピーのしきい値とは異なる場合、通信ネットワークトラフィック特徴を変則的であると指摘する工程と
    を備えることを特徴とする方法。
50. 前記分布のエントロピーのしきい値をネットワークトラフィック履歴から確立する工程を更に備える請求項４９に記載の方法。
51. 前記ネットワークトラフィック特徴は、発信元ＩＰ、宛先ＩＰ、発信元ポート、宛先ポート、及び通信プロトコルの１以上からなる群から選択される請求項４９に記載の方法。
52. エントロピーを推定する工程は、通信ネットワークトラフィック特徴分布のエントロピーを通信ネットワークの単一要素に対して推定する工程を更に含む請求項４９に記載の方法。
53. エントロピーを推定する工程は、エントロピーが特徴分布内で高いか低いかを識別する工程を更に含む請求項４９に記載の方法。
54. 通信ネットワークトラフィック特徴のエントロピーを推定する工程は、マトリクス操作を更に含む請求項４９に記載の方法。
55. エントロピーを推定する工程は、時間の間隔に関する分布のエントロピーの推定を更に含む請求項４９に記載の方法。
56. アノマリー検出用の方法であって、
    複数のタイプ及び複数のソースに対応するネットワーク通信トラフィックのモデルを形成する工程と、
    前記モデルから１つのパターンを抽出する工程と、
    アノマリーを識別するために前記パターンにしきい値を設定する工程と
    を備えることを特徴とする方法。
57. ネットワーク通信トラフィックを特徴付けるための方法であって、
    ネットワーク通信トラフィックの複数の特徴に関するデータをクラスター化する工程と、
    前記ネットワーク通信における正規のトラフィック状態を識別するために、そのモデルを形成する工程と
    を備えることを特徴とする方法。
58. ネットワーク通信トラフィックを特徴付けるための方法であって、
    ネットワーク通信トラフィックの複数の特徴に関するデータをクラスター化する工程と、
    前記ネットワーク通信における変則的なトラフィック状態を識別するために、そのモデルを形成する工程と
    を備えることを特徴とする方法。
59. １以上のサービスプロバイダによって通信が提供されるネットワークにおいて、プロバイダの顧客に対するサービスを安全なものにする方法であって、
    請求項８〜５８のいずれかの方法を実行する工程と、
    検出されたアノマリーを局在化する工程と
    を備えることを特徴とする方法。
60. 前記ネットワークを通してデータへのアクセスを得る工程を更に備える請求項５９に記載の方法。
61. 通信ネットワークトラフィックの複数の特徴から決定されるパターンからしきい値を決定する請求項３９に記載の方法。
62. 先の請求項１〜６１のいずれかに記載の方法を実行するための処理命令が符号化されていることを特徴とする装置。
63. 前記符号化は、媒体の１以上の要素についてなされる請求項６２に記載の装置。
64. 前記符号化は、１以上のプロセッサにおいてなされるものであり、そしてこのように符号化された１以上のプロセッサは、前記方法を実行するように動作するものである請求項６２に記載の装置。
65. 通信ネットワークトラフィックを監視するための装置であって、
    複数のネットワーク要素上の通信ネットワークトラフィックを集合的に特徴付ける複数の時系列を形成する手段と、
    複数の時系列を複数のネットワーク要素の少なくとも２つに存在する少なくとも１つの通信ネットワークトラフィックパターンに分解する手段と
    を備えることを特徴とする装置。
66. 複数の時系列は、データストリームからのものである請求項６５に記載の通信ネットワークトラフィックを監視するための装置。
67. 複数の時系列は、複数のソースで形成される請求項６５に記載の通信ネットワークトラフィックを監視する装置。
68. 通信ネットワークトラフィックを監視するための装置であって、
    複数のネットワーク要素上の通信ネットワークトラフィックを時間によって集合的に特徴付ける複数の時系列を形成する手段と、
    複数の時系列を複数のネットワーク要素の少なくとも１つに存在する少なくとも１つの通信ネットワークトラフィックパターンに時間によって分解する手段と
    を備えることを特徴とする装置。
69. 通信ネットワークトラフィックを分析するための装置であって、
    複数のネットワーク要素上の通信ネットワークトラフィックに対応した少なくとも１つの次元を有する１以上のソースからの１以上のデータタイプからモデルを形成する手段と、
    通信ネットワークトラフィックのモデル内のパターンとしてアノマリーを検出する手段と
    を備えることを特徴とする装置。
70. 通信ネットワークのアノマリーを検出するための装置であって、
    通信ネットワークトラフィックの複数の特徴から決定されるパターンに偏差を見出す手段を備えることを特徴とする装置。
71. 通信ネットワークトラフィックを監視するための装置であって、
    通信ネットワークトラフィック特徴の分布を少なくとも発生する手段と、
    分布のエントロピーを推定する手段と、
    通信ネットワークトラフィック特徴のエントロピーがエントロピーのしきい値とは異なる場合、通信ネットワークトラフィック特徴を変則的であると指摘する手段と
    を備えることを特徴とする装置。
72. アノマリー検出用の装置であって、
    複数のタイプ及び複数のソースに対応するネットワーク通信トラフィックのモデルを形成する手段と、
    前記モデルから１つのパターンを抽出する手段と、
    アノマリーを識別するために前記パターンにしきい値を設定する手段と
    を備えることを特徴とする装置。
73. ネットワーク通信トラフィックを特徴付けるための装置であって、
    ネットワーク通信トラフィックの複数の特徴に関するデータをクラスター化する手段と、
    前記ネットワーク通信における正規のトラフィック状態を識別するために、そのモデルを形成する手段と
    を備えることを特徴とする装置。
74. 通信ネットワークトラフィックを監視するための方法であって、
    発信元ＩＰ、発信元ポート、宛先ＩＰ及び宛先ポートからなる群から選択された通信ネットワークトラフィック特徴の分布を少なくとも発生する工程と、
    前記特徴に対して分布のエントロピーを推定する工程と、
    アノマリータイプをエントロピーに従って１以上のタイプから以下のように識別する工程と
    

    

    を備えることを特徴とする方法。
75. 通信ネットワークトラフィックを監視するための装置であって、
    発信元ＩＰ、発信元ポート、宛先ＩＰ及び宛先ポートからなる群から選択された通信ネットワークトラフィック特徴の分布を少なくとも発生する手段と、
    前記特徴に対して分布のエントロピーを推定する手段と、
    アノマリータイプをエントロピーに従って１以上のタイプから以下のように識別する手段と
    

    

    を備えることを特徴とする装置。

Images