JP2008311720A - 基準値予測方法とシステムおよびプログラム - Google Patents

基準値予測方法とシステムおよびプログラム Download PDF

Info

Publication number
JP2008311720A
JP2008311720A JP2007155066A JP2007155066A JP2008311720A JP 2008311720 A JP2008311720 A JP 2008311720A JP 2007155066 A JP2007155066 A JP 2007155066A JP 2007155066 A JP2007155066 A JP 2007155066A JP 2008311720 A JP2008311720 A JP 2008311720A
Authority
JP
Japan
Prior art keywords
reference value
parameter
time
traffic
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007155066A
Other languages
English (en)
Other versions
JP4688083B2 (ja
Inventor
Shigeaki Harada
薫明 原田
Ryoichi Kawahara
亮一 川原
Tatsuya Mori
達哉 森
Kensho Kamiyama
憲昭 上山
Hideaki Yoshino
秀明 吉野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2007155066A priority Critical patent/JP4688083B2/ja
Publication of JP2008311720A publication Critical patent/JP2008311720A/ja
Application granted granted Critical
Publication of JP4688083B2 publication Critical patent/JP4688083B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【課題】例えば、ネットワークで送受信されるデータ量などのトラヒックの異常検知を高精度に、かつ効率的に行うことを可能とする。
【解決手段】所定の時間間隔単位で時系列に集計されるデータの量が周期的に増減する際の、データの量の異常を判定する基準値を予測するものであり、選択器3は、一周期分のデータを予め設定されたタイムスロット単位で時系列に分割して出力し、パラメタ推定器4a〜4nは、選択器3から出力された各タイムスロット内のそれぞれのデータに対して、例えばEMアルゴリズム等の第1の時系列解析手法を用いて、基準値を予測するためのパラメタを推定し、この推定したパラメタ推定値と過去周期の同じタイムスロットにおけるパラメタ推定値の重み付け平均値を次周期におけるパラメタとして算出し、予測器6a〜6nは、各パラメタ推定器4a〜4nが算出した次周期におけるパラメタを用いた例えばカルマンフィルタ等の時系列解析モデルを利用した第2の時系列解析手法により基準値を算出する。
【選択図】図1

Description

本発明は、時々刻々と観測される周期を持ったトラヒック時系列データの分析技術に係り、特に、周期性を利用して、観測されるネットワークトラヒック等の異常判定に用いる基準値(ベーストラヒック、ベースライン)の予測を高精度に行うのに好適な技術に関するものである。
日々増大するネットワーク需要を背景に、DDoS(Distributed Denial of Service)攻撃にあげられるようなネットワークトラヒック資源を大量消費する不正行為が増えてきた。このような不正行為でネットワーク帯域が浪費されてしまえば、一般ユーザの通信品質を著しく劣化させることにつながる。そのため、このDDoS攻撃のような異常トラヒックが発生したことを一刻も早く検知し、対策することがネットワーク管理者に求められている。
異常トラヒックの発生を検知する技術として、観測トラヒックのボリューム変化に着目する技術がある。ここで観測トラヒックとは、ある決められた時間間隔毎に測定される、パケット数やバイト数などのデータ量の時間推移を言う。この技術では、観測トラヒックが基準値からある一定量以上の逸脱を示したとき、トラヒックに異常が発生したと判定する。従来、この「基準値(ベーストラヒック)」と「ある一定量(閾値)」は、オペレータの経験により決定されていた。
しかし、大規模ネットワークの綿密な監視を想定したとき、監視対象が膨大となるため、人手により全てを管理することは不可能に近い。何故なら、それぞれの監視対象におけるトラヒックデータは、通常のトラヒック量やトラヒック量の変動幅も異なるため、ベーストラヒック(基準値)と閾値(一定量)は監視対象毎個別に設定する必要があるためである。そこで、ベーストラヒック(基準値)設定と閾値(一定量)設定を自動化することが望まれる。
閾値設定を自動化する技術として、観測トラヒックの平均値や標準偏差といった統計量を用い、統計的根拠に基づいた外れ値判定を利用する技術がある。例えば非特許文献1において記載されているように、移動平均値をベーストラヒック(基準値)、標準偏差を閾値(一定量)として用いるボリンジャーバンドと呼ばれる技術が、特に多用されている。
しかし、このボリンジャーバンドをそのままトラヒックの異常検知に適用しても、精度の良い異常検知を行うことは難しい。その理由は、ボリンジャーバンドは観測トラヒックにおける統計的性質の変化を検出できるが、実際の観測トラヒックでは統計的性質の変化がそのまま異常であるとは言い切れないためである。
すなわち、トラヒックの生成が人間の生活サイクルに依存し、この場合、トラヒックデータは一日単位、一週間単位、一年単位といった周期性を見せることがある。
例えば、ネットワークトラヒックにおいては、一日単位の周期的傾向としては、人々の活動が少ない深夜から朝にかけてはトラヒック量が少なく、人々の活動が活発となる昼から夜にかけてはトラヒック量が増加するという傾向が見られ、また、一週間単位の周期的傾向としては、平日はトラヒック量が多く、休日はトラヒック量が減少するという傾向が見られ、さらに、一年単位の周期的傾向としては、長期休暇が見られる時期はトラヒック量が少なく、休暇明けと見られる時期にはトラヒック量が増加するという傾向が見られるといったものである。
また、観測トラヒックのばらつき具合も、トラヒック量と共に周期的な増減を見せる。
以上のように、トラヒック量が周期性を見せる場合、特定の時間帯でトラヒックの統計的性質が劇的に変化したとしても、毎周期起こっている変化であれば正常だといえる。
しかし、ボリンジャーバンドのように、近傍過去の観測値のみを利用する移動平均値では、ベーストラヒックの統計的性質の周期的な変化に対応することができない。また、トラヒック量の観測値のばらつきを示す標準偏差も、近傍過去の観測値のみを利用するのであれば同様の問題が生じる。
このように、ボリンジャーバンドは周期性を考慮する仕組みがないため、周期的トラヒックを対象とした場合、精度の良い異常検知を行うのは難しい。
一方、周期性を考慮した異常検知技術として、例えば非特許文献2に記載のHolt−Winters法を用いる技術が知られている。この技術は、直近の過去の情報の他にも、より遠い過去の情報も利用し、周期性を考慮したベースラインの予測による異常検知を実現している。
しかし、この技術では、複数のパラメタをトラヒックにあわせて経験的に調節する必要があり、複数の観測トラヒックを対象とした異常検知に用いるのは困難である。
John A. Bollinger(ジョン・A・ボリンジャー)著,長尾慎太郎監修,飯田恒夫訳,"ボリンジャーバンド入門",パンローリング株式会社,2002,pp.95−117,351. Jake D.Brutlag,"Aberrant Behavior Detection in Time Series for Network Monitoring",14th Systems administration conference(LISA2000),Dec.2000,pp.138−146.
解決しようとする問題点は、従来の技術のボリンジャーバンドでは周期性を考慮する仕組みがないため、周期的トラヒックを対象とした場合、精度の良い異常検知を行うのは難しい点と、従来技術のHolt−Winters法を用いる技術では、複数のパラメタをトラヒックにあわせて経験的に調節する必要があり、複数の観測トラヒックを対象とした異常検知に用いるのが困難な点である。
本発明の目的は、これら従来技術の課題を解決し、例えば、ネットワークで送受信されるデータ量などのトラヒックの異常検知を高精度に、かつ、効率的に行うことを可能とすることである。
上記目的を達成するため、本発明では、所定の時間間隔単位で時系列に集計されるデータの量が周期的に増減する際の、このデータの量の正常性(異常)の判定に用いる基準値を、プログラムされたコンピュータによって予測するために、一周期をスロットへと分割して統計情報を精密に取り扱うことで、周期的に統計的性質が変化する時系列データに対するベーストラヒック予測の精度を向上させる。すなわち、プログラムされたコンピュータが実行する処理手段として、選択手段と複数のパラメタ推定手段および予測手段を設け、選択手段は、一周期分のデータを、予め設定されたタイムスロット単位で時系列に分割して出力し、各パラメタ推定手段は、選択手段から出力された各タイムスロット内のそれぞれのデータに対して、例えばEMアルゴリズム等の第1の時系列解析手法を用いて、基準値を予測するためのパラメタを推定し、この推定したパラメタ推定値と過去周期の同じタイムスロットにおけるパラメタ推定値の重み付け平均値を次周期におけるパラメタとして算出し、予測手段は、各パラメタ推定手段が算出した次周期におけるパラメタを用いた例えばカルマンフィルタ等の時系列解析モデルを利用した第2の時系列解析手法により基準値を算出する。
本発明によれば、一周期をスロットへと分割して統計情報を精密に取り扱うことにより、周期的に統計的性質が変化する時系列データに対するベーストラヒック予測の精度を向上させることが可能となる。
以下、図を用いて本発明を実施するための最良の形態例を説明する。図1は、本発明に係る基準値予測システムの構成例を示すブロック図であり、図2は、本発明に係る基準値予測処理のスロット割り当ての第1の例を示す説明図、図3は、本発明に係る基準値予測処理のスロット割り当ての第2の例を示す説明図、図4は、本発明に係る基準値予測処理のスロット割り当ての第3の例を示す説明図、図5は、本発明に係る基準値予測処理動作例を示すフローチャートである。
図1における基準値予測システム1は、CPU(Central Processing Unit)や主メモリ、表示装置、入力装置、外部記憶装置からなるコンピュータ構成からなり、光ディスク駆動装置等を介してCD−ROM等の記憶媒体に記録されたプログラムやデータを外部記憶装置内にインストールした後、この外部記憶装置から主メモリに読み込みCPUで処理することにより、所定の時間間隔単位で時系列に集計されるデータの量が周期的に増減する際の、データの量の異常を判定する基準値を予測するシステムであって、プログラムされたコンピュータの処理機能として、分配器2、選択器3、複数のパラメタ推定器4a〜4n、複数の混合器5a〜5n、予測器6a〜6nを有する。
本例では、所定の時間間隔単位で時系列に集計されるデータの量をネットワーク上のトラヒックとし、集計したネットワークトラヒックに異常が発生したと判断する際に用いる基準値をベーストラヒックとし、このベーストラヒックを予測する動作を説明する。
本例で想定するトラヒックとは、トラヒック観測装置で観測されたネットワーク上で送受信されるパケット数やバイト数などを、一定間隔毎に集約したものを言う。例えば、一分間隔に集約するなら、一時間の観測トラヒックは60個のデータ時系列となる。
観測できるものであれば、フロー数やルータのメモリ使用量などをトラヒックとして取り扱っても良い。
本例では、正常なトラヒック量の基準(ベーストラヒック)を予測することが目的であり、ここで、ベーストラヒックを予測することの必要性は、新しく受け取った観測値が異常値であるかどうかを迅速に判定したいことにある。そして、トラヒックの傾向変化に応じたトラヒック予測をするため、本例では過去周期の情報を参照する。
具体的には、観測トラヒックを周期毎に取り扱い、現時刻におけるベーストラヒック予測に、過去周期の同時刻に対応するトラヒック傾向を利用する。
また、このベーストラヒック予測において、パラメタ設定の簡略化を実現する。
このように、本例では、予め定められる一定期間にネットワーク上で計測されたフロー数やバイト数などの観測値について、一定期間に計測された観測値の時間変化をトラヒックと呼ぶ。また、観測値が記録されるタイミングを時刻と呼ぶ。
このトラヒックについて、本例では、最初に、一周期分のデータ長を決定し、一周期分のデータをスロットと呼ぶさらに小さな単位に分割する。ただし、各スロットは一つ以上の時刻を含むとする。
この一周期の長さとスロットの分割パターンは、本システムを制御するコンフィグ情報として予め定められるものとする。例えば、一周期の長さは監視対象によって様々な値をとる可能性はあるものの、人間の活動に依存するトラヒックであれば、一日、一週間、一年等が妥当である。
また、本例では、スロット毎にパラメタ推定を行うため、スロットの大きさはトラヒック傾向が推定できるある程度の大きさ、例えば30分、一時間、二時間等が妥当となる。
このようにトラヒックデータを分割する理由は、トラヒックの統計的性質が周期的に変化することを利用しやすくするためである。これは、本例のベーストラヒック予測において、統計量に基づく予測手法やカルマンフィルタなどの時系列解析手法を利用していることによる。
このようなベーストラヒック予測手法のいずれにおいても、トラヒックを正確に予測するためには正確な入力パラメタを必要とする。例えば、統計的手法に基づく予測手法では、次に観測される値が現時刻の観測値からどの程度増減するかを示す増加率が、また、時系列解析手法においては、アルゴリズムを制御するための一つ以上の入力値がパラメタである。
これらのパラメタは、予測を行う時刻におけるトラヒックの統計的性質を反映しているほど正確と言え、正確なパラメタであれば正確なベーストラヒックの予測を実現することができる。
本例では、過去周期のあるスロットにおけるトラヒック傾向を、将来の同じ位置にあるスロットにおけるトラヒック傾向に近いとして、スロット単位でパラメタを見積もる。例えば、過去周期の対応するスロットにおけるトラヒックが増加傾向であれば、将来もそのスロットにおいては同様の傾向が観測されるだろうというものである。
このとき、パラメタ推定はスロット内のデータを用いて行われるため、パラメタ推定のタイミングは該当スロットに含まれるデータが全て観測された後となる。この周期性を利用したパラメタ推定により、より正確な入力パラメタ設定が実現され、各予測手法におけるトラヒック予測精度が向上する。
本例において、スロット単位で統計的性質を見積もる理由は、(a)十分なサンプルデータ数を確保することによる各周期における統計量の推定精度を向上させるためと、(b)トラヒックの統計的性質変化を精密に推定できる粒度に一周期を分割するためと、(c)トラヒックにおける統計的性質変化のタイミングについて周期毎の時間のずれを許容するためである。
パラメタ推定は、推定に利用できるデータ数が多いほど推定精度が高まるため、スロットサイズはある程度の大きさにするほうが良い。ただし、トラヒックの統計的性質が時間経過と共に変化する場合、スロットサイズを大きくしすぎるとその変化を考慮できなくさせ、結果的にパラメタ推定精度の低下を招く。
このように、スロットサイズは大きすぎても小さすぎてもパラメタ推定精度が劣化するものの、人間の生活サイクルに依存するトラヒックであれば、一時間、二時間といったスロットサイズが妥当となる。
このとき、各スロットにいくつの時刻(データ)が含まれるかにより、該当スロットでのパラメタ推定精度が左右される。本例では、パラメタ推定値の精度を向上させるため、過去周期のスロットにおけるパラメタ推定値と現在周期のスロットにおける最新のパラメタ推定値の重み付け平均値を、次周期で用いるパラメタとして採用する。
このように、本例では、パラメタ推定に間接的に過去データを利用しているため、スロットサイズが小さい場合においても正確なパラメタ設定を実現できる。
過去の推定値と現在の推定値を加重平均することは、偶発的なトラヒック傾向変化による推定精度の劣化を抑えることと、持続的なトラヒック傾向変化を学習することを可能とする。
この加重平均における、過去の推定値と現在の推定値とに付与する重みは、周期的変化が安定している場合は過去の推定値の重みを大きくし、周期的変化が不安定な場合は現在の推定値の重みを大きくすれば良い。
また、スロットにある程度の幅を持たせることで、時刻単位で見た場合に、各周期の統計的性質が完全な一致を見せなくとも、スロット単位で見た場合は、各周期の統計的性質はほぼ一致するとみなせる。
このように、統計的性質の時間変化を見積もる粒度を粗くすることで、結果的により精度の良いパラメタ推定を実現させることができる。
本例において予め定めるコンフィグは、以上のように、(1)一周期の長さ、(2)スロットの分割パターン、(3)過去のパラメタとの加重平均を取る重みの3つとなる。
ただし、これらのコンフィグはHolt−Winters法のように精密に定める必要はない。何故なら、トラヒックの傾向変化は連続的に生じるものであり、一周期の長さやスロットの分割パターンに多少のずれがあっても、パラメタ推定値への影響は少ない。
また、観測トラヒックが周期性を有しているとき、スロット内の統計的性質は各周期で似通ったものとなる。そのため、パラメタ推定における加重平均の重みについても、設定値の差が予測精度に与える影響は少ない。
また、パラメタ推定精度向上の手法として、複数のコンフィグによるパラメタ推定値について重み付け平均をとることも考えられる。これは、例えばトラヒックの周期が複合的構造となっている場合に有効な手法となる。ここで、複合的構造とは、一日周期、一週間周期、一年周期というように、より大きな周期の中に小さな周期が見られるトラヒック構造を指す。
このような複合的周期構造を持つトラヒックに対して、複数のコンフィグによるパラメタ推定を行い、推定されたそれぞれのパラメタを各時刻で合成することにより、短期的傾向、中期的傾向、長期的傾向を反映した、ベーストラヒック予測のためのより詳細なパラメタ設定を実現することができる。
また、この手法は、周期毎のパラメタ推定精度を確保するだけのスロットサイズを維持しつつ、そのスロットサイズより細かな時間粒度でのトラヒックの時間変動に対応するためにも有効であると考えられる。
例えば、図4のように、スロットの分割時刻を半分ずらした二つのパラメタ推定値を合成すれば、スロットサイズの半分の時間粒度でパラメタ設定を実現できる。
さらに、いずれの場合も、パラメタ推定値の重み付けを自動化させる技術として以下の手法が考えられる。
まず、あるコンフィグにおけるパラメタ推定値に基づくある時刻の予測について、予測誤差を観測値と予測値の差として定義する。この場合、予測誤差の時間累積である累積予測誤差が小さいほど予測精度が高いと言える。
次に、累積予測誤差に反比例する量を、各コンフィグにおけるパラメタ推定値の重みとする。これにより、精度の良いパラメタ推定値は大きな重みが設定される。このように設定される重みで重み付け平均を行うことにより、精度の良いパラメタが強く反映されるベーストラヒック予測が実現される。
このように、図1における基準予測システム1は、所定の時間間隔単位で時系列に集計されるデータの量が周期的に増減する際の、このデータ量の正常性を判定するのに用いる基準値を、一周期をスロットへと分割して統計情報を精密に取り扱うことで、周期的に統計的性質が変化する時系列データに対するベーストラヒック予測の精度を向上させる。
すなわち、基準予測システム1は、プログラムされたコンピュータが実行する処理手段として、分配器2、選択器3、パラメタ推定器4a〜4n、混合器5a〜5n、予測器6a〜6nを具備し、分配器2は入力された観測値(所定の時間間隔単位で時系列に集計されるデータ量)を選択器3および予測器6a〜6nに出力し、選択器3は、入力された観測値の一周期分を、予め設定されたタイムスロット単位で時系列に分割して各タイムスロット毎に設けられたパラメタ推定器4a〜4nに出力する。
各パラメタ推定器4a〜4nは、選択器3から出力された各タイムスロット内のそれぞれのデータに対して、例えば、「R.H.Shumway and D.S.Stoffer,“Dynamic Linear Models With Switching” Journal of the American Statistical Association,September 1991, Vol.86, No.415」に記載の「EMアルゴリズム」等の第1の時系列解析手法を用いて、基準値を予測するためのパラメタを推定し、この推定したパラメタ推定値と過去周期の同じタイムスロットにおけるパラメタ推定値の重み付け平均値を次周期におけるパラメタとして算出し、予測器6a〜6nは、各パラメタ推定器4a〜4nが算出した次周期におけるパラメタを用いた例えばカルマンフィルタ等の時系列解析モデルを利用した第2の時系列解析手法により基準値を算出する。
図1の基準値予測システム1は、各パラメタ推定器4a〜4nによるパラメタ推定精度を向上させるため、特に、トラヒックの周期が、一日周期、一週間周期、一年周期というように、より大きな周期の中に小さな周期が見られるトラヒック構造(複合的構造)となっている場合に有効とするために、複数のコンフィグによるパラメタ推定値について重み付け平均をとるようにしている。
このような複合的周期構造を持つトラヒックに対して、各パラメタ推定器4a〜4nにおいて、複数のコンフィグによるパラメタ推定を行い、推定されたそれぞれのパラメタを、混合器5a〜5nにおいて、各時刻で合成することにより、短期的傾向、中期的傾向、長期的傾向を反映した、ベーストラヒック予測のためのより詳細なパラメタ設定を実現することができる。
尚、このように、複数のコンフィグによるパラメタ推定値について重み付け平均をとるようにすることにより、例えば、図4のように、スロットの分割時刻を半分ずらした二つのパラメタ推定値を合成することにより、スロットサイズの半分の時間粒度でパラメタ設定を実現できる。すなわち、周期毎のパラメタ推定精度を確保するだけのスロットサイズを維持しつつ、そのスロットサイズより細かな時間粒度でのトラヒックの時間変動に対応するためにも有効である。
以下、このような基準値予測システム1の動作の詳細を説明する。
周期Tを持つトラヒックデータy,y,…について、一周期分のデータを予め定められる大きさのスロット(タイムスロット)と呼ぶ小さな単位に分割する。各スロットは時間の順に1,2,…,Nと番号付けをする。
現在の周期をiとあらわし、周期iに属するトラヒックデータを下記の式(数1)と表すとき、数2に示される各スロットに属するデータyは、数3〜数5で示されるように、(イ)重なりがない、(ロ)混ざりがない、(ハ)もれがない、という性質を持つ。
Figure 2008311720
Figure 2008311720
Figure 2008311720
Figure 2008311720
Figure 2008311720
さらに、数6に示すように、(ニ)各スロットの大きさは任意で良いが、各周期でスロットサイズは不変とする。
Figure 2008311720
このような分割を一つの観測トラヒックに対し複数通り用意しても良い。例えば、図2は各スロットを均一のサイズにした場合である。
また、観測トラヒックの統計的性質の変化において、時刻により密な部分と疎な部分が存在する場合、図3のように分割することにより、保持すべき統計量を少なくすることもできる。
また、統計的性質が時間によって変化するトラヒックにおいても、小さなスロットに分割することで、スロット内データの統計的性質をほぼ一定とみなすことができる。
また、周期性がある場合、過去周期の対応スロットにおける統計的性質も一致するため、
過去周期における統計量を利用することも可能となる。
次に、具体的なトラヒック予測手法について、カルマンフィルタを用いる場合を以下で説明する。
観測トラヒックは大きな周期成分であるベーストラヒックと、小さな周期成分である瞬時変動の合成トラヒックとして考えられる。
ただし、この二つの周期成分を分離して観測することはできない。そのため、カルマンフィルタを利用し、ベーストラヒックをシステム発展、瞬時変動を観測誤差として扱うことにより、ベーストラヒックの予測を行う。
今、現時刻をtと表す。カルマンフィルタを利用する際、まずトラヒックのモデル化を行う。本例では、周期i、スロットjにおけるトラヒックモデルは、観測値yと明示的には観測できないシステムの状態値xにより、下記の数7の観測式、数8のシステム状態発展式で表現される。
Figure 2008311720
Figure 2008311720
尚,増加率を数9、観測誤差分散を数10およびシステム誤差分散を数11とし、観測誤差vとシステム誤差wは平均0で分散が、それぞれ数12の互いに独立な正規分布に従うと仮定する。
Figure 2008311720
Figure 2008311720
Figure 2008311720
Figure 2008311720
ここで,増加率、観測誤差分散、およびシステム誤差分散は、周期i、スロットjにおけるトラヒックモデルの観測できない真のパラメタであり、例えば、EMアルゴリズムと呼ばれる手法により自動的に推定される。
カルマンフィルタは,観測値yのほかにシステムの数13に示す状態推定値を利用する。
Figure 2008311720
ここで、数14に示す表記は,時刻tまでの観測系列が与えられたときの時刻iのシステム状態推定値を表す。
Figure 2008311720
また,周期i、スロットjにおけるEMアルゴリズムによるパラメタ推定値を数15と表す。
Figure 2008311720
カルマンフィルタは,観測値を受け取るたび、状態推定ステップと状態予測ステップを交互に繰り返す。
具体的には、時刻tの観測トラヒックyを受け取ると、次のような更新式によりシステムの状態値推定(数16)、モデル分散値推定(数17)へとフィードバックする。尚、モデル分散値は、推定したトラヒックモデルの良さを表す指標である。また、時刻tが周期i、スロットjに属していると仮定する。
Figure 2008311720
Figure 2008311720
ここで、kはカルマンゲインと呼ばれる量で、次の数18の式で与えられる。
Figure 2008311720
カルマンフィルタによる状態予測値は、システム状態の推定値xt|tよりシステム状態発展式に基づき、数19に示すように計算される。
Figure 2008311720
したがって、本例におけるベースライン予測値(数20)は、次の数21の式で与えられる。
Figure 2008311720
Figure 2008311720
尚、モデル分散値pも時間発展し、次の数22の式により計算される。
Figure 2008311720
Figure 2008311720
Figure 2008311720
次に各スロットの統計量を計算する手法に言及する。
カルマンフィルタでベーストラヒック予測を実施する際、必要となる統計量は次の数24に示す入力パラメタである。
Figure 2008311720
このパラメタは、スロット内の観測データがそろっていればEMアルゴリズムで推定できるが、ベーストラヒックを予測する際、事前に推定することはできない。
しかし、本例では観測トラヒックの周期性を仮定しているので、これらの入力パラメタは過去周期に推定されたパラメタが利用できる。
また、スロット内のデータ数が少ない場合には推定精度は劣化するが、予め定められるパラメタηを用い、過去に推定された統計量を利用して以下の数25に示すように推定することで精度を向上させる。
Figure 2008311720
ここで、次の数26に示すものは、前周期における同一スロットの観測時系列(数27に示す)に対する、EMアルゴリズムによるパラメタ推定値とした。
Figure 2008311720
Figure 2008311720
過去の推定値と新たな推定値を混合することにより、偶然のトラヒック傾向変化による影響を抑えることと、長期間継続するトラヒック傾向を学習することを両立している。
また、推定された統計量のみを保持しておけばよく、過去の系列全てを保持する必要はない。
次に、複数種類の分割方法を併用する手法を以下に示す。
統計量推定において推定に利用するサンプルデータが少ない場合、一般的に推定精度が悪くなる。そのため統計量推定の精度を高めるには、スロットを大きくしてサンプルデータを増やす必要があるが、スロットを大きくすると、統計量の時間変化を精密に取り扱えなくなってしまうという問題が生じる。
スロットの分割方法を数種類準備するのはこの問題を解決するためで、それぞれの分割パターンで推定された統計情報を混合することで推定精度の向上と、時間変化の精密な推定を両立する。
例えば一時間間隔のスロット分割において、12:00からの分割と12:30からの分割とを準備する。この場合、それぞれの分割パターンでは一時間毎の時間変化しか推定できないが、それぞれで推定された統計量を合成することで、30分毎の時間変化を推定することが可能となる(図4参照)。
より一般的には、あるスロット分割パターンをSとし、時刻tにおける観測値が属するS内のスロットをS(t,S)とあらわす。
N通りの異なる分割パターンSを準備するとき、時刻tにおける統計量θtは、時刻tについての各スロットS(t,S)で推定された統計量,θs(t,Sn)より、
次の数28に示すように計算される。
Figure 2008311720
ここで、(u,…,u)は予め定められる重み付け係数とした。
このように、複数の分割パターンを併用することで、より粒度が細かく推定値の安定した統計量推定が可能となる。
次に、図5を用いて、図1における基準値予測システム1の処理手順例を説明する。
まず、図示していない処理手段により、予め記録媒体に記録された、あるいは入力装置から入力された、コンフィグ情報(ネットワークトラヒックの一周期分のデータ長、タイムスロットのサイズ等)を読み込み、コンフィグ設定ファイルとして記憶装置に格納する(ステップS501)。
分配器2を介して観測データが入力される度に、選択器3は、コンフィグ設定ファイルを参照して、一周期分の観測データをスロット別データとして取り扱うために、入力された観測値データを、予め一周期を分割して設定された複数のタイムスロットに順次に対応付けて記憶装置に出力する(ステップS502)。
各タイムスロットに対応して設けられたパラメタ推定器4a〜4nは、選択器3から出力された各タイムスロット内のそれぞれのデータをスロット別データから読み出し、それぞれのデータに対して、例えばEMアルゴリズム等の第1の時系列解析手法を用いて、基準値を予測するためのパラメタを推定し(ステップS503)、この推定したパラメタ推定値と過去周期の同じタイムスロットにおけるパラメタ推定値の重み付け平均値を次周期におけるパラメタとして算出し、パラメタファイルとして記憶装置に出力する(ステップS504)。
予測器6a〜6nは、パラメタファイルから、各パラメタ推定器4a〜4nが算出した次周期におけるパラメタを読み出し、各パラメタと分配器2を介して入力された観測データを用いた例えばカルマンフィルタ等の時系列解析モデルを利用した第2の時系列解析手法により基準値を算出し、予測ベーストラヒックヒックファイルとして記憶装置に出力する(ステップS505)。
尚、ステップS501の処理手順において、各パラメタ推定器4a〜4nによるパラメタ推定精度を向上させるため、複数のコンフィグによるパラメタ推定値について重み付け平均をとるようにした場合、各コンフィグ毎に各パラメタ推定器4a〜4nを設け、ステップS502において、選択器3は、各コンフィグ毎の各パラメタ推定器4a〜4nに対して、各一周期分の観測値データを、各タイムスロット単位に分割して出力し、ステップS503,S504において、各パラメタ推定器4a〜4nは、複数のコンフィグによるパラメタ推定を行い、推定されたそれぞれのパラメタを、混合器5a〜5nにおいて、各時刻で合成し、ステップS505において、予測器6a〜6nは、混合器5a〜5nで合成(混合)された各コンフィグ毎の各パラメタ推定器4a〜4nが算出した次周期におけるパラメタを用いて基準値を算出する。
以上、図1〜図5を用いて説明したように、本例では、観測したネットワークトラヒックが、例えば、基準値から一定量以上逸脱したとき、トラヒックに異常が発生したと判定する際に用いる、基準値を意味するベーストラヒックを予測するために、観測したネットワークトラヒックの一周期分のデータ長を決定すると共に、一周期分のデータをスロットと名付ける小単位に分割し、各スロット内のデータに対し、例えばEMアルゴリズム等の時系列解析手法を用いてベーストラヒックを予測するためのパラメタを推定し、推定したパラメタ推定値と過去周期の該当スロットにおけるパラメタ推定値の重み付け平均値を次周期におけるパラメタとして求め、この次周期におけるパラメタを用いた、例えばカルマンフィルタ等の時系列解析手法によりベーストラヒックを算出する。
このように、本例では、一周期をスロットへと分割して統計情報を精密に取り扱うことにより、周期的に統計的性質が変化する時系列データに対するベーストラヒック予測の精度を向上させることが可能となる。
また、重み付け平均値は、複数のコンフィグと名付けた、一周期分のデータ長およびスロットの指定方法によるパラメタ推定値について取り、複数のコンフィグによるパラメタ推定値について重み付け平均を取る場合においては、それぞれのコンフィグにおける予測精度を観測値と予測値の差として定義し、予測精度のよいコンフィグによるパラメタ推定値に対して大きな重みを付加する。
このように、複数のコンフィグによるパラメタ推定値について重み付け平均をとるようにすることにより、例えば、図4に示したように、スロットの分割時刻を半分ずらした二つのパラメタ推定値を合成することにより、スロットサイズの半分の時間粒度でパラメタ設定を実現でき、周期毎のパラメタ推定精度を確保するだけのスロットサイズを維持しつつ、そのスロットサイズより細かな時間粒度でのトラヒックの時間変動に対応するためにも有効である。
尚、本発明は、図1〜図5を用いて説明した例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能である。例えば、本例では、時系列解析モデルとしてカルマンフィルタを取り上げたが、本発明の適用範囲はこの限りではない。例えば、各スロット内の時系列データについて、最小自乗推定などで直線近似し、スロット毎につなぎ合わせても良い。このとき保持されるパラメタは、各スロットの近似直線の傾きとなる。
また、本例では、ネットワークにおける通信トラヒックを例に説明したが、道路上での交通量測定や施設への入場者数測定などにも適用することが可能である。
また、コンピュータ構成例に関しても、キーボードや光ディスクの駆動装置の無いコンピュータ構成としても良く、また、記録媒体としても光ディスクに限らずFD(Flexible Disk)等を用いることでも良い。また、プログラムのインストールに関しても、通信装置を介してネットワーク経由でプログラムをダウンロードしてインストールすることでも良い。
本発明に係る基準値予測システムの構成例を示すブロック図である。 本発明に係る基準値予測処理のスロット割り当ての第1の例を示す説明図である。 図3は、本発明に係る基準値予測処理のスロット割り当ての第2の例を示す説明図である。 本発明に係る基準値予測処理のスロット割り当ての第3の例を示す説明図である。 図5は、本発明に係る基準値予測処理動作例を示すフローチャートである。
符号の説明
1:基準予測システム、2:分配器、3:選択器、4a〜4n:パラメタ推定器、5a〜5n:混合器、6a〜6n:予測器。

Claims (10)

  1. 所定の時間間隔単位で時系列に集計されるデータ量が周期的に増減する際の、該データ量の正常性の判定に用いる基準値を、プログラムされたコンピュータによって予測する方法であって、
    プログラムされたコンピュータの処理手段として、選択手段と複数のパラメタ推定手段と予測手段とを具備し、
    前記選択手段は、
    前記集計されたデータ量情報を入力する度に、入力したデータ量情報を、予め一周期を分割して設定された複数のタイムスロットに順次に対応付けて記憶装置に記録する第1の手順を実行し、
    前記複数のパラメタ推定手段は、
    前記選択手段が記録した各タイムスロット内のそれぞれのデータ量情報を読み出し、各データ量情報に対して第1の時系列解析手法を用いて、前記基準値を予測するためのパラメタを推定し、該推定したパラメタ推定値と過去周期の同じタイムスロットにおけるパラメタ推定値の重み付け平均値を次周期におけるパラメタとして算出する第2の手順を実行し、
    前記予測手段は、
    前記入力したデータ量情報と前記パラメタ推定手段が算出した前記次周期におけるパラメタを用いた第2の時系列解析手法により前記基準値を算出する第3の手順を実行する
    ことを特徴とする基準値予測方法。
  2. 請求項1に記載の基準値予測方法であって、
    前記予測手段は、前記第3の手順でベーストラヒックを算出する際に、時系列解析モデルを利用することを特徴とする基準値予測方法。
  3. 請求項2に記載の基準値予測方法であって、
    前記予測手段は、前記第3の手順で利用する時系列解析モデルとしてカルマンフィルタを用いることを特徴とする基準値予測方法。
  4. 請求項1から請求項3のいずれかに記載の基準値予測方法であって、
    前記パラメタ推定手段による前記第2の手順における前記パラメタ推定値の重み付け平均値の算出を、コンフィグ情報として複数設定された周期別に実行し、
    プログラムされたコンピュータの処理手段として設けられた混合手段により、複数の周期別に算出された重み付け平均値を合成することを特徴とする基準値予測方法。
  5. 請求項1から請求項3のいずれかに記載の基準値予測方法であって、
    前記パラメタ推定手段による前記第2の手順における前記パラメタ推定値の重み付け平均値の算出を、コンフィグ情報として複数設定されたタイムスロット別に実行し、
    プログラムされたコンピュータの処理手段として設けられた混合手段により、複数のタイムスロット別に算出された重み付け平均値を合成することを特徴とする基準値予測方法。
  6. 請求項1から請求項3のいずれかに記載の基準値予測方法であって、
    前記パラメタ推定手段による前記第2の手順における前記パラメタ推定値の重み付け平均値の算出を、コンフィグ情報として複数設定された周期別およびタイムスロット別に実行し、
    プログラムされたコンピュータの処理手段として設けられた混合手段により、複数の周期分別および複数のタイムスロット別に算出された重み付け平均値を合成することを特徴とする基準値予測方法。
  7. 請求項4から請求項6のいずれかに記載の基準値予測方法であって、
    前記パラメタ推定手段による前記第2の手順における前記パラメタ推定値の重み付け平均値の算出において、各コンフィグ情報の基での観測値と予測値の差を予測精度として求め、該予測精度の良いコンフィグ情報の基でのパラメタ推定値に対して大きな重みを付加することを特徴とする基準値予測方法。
  8. 請求項1から請求項7のいずれかに記載の基準値予測方法であって、
    前記所定の時間間隔単位で時系列に集計される周期的に増減するデータ量は、ネットワークトラヒックであることを特徴とする基準値予測方法。
  9. 所定の時間間隔単位で時系列に集計されるデータ量が周期的に増減する際の、該データ量の正常性の判定に用いる基準値を、プログラムされたコンピュータによって予測するシステムであって、
    プログラムされたコンピュータの処理手段として、請求項1から請求項8のいずれかに記載の各手順を実行する手段を有することを特徴とする基準値予測システム。
  10. コンピュータに、請求項1から請求項8のいずれかに記載の基準値予測方法における各手順を実行させるためのプログラム。
JP2007155066A 2007-06-12 2007-06-12 基準値予測方法とシステムおよびプログラム Expired - Fee Related JP4688083B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007155066A JP4688083B2 (ja) 2007-06-12 2007-06-12 基準値予測方法とシステムおよびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007155066A JP4688083B2 (ja) 2007-06-12 2007-06-12 基準値予測方法とシステムおよびプログラム

Publications (2)

Publication Number Publication Date
JP2008311720A true JP2008311720A (ja) 2008-12-25
JP4688083B2 JP4688083B2 (ja) 2011-05-25

Family

ID=40238969

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007155066A Expired - Fee Related JP4688083B2 (ja) 2007-06-12 2007-06-12 基準値予測方法とシステムおよびプログラム

Country Status (1)

Country Link
JP (1) JP4688083B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013150083A (ja) * 2012-01-18 2013-08-01 Nippon Telegr & Teleph Corp <Ntt> ネットワーク異常検出装置およびネットワーク異常検出方法
JP2017085417A (ja) * 2015-10-29 2017-05-18 エヌ・ティ・ティ・コミュニケーションズ株式会社 データ評価装置、データ評価方法、及びプログラム
JP2017528996A (ja) * 2014-09-12 2017-09-28 エヌエスフォーカス インフォメーション テクノロジー カンパニー,リミテッドNsfocus Information Technology Co.,Ltd DDoS攻撃検出のための方法および装置
US9866462B2 (en) 2014-12-26 2018-01-09 Fujitsu Limited Information processing system and information processing method
CN114373308A (zh) * 2021-11-30 2022-04-19 深圳市顺易通信息科技有限公司 一种总有效停车位数量确定的方法、装置以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177549A (ja) * 1997-12-09 1999-07-02 Fujitsu Ltd トラフィック監視装置及びトラフィック監視方法
JP2005203992A (ja) * 2004-01-14 2005-07-28 Intelligent Cosmos Research Institute ネットワーク異常検出装置、ネットワーク異常検出方法およびネットワーク異常検出プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177549A (ja) * 1997-12-09 1999-07-02 Fujitsu Ltd トラフィック監視装置及びトラフィック監視方法
JP2005203992A (ja) * 2004-01-14 2005-07-28 Intelligent Cosmos Research Institute ネットワーク異常検出装置、ネットワーク異常検出方法およびネットワーク異常検出プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CSNG200500278010, 内山勇一 他, "自己回帰予測を用いたトラヒック解析によるDoS検知方法の提案", 信学技報 Vol.103 No.313, 20030911, p.55〜60 *
CSNG200700174018, 原田薫明 他, "異常トラヒック発生検出および終了判定手法", 信学技報 Vol.106 No.420, 20061207, p.115〜120 *
CSNG200700773072, 廣川裕 他, "インターネットバックボーンにおけるトラヒックリープ検出方法", 信学技報 Vol.106 No.577, 20070301, p.403〜408 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013150083A (ja) * 2012-01-18 2013-08-01 Nippon Telegr & Teleph Corp <Ntt> ネットワーク異常検出装置およびネットワーク異常検出方法
JP2017528996A (ja) * 2014-09-12 2017-09-28 エヌエスフォーカス インフォメーション テクノロジー カンパニー,リミテッドNsfocus Information Technology Co.,Ltd DDoS攻撃検出のための方法および装置
US11140197B2 (en) 2014-09-12 2021-10-05 NSFOCUS Information Technology Co., Ltd. Method and apparatus for DDoS attack detection
US9866462B2 (en) 2014-12-26 2018-01-09 Fujitsu Limited Information processing system and information processing method
JP2017085417A (ja) * 2015-10-29 2017-05-18 エヌ・ティ・ティ・コミュニケーションズ株式会社 データ評価装置、データ評価方法、及びプログラム
CN114373308A (zh) * 2021-11-30 2022-04-19 深圳市顺易通信息科技有限公司 一种总有效停车位数量确定的方法、装置以及存储介质

Also Published As

Publication number Publication date
JP4688083B2 (ja) 2011-05-25

Similar Documents

Publication Publication Date Title
JP4721362B2 (ja) 閾値設定方法とシステムおよびプログラム
US7882075B2 (en) System, method and program product for forecasting the demand on computer resources
CN111971942B (zh) 季节性数据的异常检测和处理
JP4688083B2 (ja) 基準値予測方法とシステムおよびプログラム
US20140095696A1 (en) Evaluating utilization of one or more computer systems
US8868993B1 (en) Data replacement policy
US20110161048A1 (en) Method to Optimize Prediction of Threshold Violations Using Baselines
US20120185560A1 (en) Data collecting device, computer readable medium, and data collecting system
US20130332935A1 (en) System and method for computing
CN110896357B (zh) 流量预测方法、装置和计算机可读存储介质
EP4004735A1 (en) Confidence approximation-based dynamic thresholds for anomalous computing resource usage detection
US10643133B2 (en) Proactive event driven computing
He et al. Fault detection and diagnosis of cyber-physical system using the computer vision and image processing
US20150281008A1 (en) Automatic derivation of system performance metric thresholds
CN111800807A (zh) 一种基站用户数量告警的方法及装置
WO2010001966A1 (ja) 時系列データ処理装置およびその方法とプログラム
CN111258854B (zh) 模型训练方法、基于预测模型的报警方法和相关装置
JP2008141641A (ja) 異常トラヒック検知装置および方法
CN108027760B (zh) 数据存储设备监视的方法及系统
CN117056420A (zh) 基于增量分块同步的计量数据高可用流通方法及系统
CN114938339B (zh) 一种数据处理方法和相关装置
CN115250219B (zh) 削峰进度的预测方法、装置和电子设备
JP7422272B2 (ja) 産業オートメーション制御システムまたは電力システムからのデータの保存を促進するための方法および装置
JP2009118274A (ja) 通信帯域算出装置、方法、およびプログラム
CN112148551B (zh) 用于确定存储系统的使用变化率的方法、设备和计算机程序产品

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110208

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110208

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140225

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees