JP2007295056A - ネットワーク状態判定装置及びネットワーク状態判定方法及びネットワーク状態判定プログラム - Google Patents

ネットワーク状態判定装置及びネットワーク状態判定方法及びネットワーク状態判定プログラム Download PDF

Info

Publication number
JP2007295056A
JP2007295056A JP2006117453A JP2006117453A JP2007295056A JP 2007295056 A JP2007295056 A JP 2007295056A JP 2006117453 A JP2006117453 A JP 2006117453A JP 2006117453 A JP2006117453 A JP 2006117453A JP 2007295056 A JP2007295056 A JP 2007295056A
Authority
JP
Japan
Prior art keywords
network
state
feature amount
feature
steady
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006117453A
Other languages
English (en)
Other versions
JP4745881B2 (ja
Inventor
Rika Kawabata
理華 河端
Norio Hirai
規郎 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2006117453A priority Critical patent/JP4745881B2/ja
Publication of JP2007295056A publication Critical patent/JP2007295056A/ja
Application granted granted Critical
Publication of JP4745881B2 publication Critical patent/JP4745881B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【課題】ネットワークの異常検出を精度高く行うことを目的とする。
【解決手段】ログ分析装置10は、ログ収集装置20の収集したログからネットワークの所定期間の定常状態に対応する特徴量であるn次元(nは1以上の整数)の定常状態特徴量を複数抽出するとともに、ログに含まれるデータであってネットワークの状態の判定に使用され、かつ定常状態の期間よりも後の所定期間のデータである観測データに対応する特徴量である観測データ特徴量F1をn次元の点を示す座標として抽出する抽出部110と、抽出部110が抽出した複数の定常状態特徴量から複数の定常状態特徴量の分布する領域を示すn次元の定常域RPを生成する特徴量域定義部104と、定常域RPと観測データ特徴量F1との距離を算出する特徴間距離算出部106と、特徴間距離算出部106が算出した距離に基づいて、ネットワークの状態を判定する判定部107とを備えた。
【選択図】図3

Description

この発明は、ネットワークの異常を検出するネットワーク状態判定装置及びネットワーク状態判定方法及びネットワーク状態判定プログラムに関する。
従来のネットワークの異常検出手段は、ネットワークログ=時系列データを分析し異常を検出するが、過去のある期間の比較パラメータの総記録数に対する割合、平均値、標準偏差、相関度、頻度との比較によって分析対象の異常を判定していた(例えば、特許文献1)。
また、ネットワークの通常状態におけるイベントを観測し分布データを作成し、ネットワークの運用時に作成した分布パターンとを比較し、この比較結果から異常を検出していた(例えば、特許文献2)。
このように従来のネットワークの異常検出手段は、通常状態との分析対象パラメータ値との比較で異常検出を行っているが、通常状態のログを入力として算出した閾値との比較であり、その閾値次第で異常検出精度が異なる課題があった。
また、ネットワークの状況は変化し続けており、通常状態を定義し直し続ける必要がある。通常状態を定義し直し、閾値を算出し直しても、異常の影響がバッググラウンドで長引いた場合などを考えると、その一定期間のデータの変動は落ち着いていても、通常=正常とは限らなくなる。この場合に異常状態が収束していったときのデータは通常とした状態のものとは異なるデータとなり異常と検出され、異常検出精度が低下するという課題があった。
特開2005−236862号公報 特開2005−244429号公報
この発明は、ネットワークの異常検出を精度高く行うことを目的とする。
この発明のネットワーク状態判定装置は、
ネットワークのログを収集するログ収集装置の収集した前記ログから前記ネットワークの所定期間の定常状態に対応する特徴量であるn次元(nは1以上の整数)の定常状態特徴量を複数抽出するとともに、前記ログに含まれるデータであって前記ネットワークの状態の判定に使用され、かつ前記定常状態の期間よりも後の所定期間のデータである判定対象データに対応する特徴量である判定対象データ特徴量をn次元の点を示す座標として抽出する抽出部と、
前記抽出部が抽出した複数の定常状態特徴量から前記複数の定常状態特徴量の分布する領域を示すn次元の特徴量領域を生成する特徴量領域生成部と、
前記特徴量領域生成部が生成した前記特徴量領域と前記抽出部が抽出した前記判定対象データ特徴量との距離を算出する特徴間距離算出部と、
前記特徴間距離算出部が算出した距離に基づいて、前記ネットワークの状態を判定する判定部と
を備えたことを特徴とする。
この発明により、精度の高いネットワーク異常検出を実現することができる。
実施の形態1.
図1は、コンピュータであるログ分析装置10(ネットワーク状態判定装置)の外観の一例を示す図である。図1において、ログ分析装置10は、システムユニット830、CRT(Cathode Ray Tube)やLCD(液晶)の表示画面を有する表示装置813、キーボード814(Key Board:K/B)、マウス815、FDD817(Flexible Disk Drive)、コンパクトディスク装置818(CDD:Compact Disk Drive)、プリンタ装置819などのハードウェア資源を備え、これらはケーブルや信号線で接続されている。
システムユニット830は、コンピュータであり、また、ネットワークに接続されている。ネットワークには、ログ収集装置20が接続されている。ログ分析装置10は、ネットワークを介してログ収集装置20と通信可能である。ログ分析装置10は、ログ収集装置20からログデータを取得する。
図2は、実施の形態1におけるログ分析装置10のハードウェア資源の一例を示す図である。図2において、ログ分析装置10は、プログラムを実行するCPU810(中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう)を備えている。CPU810は、バス825を介してROM(Read Only Memory)811、RAM(Random Access Memory)812、表示装置813、キーボード814、マウス815、通信ボード816、FDD817、CDD818、プリンタ装置819、磁気ディスク装置820と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置820の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。
RAM812は、揮発性メモリの一例である。ROM811、FDD817、CDD818、磁気ディスク装置820等の記憶媒体は、不揮発性メモリの一例である。これらは、記憶装置あるいは記憶部、格納部の一例である。通信ボード816、キーボード814、FDD817などは、入力部、入力装置の一例である。また、通信ボード816、表示装置813、プリンタ装置819などは、出力部、出力装置の一例である。
通信ボード816は、ネットワーク(LAN等)に接続されている。通信ボード816は、LANに限らず、インターネット、ISDN等のWAN(ワイドエリアネットワーク)などに接続されていても構わない。
磁気ディスク装置820には、オペレーティングシステム821(OS)、ウィンドウシステム822、プログラム群823、ファイル群824が記憶されている。プログラム群823のプログラムは、CPU810、オペレーティングシステム821、ウィンドウシステム822により実行される。
上記プログラム群823には、以下に述べる実施の形態の説明において「〜部」として説明する機能を実行するプログラムが記憶されている。プログラムは、CPU810により読み出され実行される。
ファイル群824には、以下に述べる実施の形態の説明において、「〜の判定結果」、「〜の算出結果」、「〜の抽出結果」、「〜の生成結果」、「〜の処理結果」として説明する情報や、データや信号値や変数値やパラメータなどが、「〜ファイル」や「〜データベース」の各項目として記憶されている。「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してCPU810によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのCPUの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示のCPUの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、以下に述べる実施の形態の説明においては、データや信号値は、RAM812のメモリ、FDD817のフレキシブルディスク、CDD818のコンパクトディスク、磁気ディスク装置820の磁気ディスク、その他光ディスク、ミニディスク、DVD(Digital Versatile Disk)等の記録媒体に記録される。また、データや信号は、バス825や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
また、以下に述べる実施の形態の説明において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」、「手段」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ROM811に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等の記録媒体に記憶される。プログラムはCPU810により読み出され、CPU810により実行される。すなわち、プログラムは、以下に述べる「〜部」としてコンピュータを機能させるものである。あるいは、以下に述べる「〜部」の手順や方法をコンピュータに実行させるものである。
図3は、実施の形態1におけるログ分析装置10の構成図ブロックである。ログ分析装置10は、前述のようにネットワークを介してログ収集装置20と通信可能に接続している。また、ログ分析装置10は指示部30と接続している。
図3において、ログ収集装置20は、ネットワークを監視してログを収集して出力する。ログ収集装置20が収集するログは、例えば、ネットワーク状態に関するログであり、「アクセスログ」「エラーログ」等である。さらに具体的には、パケットログ、ファイアウォールログ、IDS(Intrusion Detection System)アラートログなどであるが、これらに限定するものではない。ログ分析装置10は、ログ収集装置20が出力するログをネットワークを介して読み込み、読み込んだログを分析し、分析結果を表示装置やプリンタ装置などを介して通知する。
ログ分析装置10は、ログ記憶部101、ログ集計部102、特徴量算出部103、特徴量域定義部104(特徴量領域生成部)、特徴量域記憶部105、特徴間距離算出部106、判定部107、通知部108を備える。また、ログ集計部102と特徴量算出部103とは、特徴量を抽出する抽出部110を構成する。
(1)ログ記憶部101は、ログ収集装置20から出力されたログを保存する。
(2)ログ集計部102は、ログ記憶部101に蓄積されたデータから時系列データを作成し、数値行列を作成する。そして特徴量算出部103が、この行列に対して特異値分解処理を実行する。
時系列データを、
「x,x,x,x,・・・,xm−5,xm−4,xm−3,xm−2,xm−1,x
とすると、
(n=1〜m)は、
例えば、ログが「パケットログ」であれば、ポート135で受けた10分毎のパケット数や、1時間毎のSYNフラグの立ったパケット数などである。あるいは、ログが「ファイアウォールログ」であれば、x(n=1〜m)は、ポート445宛にきて廃棄された単位時間当たりのパケット数などとなる。
ログ集計部102が生成する「数値行列」の成分は、上記に示した時系列データの数値である。ログ集計部102により作成される「数値行列」は、その分析視点によって異なるが、2つ例を以下に述べる。
図4〜図6を用いて、ログ集計部102による「数値行列」の作成の例を示す。
(数値行列作成の第1の例)
図4は、数値行列作成の第1の例を示す図である。図4では、時系列データ列を、
時系列データ列:
「x,x,x,x,・・・,xm−5,xm−4,xm−3,xm−2,xm−1,x
とする。
(n=1〜m)は、例えば、ポート135の10分毎に集計されたパケット数とする。10分ごとの時点1〜時点6の6時点(1時間)を1つの時データ(各行)とする。そして、各行のid〜idm−5において開始点を1時点(図4の例では10分)づつずらし、「m−5」行×6列の行列を生成する。これにより、1時間の期間の値の動きの変化を分析することができる。
(数値行列作成の第2の例)
図5、図6は、数値行列の作成の第2の例を示す図である。図5は、第2の例における時系列データを示す。図6は、特異値分解の対象期間と作成される数値行列(m行×6列)を示す。例えば、a(n=1〜m)は、地域1からの1時間毎に集計されたパケット数の時系列データであり、b(n=1〜m)は、地域2からの1時間毎に集計されたパケット数の時系列データであるとする。図6に示すように各時系列データ(行列では地域1〜地域6の6つの地域の時系列データを想定している)を各列に並べて行列を生成する。これにより、地域毎のパケット数のバランスの変化を分析することができる。
(3)特徴量算出部103は、ログ集計部102が出力した行列に対し特異値分解を行い、対象とする時系列データの特徴量を算出(抽出)する。なお、一つ時系列データでも、行列の作り方によって抽出される特徴量は違うものとなる。
(4)特徴量域定義部104は、任意の期間に対応する「特徴量域」を定義する。「特徴量域」(特徴量領域)とは、特徴量の集まった領域を意味する。以下の実施の形態では、分析手法として、「主成分分析」の一つの手法として「特異値分解」を用いている。主成分分析は、多くの変数のデータを、できるだけ情報の損失なしに少数個(m個)の総合的指標(主成分)で表現する手法である。p次元のデータを、m次元(m≦p)のデータに縮約するという意味で、次元圧縮を行う手法として用いることもできる。特異値分解は、主成分分析に使う“値”を求める行列演算といえる。実施の形態1及び実施の形態2では、特異値分解を用いているが、主成分分析に使う“値”を求めるのには、固有値分解を用いても構わない。行列を特異値分解することによって、例えば、図4に示し行た列におけるid1,id2,id3,・・・それぞれの行に対する、第一主成分得点、第二主成分得点、第三主成分得点、・・・・が求まる。これらは、例えば、グラフにしたときの波の大きさであったりするが、何を表しているかは、データに拠る。なお、その主成分がどの程度元のデータの情報を保持しているかは、特異値分解の結果として主成分得点とは別に求まるが、第一主成分は一番特徴を現す指標、第二主成分は二番目に特徴を現す指標、・・・・といえる。通常、全体の80%以上の特徴を現すところまで主成分を参照する。第n主成分まで参照する場合、id1の「特徴量」は、id1の(第一主成分得点,二主成分得点,・・・,第n主成分得点)からなる。図上にプロットする場合、特徴量はn次元の1点で表される。これが図3(d)に示す“点”(黒丸)である(図3(d)では、例示として2次元で示している)。上記「特徴量域」は、この複数の「特徴量」の点の集合を示す領域である。また、特徴量の点は、似た特徴を持つものは、ある一定の値の範囲に集約する。このため後述する「定常期間P」に対応する各点は、ある一定の範囲に集約する。特徴量域定義部104は、この集まり(領域)を、定常期間Pに対応する「定常域」と定義する。
(5)特徴量域記憶部105は、特徴量域を記憶する。
(6)特徴間距離算出部106は、特徴量域と判定対象データに対応する特徴量との距離を算出する。
(7)判定部107は、特徴間距離算出部106の結果を使い、判定対象データの状態を判定する。
(8)通知部108は、判定(分析)結果を通知する。
(動作の説明)
次に、図7、図8を参照してログ分析装置10の動作を説明する。図7は、ログ分析装置10の動作を説明するフローチャートである。図8は、特徴量(定常状態特徴量)と行列との対応関係を説明するため図である。
異常の判定対象となる観測データ(判定対象データ)がログ収集装置20から出力されると、指示部30は、定常期間を定義する「指示情報」をログ集計部102に送信する。この「指示情報」とは、定常期間Pの範囲の指定(予め所定の範囲が指定される。図3(b)の定常期間P0)、ログから抽出するべきデータのデータ抽出条件(例えば、TCPパケットのどのフラグがたっているか、ポート番号など)である。ログ集計部102は、この「指示情報」を指示部30から受信すると、受信した「指示情報」に従って、ログ記憶部101が記憶しているログのうち指定期間(定常状態の所定期間および異常の判定対象となる観測データが含まれる所定期間)のデータを取り出す(S11)。
(行列の作成)
そして、抽出部110のログ集計部102は、指示された単位時間でデータを集計して時系列データを作成し、その時系列データから「数値行列」を作成する。図3(c)が行列を示す。「指示された単位時間」とは、図4の行列に示したように10分毎のような単位である。図3(b)の時系列データは、時間t2〜tn+1が対象(定常期間P0と判定対象である観測データ)である。図3(c)の行列において、例えば、「a_t2」は、時間t2に対応する値を示している。なお、図3(c)の行列は、図4に示した「第1の例」の方法で作成した行列である。
(定常状態特徴量の抽出)
抽出部110の特徴量算出部103は、ログ集計部102から出力された行列を受け取り、特異値分解処理を行い、その算出結果から特徴量(定常状態特徴量と判定対象データ特徴量)を算出(抽出)する。すなわち、特徴量算出部103は、ログ収集装置20の収集したログからネットワークの定常期間P0(所定期間の定常状態)に対応する特徴量であるn次元(nは1以上の整数)の定常状態特徴量を複数抽出する。図3(d)において定常域RPを示す破線に囲まれた複数の黒丸のそれぞれが、「特徴量」(定常状態特徴量)である。複数の黒丸のそれぞれが、図3(c)に示す行列の最後の1行を除く各行に対応する「特徴量」(定常状態特徴量)である。図8は、特徴量(定常状態特徴量)と行列との対応関係を説明するための図である。図8は、例えば、定常期間が時間t11〜t20、それぞれに対応する値(例えばパケット数)をa11(t11)〜a20(t20)とする。また、次のa21が、新しい観測データであり、異常かの判定対象としている。この例では、行列の作り方は、図4に示した第1の例により作成してある。図8に示すように、特異値分解の結果算出される各行に対応する特徴量(定常状態特徴量)が、図3(d)の定常域RP中の黒丸で表される。図3(c)では対象となる行列において定常期間Pに対応する行は複数ある。よって、図3(d)に示すように定常域RPの中には複数の黒丸(定常状態特徴量)が存在することとなる。このように行列を特異値分解(行列演算)した結果、各行に対して、特徴量が求まり、各行に対応する特徴量を図示したものが図3(d)に示す定常域RPの中の複数の黒丸(定常状態特徴量)である。さらに、抽出部は、判定対象となる観測データに対する特徴量F1を抽出する。このように観測データでは、図8の行列において、a21が入った最後の行が、異常かどうかの判定対象である。この行に対応する特徴量が、図3(d)に示す「観測データ特徴量F1」の黒丸である。観測データ(判定対象データ)は、ログに含まれるデータであってネットワークの状態の判定に使用され、かつ定常期間P(定常状態の期間)よりも後の所定期間のデータである。以上のように「判定対象データ」に対応する特徴量である判定対象データ特徴量は、特徴量算出部103により、n次元の点を示す座標として抽出される。(S12)
特徴量域定義部104(特徴量領域生成部)は、定常期間P(定常状態における所定期間)に対応する特徴量域を定常域RP(特徴量領域)と定義する(S13)。定義された定常域RPは、特徴量域記憶部105に保存される。すなわち、特徴量域定義部104(特徴量領域生成部)は、特徴量算出部103が抽出した複数の特徴量(定常状態特徴量)から、複数の定常状態特徴量の分布する領域を示すn次元の定常域RP(特徴量領域)を生成する。
特徴間距離算出部106は、特徴量域定義部104が生成した定常域RPと特徴量算出部103が抽出した「観測データ特徴量F1」(判定対象データ特徴量)との距離を算出する(S14)。距離の算出には、定常域RPの重心からの距離などを使う。
判定部107は、算出された距離を用い、観測データ特徴量F1が定常域RPから乖離しているか否かにより、観測データが異常か否かを判定する(S15)。異常の検知の判定結果(分析結果)は、通知部108を介して通知される。「乖離している」、「乖離していない」の判断条件は、図3(d)において、「観測データ特徴量F1」が定常域RPに含まれるか、含まれない、とうい条件である。例えば一例として、定常域RPがあって、そこに含まれる点は、重心からの距離がある値以下であるといえる。その値を超えたか否かで、乖離しているか、否かを判定することができる。そして、判定部107は、乖離しているか、否かによりネットワークの状態(異常か否か)を判定する。
以上のように、実施の形態1のログ分析装置は、多次元のデータを最小の誤差で要約する(次元を削減する)ことが知られている特異値分解により得る特徴量を使って、ネットワークログの異常を検知するようにしているので、精度の高い異常検出を行うことができる。また、実施の形態1のログ分析装置は、定常域RPと観測データ特徴量F1との距離に基づいてネットワークの状態を判定するので、精度の高い異常検出を行うことができる。
実施の形態2.
次に図9、図10を用いて実施の形態2を説明する。以上の実施形態1では、比較対象となる定常期間Pに対する定常域RPが固定(1つ)の場合について述べた。実施の形態2では、ネットワークの状況の変化に追随して、比較対象となる特徴量域を再定義していく実施形態を示す。
図9は、「定常期間P0と定常域RP0」、「定常期間P1と定常域RP1」、及び異常の判定対象となる観測データ(判定対象データ)の特徴量の関係を示している。
(動作の説明)
ネットワークの状況が変化すると、異常の判定対象となる観測データがログ収集装置20から出力されたとき、指示部30が、ログ集計部102に、比較対象の特徴量域(定常域)の再定義を指示する指示情報を送信する。ログ集計部102は、その指示情報に従って、実施の形態1の場合と同様に、図9に示す定常期間P0および定常期間P1および異常の判定対象となる観測データが含まれる所定期間のデータをログ記憶部101から取り出し、指示された単位時間でデータを集計し時系列データを作成し、その時系列データから数値行列を作成する。このとき、ログ集計部102に渡される指示情報のログからのデータ抽出条件は、ネットワークの状況が変化する前に定常域RP0を定義したときと同じ条件(ただし指定期間が定常期間P1である点は異なる)である。
抽出部110は、特徴量算出部103で、実施の形態1と同様に、ログ集計部102から出力された行列を受け取り、特異値分解処理を行い、その算出結果から定常期間P0に対応する特徴量(定常状態特徴量)、定常期間P1に対応する特徴量(定常状態特徴量)、および観測データに対する「観測データ特徴量F2」を算出する。図9では、ログの状態が実線に遷移した場合の観測データ特徴量を「観測データ特徴量F2−1」(丸に×印の記号)で示し、ログの状態が破線に遷移した場合の観測データ特徴量を「観測データ特徴量F2−2」(四角に×印の記号)で示している。ネットワークの状態は、「観測データ特徴量F2−1」と「観測データ特徴量F2−2」とのいずれかに遷移するものとする。すなわち、図9のグラフにおいて、実線と破線とは、定常期間P1の後、ネットワークの状態が実線のように値が変化する、あるいは、破線のように変化するという別個の2つのケースを想定している。そして、図9には、この2つのケースに対応する観測データ特徴量を示す点「F2−1」と「F2−2」とを記載している。
特徴量域定義部104は、実施の形態1と同様にして、定常期間P0に対応する特徴量域を定常域RP0、定常期間P1に対応する特徴量域を定常域RP1と定義する。定義された定常域RP0および定常域RP1は、特徴量域記憶部105に保存される。
特徴間距離算出部106は、実施の形態1と同様に、定常域RP1と「観測データ特徴量F2−1」(あるいは「観測データ特徴量F2−2」)との距離を算出する。算出方法は、実施の形態1と同様である。
判定部107は、実施の形態1と同様に、特徴間距離算出部106が算出した距離を用いて定常域RP1から観測データ特徴量F2が乖離しているかを見る。
次に、本実施の形態2の特徴点として、判定部107は、乖離していると判定した場合、その状態での観測データ特徴量F2(F2−1あるいはF2−2)と定常域RP0との距離関係を同時に算出する。そして、判定部107は、観測データ特徴量F2が、定常域RP1から離れていくと同時に、さらに、定常域RP0から離れていっているのか(F2−2が該当)、あるいは定常域RP0に近づくように定常域RP1から離れていっているのか(F2−1が該当)を見る。これにより、どのように定常域RP1から離れていっているのかで、新たな異常か、異常の収束が判定可能となる。このように、判定部107は、定常域RP0に接近するような動きで定常域RP1から観測データ特徴量F2が乖離した場合(F2−1)は、ネットワーク異常が収束状態にあると判定する。一方、さらに定常域RP0から乖離するような場合(F2−2)には、判定部107は、新たなネットワーク異常の検知であると判定する。異常の検知の判定結果(分析結果)は、通知部108を介して通知される。
図9では、比較対象の定常域が2つの場合について述べたが、次に3つ以上の定常域を記憶し、判定に使用する場合を説明する。図10は、判定に使用する定常域が定常域RP0〜定常域RPNの「N+1」個ある場合を示す図である。ログ分析装置10の動作は図9の場合と同様であるので、簡単に説明する。
また、図10に示す「観測データ特徴量F3−1」、「観測データ特徴量F3−2」
は図9に示した「観測データ特徴量F2−1」等と同様に、2通りの遷移を想定する場合の特徴量である。
(動作の説明)
異常の判定対象となる観測データ(最新の定常期間PNよりも新しい期間のデータ)がログ収集装置20から出力されると、定常期間P0、および定常期間P1、定常期間P2、・・・・、定常期間PN、および異常の判定対象となる観測データが含まれる所定期間のデータをログ記憶部101から取り出し、実施の形態1の方法で、定常期間P0に対応する特徴量域を定常域RP0と定義し、特徴量域記憶部105に保存する。
同様に実施の形態1の方法で、定常期間P1に対応する特徴量域を定常域RP1と定義し、特徴量域記憶部105に保存する。
同様に実施の形態1の方法で、定常期間P2、定常期間P3、・・・、定常期間PNに対応する特徴量域を定常域RP2、定常域RP3、・・・、定常域RPNと定義し、特徴量域記憶部105に保存する。
さらに、実施の形態1の方法で、観測データに対する「観測データ特徴量F3」を抽出する。
以下の動作が特徴点である。特徴間距離算出部106は、最新の定常域RPNと「観測データ特徴量F3」との距離を算出する。判定部107は、算出された距離を用い、最新の定常域RPNから、「観測データ特徴量F3」が乖離しているかを見る。乖離していた場合、特徴量域記憶部105に保存されている他の特徴量域RP0、RP1、・・、RPN−1との距離関係を同時に見て、どの定常域に近づいていっているかを判定し、図9で説明したのと同様に、観測データが、特徴量域RPFが期間が示すネットワークの状態から、どの状態へ向かって変化をしているかを見る。
この判定結果(分析結果)は、通知部108を介して通知される。
以上のように、ログ分析装置10は、複数の過去の特徴量域との関係を見ることにより、異常検知だけでなく、ネットワークの状態の変化の方向を得ることができる。
以上の実施の形態で説明したログ分析装置10は、ネットワークログから得た時系列データから抽出した特徴量を使いネットワーク上の異常検出を行なう。また、ネットワークの状況の変化に対応した定常域を再定義し、正常域に近づく形で剥離したか否かで、長期の異常状態の収束か、新たな異常かを判定する。よって、閾値を使用することなく、実データをもとに作成した基準でネットワークの状態を判断することができる。
実施の形態3.
実施の形態3は、実施の形態1及び実施の形態2のログ分析装置10をネットワーク状態判定方法及びネットワーク状態判定プログラムとして把握した実施形態である。
図3に示したログ分析装置10の抽出部110、特徴量域定義部104(特徴量領域生成部)、特徴間距離算出部106、判定部107等の一連の動作は互いに関連しており、これらの一連の動作をネットワーク状態判定方法として把握することができる。
図11は、抽出部110等の一連の動作をネットワーク状態判定方法として把握した場合のフローチャートを示す。
(1)S101は、抽出部110が、ログ収集装置の収集したログからネットワークの所定期間の定常状態に対応する特徴量であるn次元(nは1以上の整数)の特徴量(定常状態特徴量)を複数抽出するとともに、ログに含まれるデータであってネットワークの状態の判定に使用され、かつ、定常状態の期間よりも後の所定期間のデータである観測データ(判定対象データ)に対応する特徴量である判定対象データ特徴量をn次元の点を示す座標として抽出するステップである。
(2)S102は、特徴量域定義部104(特徴量領域生成部)が、抽出部110が抽出した複数の特徴量(定常状態特徴量)から複数の定常状態特徴量の分布する領域を示すn次元の定常域(特徴量領域)を生成するステップである。
(3)S103は、特徴間距離算出部106が、特徴量域定義部104が生成した定常域と抽出部110が抽出した判定対象データ特徴量との距離を算出するステップである。
(4)S104は、判定部107が、特徴間距離算出部106が算出した距離に基づいてネットワークの状態を判定するステップである。
また、図3に示した抽出部110等の一連の動作は、一連の処理に置き換えることにより、ネットワーク状態判定プログラムの実施形態として把握することができる。
図12は、抽出部110等の動作を、コンピュータであるログ分析装置に実行させる
ネットワーク状態判定プログラムの処理を示すフローチャートである。
(1)S201は、ログ収集装置の収集したログからネットワークの所定期間の定常状態に対応する特徴量であるn次元(nは1以上の整数)の特徴量(定常状態特徴量)を複数抽出するとともに、ログに含まれるデータであってネットワークの状態の判定に使用され、かつ、定常状態の期間よりも後の所定期間のデータである観測データ(判定対象データ)に対応する特徴量である判定対象データ特徴量をn次元の点を示す座標として抽出する処理である。
(2)S202は、抽出した複数の特徴量(定常状態特徴量)から複数の定常状態特徴量の分布する領域を示すn次元の定常域(特徴量領域)を生成する処理である。
(3)S203は、生成した定常域と抽出した判定対象データ特徴量との距離を算出する処理である。
(4)S204は、算出した距離に基づいて、ネットワークの状態を判定する処理である。
実施の形態3のネットワーク状態判定方法は、定常域と判定対象データ特徴量との距離に基づいてネットワークの状態を判定するので、精度の高い異常検出を行うことができる。
実施の形態3のネットワーク状態判定プログラムは、定常域と判定対象データ特徴量との距離に基づいてネットワークの状態を判定するので、精度の高い異常検出を行うことができる。
以上の実施の形態では、以下の手段を備えたネットワーク異常検出装置を説明した。
(a)ネットワークログを収集する手段
(b)収集したログを記憶する手段
(c)記憶手段によって保存されたログから時間軸に沿って変化する時系列データを生成し、その時系列データから特徴量を算出するための行列を作成する手段
(d)行列に対し特異値分解を実施し、解から得た主成分得点より特徴量を算出する手段
(e)定常時の期間の時系列データに対する特徴量を算出し、この特徴量域を定常域と定義する手段
(f)特徴量域を記憶する手段
(g)正常時の特徴量は一定の範囲に集約することを利用し、観測データの特徴量がこの範囲から乖離したことを検知することにより、ネットワークの異常を検知する手段。
(h)観測データの特徴量と、定常域との距離を算出する手段
(i)検知した結果を通知する通知手段
以上の実施の形態では、以下の手段を備えたネットワーク異常検出装置を説明した。
(a)ネットワークの特性は変化し続けるため、特性の変化に追随するために、定常域の特徴量域を算出し定常域とし、検知対象との比較対象の特徴量域を定義し直す手段
(b)観測データの特徴量を、この定義し直した定常域の範囲から乖離したことを検知することにより、ネットワークの異常を検知する手段
以上の実施の形態では、以下の手段を備えたネットワーク異常検出装置を説明した。
(a)定常期間P0を元に抽出した特徴量域を定常域RP0とし、変化する定常期間P1をもとに抽出した特徴量域を定常域RP1とする手段
(b)観測されたデータに対する特徴量が、定常域RP1からの乖離により異常を検知することに対し、定常域RP1から乖離した場合にその状態での定常域RP0との距離関係を同時に見て、定常域RP0に接近するような動きで定常域RPから乖離した場合は収束状態にあると判定する。一方、定常域RP0からさらに乖離するような場合は、新たな不正アクセスを検知したと判定する手段
以上の実施の形態では、以下の手段を備えたネットワーク異常検出装置を説明した。
(a)ネットワークの特性は変化し続けるため、特性の変化に追随するために、定常域の特徴量域を算出し定常域とし、検知対象との比較対象の特徴量域を定義し直す手段
(b)定常域を複数記憶する手段
(c)観測データの特徴量を、最新の定常域の範囲から乖離したことを検知することにより、ネットワークの状態の変化を検知する手段
(d)観測されたデータに対する特徴量が、最新の定常域から乖離した場合に、記憶された複数の定常域のうち、どの定常域に接近するかを判定する手段
実施の形態1におけるログ分析装置の外観を示す図。 実施の形態1におけるログ分析装置のハードウェア構成を示す図。 実施の形態1におけるログ分析装置のブロック図。 実施の形態1における数値行列作成の第1の例を示す図。 実施の形態1における数値行列作成の第2の例を示す図。 実施の形態1における数値行列作成の第2の例を示す図。 実施の形態1におけるログ分析装置の動作を示すフローチャート。 実施の形態1における特徴量と行列との対応関係を説明する図。 実施の形態2における「定常期間P0と定常域RP0」、「定常期間P1と定常域RP1」、及び異常の判定対象となる観測データの特徴量の関係を示す図。 実施の形態2における判定に使用する定常域が定常域RP0〜定常域RPNの「N+1」個ある場合を示す図。 実施の形態3におけるネットワーク状態判定方法を示すフローチャート。 実施の形態3におけるネットワーク状態判定プログラムを示すフローチャート。
符号の説明
10 ログ分析装置、20 ログ収集装置、30 指示部、101 ログ記憶部、102 ログ集計部、103 特徴量算出部、104 特徴量域定義部、105 特徴量域記憶部、106 特徴間距離算出部、107 判定部、108 通知部、800 コンピュータシステム、810 CPU、811 ROM、812 RAM、813 表示装置、814 K/B、815 マウス、816 通信ボード、817 FDD、818 CDD、819 プリンタ装置、820 磁気ディスク装置、821 OS、822 ウィンドウシステム、823 プログラム群、824 ファイル群、825 バス、830 システムユニット。

Claims (5)

  1. ネットワークのログを収集するログ収集装置の収集した前記ログから前記ネットワークの所定期間の定常状態に対応する特徴量であるn次元(nは1以上の整数)の定常状態特徴量を複数抽出するとともに、前記ログに含まれるデータであって前記ネットワークの状態の判定に使用され、かつ前記定常状態の期間よりも後の所定期間のデータである判定対象データに対応する特徴量である判定対象データ特徴量をn次元の点を示す座標として抽出する抽出部と、
    前記抽出部が抽出した複数の定常状態特徴量から前記複数の定常状態特徴量の分布する領域を示すn次元の特徴量領域を生成する特徴量領域生成部と、
    前記特徴量領域生成部が生成した前記特徴量領域と前記抽出部が抽出した前記判定対象データ特徴量との距離を算出する特徴間距離算出部と、
    前記特徴間距離算出部が算出した距離に基づいて、前記ネットワークの状態を判定する判定部と
    を備えたことを特徴とするネットワーク状態判定装置。
  2. ネットワークのログを収集するログ収集装置の収集した前記ログから前記ネットワークの所定期間の定常状態に対応する特徴量であるn次元(nは1以上の整数)の複数の定常状態特徴量を期間の異なる複数の定常状態のそれぞれについて抽出するとともに、前記ログに含まれるデータであって前記ネットワークの状態の判定に使用される所定期間のデータであり、かつ、前記複数の定常状態のうちの最新の定常状態の期間よりも後の期間のデータである判定対象データに対応する特徴量である判定対象データ特徴量をn次元の点を示す座標として抽出する抽出部と、
    前記抽出部が前記複数の定常状態のそれぞれについて抽出した前記複数の定常状態特徴量から前記複数の定常状態特徴量の分布する領域を示すn次元の特徴量領域を前記複数の定常状態のそれぞれについて生成する特徴量領域生成部と、
    前記特徴量領域生成部が生成した前記複数の定常状態のそれぞれについての前記特徴量領域のうち最新の期間の定常状態に対応する前記特徴量領域と前記抽出部が抽出した前記判定対象データ特徴量との距離を算出する特徴間距離算出部と、
    前記特徴間距離算出部が算出した距離に基づいて、最新の期間の定常状態に対応する前記特徴量領域と前記抽出部が抽出した前記判定対象データ特徴量とが乖離しているかどうかを判定する判定部と
    を備え、
    前記特徴間距離算出部は、
    前記判定部が最新の期間の定常状態に対応する前記特徴量領域と前記判定対象データ特徴量とが乖離していると判定した場合には、最新の期間の定常状態に対応する前記特徴量領域以外の他の全ての前記特徴量領域と前記判定対象データ特徴量との距離をそれぞれ算出し、
    前記判定部は、
    前記特徴間距離算出部が算出した最新の期間の定常状態に対応する前記特徴量領域以外の他の全ての前記特徴量領域と前記判定対象データ特徴量とのそれぞれの距離に基づいて、前記ネットワークの状態を判定することを特徴とするネットワーク状態判定装置。
  3. 前記抽出部は、
    特異値分解を用いることにより前記定常状態特徴量と前記判定対象データ特徴量とを抽出することを特徴とする請求項1または2いずれかに記載のネットワーク状態判定装置。
  4. ネットワークの状態を判定するネットワーク状態判定装置が行なうネットワーク状態判定方法において、
    抽出部が、ネットワークのログを収集するログ収集装置の収集した前記ログから前記ネットワークの所定期間の定常状態に対応する特徴量であるn次元(nは1以上の整数)の定常状態特徴量を複数抽出するとともに、前記ログに含まれるデータであって前記ネットワークの状態の判定に使用され、かつ、前記定常状態の期間よりも後の所定期間のデータである判定対象データに対応する特徴量である判定対象データ特徴量をn次元の点を示す座標として抽出し、
    特徴量領域生成部が、前記抽出部が抽出した複数の定常状態特徴量から前記複数の定常状態特徴量の分布する領域を示すn次元の特徴量領域を生成し、
    特徴間距離算出部が、前記特徴量領域生成部が生成した前記特徴量領域と前記抽出部が抽出した前記判定対象データ特徴量との距離を算出し、
    判定部が、前記特徴間距離算出部が算出した距離に基づいて、前記ネットワークの状態を判定することを特徴とするネットワーク状態判定方法。
  5. ネットワークの状態を判定するコンピュータであるネットワーク状態判定装置に以下の処理を実行させるネットワーク状態判定プログラム
    (1)ネットワークのログを収集するログ収集装置の収集した前記ログから前記ネットワークの所定期間の定常状態に対応する特徴量であるn次元(nは1以上の整数)の定常状態特徴量を複数抽出するとともに、前記ログに含まれるデータであって前記ネットワークの状態の判定に使用され、かつ、前記定常状態の期間よりも後の所定期間のデータである判定対象データに対応する特徴量である判定対象データ特徴量をn次元の点を示す座標として抽出する処理
    (2)抽出した複数の定常状態特徴量から前記複数の定常状態特徴量の分布する領域を示すn次元の特徴量領域を生成する処理
    (3)生成した前記特徴量領域と抽出した前記判定対象データ特徴量との距離を算出する処理
    (4)算出した距離に基づいて、前記ネットワークの状態を判定する処理
JP2006117453A 2006-04-21 2006-04-21 ネットワーク状態判定装置及びネットワーク状態判定方法及びネットワーク状態判定プログラム Expired - Fee Related JP4745881B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006117453A JP4745881B2 (ja) 2006-04-21 2006-04-21 ネットワーク状態判定装置及びネットワーク状態判定方法及びネットワーク状態判定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006117453A JP4745881B2 (ja) 2006-04-21 2006-04-21 ネットワーク状態判定装置及びネットワーク状態判定方法及びネットワーク状態判定プログラム

Publications (2)

Publication Number Publication Date
JP2007295056A true JP2007295056A (ja) 2007-11-08
JP4745881B2 JP4745881B2 (ja) 2011-08-10

Family

ID=38765261

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006117453A Expired - Fee Related JP4745881B2 (ja) 2006-04-21 2006-04-21 ネットワーク状態判定装置及びネットワーク状態判定方法及びネットワーク状態判定プログラム

Country Status (1)

Country Link
JP (1) JP4745881B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008146157A (ja) * 2006-12-06 2008-06-26 Mitsubishi Electric Corp ネットワーク異常判定装置
JP2008154010A (ja) * 2006-12-19 2008-07-03 Mitsubishi Electric Corp データ処理装置及びデータ処理方法及びプログラム
WO2017145843A1 (ja) * 2016-02-24 2017-08-31 日本電信電話株式会社 解析方法、解析装置および解析プログラム
JP2019004284A (ja) * 2017-06-14 2019-01-10 日本電信電話株式会社 異常検出装置、および、異常検出方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344447A (ja) * 2001-05-17 2002-11-29 Fujitsu Ltd トラフィック変動要因分析装置およびトラフィック変動要因分析用プログラム
JP2005038116A (ja) * 2003-07-18 2005-02-10 Hitachi Ltd 不正侵入分析装置
JP2005236862A (ja) * 2004-02-23 2005-09-02 Kddi Corp ログ分析装置、ログ分析プログラムおよび記録媒体
JP2007243459A (ja) * 2006-03-07 2007-09-20 Nippon Telegraph & Telephone East Corp トラヒック状態抽出装置及び方法ならびにコンピュータプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344447A (ja) * 2001-05-17 2002-11-29 Fujitsu Ltd トラフィック変動要因分析装置およびトラフィック変動要因分析用プログラム
JP2005038116A (ja) * 2003-07-18 2005-02-10 Hitachi Ltd 不正侵入分析装置
JP2005236862A (ja) * 2004-02-23 2005-09-02 Kddi Corp ログ分析装置、ログ分析プログラムおよび記録媒体
JP2007243459A (ja) * 2006-03-07 2007-09-20 Nippon Telegraph & Telephone East Corp トラヒック状態抽出装置及び方法ならびにコンピュータプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008146157A (ja) * 2006-12-06 2008-06-26 Mitsubishi Electric Corp ネットワーク異常判定装置
JP2008154010A (ja) * 2006-12-19 2008-07-03 Mitsubishi Electric Corp データ処理装置及びデータ処理方法及びプログラム
WO2017145843A1 (ja) * 2016-02-24 2017-08-31 日本電信電話株式会社 解析方法、解析装置および解析プログラム
JPWO2017145843A1 (ja) * 2016-02-24 2018-06-28 日本電信電話株式会社 解析方法、解析装置および解析プログラム
US11159548B2 (en) 2016-02-24 2021-10-26 Nippon Telegraph And Telephone Corporation Analysis method, analysis device, and analysis program
JP2019004284A (ja) * 2017-06-14 2019-01-10 日本電信電話株式会社 異常検出装置、および、異常検出方法

Also Published As

Publication number Publication date
JP4745881B2 (ja) 2011-08-10

Similar Documents

Publication Publication Date Title
US9298538B2 (en) Methods and systems for abnormality analysis of streamed log data
JP6669156B2 (ja) アプリケーション自動制御システム、アプリケーション自動制御方法およびプログラム
KR101083519B1 (ko) 데이터 퍼스펙티브들에서의 변칙 검출
US8117486B2 (en) Method and system for detecting an anomalous networked device
O'Kane et al. SVM training phase reduction using dataset feature filtering for malware detection
US20170097980A1 (en) Detection method and information processing device
JP6656211B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2011065440A (ja) ログデータ分析装置及びログデータ分析装置のログデータ分析方法及びログデータ分析プログラム
EP3795975B1 (en) Abnormality sensing apparatus, abnormality sensing method, and abnormality sensing program
JP4745881B2 (ja) ネットワーク状態判定装置及びネットワーク状態判定方法及びネットワーク状態判定プログラム
Zheng et al. Density peaks clustering‐based steady/transition mode identification and monitoring of multimode processes
JP4723466B2 (ja) データ処理装置及びデータ処理方法及びプログラム
JP6866930B2 (ja) 生産設備監視装置、生産設備監視方法及び生産設備監視プログラム
JP4383484B2 (ja) メッセージ解析装置、制御方法および制御プログラム
JP6582527B2 (ja) アラーム予測装置、アラーム予測方法及びプログラム
CN114944957A (zh) 一种异常数据检测方法、装置、计算机设备及存储介质
JP2008146157A (ja) ネットワーク異常判定装置
JP4559974B2 (ja) 管理装置及び管理方法及びプログラム
JPWO2020202433A1 (ja) 情報処理装置およびapi使用履歴表示プログラム
JP2008140100A (ja) 情報処理装置及びデータ判定方法及びプログラム
JP2008191849A (ja) 稼働管理装置、情報処理装置、稼働管理装置の制御方法、情報処理装置の制御方法及びプログラム
WO2022168279A1 (ja) クラスタ数設定装置、クラスタ数設定方法及びプログラム
JP6340990B2 (ja) メッセージ表示方法、メッセージ表示装置、およびメッセージ表示プログラム
JP2010250677A (ja) セキュリティ評価装置及びセキュリティ評価装置のセキュリティ評価方法及びセキュリティ評価装置のセキュリティ評価プログラム
JP2008210068A (ja) データ処理装置及びデータ処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110510

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110512

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140520

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees