JP2018025891A - データ分析装置及びデータ分析方法 - Google Patents

データ分析装置及びデータ分析方法 Download PDF

Info

Publication number
JP2018025891A
JP2018025891A JP2016156011A JP2016156011A JP2018025891A JP 2018025891 A JP2018025891 A JP 2018025891A JP 2016156011 A JP2016156011 A JP 2016156011A JP 2016156011 A JP2016156011 A JP 2016156011A JP 2018025891 A JP2018025891 A JP 2018025891A
Authority
JP
Japan
Prior art keywords
data
index value
time
series data
time series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016156011A
Other languages
English (en)
Other versions
JP6592411B2 (ja
Inventor
高 原田
Ko Harada
高 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2016156011A priority Critical patent/JP6592411B2/ja
Publication of JP2018025891A publication Critical patent/JP2018025891A/ja
Application granted granted Critical
Publication of JP6592411B2 publication Critical patent/JP6592411B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】時系列データの分析を支援すること。【解決手段】データ分析装置は、データ種別が共通する複数の時系列データのそれぞれについて、指定された時刻から所定の期間内の各データの時間的変化量を示す指標値を算出する算出部と、前記算出部によって算出された指標値に従った順番で、前記複数の時系列データを並べて表示する表示制御部と、を有する。【選択図】図3

Description

本発明は、データ分析装置及びデータ分析方法に関する。
情報システム・ネットワークは複数の要素によって構成されている。複数の要素とは、例えば、スイッチ、ルータ、ロードバランサ、ファイアウォール、IDS(Intrusion Detection System)/IPS(Intrusion Prevention System)、WAF(Web Application Firewall)等のネットワーク装置や、ストレージ装置、サーバ、および、サーバ上で動作する各種ソフトウェアである。
これらの各要素については、故障・異常検出やキャパシティ管理のために、様々な統計情報が収集され、運用監視システム等によって監視されている。収集される情報の例としては、CPU、メモリ、ディスク関係の統計情報や、ネットワーク関係の統計情報などがある。統計項目は装置単位のものから、インタフェースポート単位、CPUコア単位、ストレージ装置のRead単位又はWrite単位など、監視対象や設定により多岐にわたる。
これらの統計情報は、時系列で変化するものであり、かつ、測定単位×測定項目数分の時系列データとなる。時系列の定量データは折れ線グラフで表現することが一般的であるが、データ系列数が大きいため、全ての系列をグラフ化することは困難である。ここで、データ系列数とは、時系列データの数をいう。
運用者による目視による監視においては、注目すべき特定の系列のみ表示する、ヒートマップと呼ばれる値を色情報にマッピングして表現する方法などが利用されている。
また、異常検知・故障検知を目的として、時系列データの各系列をクラスタリングし、アノマリを検出するといったことが行われている。
RFC3954 NetFlow, [online]、インターネット<https://www.ietf.org/rfc/rfc3954.txt> RFC3176 SFlow, [online]、インターネット<https://www.ietf.org/rfc/rfc3176.txt> RFC1157 SNMP, [online]、インターネット<http://www.ietf.org/rfc/rfc1157.txt> SYSSTAT Utilities Home Page, [online]、インターネット<http://sebastien.godard.pagesperso-orange.fr/>
しかしながら、情報システム・ネットワークから収集される時系列データは膨大であり、注目すべき項目・系列を選び出すことが困難である。
また、故障やセキュリティインシデントのようなイベントが発生した場合に、その事後において、イベントに関連して変化した時系列データを分析する場合にも、データ種別、機器数が多い場合、その分析に大きな労力が必要となる。
本発明は、上記の点に鑑みてなされたものであって、時系列データの分析を支援することを目的とする。
そこで上記課題を解決するため、データ分析装置は、データ種別が共通する複数の時系列データのそれぞれについて、指定された時刻から所定の期間内の各データの時間的変化量を示す指標値を算出する算出部と、前記算出部によって算出された指標値に従った順番で、前記複数の時系列データを並べて表示する表示制御部と、を有する。
時系列データの分析を支援することができる。
本発明の実施の形態におけるシステム構成例を示す図である。 本発明の実施の形態におけるデータ分析装置のハードウェア構成例を示す図である。 本発明の実施の形態におけるデータ分析装置の機能構成例を示す図である。 時系列データの表示例を示す図である。
以下、図面に基づいて本発明の実施の形態を説明する。図1は、本発明の実施の形態におけるシステム構成例を示す図である。図1において、データ分析装置10は、1以上の監視対象機器20とLAN(Local Area Network)又はインターネット等のネットワークを介して接続されている。
図2は、本発明の実施の形態におけるデータ分析装置のハードウェア構成例を示す図である。図2のデータ分析装置10は、それぞれバスBで相互に接続されているドライブ装置100、補助記憶装置102、メモリ装置103、CPU104、インタフェース装置105、表示装置106、及び入力装置107等を有する。
データ分析装置10での処理を実現するプログラムは、CD−ROM等の記録媒体101によって提供される。プログラムを記憶した記録媒体101がドライブ装置100にセットされると、プログラムが記録媒体101からドライブ装置100を介して補助記憶装置102にインストールされる。但し、プログラムのインストールは必ずしも記録媒体101より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置102は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
メモリ装置103は、プログラムの起動指示があった場合に、補助記憶装置102からプログラムを読み出して格納する。CPU104は、メモリ装置103に格納されたプログラムに従ってデータ分析装置10に係る機能を実現する。インタフェース装置105は、ネットワークに接続するためのインタフェースとして用いられる。表示装置106はプログラムによるGUI(Graphical User Interface)等を表示する。入力装置107はキーボード及びマウス等で構成され、様々な操作指示を入力させるために用いられる。
図3は、本発明の実施の形態におけるデータ分析装置の機能構成例を示す図である。図3において、データ分析装置10は、データ収集部11、指標値計算部12、及び表示制御部13等を有する。これら各部は、データ分析装置10にインストールされた1以上のプログラムが、CPU104に実行させる処理により実現される。データ分析装置10は、また、時系列DB14を利用する。時系列DB14は、例えば、補助記憶装置102、又はデータ分析装置10にネットワークを介して接続可能な記憶装置等を用いて実現可能である。
データ収集部11は、監視対象機器20群から一定時間間隔で監視対象のデータを収集する。監視対象機器20群から収集されるデータには、例えば、CPU、メモリ、ディスクの使用に関係する統計情報や、ネットワークの使用(負荷)に関係する統計情報等のあらゆる時系列データが含まれる。例えば、CPUの使用に関係する統計情報としては、CPU使用率(%)が挙げられる。ネットワークの使用に関係する統計情報としては、ネットワーク帯域(bps)が挙げられる。また、データの収集先の監視対象機器20の識別情報及びデータの種別を示す種別情報も、属性として当該データに含まれる。収集された時系列データは、時系列DB14に記憶される。データの収集方法は、特定の方法に限定されないが、例えば、NetFlow(非特許文献1)やsFlow(非特許文献2)といったネットワークのフロー情報や、SNMP(Simple Network Management Protocol)(非特許文献3)、サーバ機器におけるsysstat(非特許文献4)などにより収集できる。
指標値計算部12は、指標値計算の基準時刻と表示制御部13から取得し、時系列DB14に保存されている時系列データの系列ごとの時間的変化量の指標値化を行う。すなわち、指標値計算部12は、時系列データの与えられた基準時刻における変動を定量化した指標値を計算する。なお、時系列データの系列とは、監視対象の種別(監視対象項目)と、具体的な監視対象との組み合わせによって区別される単位である。例えば、監視対象項目が「監視対象機器20ごとのCPU使用率」であれば、具体的な監視対象機器20ごとに、時系列データの系列が区別される。
指標値計算部12は、例えば、以下のような手順で指標値を求める。
基準時刻の一定時間範囲(所定の期間)の平均、および、標準偏差を算出し、時系列データを正規化する。ここで、一定時間範囲とは、基準時刻を始点とする一定時間でもよいし、基準時刻を終点とする一定時間でもよい。又は、基準時刻を跨ぐ一定時間(例えば、基準時刻から前後N分等)であってもよい。また、時系列データの正規化とは、例えば、時系列データの各データについて、平均との差を標準偏差で除することで、当該各データを−1〜1の範囲内にすることである。
続いて、平均と時系列データ各点の差の絶対値を計算する。続いて、指標値に対する重みが、基準時刻に近いほうが大きく、遠い方が小さくなるように重み付けした上で各点(各データ)の差の絶対値を合計する。続いて、その合計値を各点に含まれる点の数で割ることで、平均からの差の重みつき平均を求め、これを指標値とする。
又は、過去の時系列データの時次変動、日次変動、週次変動に基づいて、基準時刻が属する時刻、日にち、及び曜日における時系列データの予測値を算出し、予測値と基準時刻の一定時間範囲内の各点(各データ)との差の絶対値を計算してもよい。この場合、指標値に対する重みが、基準時刻に近い方が大きく、遠い方が小さくなるように重み付けした上で各点の差の絶対値を合計し、合計値をデータ点の数で割ることで、指標値が得られる。
なお、上記の2通りの計算方法のうちのいずれの計算方法を採用するかについては、ユーザによって指定されてもよい。
なお、例えば、故障やセキュリティインシデント等の発生を示すイベントの発生時刻が基準時刻として指定されてもよい。
表示制御部13は、基準時刻、指標値の計算方法の指定、時系列データの表示指定などの入力をユーザから受け付け、時系列データをグラフ化して表示装置106に表示する。この際、表示制御部13は、指標値計算部12に指標値の算出を要求する。当該要求には、基準時刻、指標値の計算方法が指定される。表示制御部13は、データ種別が共通する複数の時系列データを、指標値計算部12によって算出された指標値に従って並べて表示する。
なお、システムとしてデフォルトの指標値計算方法が1つ以上指定され、指標値計算部12が各時刻における指標値(各時刻を基準時刻とした場合の指標値)を予め計算しておくことで、表示時間を短縮することも考えられる。
図4は、時系列データの表示例を示す図である。図4では、縦軸にデータ種別が割り当てられ、横軸に指標値の順番が割り当てられた2次元の座標系に対して、各時系列データがグラフ化されて配置された例が示されている。すなわち、各データ種別において、左に配置されている時系列データほど指標値が大きい。なお、各時系列データは、正規化前の生の時系列データである。
ユーザが、時系列データが変動しないことに注目するならば、表示制御部13に対するデータ系列の表示指定によって、指標値の小さい順(昇順)に表示させることもできる。
また、データの種別によらず、指標値の大きい順、もしくは、小さい順に表示させることもできる。
なお、縦軸への割り当てと横軸への割り当てとが入れ替えられてもよい。
上述したように、本実施の形態によれば、監視対象の機器が生成する大量の時系列データに対し、特定の時期に大きく変化しているデータに注目することができるようになる。 また、故障やセキュリティインシデント等の発生を示すイベントが発生した場合に、そのイベント発生時刻の近傍において、特に変化を示した時系列データを抽出することができ、原因分析・影響分析を効率的に行うことが可能となる。
上記より、本実施の形態によれば、時系列データの分析を支援することができる。
なお、本実施の形態において、指標値計算部12は、算出部の一例である。
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
10 データ分析装置
11 データ収集部
12 指標値計算部
13 表示制御部
14 時系列DB
20 監視対象機器
100 ドライブ装置
101 記録媒体
102 補助記憶装置
103 メモリ装置
104 CPU
105 インタフェース装置
B バス

Claims (6)

  1. データ種別が共通する複数の時系列データのそれぞれについて、指定された時刻から所定の期間内の各データの時間的変化量を示す指標値を算出する算出部と、
    前記算出部によって算出された指標値に従った順番で、前記複数の時系列データを並べて表示する表示制御部と、
    を有することを特徴とするデータ分析装置。
  2. 前記算出部は、前記指定された時刻に近いデータほど、前記指標値に対する重み付けを大きくして前記指標値を算出する、
    ことを特徴とする請求項1記載のデータ分析装置。
  3. 前記表示制御部は、一方の軸にデータ種別が割り当てられ、他方の軸に前記指標値が割り当てられた座標系に対して、前記時系列データを並べて表示する、
    ことを特徴とする請求項1又は2記載のデータ分析装置。
  4. データ種別が共通する複数の時系列データのそれぞれについて、指定された時刻から所定の期間内の各データの時間的変化量を示す指標値を算出する算出手順と、
    前記算出手順において算出された指標値に従った順番で、前記複数の時系列データを並べて表示する表示制御手順と、
    をコンピュータが実行することを特徴とするデータ分析方法。
  5. 前記算出手順は、前記指定された時刻に近いデータほど、前記指標値に対する重み付けを大きくして前記指標値を算出する、
    ことを特徴とする請求項4記載のデータ分析方法。
  6. 前記表示制御手順は、一方の軸にデータ種別が割り当てられ、他方の軸に前記指標値が割り当てられた座標系に対して、前記時系列データを並べて表示する、
    ことを特徴とする請求項4又は5記載のデータ分析方法。
JP2016156011A 2016-08-08 2016-08-08 データ分析装置及びデータ分析方法 Active JP6592411B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016156011A JP6592411B2 (ja) 2016-08-08 2016-08-08 データ分析装置及びデータ分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016156011A JP6592411B2 (ja) 2016-08-08 2016-08-08 データ分析装置及びデータ分析方法

Publications (2)

Publication Number Publication Date
JP2018025891A true JP2018025891A (ja) 2018-02-15
JP6592411B2 JP6592411B2 (ja) 2019-10-16

Family

ID=61193792

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016156011A Active JP6592411B2 (ja) 2016-08-08 2016-08-08 データ分析装置及びデータ分析方法

Country Status (1)

Country Link
JP (1) JP6592411B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6057839A (en) * 1996-11-26 2000-05-02 International Business Machines Corporation Visualization tool for graphically displaying trace data produced by a parallel processing computer
JP2008267905A (ja) * 2007-04-18 2008-11-06 Toyota Motor Corp 振動対策支援システム、振動対策支援方法、振動対策支援プログラム
JP2009187449A (ja) * 2008-02-08 2009-08-20 Hitachi East Japan Solutions Ltd 在庫推移処理方法、在庫推移処理プログラム、および、在庫推移処理装置
JP2012138044A (ja) * 2010-12-28 2012-07-19 Toshiba Corp プロセス状態監視装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6057839A (en) * 1996-11-26 2000-05-02 International Business Machines Corporation Visualization tool for graphically displaying trace data produced by a parallel processing computer
JP2008267905A (ja) * 2007-04-18 2008-11-06 Toyota Motor Corp 振動対策支援システム、振動対策支援方法、振動対策支援プログラム
JP2009187449A (ja) * 2008-02-08 2009-08-20 Hitachi East Japan Solutions Ltd 在庫推移処理方法、在庫推移処理プログラム、および、在庫推移処理装置
JP2012138044A (ja) * 2010-12-28 2012-07-19 Toshiba Corp プロセス状態監視装置

Also Published As

Publication number Publication date
JP6592411B2 (ja) 2019-10-16

Similar Documents

Publication Publication Date Title
US20220407885A1 (en) Systems and methods for providing cybersecurity analysis based on operational techniques and information technologies
US20200252421A1 (en) Enrichment and analysis of cybersecurity threat intelligence and orchestrating application of threat intelligence to selected network security events
JP7311350B2 (ja) 監視装置、監視方法、および監視プログラム
JPWO2013001609A1 (ja) 監視システム、及び監視方法
US20130318609A1 (en) Method and apparatus for quantifying threat situations to recognize network threat in advance
JP5659108B2 (ja) 運用監視装置、運用監視プログラム及び記録媒体
JP6981063B2 (ja) 表示制御プログラム、表示制御方法、及び表示制御装置
JP2019028891A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US11715046B2 (en) Enhancing data-analytic visualizations with machine learning
JP2018196054A (ja) 評価プログラム、評価方法および情報処理装置
JP5310094B2 (ja) 異常検出システム、異常検出方法および異常検出用プログラム
US10282239B2 (en) Monitoring method
JP7255636B2 (ja) 端末管理装置、端末管理方法、およびプログラム
KR102040371B1 (ko) 네트워크 공격 패턴 분석 및 방법
JP6592411B2 (ja) データ分析装置及びデータ分析方法
EP3826242A1 (en) Cyber attack information analyzing program, cyber attack information analyzing method, and information processing device
JP2018132918A (ja) データ分析装置及びデータ分析方法
US20210092159A1 (en) System for the prioritization and dynamic presentation of digital content
WO2019123449A1 (en) A system and method for analyzing network traffic
JP7070678B2 (ja) 通信分析装置、通信分析方法、通信環境分析装置、通信環境分析方法、およびプログラム
JP7027912B2 (ja) 順序制御プログラム、順序制御方法、及び情報処理装置
WO2020240766A1 (ja) 評価装置、システム、制御方法、及びプログラム
KR20230089133A (ko) 사용자 it 기기의 네트워크 트래픽 분석을 통한 위험도 분석 시스템
JP5086382B2 (ja) 異常トラヒック分析システム、方法、および装置
JP2020107156A (ja) 監視システム、監視プログラムおよびシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190920

R150 Certificate of patent or registration of utility model

Ref document number: 6592411

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150