JP2013062627A - ネットワーク情報蓄積装置及び方法及びプログラム - Google Patents

ネットワーク情報蓄積装置及び方法及びプログラム Download PDF

Info

Publication number
JP2013062627A
JP2013062627A JP2011198881A JP2011198881A JP2013062627A JP 2013062627 A JP2013062627 A JP 2013062627A JP 2011198881 A JP2011198881 A JP 2011198881A JP 2011198881 A JP2011198881 A JP 2011198881A JP 2013062627 A JP2013062627 A JP 2013062627A
Authority
JP
Japan
Prior art keywords
network information
database
network
information storage
switching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011198881A
Other languages
English (en)
Inventor
Atsushi Terauchi
敦 寺内
Osamu Akashi
修 明石
Kensuke Fukuda
健介 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Research Organization of Information and Systems
Original Assignee
Nippon Telegraph and Telephone Corp
Research Organization of Information and Systems
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, Research Organization of Information and Systems filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011198881A priority Critical patent/JP2013062627A/ja
Publication of JP2013062627A publication Critical patent/JP2013062627A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【課題】 長期間に亘ってネットワーク情報を蓄積する場合でも、検索速度の低下を招かないようにする。
【解決手段】 本発明は、インターネット上の計測機器やソフトウェアを介してネットワーク情報を収集し、予め設定されたネットワーク情報の書き込み先となるデータベースを切り替える条件が成立する場合には、新たにデータベースを生成し、該データベースに収集されたネットワーク情報を蓄積する。条件が成立しない場合には、前回と同じデータベースにネットワーク情報を格納する。
【選択図】 図1

Description

本発明は、ネットワーク情報蓄積装置及び方法及びプログラムに係り、特に、単一組織が管理する自律システム(AS: Autonomous System)が複数相互接続された広域網であるインターネットにおいて、ネットワークの状態を表すネットワーク情報をデータベースに蓄積するためのネットワーク情報蓄積装置及び方法及びプログラムに関する。
ネットワークの解析診断を行う場合、現在や過去のネットワークの状態及びその変動の様子を把握することはネットワーク管理者が適切に管理業務を行う上で重要である。
一般に、ネットワークの状態や変動を把握するために、ネットワーク管理者はさまざまな種類の情報を利用する。例えば、ネットワークの負荷やトラフィックの状態を調べるにはルータのログ、パケットアナライザの測定データなどが利用でき、ネットワークの接続性を知るためにはtracerouteコマンドの結果やパケットのRTT(Round Trip Time)などがよく利用されている。また、これらの状態の時間的な変動が知りたい場合、上記の情報を一定期間分蓄積しておき、それらを解析することによって変動の状態を把握する。
インターネットの巨大化及び普及に伴い、ネットワークの解析診断を含めた管理作業の重要性はますます増してきている。ネットワークの解析診断を行う場合、現在や過去のネットワーク状態及びその変動の様子を把握することはネットワーク管理者が適切に管理業務を行う上で重要である。ネットワーク管理に必要な情報は管理作業の内容や目的によってその種類や量が異なるため、多様な解析あるいは長期間に亘るネットワーク状態の解析などを行う場合には大量の情報の蓄積が必要である。加えて、これらの情報を有効に活用するためには単に情報を蓄積するだけでなく、それらの情報の中から必要な情報だけを検索したり複数の情報を統合するといったような多様な形態で利用できることが求められる。ところが、ネットワーク情報はルータのログファイルなど収集したオリジナルの形式のままでは検索など情報の操作性も低く、情報毎にフォーマットが異なることもあるため、ネットワーク管理に求められる多様な形態での利用を実現することは困難である。
この問題に対処するために、情報の蓄積及び検索性に優れたリレーショナルデータベース(RDB)を使ってネットワーク情報を蓄積・検索するシステムを構築し、ネットワーク解析に利用する試みが為されている(例えば、非特許文献1参照)。
ところが、例えば、長期期間に亘って蓄積した情報を扱う場合など操作対象となるネットワーク情報が大量になるにしたがって、蓄積及び検索完了にかかる時間が増大するという問題がある。
従来技術としてデータベース上の単一のテーブルに全てのネットワーク情報を蓄積することを考える。例えば、蓄積する対象としてBGPプロトコルでやり取りされる情報を考えた場合、テーブルの構成は図1に示すようになる。このような単一のテーブルに情報を全て蓄積した場合、蓄積の終了を特に決定しなければ、ネットワーク情報を蓄積したテーブルのサイズは明らかに単調かつ際限なく増加することがわかる。
Lorenzo Colitti and Giuseppe Di Battista and Federico Mariani and Maurizio Patrignani and Maurizio Pizzonia, "Visualizing Interdomain Routing with BGPlay", Journal of Graph Algorithms and Applications, Special Issue on the 2003 Symposium on Graph Drawing, GD '03, vol. 9. no. 1, pp. 117-148, 2005.
上記のように、従来手法では、長期間亘り情報を蓄積した場合などテーブルのサイズが巨大化した場合には、新たな情報の蓄積や蓄積した情報を検索するための時間が掛かるという問題がある。
本発明は、上記の点に鑑みなされたもので、長期間に亘ってネットワーク情報を蓄積する場合でも、検索速度の低下を招かない効率的なネットワーク情報蓄積装置及び方法及びプログラムを提供することを目的とする。
上記の課題を解決するため、本発明は、単一組織が管理する自律システムが複数相互接続された広域網であるインターネットにおいて、ネットワークの状態を表すネットワーク情報を蓄積するネットワーク情報蓄積装置であって、
前記インターネット上の計測機器やソフトウェアを介してネットワーク情報を収集する情報収集手段と、
前記ネットワーク情報を蓄積するデータベースと、
前記ネットワーク情報の書き込み先となるデータベースを切り替える条件が成立する場合には、新たにデータベースを生成し、該データベースに収集された前記ネットワーク情報を蓄積する情報蓄積手段と、を有する。
また、本発明(請求項2)は、前記書き込み先となるデータベースを切り替える条件として、データベースに蓄積を開始してから所定の時間が経過した場合に切り替えるものとする。
また、本発明(請求項3)は、前記書き込み先となるデータベースを切り替える条件として、データベースに蓄積済みのレコード数が所定の値に達した場合に切り替えるものとする。
上記のように、本発明によれば、長期間に亘ってネットワーク情報を蓄積し、ネットワーク情報が大量になる場合であっても、蓄積及び検索速度が低下しない。
従来手法によるデータベーステーブルの例である。 本発明の一実施の形態におけるネットワーク情報蓄積装置の構成図である。 本発明の一実施の形態における情報蓄積方法の概要のフローチャートである。
以下図面と共に、本発明の実施の形態を説明する。
以下では、本発明が提供するネットワーク情報蓄積方法の詳細について説明する。
図2は、本発明の一実施の形態におけるネットワーク情報蓄積装置の構成を示す。
同図に示すネットワーク情報蓄積装置10は、情報収集部11、情報蓄積部12、書き込み先切替条件記憶部13、データベース14から構成され、情報収集部11は、ルータなどのネットワーク機器1に接続されている。
情報収集部11は、ネットワーク機器1や計測ソフトウェアなどからネットワーク情報を収集する。本実施の形態では、ネットワーク機器1から情報を収集するものとする。
情報蓄積部12は、情報収集モジュールから送信された情報をデータベース14に蓄積する。蓄積に先立って、書き込み先切替条件記憶部13の予めユーザから与えられた書き込み先切替条件を参照し、条件の成否に応じて蓄積先の新規作成及び書き込み先の指定を適宜行う。
データベース14は、RDBであり、蓄積データをテーブル形式のデータ構造単位で管理し、ネットワーク情報を蓄積する。
上記の構成における動作の概要を説明する。
図2は、本発明の一実施の形態における情報蓄積方法の概要のフローチャートである。
以下の処理に先立ち、ユーザは予め書き込み先を切り替えるための条件を書き込み先切替条件記憶部13に設定しておくものとする。設定する切替のための条件に特に制約はないが、本発明において書き込み先のテーブルを切り替える理由は、テーブルの大きさが無限に大きくなることを防ぐことが目的であるので、書き込み先を切り替える条件としては、一つのテーブルに書き込んだメッセージ数や書き込み開始からの経過時間などが適当である。
ステップ1) 情報収集部11は、既存の技術と同様に、ルータなどのネットワーク機器1から蓄積するネットワーク情報を取得し、情報蓄積部12に出力する。
ステップ2) 情報蓄積部12は、ネットワーク情報を取得すると、書き込み先切替条件記憶部13を参照して、書き込み先切替条件を検査する。具体的な例は後述する。
ステップ3) ステップ2における検査において条件が満たされている場合には、ステップ4に移行し、満たされていない場合はステップ6に移行する。
ステップ4) 条件が満たされている場合は、情報蓄積部12は、新たな書き込み先となるテーブルを作成する。
ステップ5) 情報蓄積部12は、新たに作成したテーブルに情報を蓄積する。
ステップ6)ステップ3において条件を満たしていない場合には、現在のテーブルに情報を蓄積する。
次に、上記の処理を具体的に説明する。
以下では、ネットワーク情報の一つであるBGP(Border Gateway Protocol)情報を蓄積する場合を想定する。また、書き込み先テーブルの切替条件として、「当該テーブルに情報を保存し始めてから24時間経過した場合は切替先テーブルを切り替える」という条件を設定しているものとする。また、BGP情報の受信時刻をt0に開始したとし、データベース14の書き込み先テーブルの名前は「table 1」としてt0の時点では当該テーブル内には何も書き込まれていないものとする。
1)情報蓄積部12は、受信したBGP情報を、table1に書き込み開始時刻をt0として記憶する。データベース14が図1に示すテーブル構造になっている場合は、受信日時、メッセージ種別、経路、ASパス送信元(originAS)、AS-pathが記憶される。
2)次に、情報収集部11においてBGP情報を受信した場合、受信時刻をt1として、次の処理を行う。はじめに、table1を参照して、受信時刻t1がt0より24時間経過しているかをチェックする。
(a)経過していた場合は、新たな書き込み先テーブルを作成する。ここでは、新しいテーブルの名前を「table2」とする。この場合、時刻t1に受信した情報はtable2に書き込み、table2の書き込み開始時刻(受信日時)をt1として記憶する。
(b)24時間経過していなかった場合は、受信時刻t1に受信した情報はtable 1に書き込む。
3)以下、BGP情報を受信する度に上記の処理を繰り返す。
上記のように、書き込み先テーブルを適宜切り替えて各テーブルのサイズが巨大化することを防ぐことで、テーブルサイズの巨大化に伴う情報蓄積及び検索時間の増大を防ぐことができる。条件によっては複数のテーブルを跨った検索を行う必要があるため、検索手順が若干複雑化する可能性があるが、テーブルのサイズを一定にしたことにより、個々のテーブルに対する検索時間が十分高速に行うことが可能であるため、手順の複雑化によって本発明の効果が減ぜられることはない。
なお、上記の実施の形態では、データベースとしてRDBを前提として説明しているが、RDBではない場合は、テーブルをデータベースと読み替えることにより、本発明を適用することができ、予め設定した条件が成立する場合には、受信した情報は新たに生成されたデータベースに蓄積されることとなる。
なお、上記の図2のネットワーク情報蓄積装置の構成要素の動作をプログラムとして構築し、ネットワーク情報蓄積装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。また、構築されたプログラムをハードディスクや、フレキシブルディスク、CD-ROM等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々、変更・応用が可能である。
1 ルータなどのネットワーク機器
10 ネットワーク情報蓄積装置
11 情報収集部
12 情報蓄積部
13 書き込み先切替条件記憶部
14 データベース

Claims (7)

  1. 単一組織が管理する自律システムが複数相互接続された広域網であるインターネットにおいて、ネットワークの状態を表すネットワーク情報を蓄積するネットワーク情報蓄積装置であって、
    前記インターネット上の計測機器やソフトウェアを介してネットワーク情報を収集する情報収集手段と、
    前記ネットワーク情報を蓄積するデータベースと、
    前記ネットワーク情報の書き込み先となるデータベースを切り替える条件が成立する場合には、新たにデータベースを生成し、該データベースに収集された前記ネットワーク情報を蓄積する情報蓄積手段と、
    を有することを特徴とするネットワーク情報蓄積装置。
  2. 前記書き込み先となるデータベースを切り替える条件として、
    データベースに蓄積を開始してから所定の時間が経過した場合に切り替えるものとする
    請求項1記載のネットワーク情報蓄積装置。
  3. 前記書き込み先となるデータベースを切り替える条件として、
    データベースに蓄積済みのレコード数が所定の値に達した場合に切り替えるものとする
    請求項1記載のネットワーク情報蓄積装置。
  4. 単一組織が管理する自律システムが複数相互接続された広域網であるインターネットにおいて、ネットワークの状態を表すネットワーク情報を蓄積するネットワーク情報蓄積方法であって、
    情報収集手段が、前記インターネット上の計測機器やソフトウェアを介してネットワーク情報を収集する情報収集ステップと、
    情報蓄積手段が、前記ネットワーク情報の書き込み先となるデータベースを切り替える条件が成立する場合には、新たにデータベースを生成し、該データベースに収集された前記ネットワーク情報を蓄積する情報蓄積ステップと、
    を行うことを特徴とするネットワーク情報蓄積方法。
  5. 前記書き込み先となるデータベースを切り替える条件として、
    データベースに蓄積を開始してから所定の時間が経過した場合とする
    請求項4記載のネットワーク情報蓄積方法。
  6. 前記書き込み先となるデータベースを切り替える条件として、
    データベースに蓄積済みのレコード数が所定の値に達した場合に切り替えるものとする
    請求項4記載のネットワーク情報蓄積方法。
  7. コンピュータを、
    請求項1乃至3のいずれか1項に記載のネットワーク情報蓄積装置の各手段として機能させるためのネットワーク情報蓄積プログラム。
JP2011198881A 2011-09-12 2011-09-12 ネットワーク情報蓄積装置及び方法及びプログラム Pending JP2013062627A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011198881A JP2013062627A (ja) 2011-09-12 2011-09-12 ネットワーク情報蓄積装置及び方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011198881A JP2013062627A (ja) 2011-09-12 2011-09-12 ネットワーク情報蓄積装置及び方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2013062627A true JP2013062627A (ja) 2013-04-04

Family

ID=48186943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011198881A Pending JP2013062627A (ja) 2011-09-12 2011-09-12 ネットワーク情報蓄積装置及び方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2013062627A (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08263336A (ja) * 1995-03-24 1996-10-11 Babcock Hitachi Kk 設計業務支援システムおよび該システムにおけるデータベースの処理装置
JP2005323322A (ja) * 2004-04-08 2005-11-17 Hitachi Ltd ログ情報の蓄積および解析システム
JP2006139425A (ja) * 2004-11-10 2006-06-01 Canon Sales Co Inc 情報処理装置、情報処理方法、プログラム及び記録媒体
JP2007034416A (ja) * 2005-07-22 2007-02-08 Toshiba Corp ログデータを管理する情報処理システム、ログデータ管理方法およびプログラム
JP2008085812A (ja) * 2006-09-28 2008-04-10 Oki Electric Ind Co Ltd ネットワーク監視システム、ネットワーク監視方法及びネットワーク監視プログラム
JP2010003311A (ja) * 1999-12-13 2010-01-07 Yahoo Inc コンテンツ収集

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08263336A (ja) * 1995-03-24 1996-10-11 Babcock Hitachi Kk 設計業務支援システムおよび該システムにおけるデータベースの処理装置
JP2010003311A (ja) * 1999-12-13 2010-01-07 Yahoo Inc コンテンツ収集
JP2005323322A (ja) * 2004-04-08 2005-11-17 Hitachi Ltd ログ情報の蓄積および解析システム
JP2006139425A (ja) * 2004-11-10 2006-06-01 Canon Sales Co Inc 情報処理装置、情報処理方法、プログラム及び記録媒体
JP2007034416A (ja) * 2005-07-22 2007-02-08 Toshiba Corp ログデータを管理する情報処理システム、ログデータ管理方法およびプログラム
JP2008085812A (ja) * 2006-09-28 2008-04-10 Oki Electric Ind Co Ltd ネットワーク監視システム、ネットワーク監視方法及びネットワーク監視プログラム

Similar Documents

Publication Publication Date Title
US9565076B2 (en) Distributed network traffic data collection and storage
US11681678B2 (en) Fast circular database
US20190334797A1 (en) Scalable end-to-end quality of service monitoring and diagnosis in software defined networks
Lee et al. Toward scalable internet traffic measurement and analysis with hadoop
US10523521B2 (en) Managing ephemeral event streams generated from captured network data
US9665420B2 (en) Causal engine and correlation engine based log analyzer
US10366101B2 (en) Bidirectional linking of ephemeral event streams to creators of the ephemeral event streams
US20150293954A1 (en) Grouping and managing event streams generated from captured network data
US20150295778A1 (en) Inline visualizations of metrics related to captured network data
KR20170049509A (ko) 선택된 네트워크 트래픽을 수집하고 분석하는 기법
US10469326B1 (en) Discovering a computer network topology for an executing application
CN107534690A (zh) 采集域名系统流量
CN113162818A (zh) 一种分布式流量采集分析的实现方法及系统
Sanjappa et al. Analysis of logs by using logstash
CN103532737A (zh) 一种处理多种类型告警的方法、装置及系统
JP2013062627A (ja) ネットワーク情報蓄積装置及び方法及びプログラム
CN111953519B (zh) 一种sdn网络流量可视化方法及装置
US9979613B2 (en) Analyzing network traffic in a computer network
Yamada et al. Developing network configuration management database system and its application—data federation for network management
KR101345095B1 (ko) 클러스터 환경 기반의 bgp 라우팅 정보 분석 방법 및 시스템
Weitzel et al. The Service Analysis and Network Diagnosis Data Pipeline
JP4589939B2 (ja) 接続情報管理方法及び装置及びプログラム
Weitzel et al. arXiv: The Service Analysis and Network Diagnosis DataPipeline
Vasileva et al. PS-Dash–Analysis, Monitoring and Visualization of Network Measurements
KR20230142203A (ko) 컨테이너 기반 네트워크 라이브 스트림을 분석할 수 있는 데이터 처리 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130814

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130814

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140415

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140616

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150602