JP2005321910A - ログデータ管理システム、方法、及びプログラム - Google Patents

ログデータ管理システム、方法、及びプログラム Download PDF

Info

Publication number
JP2005321910A
JP2005321910A JP2004138061A JP2004138061A JP2005321910A JP 2005321910 A JP2005321910 A JP 2005321910A JP 2004138061 A JP2004138061 A JP 2004138061A JP 2004138061 A JP2004138061 A JP 2004138061A JP 2005321910 A JP2005321910 A JP 2005321910A
Authority
JP
Japan
Prior art keywords
data
log data
log
memory device
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004138061A
Other languages
English (en)
Inventor
Manabu Hanzaike
学 繁在家
Makoto Ikushima
誠 生島
Takashi Tsutsui
多圭志 筒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank BB Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank BB Corp filed Critical SoftBank BB Corp
Priority to JP2004138061A priority Critical patent/JP2005321910A/ja
Publication of JP2005321910A publication Critical patent/JP2005321910A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

【課題】 管理対象装置の動作状況を報告するログデータを収集する際、重複したデータが蓄積されるのを回避し、受信したログデータの消失を防止しつつ、有益なログデータのみを蓄積し、蓄積されたデータの有効利用を図る。
【解決手段】 ログデータを一時的に蓄積するメモリ(キュー)32と、管理対象装置1a〜1cからログデータを受信し、メモリ装置32に入力する受信スレッド部31と、メモリ装置32に蓄積されたログデータの内容を解析し、ログデータの中から所定のログデータを選択し、選択したログデータをデータベース装置に書き込む書込スレッド部33とを備えている。
【選択図】 図2

Description

本発明は、ISP(Internet Service Provider)を構成する機器等の対象装置を管理するために、機器の動作状態を報告するログデータを収集し、管理するログデータ管理システム、方法、及びプログラム
従来、ISPにおけるログデータを管理するために、いわゆるシステムログデータサーバをネットワーク上に設置し、管理対象装置から送出されるログデータを収集し、監視するのが通常となっている。
ところでログデータのデータパケット(UDP)の量は、秒間数百データグラムを超えることが一般的になってきている。その一方で、収集したログデータから有益な情報を抽出し、ISPの管理に有効に利用するためには、データベース装置等のシステムを構築し、このデータベース装置にログデータを蓄積し、容易に検索し、集計ができる方式が必要となる。
このログデータの収集管理のための技術として、例えば、特許文献1に開示されたものがある。この特許文献1に開示された技術では、種々のアプリケーションソフトウェアから出力されるシステムログデータやイベントログデータの形式を統一するインターフェースによって、ログデータの統合管理を実現している。
特開2004-78401号公報
しかしながら、一般的に、管理対象装置から到来するデータパケットは大量であり、到来するシステムログデータを蓄積するデータベース装置の処理負担が過大となる。これに対し、従来より、受信したデータパケットをUDPバッファメモリに蓄積する技術が採用されているが、データベース装置の処理遅延により、UDPバッファのオーバーフローを生じ、オーバーフローしたパケットが消失されるという惧れがあった。
そこで、本発明は以上の点に鑑みてなされたものであり、受信したログデータの消失を防止しつつ、有益なログデータのみを蓄積し、蓄積されたデータの有効利用を図ることのできるログデータ管理システム、方法、及びプログラムを提供することをその課題とする。
上記課題を解決するために、本発明は、管理対象装置の動作状況を報告するログデータを収集する際に、受信スレッド部により管理対象装置からログデータを受信し、メモリ装置に一時的に蓄積し、メモリ装置に蓄積されたシステムログデータの内容を解析し、書込スレッド部により、システムログデータから所定のシステムログデータを選択し、選択したシステムログデータをデータベース装置に書き込む。
上記発明において、メモリ装置は、受信スレッド部から入力されたログデータを、入力された順に蓄積し、書込スレッド部は、データの蓄積方向に移動しつつログデータ(以下、カレントデータとする。)の内容を取得するとともに、カレントデータの蓄積方向後方のログデータ(以下、後方データとする。)を所定数、順次取得し、カレントデータと所定数の後方データとをそれぞれ比較し、カレントデータと同一又は近似する内容の後方データが存在しない場合に、カレントデータをデータベース装置に書き込む。
このような本発明によれば、受信したログデータをメモリ装置に一時的に蓄積するとともに、選択したログデータのみをデータベース装置に書き込むため、データベース装置の負担を軽減することができる。特に、本発明では、同一又は近似する内容のログデータが、カレントデータの後方に存在する場合には、このデータをデータベース装置に書き込まないため、重複した内容のログデータがデータベースに蓄積されるのを防止することができ、データベース装置の負担を軽減することができるとともに、ログデータの検索を容易にし、データの有効利用を図ることができる。
以上説明したように本発明によれば、管理対象装置の動作状況を報告するログデータを収集する際、重複したデータが蓄積されるのを回避することによって、受信したログデータの消失を防止しつつ、有益なログデータのみを蓄積し、蓄積されたデータの有効利用を図ることができる。
本発明の実施形態について、図面を参照しつつ説明する。
(ログデータ管理システム)
図1は、本実施形態に係るログデータ管理システムの概略構成を示す説明図である。同図に示すように、本実施形態に係るログデータ管理システムは、ネットワーク2上に分散配置された管理対象装置1a〜1c(システムサーバや、メールサーバ、Webサーバ等のコンピュータ、及びこれらコンピュータ上で実行されているOSやアプリケーションの他、ルータ装置等の通信装置を含む)からのログデータを、ログデータサーバ3により収集し、データベース装置4に蓄積する。
ネットワーク2は、例えば通信プロトコルTCP/IPを用いて種々の通信回線(電話回線やISDN回線、ADSL回線などの公衆回線、専用回線、無線通信網)を相互に接続して構築される分散型のIP網であり、このIP網には、10BASE-Tや100BASE-TX等によるイントラネット(企業内ネットワーク)や家庭内ネットワークなどのLANなども含まれる。
本実施形態において、ログデータとしては、OSやアプリケーション、ファームウェア等の処理状況やエラー発生状況を報告するデータであり、例えばトレースファイル、イベントログ、Syslog等が含まれ、表1に示すようなデータ構造をなしている。
Figure 2005321910

表1において、"Time"は、そのログが発生した時刻を表記するものである。"IP"は、そのログを発生させた装置を特定する識別子である。"facility"は、ファシリティはメッセージの出力元に関する情報であり、カーネルやユーザープロセス、サーバプログラムなどが含まれる。 "プライオリティ"は、メッセージの重要度を表し、メッセージやエラーの優先度となる。"Message"は、具体的なメッセージの内容を表す。これらのデータの一例を以下に示す。
Figure 2005321910
上記ログデータサーバ3は、図2に示すように、ログデータを一時的に蓄積するメモリ(キュー)32と、管理対象装置1a〜1cからログデータを受信し、メモリ装置32に入力する受信スレッド部31と、メモリ装置32に蓄積されたログデータの内容を解析し、ログデータの中から所定のログデータを選択し、選択したログデータをデータベース装置に書き込む書込スレッド部33とを備えている。なお、本実施形態において、これら受信スレッド部31及び書込スレッド部33は、ログデータサーバ3に備えられたCPU等の演算処理装置により、後述するログデータ管理プログラムを実行することによって実現される。
メモリ装置32は、図3に詳細に示すように、受信スレッド部31から入力されたログデータを、入力された順に蓄積する。具体的に、このメモリ装置32は、書込ポインタwptrによりデータが入力される書込位置を指定し、読出ポインタrptrによりデータが出力される読出位置を指定する。
受信スレッド部31は、図2に示すように、ネットワーク2に接続され、UDPパケットD1の送受信を行うための通信モジュール31aと、メモリ装置32の書込ポインタwptrが指定するアドレスに受信したログデータを書き込むメモリアクセスモジュール31bとを備えている。
前記書込スレッド部33は、メモリ装置32の読出ポインタrptrが指定するアドレスからログデータを読み出すメモリアクセスモジュール32aと、読み出したログデータを解析し、所定の条件を満たすログデータを抽出する解析モジュール32bと、抽出したデータベース装置4に書き込むデータベースアクセスモジュール32cとを備えている。
詳述すると、書込スレッド部33のメモリアクセスモジュール33aは、データの蓄積方向に移動しつつログデータをカレントデータとして読み出し、その内容を取得するとともに、カレントデータの蓄積方向後方のログデータを後方データとして、所定数、順次取得する。そして、この書込スレッド部33の解析モジュール33bは、カレントデータと所定数の後方データとをそれぞれ比較し、カレントデータと同一又は近似する内容の後方データが存在するか否かを判断する。解析モジュール33bが、同一又は近似する後方データが存在しない判断した場合に、データベースアクセスモジュール33cにより、そのカレントデータを前記データベース装置4に書き込む。
(ログデータ管理方法)
以上の構成を有するログデータ管理システムを動作させることによって、本発明のログデータの管理方法を実施することができる。なお、本実施形態に係るログデータ管理システムにおいては、メモリ装置32への書き込みと、ログデータサーバ3からの読み出しとが、並行して行われている。
すなわち、受信スレッド部31により、ネットワーク2を通じて管理対象装置1a〜1cよりUDPパケットD1を受信し、受信したUDPパケットD1からログデータを取り出すとともに、受信した順にメモリ装置32の書込ポインタwptrが指定するアドレスに受信したログデータを書き込む。このログデータの書き込み処理と並行して、図4に示す、ログデータの読み出し処理が実行される。
図4は、本実施形態に係るログデータ管理システムにおいて、メモリ装置32からログデータを読み出す際の動作を示すフローチャート図である。
このログデータの読み出し処理では、先ず、読出ポインタrptrを蓄積方向に移動させ、データqnをカレントデータとして読み出す(S101)。次いで、このデータqnの後方データを所定数(ここでは、X個:X=0〜任意値)、順次取得する(S102)。
すなわち、ステップS102aで、メモリ装置32から後方データqn−1−xを取得し、ステップS102bで、カレントデータqと比較し、同一又は近似するかを確認する。ここでは、例えば表1に示したデータ構造のうち、"Time"のみ相違する場合や、"IP"のみが相違する場合などに、カレントデータと後方データとが、同一又は近似すると判断する。
そして、ステップS102bにおいて同一又は近似すると判断した場合(ステップS102bにおける”Y”)には、nを増加させて読出ポインタrptrを蓄積方向前方に移動させ(S105)、次のカレントデータqn+1を取得する(S101)。一方、ステップS102bにおいて同一又は近似しないと判断した場合(ステップS102bにおける”N”)には、ステップS103に移行する。ステップS103ではカレントデータqをデータベース装置4に書き込む(インサートする)。
その後、処理を継続するか否かの判断を行い(S104)、継続するようであれば(ステップS104における”Y”)には、nを増加させて読出ポインタrptrを蓄積方向前方に移動させ(S105)、継続しない場合(ステップS104における”N”)には、処理を終了する。
(変更例)
なお、本発明は、上述した実施形態に限定されるものではなく、種々の変更を加えることができる。例えば、図5に示すように、書込スレッド部33をメールサーバ5に接続し、プライオリティの高いログデータが検出された場合には、システム管理者にその旨をメールにて通知するようにしてもよい。
この場合には、ログデータのプライオリティやファシリティと、メールの送信先とを関連付けたアドレスデータをアドレスデータベース51に格納しておき、プライオリティの高さや、ファシリティにより特定されるエラー発生元の種類によって、メールの送信先を切り替えて、適切なシステム管理者に通知するようにすることが好ましい。また、この場合において、送信されるメールに、ログデータのメッセージなどを添付する等のデータ加工処理を行ってもよい。
(本実施形態による効果)
このような本実施形態によれば、受信したログデータをメモリ装置32に一時的に蓄積するとともに、選択したログデータのみをデータベース装置4に書き込むため、データベース装置4の負担を軽減することができる。特に、本実施形態では、同一又は近似する内容のログデータが、カレントデータの後方に存在する場合には、このデータをデータベース装置4に書き込まないため、重複した内容のログデータがデータベース装置4に蓄積されるのを防止することができ、データベース装置4の負担を軽減することができるとともに、ログデータの検索を容易にし、データの有効利用を図ることができる。
(ログデータ管理プログラム)
上述した本実施形態係るログデータ管理システム及び方法は、所定の言語で記述されたプログラムをコンピュータ上で実行することにより実現することができる。すなわち、このプログラムを、サーバ装置等のコンピュータにインストールし、CPU上で実行することにより、上述した各機能を有するシステムを容易に構築することができる。このプログラムは、例えば、通信回線を通じて配布することが可能であり、またスタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。
そして、このようなプログラムは、図6に示すような、汎用コンピュータ120で読み取り可能な記録媒体116〜119に記録することができる。具体的には、同図に示すような、フレキシブルディスク116やカセットテープ119等の磁気記録媒体、若しくはCD−ROMやDVD−ROM117等の光ディスクの他、RAMカード118など、種々の記録媒体に記録することができる。本実施形態は書き込み不可のCD−ROMやDVD−ROM117中にあるコンテンツに対してリンクを設けることができる特徴を有する。
そして、このプログラムを記録したコンピュータ読み取り可能な記録媒体によれば、汎用のコンピュータや専用コンピュータを用いて、上述した効果を奏するシステムや方法を実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。
実施形態に係るログデータ管理システムの概略構成を示す説明図である。 実施形態におけるメモリ対するデータの入出力を模式的に示す説明図である。 実施形態におけるメモリ対するデータの入出力を行う構成及び動作を示す説明図である。 本実施形態に係るログデータ管理システムにおいて、メモリ装置32からログデータを読み出す際の動作を示すフローチャート図である。 変更例に係るシステムログデータ管理システムの概略構成を示す説明図である。 本実施形態に係るログデータ管理プログラムを記録したコンピュータ読み取り可能な記録媒体を示す斜視図である。
符号の説明
rptr…読出ポインタ
wptr…書込ポインタ
1a〜1c…管理対象装置
2…ネットワーク
3…ログデータサーバ
4…データベース装置
5…メールサーバ
31…受信スレッド部
31a…通信モジュール
31b…メモリアクセスモジュール
32…メモリ装置
32a…メモリアクセスモジュール
32b…解析モジュール
32c…データベースアクセスモジュール
33…書込スレッド部
33a…メモリアクセスモジュール
33b…解析モジュール
33c…データベースアクセスモジュール
51…アドレスデータベース
116〜119…記録媒体
120…汎用コンピュータ

Claims (6)

  1. 管理対象装置の動作状況を報告するログデータを収集するログデータ管理システムであって、
    前記ログデータを一時的に蓄積するメモリ装置と、
    前記管理対象装置から前記ログデータを受信し、前記メモリ装置に入力する受信スレッド部と、
    前記メモリ装置に蓄積されたログデータの内容を解析し、該ログデータから所定のログデータを選択し、選択したログデータをデータベース装置に書き込む書込スレッド部と
    を備えることを特徴とするログデータ管理システム。
  2. 前記メモリ装置は、前記受信スレッド部から入力されたログデータを、入力された順に蓄積し、
    前記書込スレッド部は、データの蓄積方向に移動しつつログデータ(以下、カレントデータとする。)の内容を取得するとともに、該カレントデータの前記蓄積方向後方のログデータ(以下、後方データとする。)を所定数、順次取得し、該カレントデータと該所定数の後方データとをそれぞれ比較し、カレントデータと同一又は近似する内容の後方データが存在しない場合に、該カレントデータを前記データベース装置に書き込む
    ことを特徴とする請求項1に記載のログデータ管理システム。
  3. 管理対象装置の動作状況を報告するログデータを収集するログデータ管理方法であって、
    前記管理対象装置から前記ログデータを受信し、受信したログデータを、一時的にメモリ装置に蓄積させるステップ(1)と、
    前記メモリ装置に蓄積されたログデータの内容を解析し、該ログデータから所定のログデータを選択し、選択したログデータをデータベース装置に書き込むステップ(2)と
    を備えることを特徴とするログデータ管理方法。
  4. 前記ステップ(1)では、前記メモリ装置に、ログデータを受信した順に蓄積し、
    前記ステップ(2)では、データの蓄積方向に移動しつつカレントデータの内容を取得するとともに、後方データを所定数、順次取得し、該カレントデータと該所定数の後方データとをそれぞれ比較し、カレントデータと同一又は近似する内容の後方データが存在しない場合に、該カレントデータを前記データベース装置に書き込む
    ことを特徴とする請求項3に記載のログデータ管理方法。
  5. 管理対象装置の動作状況を報告するログデータを受信し、一時的に蓄積するメモリ装置と、該メモリ装置から読み出されたログデータを蓄積するデータベース装置とを備えたコンピュータを用いて、該ログデータを収集するログデータ管理プログラムであって、該コンピュータに、
    前記管理対象装置から前記ログデータを受信し、受信したログデータを、一時的に前記メモリ装置に蓄積させるステップ(1)と、
    前記メモリ装置に蓄積されたログデータの内容を解析し、該ログデータから所定のログデータを選択し、選択したログデータをデータベース装置に書き込むステップ(2)と
    を有する処理を実行させることを特徴とするログデータ管理プログラム。
  6. 前記ステップ(1)では、前記メモリ装置に、ログデータを受信した順に蓄積し、
    前記ステップ(2)では、データの蓄積方向に移動しつつカレントデータの内容を取得するとともに、後方データを所定数、順次取得し、該カレントデータと該所定数の後方データとをそれぞれ比較し、カレントデータと同一又は近似する内容の後方データが存在しない場合に、該カレントデータを前記データベース装置に書き込む
    ことを特徴とする請求項5に記載のログデータ管理プログラム。
JP2004138061A 2004-05-07 2004-05-07 ログデータ管理システム、方法、及びプログラム Pending JP2005321910A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004138061A JP2005321910A (ja) 2004-05-07 2004-05-07 ログデータ管理システム、方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004138061A JP2005321910A (ja) 2004-05-07 2004-05-07 ログデータ管理システム、方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2005321910A true JP2005321910A (ja) 2005-11-17

Family

ID=35469169

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004138061A Pending JP2005321910A (ja) 2004-05-07 2004-05-07 ログデータ管理システム、方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2005321910A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009087324A (ja) * 2007-09-13 2009-04-23 Ricoh Co Ltd 機器情報管理装置、機器方法管理方法、および機器情報管理プログラム
JP2010072984A (ja) * 2008-09-19 2010-04-02 Hitachi Software Eng Co Ltd ログ管理サーバ
JP2010277310A (ja) * 2009-05-28 2010-12-09 Nec System Technologies Ltd 複数デバイスドライバから得た情報の記録時の情報圧縮方法、情報圧縮装置及び情報圧縮プログラム
JP2012133695A (ja) * 2010-12-24 2012-07-12 Hitachi Ltd 稼働ログ収集方法および装置
CN108984545A (zh) * 2017-05-31 2018-12-11 广东神马搜索科技有限公司 日志文件处理方法、装置和服务器
JP2020524852A (ja) * 2017-06-21 2020-08-20 テトラ ラバル ホールディングス アンド ファイナンス エス エイ Plc制御機器においてプロセスデータのログを取る方法
CN114257502A (zh) * 2020-09-21 2022-03-29 华为终端有限公司 一种日志上报方法及装置
CN116048822A (zh) * 2023-04-03 2023-05-02 成都新西旺自动化科技有限公司 一种高吞吐的并行日志存储系统及方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009087324A (ja) * 2007-09-13 2009-04-23 Ricoh Co Ltd 機器情報管理装置、機器方法管理方法、および機器情報管理プログラム
JP2010072984A (ja) * 2008-09-19 2010-04-02 Hitachi Software Eng Co Ltd ログ管理サーバ
JP2010277310A (ja) * 2009-05-28 2010-12-09 Nec System Technologies Ltd 複数デバイスドライバから得た情報の記録時の情報圧縮方法、情報圧縮装置及び情報圧縮プログラム
JP2012133695A (ja) * 2010-12-24 2012-07-12 Hitachi Ltd 稼働ログ収集方法および装置
CN108984545A (zh) * 2017-05-31 2018-12-11 广东神马搜索科技有限公司 日志文件处理方法、装置和服务器
JP2020524852A (ja) * 2017-06-21 2020-08-20 テトラ ラバル ホールディングス アンド ファイナンス エス エイ Plc制御機器においてプロセスデータのログを取る方法
JP7199387B2 (ja) 2017-06-21 2023-01-05 テトラ ラバル ホールディングス アンド ファイナンス エス エイ Plc制御機器においてプロセスデータのログを取る方法
CN114257502A (zh) * 2020-09-21 2022-03-29 华为终端有限公司 一种日志上报方法及装置
CN114257502B (zh) * 2020-09-21 2023-08-22 华为终端有限公司 一种日志上报方法及装置
CN116048822A (zh) * 2023-04-03 2023-05-02 成都新西旺自动化科技有限公司 一种高吞吐的并行日志存储系统及方法

Similar Documents

Publication Publication Date Title
US9634915B2 (en) Methods and computer program products for generating a model of network application health
US8868727B2 (en) Methods and computer program products for storing generated network application performance data
US10404556B2 (en) Methods and computer program products for correlation analysis of network traffic in a network device
US9641413B2 (en) Methods and computer program products for collecting storage resource performance data using file system hooks
US9621441B2 (en) Methods and computer program products for analysis of network traffic by port level and/or protocol level filtering in a network device
CN105824744B (zh) 一种基于b2b平台的实时日志采集分析方法
US8589537B2 (en) Methods and computer program products for aggregating network application performance metrics by process pool
KR101054994B1 (ko) 영속성 관리 방법, 장치 및 컴퓨터 판독 가능 매체
US8909761B2 (en) Methods and computer program products for monitoring and reporting performance of network applications executing in operating-system-level virtualization containers
US8856313B2 (en) Systems and methods for using provenance information for data retention in stream-processing
US8271956B2 (en) System, method and program product for dynamically adjusting trace buffer capacity based on execution history
US8645532B2 (en) Methods and computer program products for monitoring the contents of network traffic in a network device
US20100229182A1 (en) Log information issuing device, log information issuing method, and program
US7954112B2 (en) Automatic recovery from failures of messages within a data interchange
JP2005321910A (ja) ログデータ管理システム、方法、及びプログラム
US20080263222A1 (en) Computer system, root node, and log management method for access path conversion
US8312138B2 (en) Methods and computer program products for identifying and monitoring related business application processes
US10009151B2 (en) Packet storage method, information processing apparatus, and non-transitory computer-readable storage medium
JP5104529B2 (ja) 分析支援プログラム、分析支援方法および分析支援装置
US9852031B2 (en) Computer system and method of identifying a failure
JP2009200993A (ja) 異常検知装置、異常検知方法、及びコンピュータプログラム
JP4905363B2 (ja) ネットワーク障害検出プログラム、ネットワーク障害検出装置、およびネットワーク障害検出方法
JP6471468B2 (ja) データ保存方法、および情報処理装置
US10305754B2 (en) Apparatus and method to collect packets related to abnormal connection
CN115396319B (zh) 数据流分片方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20060328

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20060328