JP2008204211A - ログ蓄積装置、ログ蓄積方法、プログラム、および記録媒体 - Google Patents

ログ蓄積装置、ログ蓄積方法、プログラム、および記録媒体 Download PDF

Info

Publication number
JP2008204211A
JP2008204211A JP2007040257A JP2007040257A JP2008204211A JP 2008204211 A JP2008204211 A JP 2008204211A JP 2007040257 A JP2007040257 A JP 2007040257A JP 2007040257 A JP2007040257 A JP 2007040257A JP 2008204211 A JP2008204211 A JP 2008204211A
Authority
JP
Japan
Prior art keywords
log
storage device
registration
logs
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007040257A
Other languages
English (en)
Inventor
Tatsutoshi Murata
龍俊 村田
Mitsuhiro Matsuda
充弘 松田
Shigekazu Inohara
茂和 猪原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nomura Research Institute Ltd
Original Assignee
Nomura Research Institute Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nomura Research Institute Ltd filed Critical Nomura Research Institute Ltd
Priority to JP2007040257A priority Critical patent/JP2008204211A/ja
Publication of JP2008204211A publication Critical patent/JP2008204211A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

【課題】異なる複数のシステムから出力される形式の異なるログを利用する際の負担軽減を可能とするログ蓄積装置を提供する。
【解決手段】ログ蓄積装置5は、ログ登録サーバ11、13−1〜13−3等から構成される。ログ登録サーバ11はウェブサーバ7からログ18を収集し、データベース33に格納する。ログ登録サーバ13−1は、ログ登録サーバ11からログ18を収集し、フォーマット統一処理を行ってデータベース53−1に格納する。ログ登録サーバ13−2は、ログ登録サーバ11、13−1からログを収集し、データベース化処理を行ってデータベース53−2に格納する。ログ登録サーバ13−3は、ログ登録サーバ11、13−1、13−2からログを収集し、集計処理を行ってデータベース53−3に格納する。ログ利用装置15は、必要なログをログ登録サーバ11、13−1〜13−3から取得する。
【選択図】図1

Description

本発明は、ネットワーク上でサービス提供を受ける顧客のアクセス経過等が記録されたログを、収集、蓄積、参照する技術に関する。
従来、ネットワークを介してサービス提供を行うウェブサーバでは、ウェブ上での取引結果や画面推移処理や情報参照などに関するログを保存している。ログを保存しておくことにより、顧客からの取引に関する問い合わせへの対応、ウェブサーバの動作確認、不正アクセス監視によるセキュリティの向上を図ることができる。
各クライアントのアプリケーションから出力されるログを、センタサーバに送信させ、各クライアントのアプリケーション動作の監視を行うシステムがある。複数のクライアントが、多数のログを一度にセンタサーバに出力すると、ネットワークの負荷が増大し、システムの業務に支障をきたすため、センタサーバが各クライアントからのログ送信のタイミングを調整できるログ管理方法がある(例えば[特許文献1]参照。)。センタサーバは、取得した全ログを格納する。
また、障害ログ情報を格納するログ情報格納領域が満杯になってしまう問題がある。この問題に対し、格納されたログ情報を解析し、重要度の低いものは編集し統計情報ログとして別ファイルに移して格納し、重要度の高いものはそのまま残すことにより、効率良くファイル領域にログ情報を格納するログ情報格納方式がある(例えば[特許文献2]参照。)。
特開2002−41330号公報 特開平10−275098号公報
しかしながら、従来のログ管理システムでは、複数の異なるサービス提供システムのウェブサーバが出力するログは、それぞれ、変数名や項目や書式等の形式が異なるので、共通事項であってもこれらのログを一度に参照したり利用したりすることは困難であるという問題点がある。ログの参照及び利用を行う度に、個々のサービス提供システムのウェブサーバ毎にログの取得及びログの加工整形を行ったり、各サービス提供システムのウェブサーバ間のログをつき合わせたりすると、作業負担や処理負荷や通信負荷が増大するという問題点がある。
また、センタサーバを置き、各クライアントの全ログを収集するシステムでは、ログ利用側はセンタサーバに収集されたログを参照することで、ログ収集処理負担を省くことができる。しかしながら、[特許文献1]によるログ管理方法では、センタサーバが複数のクライアントから送られるログ全体を管理するが、各クライアントから送られるログのフォーマットが異なる場合には、ログ利用側は、例えばログの共通の項目を参照することは困難である。
また、センタサーバが、収集したログ全体のフォーマットを統一して格納したとしても、ログ利用側の目的や用途によって必要とするログのフォーマットが異なるため利用できなくなる場合がある。
[特許文献2]によるログ情報格納方式では、重要度の低いログは編集され統計情報ログとして別ファイルに移して格納されるが、ログを参照して利用する側にとっては、統計情報ログとして別ファイルに格納されたログが目的や用途に合致するとは限らない。また、収集された状態で格納されている重要度の高いログは、収集先が異なるとフォーマットが統一されていないため迅速にログを参照できない場合がある。
また、ログの種類により、リアルタイムに収集して処理を行うものや、バッチ処理により集計処理を行うものがある。従来、ログを形式や種類、また加工段階により分類して格納することは考慮されていないため、ログ利用側が、ログ検索やログ集計処理等を行う際の業務効率に問題がある。
本発明は、以上の問題点に鑑みてなされたものであり、異なる複数のシステムから出力される形式の異なるログを利用する際の負担軽減を可能とするログ蓄積装置を提供することを目的とする。
前述した目的を達成するために第1の発明は、少なくとも1つのログ出力装置に接続され、複数のログ登録装置を有し、前記ログ出力装置から出力されるログを蓄積するログ蓄積装置であって、前記ログ登録装置は、前記ログ出力装置が出力するログまたは他のログ登録装置が収集して格納したログの少なくともいずれかを収集するログ収集手段と、前記ログ収集手段によって収集されたログを格納するログ格納手段と、を具備することを特徴とするログ蓄積装置である。
ログ出力装置は、ネットワークを介してユーザにサービス提供を行うウェブサーバ等の装置である。ログ出力装置は、ユーザとの取引結果や画面推移処理や情報参照などに関するログを作成して蓄積し、ログ登録装置からの要求に応じてログを送信する。また、ログ登録装置が、ログ出力装置に蓄積されるログを収集するようにしてもよい。
ネットワークは、インターネット、イントラネット等である。
ウェブサーバの提供するサービスとは、例えば注文や残高照会等の業務サービス、取引参照データや株価チャート提供等の情報提供サービス等である。
第1の発明のログ蓄積装置は、ログ出力装置に接続され、複数のログ登録装置を有し、ログ出力装置から出力されるログを蓄積する。ログ登録装置は、ログ出力装置が出力するログまたは他のログ登録装置が収集して格納したログを収集し格納する。
ログ登録装置は、ログ収集手段によって収集されたログを加工してもよい。ログの加工処理内容は、ログ登録装置ごとに異なってもよい。
ログの加工とは、ログのフォーマット統一、データベース化、ログの集計処理等である。ログのフォーマット統一とは、ログの形式を整形する処理である。例えば、ログのフォーマット統一処理とは、複数のログの共通の項目を取り出して書式をそろえ、共通でない項目や重要でない項目はまとめて別項目として保持する処理である。
ログ登録装置は、所定の保存期間が経過すると格納されたログを廃棄してもよい。ログの保存期間は、ログ登録装置ごとに異なってもよい。
ログ登録装置は、ログの収集形態が他のログ登録装置の収集形態と異なってもよい。ログの収集形態は、例えば、バッチ処理やリアルタイム処理等のログの収集タイミングである。所定時間ごとに、或いは所定量、蓄積されたログの収集を一度に行う処理がバッチ処理である。ログが作成される都度、ログの収集を行う処理がリアルタイム処理である。
ログ蓄積装置は、複数のログ登録装置を備える。各ログ登録装置の接続形態は限定されない。ログ登録装置は、ログの収集先が他のログ登録装置と異なってもよい。階層配置として、上位のログ登録装置から下位の複数のログ登録装置にログを順次送るようにしてもよい。また、網目配置として、下位のログ登録装置1つに対して上位のログ登録装置が複数存在するようにしてもよい。ログ登録装置は、他のログ登録装置を順にたどり、階層的にログ収集を行うようにしてもよい。ログ登録装置は、複数の階層をスキップしてログ収集するようにしてもよい。また、ログ登録装置は、階層の逆方向にログを収集するようにしてもよい。
ログ格納手段は、ログを分類して格納するようにしてもよい。例えばログを目的別や用途別に分類して格納する。
ログ登録装置は、ログ格納手段によって格納されたログを、接続されているログ利用装置に提供するようにしてもよい。
ログ登録装置は、格納されたログに基づいて警告情報を作成し、作成された警告情報を、接続されているログ利用装置に送ってもよい。
第1の発明では、ログ蓄積装置は、異なる複数のログ出力装置から出力される形式の異なるログを一括して利用可能とすることができる。
第2の発明は、複数のログ登録装置によって、少なくとも1つのログ出力装置から出力されるログを蓄積するログ蓄積方法であって、前記ログ登録装置の少なくともいずれかが実行する、前記ログ出力装置が出力するログまたは他のログ登録装置が収集して格納したログの少なくともいずれかを収集するログ収集ステップと、前記ログ収集手段によって収集されたログを格納するログ格納ステップと、を具備することを特徴とするログ蓄積方法である。
第2の発明は、複数のログ登録装置によって、少なくとも1つのログ出力装置から出力されるログを蓄積するログ蓄積方法に関する発明である。
第3の発明は、コンピュータを、第1の発明のログ蓄積装置として機能させるプログラムである。
第4の発明は、コンピュータを、第1の発明のログ蓄積装置として機能させるプログラムを記録したコンピュータ読み取り可能な記録媒体である。
尚、上記のプログラムをCD−ROM等の記録媒体に保持させて流通させてもよいし、このプログラムを通信回線を介して送受することもできる。
本発明によれば、異なる複数のシステムから出力される形式の異なるログを利用する際の負担軽減を可能とするログ蓄積装置を提供することができる。
以下、添付図面を参照しながら、本発明に係るログ蓄積装置5の好適な実施形態について詳細に説明する。ログ蓄積装置5は、ログ管理システム1を構成する装置の1つである。なお、以下の説明および添付図面において、略同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。
(1.ログ管理システム1の構成)
最初に、図1を参照しながら、ログ管理システム1の構成について説明する。
図1は、ログ管理システム1の構成図である。
ログ管理システム1は、サービス提供システム9−1、9−2、・・のそれぞれに属するウェブサーバ7−1、7−2、・・がネットワーク3を介してログ蓄積装置5に接続されて構成される。また、ログ利用システム17−1、17−2、・・にそれぞれに属するログ利用装置15−1、15−2、・・がネットワーク3を介してログ蓄積装置5に接続されて構成される。ネットワーク3は、インターネットやイントラネット等である。
ログ蓄積装置9は、複数のログ登録サーバ11、13−1〜13−3から構成される。ログ登録サーバ11、13−1〜13−3は、それぞれデータベース33、53−1〜53−3を有する。
(1−1.ウェブサーバ7)
サービス提供システム9−1、9−2、・・のそれぞれに属するウェブサーバ7−1、7−2、・・は、ネットワーク3を介して顧客の端末装置等(図示しない。)にサービスを提供し、サービスや取引等に関するログを作成して出力するコンピュータ等の装置である。
サービス提供システム9−1、9−2、・・は、例えば証券取引システム、銀行オンラインシステム、通信販売システム等である。
図2は、ウェブサーバ7−1の構成を示す図である。
ウェブサーバ7−1は、ログ作成手段21とログ送信手段23等を有する。ログ作成手段21は、顧客の端末装置との取引等に関するログを作成して蓄積する。ログ送信手段23は、ログ作成手段21が作成して蓄積したログを、ログ蓄積装置5に送信する。
(1−2.ログ登録サーバ11)
図3は、ログ登録サーバ11の構成を示す図である。
ログ登録サーバ11は、ウェブサーバ7−1、7−2、・・からサービスの取引等に関するログ18を収集し、格納する。また、ログ登録サーバ11は、他のログ登録サーバ13やログ利用装置15からログ送信要求を受けるとログ18を送信する。ログ登録サーバ11は、独立して並列に動作する複数のログ登録サーバで構成してもよい。複数のログ登録サーバはそれぞれ異なる性能を有する独立したコンピュータ等の装置であってもよいので、ログ登録サーバのいずれかに障害が生じたとしても、他のログ登録サーバが補完することができ、ログ登録サーバ11全体としての機能を損なうことはない。
ログ登録サーバ11は、ログ収集タスク決定手段25、ログ収集手段27、ログ送信手段29、ログ廃棄手段31、データベース33等を有するコンピュータ等の装置である。データベース33は、収集したログ18を格納し、ログ収集指示情報の基になるログ管理テーブル35(図9)を有する。ログ管理テーブル35については後述する。
ログ収集タスク決定手段25は、ログ管理テーブル35(図9)を参照し、収集すべきログに関するログ収集指示情報を取得する。
ログ収集手段27は、ログ収集タスク決定手段25からのログ収集指示情報に基づいてウェブサーバ7−1、7−2、・・からログ18を収集し、データベース33に格納する。
ログ送信手段29は、他のログ登録サーバ13やログ利用装置15からの要求に応じてログ18を送信する。
ログ廃棄手段31は、保存期間の経過したログ18を廃棄する。
図9は、ログ登録サーバ11のデータベース33に格納されるログ管理テーブル35を示す図である。ログ管理テーブル35は、ログ収集先69、ログ種別71、ログ収集タスク内容73、加工処理内容75、保存期間77等の項目を有する。
ログ収集先69は、「ウェブサーバ7−1、「ウェブサーバ7−2」、・・等、収集すべきログの所在を示す。ログ種別71は、「履歴」、「価格」等、収集すべきログの種別を示す。ログ収集タスク内容73は、「バッチ処理」、「リアルタイム処理」等、ログ収集の処理形態を示す。加工処理内容75は、取得したログ18に対する加工処理の内容を示す。ログ登録サーバ11は、取得したログ18に加工処理を行わないので、加工処理内容75は「なし」である。保存期間77は、取得したログ18をデータベース33に保存する期間が格納される。ログ登録サーバ11のデータベース33は、取得したログ18を加工せずそのまま短期間保存し、保存期間77が経過すると廃棄するようにしてもよい。データベース33に格納されるログ18は、取得したログ18のバックアップとして利用するようにしてもよい。
ログ収集タスク決定手段25は、ログ管理テーブル35に基づいて、ログ収集手段27にログ収集指示を行う。例えば、ログ収集タスク決定手段25は、ログ管理テーブル35のレコード201に提示されるログ収集指示情報に基づいて、ログ収集手段27にログ収集指示を行う。ログ収集手段27は、ログ収集先69「ウェブサーバ7−1」のログ種別71「履歴」のログ18を、ログ収集タスク内容73「バッチ処理」で取得し、取得したログ18は、加工せず(加工処理内容75「なし」より)、データベース33に格納する。ログ廃棄手段31は、格納したログ18を7日間(保存期間77「7日間」より)保存した後、廃棄する。
(1−3.ログ登録サーバ13−1)
図4は、ログ登録サーバ13−1の構成図である。
ログ登録サーバ13−1は、ログ登録サーバ11からログ18を収集し、加工して格納する。ログ登録サーバ13−1は、ログ18にフォーマット統一等の加工を行う。また、ログ登録サーバ13−1は、ログ出力要求を受けると加工したログ19−1を送信する。
ログ登録サーバ13−1は、ログ収集タスク決定手段39−1、ログ収集手段41−1、ログ加工手段43−1、ログ送信手段45−1、ログ廃棄手段47−1、警告情報送信手段49−1、データベース53−1等を有するコンピュータ等の装置である。データベース53−1は、加工したログ19−1を格納し、ログ収集指示情報の基になるログ管理テーブル55−1(図10)を有する。ログ管理テーブル55−1については後述する。
ログ収集タスク決定手段39−1は、ログ管理テーブル55−1(図10)を参照し、収集すべきログに関するログ収集指示情報を取得する。
ログ収集手段41−1は、ログ収集タスク決定手段39−1からのログ収集指示情報に基づいてログ登録サーバ11からログ18を収集する。
ログ加工手段43−1は、ログ管理テーブル55−1(図10)の加工処理内容85−1を基に、収集したログ18を加工してログ19−1を得て、データベース53−1に格納する。ログ登録サーバ13−1は、ログ18にフォーマット統一(例えば、共通項目の抽出、データの書式(変数名や有効桁数)の統一)等の加工処理を行う。
ログ送信手段29は、他のログ登録サーバ13やログ利用装置15からの要求に応じて加工したログ19−1を送信する。
ログ廃棄手段47−1は、保存期間の経過したログ19−1を廃棄する。
警告情報送信手段49−1は、加工したログ19−1に関する警告情報51−1を、ログ利用装置15等に送信する。
図10は、ログ登録サーバ13−1のデータベース53−1に格納されるログ管理テーブル55−1を示す図である。ログ収集先79−1は、「ログ登録サーバ11」である。ログ種別81−1は、「履歴」、「価格」等、収集すべきログの種別を示す。ログ収集タスク内容83−1は、「バッチ処理」、「リアルタイム処理」等、ログ収集の処理形態を示す。加工処理内容85−1は、「フォーマット統一」等の加工処理である。保存期間87−1は、加工したログ19−1をデータベース53−1に保存する期間が格納される。
ログ収集タスク決定手段39−1は、ログ管理テーブル55−1に基づいて、ログ収集手段41−1にログ収集指示を行う。例えば、ログ収集タスク決定手段39−1は、ログ管理テーブル55−1のレコード202に提示されるログ収集指示情報に基づいて、ログ収集手段41−1にログ収集指示を行う。ログ収集手段41−1は、ログ収集先79−1「ログ登録サーバ11」のログ種別81−1「履歴」のログ18を、ログ収集タスク内容83−1「バッチ処理」で取得し、取得したログ18を加工処理内容85−1「フォーマット統一」に基づいて加工し、ログ19−1としてデータベース53−1に格納する。ログ廃棄手段47−1は、格納したログ19−1を400日間(保存期間87−1「400日間」より)保存した後、廃棄する。
(1−4.ログ登録サーバ13−2)
図5は、ログ登録サーバ13−2の構成図である。ログ登録サーバ13−2はログ登録サーバ13−1と略同一の構成であるので詳細については説明を省略する。
ログ登録サーバ13−2は、ログ登録サーバ11からログ18を収集、またはログ登録サーバ13−1からログ19−1を収集し、収集したログ18またはログ19−1を加工して格納する。ログ登録サーバ13−2は、ログ18またはログ19−1にデータベース化の加工を行う。また、ログ登録サーバ13−2は、ログ出力要求を受けると、加工したログ19−2を送信する。
図11は、ログ登録サーバ13−2のデータベース53−2に格納されるログ管理テーブル55−2を示す図である。
ログ収集タスク決定手段39−2は、ログ管理テーブル55−2(図11)に基づいて、ログ収集手段41−2にログ収集指示を行う。例えば、ログ収集タスク決定手段39−2は、ログ管理テーブル55−2のレコード203に提示されるログ収集指示情報に基づいて、ログ収集手段41−2にログ収集指示を行う。ログ収集手段41−2は、ログ収集先79−2「ログ登録サーバ13−1」のログ種別81−2「履歴」のログ19−1を、ログ収集タスク内容83−2「バッチ処理」で取得し、取得したログ19−1を加工処理内容85−2「DB化」に基づいて加工し、ログ19−2としてデータベース53−2に格納する。ログ廃棄手段47−2は、格納したログ19−2を6ヶ月間(保存期間87−2「6ヶ月間」より)保存した後、廃棄する。
(1−5.ログ登録サーバ13−3)
図6は、ログ登録サーバ13−3の構成図である。ログ登録サーバ13−3はログ登録サーバ13−1と略同一の構成であるので詳細については説明を省略する。
ログ登録サーバ13−3は、ログ登録サーバ11からログ18を収集、またはログ登録サーバ13−1からログ19−1を収集、またはログ登録サーバ13−2からログ19−2を収集し、収集したログ18またはログ19−1またはログ19−2を加工して格納する。ログ登録サーバ13−3は、ログ18またはログ19−1またはログ19−2に集計処理等の加工処理を行う。また、ログ登録サーバ13−3は、ログ出力要求を受けると、加工したログ19−3を送信する。
図12は、ログ登録サーバ13−3のデータベース53−3に格納されるログ管理テーブル55−3を示す図である。
ログ収集タスク決定手段39−3は、ログ管理テーブル55−3(図12)に基づいて、ログ収集手段41−3にログ収集指示を行う。例えば、ログ収集タスク決定手段39−3は、ログ管理テーブル55−3のレコード204に提示されるログ収集指示情報に基づいて、ログ収集手段41−3にログ収集指示を行う。ログ収集手段41−3は、ログ収集先79−3「ログ登録サーバ13−2」のログ種別81−3「履歴」のログ19−2を、ログ収集タスク内容83−3「バッチ処理」で取得し、取得したログ19−2を加工処理内容85−3「集計処理」に基づいて加工し、ログ19−3としてデータベース53−3に格納する。ログ廃棄手段47−3は、例えばログ廃棄指示を受けると、格納したログ19−3を廃棄するようにしてもよい。
(1−6.ログ利用装置15)
図7は、ログ利用装置15の構成を示す図である。
ログ利用装置15はインターネットやイントラネット等のネットワーク3を介してログ蓄積装置5に接続されるコンピュータ等の装置である。ログ利用装置15は、ログ利用システム17に属する。ログ利用装置15は、ログ蓄積装置5に格納されているログを検索・表示したり、ログの内容やログの集計データ等を取得する。ログ利用装置15は、取得したログに対して、さらに詳細な加工処理を行ったり統計処理を行ったりしてもよい。
ログ利用装置15は、ログ要求手段59、ログ取得手段61、ログ加工手段63、警告情報取得手段65、表示手段67等を有する。ログ要求手段59は、ログ蓄積装置5のログ登録サーバ11、13−1〜13−3に対して、格納されているログの送信を要求する。ログ取得手段61は、ログ要求手段59の要求に応じて送られるログ18またはログ19−1〜19−3を取得する。ログ加工手段63は、取得したログ18またはログ19−1〜19−3に統計処理等の加工処理を行う。警告情報取得手段65は、ログ蓄積装置5から送られる警告情報51を取得する。表示手段67は、ログ利用装置15のCRTモニタや液晶パネル等の表示部107に文字情報や画像情報を表示させる。表示装置67は、ログ取得手段61が取得したログ、ログ加工手段63によるログ加工結果、警告情報取得手段65が取得した警告情報51等を表示する。
(2.ハードウェア構成)
次に、図8を参照しながら、ウェブサーバ7−1、7−2、・・、ログ登録サーバ11、13−1〜13−3、およびログ利用装置15−1、15−3、・・、のハードウェア構成について説明する。
図8は、ウェブサーバ7−1、7−2、・・、ログ登録サーバ11、13−1〜13−3、およびログ利用装置15−1、15−3、・・、のハードウェア構成図である。尚、図8のハードウェア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
ウェブサーバ7−1、7−2、・・、ログ登録サーバ11、13−1〜13−3、およびログ利用装置15−1、15−3、・・、は、CPU101、メモリ103、記憶部105、表示部107、入力部109、出力部111、通信部113がシステムバス115を介して接続されて構成される。
CPU101(Central Processing Unit)は、演算装置(四則演算や比較演算等)や、ハードウェアやソフトウェアの動作制御を行う装置である。
メモリ103は、RAMおよびROM等のメモリである。RAM(Random Access Memory)は、ROM(Read Only Memory)や記憶部105から読み出されたOS(Operating System)のプログラム、アプリケーションプログラム等を記憶する。RAMはCPU101の主メモリやワークエリアとして機能する。
記憶部105は、各種データを記憶する装置であり、例えばハードディスクである。記憶部105は、CPU101が実行するプログラム、プログラム実行に必要なデータ、OS、各種データベース等が格納される。
表示部107は、表示装置であり、例えば、CRTモニタ、液晶パネルである。表示部107は、コンピュータのビデオ機能を実現するための論理回路(ビデオアダプタ等)を有する。
入力部109は、各種データの入力装置であり、例えば、キーボード、マウスである。出力部111は、各種データの出力装置であり、例えばプリンタである。各種メディアとのデータ入出力を行うドライブ装置を入力部109および出力部111として用いることもできる。
通信部113は、システムバス115を介して外部装置と接続・通信する通信制御装置である。例えば、TCP/IPを用いたインターネット通信が可能である。
システムバス115は、各装置間の制御信号、データ信号などの授受を媒介する経路である。
ウェブサーバ7−1、7−2、・・、ログ登録サーバ11、13−1〜13−3、およびログ利用装置15−1、15−3、・・、は、記憶部105やROMや記憶媒体に格納されるプログラム(アプリケーションプログラム、OSのプログラム等)を、メモリ103のRAMにロードしてCPU101の制御の下に、各種処理を実行する。
(3.ログ管理システム1の動作)
(3−1.ログ収集と格納処理)
次に、図13、図14を参照しながら、ログ管理システム1の動作について説明する。
図13と図14は、ログ管理システム1におけるログの収集処理及び格納処理を示すフローチャートである。
図13と図14は、ウェブサーバ7およびログ登録サーバ11およびログ登録サーバ13−1〜13−3の動作を示す。
サービス提供システム9のウェブサーバ7は、ネットワーク3を介して顧客の端末装置(図示せず。)にサービスを提供する。ウェブサーバ7のログ作成手段21はサービス提供に関するログを作成する。
ログ登録サーバ11のログ収集手段27は、ログ収集タスク決定手段25によるログ収集指示情報に基づいてウェブサーバ7にログを要求する(図13:ステップ1001)。ウェブサーバ7のログ送信手段23は、ログ18をログ登録サーバ11に送信する(ステップ1002)。
ログ登録サーバ11のログ収集手段27は、ログ18を収集し(ステップ1003)、ログ18をデータベース33に格納する(ステップ1004)。ログ登録サーバ11は、ウェブサーバ7から収集したログ18を加工せずそのままの状態で格納する。ログ登録サーバ11でのログの18の保存期間は短期間に設定され、データのバックアップとして利用することができる。
次に、ログ登録サーバ13−1のログ収集手段41−1は、ログ収集タスク決定手段39−1によるログ収集指示情報に基づいてログ登録サーバ11にログ18を要求する(図14:ステップ1005)。ログ登録サーバ11のログ送信手段29は、ログ18をログ登録サーバ13−1に送信する(ステップ1006)。
ログ登録サーバ13−1のログ収集手段41−1は、ログ18を収集する(ステップ1007)。ログ加工手段43−1は、取得したログ18を加工処理内容85−1(図10)に基づいて加工し(ステップ1008)、ログ19−1としてデータベース53−1に格納する(ステップ1009)。ログ加工手段43−1は、ログ18にフォーマット統一等の加工処理を行う。即ち、ログ加工手段43−1がログのフォーマットを統一することにより、ログの比較や集計処理等が可能になる。フォーマット統一とは、例えば、共通項目の抽出、データの書式(変数名や有効桁数や文字フォント)の統一である。
次に、ログ登録サーバ13−2のログ収集手段41−2は、ログ収集タスク決定手段39−2によるログ収集指示情報に基づいてログ登録サーバ11にログ18を要求、または、ログ登録サーバ13−1にログ19−1を要求する(ステップ1010)。
ログ登録サーバ11のログ送信手段29は、ログ18をログ登録サーバ13−2に送信する(ステップ1011)。または、ログ登録サーバ13−1のログ送信手段45−1は、ログ19−1をログ登録サーバ13−2に送信する(ステップ1012)。
ログ登録サーバ13−2のログ収集手段41−2は、ログ18またはログ19−1を収集する(ステップ1013)。ログ加工手段43−2は、取得したログ18またはログ19−1を加工処理内容85−2(図11)に基づいて加工し(ステップ1014)、ログ19−2としてデータベース53−2に格納する(ステップ1015)。ログ加工手段43−2は、ログ18またはログ19−1に、データベース化等の加工処理を行う。例えば、ログをデータベース化することにより、利用アプリケーションに拠らない汎用的なデータとして格納することができる。
ログ登録サーバ13−2は、データベース化したログ19−2を、詳細な目的別や用途別に、複数のデータベースに分類して格納するようにしてもよい。このことにより、検索に迅速に対応することができる。
次に、ログ登録サーバ13−3のログ収集手段41−3は、ログ収集タスク決定手段39−3によるログ収集指示情報に基づいて、ログ登録サーバ11にログ18を要求、または、ログ登録サーバ13−1にログ19−1を要求、または、ログ登録サーバ13−2にログ19−2を要求する(ステップ1016)。
ログ登録サーバ11のログ送信手段29は、ログ18をログ登録サーバ13−3に送信する(ステップ1017)。または、ログ登録サーバ13−1のログ送信手段45−1は、ログ19−1をログ登録サーバ13−3に送信する(ステップ1018)。または、ログ登録サーバ13−2のログ送信手段45−2は、ログ19−2をログ登録サーバ13−3に送信する(ステップ1019)。
ログ登録サーバ13−3のログ収集手段41−3は、ログ18またはログ19−1またはログ19−2を収集する(ステップ1020)。ログ加工手段43−3は、取得したログ18またはログ19−1またはログ19−2を、加工処理内容85−3(図12)に基づいて加工し(ステップ1021)、ログ19−3としてデータベース53−3に格納する(ステップ1022)。ログ加工手段43−3は、ログ18またはログ19−1またはログ19−2に、集計処理等の加工処理を行い、多次元解析や集計処理済みのログ19−3としてデータベース53−3に格納する。例えば、特定のアプリケーションに対応したログ19−3として格納してもよい。
ログ登録サーバ13−3は、集計処理後のログ19−3を、目的別や用途別に、複数のデータベースに分類して格納するようにしてもよい。このことにより、検索に迅速に対応することができる。
以上の過程を経て、ログ蓄積装置5は、収集した未加工の状態のログ18、および各種加工(フォーマット統一処理、データベース化処理、集計処理)したログ19−1〜19−3を、それぞれ所定期間保存する。
このように、ログ蓄積装置5は、異なる複数のウェブサーバ7から出力される形式の異なるログを一括して利用可能な状態として蓄積することができる。ログ蓄積装置5は、複数のログ登録サーバ13によって、収集したログ18に対して目的や用途に応じて所定の加工処理を行い、各種加工した結果を格納することにより、ログ利用装置15からの様々なログ利用要求に対して的確に迅速に対応することができる。
例えば、未加工のログ18は、監視や障害対応に関するバックアップとして利用することができる。フォーマット統一処理後のログ19−1は、収集ログを統一フォーマットに整形することで、長期保存、簡易なデータ検索、集計処理等を可能にする。データベース化されたログ19−2は、高速検索、データ閲覧機能を可能にする。集計処理後のログ19−3は、高度な解析、例えば集計結果を用いたリアルタイムの多次元解析を可能にする。また、集計処理後のログ19−3を利用して、ルールベースで集計結果をログ利用装置15に通知することが可能になる。
(3−2.ログ利用)
次に、図15を参照しながら、ログ管理システム1におけるログの利用処理について説明する。
図15は、ログ利用装置15によるログの利用処理を示すフローチャートである。図15は、ログ利用装置15−1、15−2、・・、とログ登録サーバ11、13−1〜13−3の動作を示す。
ログ利用装置15のログ要求手段59(図7)は、ログ蓄積装置5に、目的や用途に応じたログの要求を行う(ステップ2001)。ログ蓄積装置5のログ登録サーバ11、13−1〜13−3が、要求されたログを、要求元のログ利用装置15に送信する(ステップ2002)。
ログ利用装置15のログ取得手段61(図7)は、ログ登録サーバ11、13−1〜13−3から送られたログを取得し(ステップ2003)、表示手段67がログ利用装置15の表示部107に表示する(ステップ2004)。
また、ログ利用装置15のログ加工手段63(図7)は、必要に応じて取得したログを加工し(ステップ2005)、結果を表示手段67がログ利用装置15の表示部107に表示する(ステップ2006)。例えば、ログ加工手段63は、所定のアプリケーションプログラムを実行してログの統計処理やグラフ化処理等を行う。
図17および図18は、ログ利用装置15の表示部107に表示される画面を示す図である。
図17は、サービス提供システム9−1、9−2、・・の、所定日時(2007年1月5日 17:00)における、各トラフィック量を示す画面89−1である。ログ利用装置15は、例えばログ登録サーバ13−2からデータベース化されたトラフィック量のデータを取得し、グラフ化して表示部107に表示する。
図18は、サービス提供システム9−1、9−2、・・の、所定日(2007年1月5日)における取引金額の時間推移をグラフ化して示す画面89−2である。ログ利用装置15は、例えばログ登録サーバ13−3から集計処理された取引金額のデータを取得し、時間推移をグラフ化して表示部107に表示する。
以上の過程を経て、ログ利用装置15は、ログ蓄積装置5に目的や用途に応じたログの要求を行う。ログ蓄積装置5のログ登録サーバ11、13−1〜13−3が、要求されたログ(ログ18、19−1〜19−3)をログ利用装置15に送信する。ログ利用装置15は収集したログを表示し、必要に応じて加工して表示する。
このように、ログ利用装置15は、異なる複数のウェブサーバ7から出力される形式の異なるログに関する情報を一括して参照したり利用したりすることができる。ログ利用装置15は、目的や用途に応じたログをログ登録サーバ11、13−1〜13−3から迅速に取得し、利用することができる。
例えば、ログ利用装置15は、未加工のログ18をリアルタイムにチェックする場合には、ログ登録サーバ11に登録されているログ18を取得する。ログ利用装置15は、ログの比較・集計などを行う場合には、フォーマットの統一されているログ19−1をログ登録サーバ13−1から取得する。ログ利用装置15は、データの高度な検索や高速閲覧を行う場合には、データベース化されたログ19−2をログ登録サーバ13−2から取得する。また、ログ利用装置15は、集計されたデータや集計データを所定のアプリケーションを用いて利用する場合は、集計処理されたログ19−3をログ登録サーバ13−3から取得する。
ログ蓄積装置5に各種加工したログを格納することにより、ログ利用装置15による効率的なログ検索や、効率的なログ取得作業を行うことができる。
尚、図15では、ログ利用装置15−1、15−2、・・がログ蓄積装置5にログを要求してログ取得を行う手順を示したが、ログ蓄積装置5がログ利用装置15−1、15−2、・・に、所定のログを能動的に提供するようにしてもよい。
(3−3.警告情報)
次に、図16を参照しながら、ログ管理システム1の警告情報51の送信について説明する。
図16は、ログ管理システム1の警告情報51の送信動作を示すフローチャートである。図16は、ログ利用装置15−1、15−2、・・、とログ登録サーバ13−1〜13−3の動作を示す。
ログ登録サーバ13−1〜13−3の警告情報送信手段49−1〜49−3は、加工されたログ19−1〜19−3のデータ等の異常や警告の必要性を認めた場合に、警告情報51を作成して関連のあるログ利用装置15−1、15−2、・・、に対して送信する(ステップ2101)。例えば、ログ登録サーバ13−3は、所定項目のデータ集計値が所定値以上になった場合に、関連するログ利用装置15に警告情報51−3を送信するようにしてもよい。
ログ利用装置15−1、15−2、・・、の警告情報取得手段65は、警告情報51を取得し(ステップ2102)、表示手段67が表示部107に表示する(ステップ2103)。
以上の過程を経て、ログ蓄積装置5のログ登録サーバ13−1〜13−3は、警告情報51−1〜51−3を、関連のあるログ利用装置15−1、15−2・・、に送信する。
このように、ログ蓄積装置5が警告情報51−1〜51−3を発信することにより、リアルタイムにサービス提供システム9−1、9−2・・の取引状態を監視することができ、システム異常や、トラブル時に迅速に対応することができる。警告情報51−1〜51−3を受信したログ利用装置15−1、15−2・・、は、警告に基づいてサービス提供システム9−1、9−2・・に通知したりトラブル対応を行うようにしてもよい。
尚、ログ蓄積装置5は、警告情報51−1〜51−3を関連のあるサービス提供システム9−1、9−2・・に送信するようにしてもよい。
(7.効果等)
以上詳細に説明したように、本発明の実施の形態に係るログ管理システム1では、ログ蓄積装置5は、異なる複数のウェブサーバ7から出力される形式の異なるログを一括して利用可能な状態として蓄積するので、ウェブサーバ7間で異なる形式のログが出力される場合であっても、ログ利用装置15は、各ウェブサーバ7におけるログに関する情報を一括して参照したり利用したりすることができる。
また、ログ蓄積装置5では、各ログ登録サーバ11、13−1〜13−3は、それぞれ目的や用途に応じてログを格納しているので、ログ利用装置15は、ログ蓄積装置5から、目的や用途に応じて迅速かつ効率的に必要なログを取得することができる。
また、ログ蓄積装置5は、サービス提供システム9−1、9−2、・・を利用する全ての顧客の情報を一元管理し、また様々なログの集計処理結果を格納するので、ログ利用装置15は、ログ蓄積装置5におけるデータの検索処理・閲覧処理を簡単に高速に行うことができる。
また、ログ蓄積装置5の各ログ登録サーバ13−1〜13−3は、ログの加工処理時等にデータ等の異常や警告の必要性を認めた場合に、関連のあるログ利用装置15に警告情報51−1〜51−3を発信するので、システムの異常やトラブル発生をリアルタイムに検知することが可能である。
また、各ログ登録サーバ11、13−1〜13−3を、それぞれ複数のコンピュータで構成してもよい。この場合、各ログ登録サーバ11、13−1〜13−3を構成する複数のコンピュータは、並列に独立して動作するので、いずれかのコンピュータに障害が生じた場合でもログ蓄積装置5の機能へ及ぼす影響が小さく、保守管理を容易に行うことができる。
以上、添付図面を参照しながら、本発明にかかるログ蓄積装置の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
ログ管理システム1の構成図 ウェブサーバ7−1の構成図 ログ登録サーバ11の構成図 ログ登録サーバ13−1の構成図 ログ登録サーバ13−2の構成図 ログ登録サーバ13−3の構成図 ログ利用装置15の構成図 ウェブサーバ7およびログ登録サーバ11およびログ登録サーバ13およびログ利用装置15のハードウェア構成を示す図 ログ管理テーブル35を示す図 ログ管理テーブル55−1を示す図 ログ管理テーブル55−2を示す図 ログ管理テーブル55−3を示す図 ログ登録サーバ11のログ収集を示すフローチャート ログ登録サーバ13のログの収集処理及び格納処理を示すフローチャート ログ利用装置15によるログの利用処理を示すフローチャート ログ利用装置15の警告情報51の送信動作を示すフローチャート ログ利用装置15の「トラフィックデータ」の表示画面を示す図 ログ利用装置15の「取引金額の推移」の表示画面を示す図
符号の説明
1………ログ管理システム
3………ネットワーク
5………ログ蓄積装置
7−1〜7−3………ウェブサーバ
9−1〜9−3………サービス提供システム
11、13−1〜13−3………ログ登録サーバ
15−1、15−3、・・、………ログ利用装置
17−1〜17−3………ログ利用システム
18、19−1〜19−3………ログ
21………ログ作成手段
23………ログ送信手段
25、39−1〜39−3………ログ収集タスク決定手段
27、41−1〜41−3………ログ収集手段
29、45−1〜45−3………ログ送信手段
31、47−1〜47−3………ログ廃棄手段
33、53−1〜53−3………データベース
35、55−1〜55−3………ログ管理テーブル
37………ログ受信手段
43−1〜43−3、63………ログ加工手段
49−1〜49−3………警告情報送信手段
51−1〜51−3………警告情報
55−1〜55−3………ログ管理テーブル
59………ログ要求手段
61………ログ取得手段
65………警告情報取得手段
67………表示手段
69、79−1〜79−3………ログ取得先
71、81−1〜81−3………ログ種別
73、83−1〜83−3………ログ収集タスク内容
75、85−1〜85−3………加工処理内容
77、87−1〜87−3………保存期間
89−1〜89−2………画面
101………CPU
103………メモリ
105………記憶部
107………表示部
109………入力部
111………出力部
113………通信部
115………システムバス
201〜204………レコード

Claims (13)

  1. 少なくとも1つのログ出力装置に接続され、複数のログ登録装置を有し、前記ログ出力装置から出力されるログを蓄積するログ蓄積装置であって、
    前記ログ登録装置は、
    前記ログ出力装置が出力するログまたは他のログ登録装置が収集して格納したログの少なくともいずれかを収集するログ収集手段と、
    前記ログ収集手段によって収集されたログを格納するログ格納手段と、
    を具備することを特徴とするログ蓄積装置。
  2. 前記ログ登録装置の少なくともいずれかは、さらに、
    前記ログ収集手段によって収集されたログを加工するログ加工手段を具備することを特徴とする請求項1に記載のログ蓄積装置。
  3. 前記ログ登録装置の少なくともいずれかは、さらに、
    所定の保存期間が経過すると前記格納されたログを廃棄するログ廃棄手段を具備することを特徴とする請求項1または請求項2に記載のログ蓄積装置。
  4. 前記ログ登録装置の少なくともいずれかは、前記ログの収集形態が他のログ登録装置の少なくともいずれかと異なることを特徴とする請求項1から請求項3までのいずれかに記載のログ蓄積装置。
  5. 前記ログ登録装置の少なくともいずれかは、前記ログの収集先が他のログ登録装置の少なくともいずれかと異なることを特徴とする請求項1から請求項4までのいずれかに記載のログ蓄積装置。
  6. 前記ログ登録装置の少なくともいずれかは、前記ログの加工処理内容が他のログ登録装置の少なくともいずれかと異なることを特徴とする請求項1から請求項5までのいずれかに記載のログ蓄積装置。
  7. 前記ログ登録装置の少なくともいずれかは、前記ログの保存期間が他のログ登録装置の少なくともいずれかと異なることを特徴とする請求項1から請求項6までのいずれかに記載のログ蓄積装置。
  8. 前記ログ格納手段は、前記ログを分類して格納することを特徴とする請求項1から請求項7までのいずれかに記載のログ蓄積装置。
  9. 前記ログ登録装置の少なくともいずれかは、少なくとも1つのログ利用装置に接続され、
    前記ログ利用装置に対して前記ログ格納手段によって格納されたログを提供するログ提供手段を具備することを特徴とする請求項1から請求項8までのいずれかに記載のログ蓄積装置。
  10. 前記ログ登録装置の少なくともいずれかは、少なくとも1つのログ利用装置に接続され、
    前記格納されたログに基づいて警告情報を作成し、前記作成された警告情報を前記ログ利用装置に送ることを特徴とする請求項1から請求項9までのいずれかに記載のログ蓄積装置。
  11. 複数のログ登録装置によって、少なくとも1つのログ出力装置から出力されるログを蓄積するログ蓄積方法であって、
    前記ログ登録装置が実行する、
    前記ログ出力装置が出力するログまたは他のログ登録装置が収集して格納したログの少なくともいずれかを収集するログ収集ステップと、
    前記ログ収集手段によって収集されたログを格納するログ格納ステップと、
    を具備することを特徴とするログ蓄積方法。
  12. コンピュータを、請求項1から請求項10までのいずれかに記載のログ蓄積装置として機能させるプログラム。
  13. コンピュータを、請求項1から請求項10までのいずれかに記載のログ蓄積装置として機能させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2007040257A 2007-02-21 2007-02-21 ログ蓄積装置、ログ蓄積方法、プログラム、および記録媒体 Pending JP2008204211A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007040257A JP2008204211A (ja) 2007-02-21 2007-02-21 ログ蓄積装置、ログ蓄積方法、プログラム、および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007040257A JP2008204211A (ja) 2007-02-21 2007-02-21 ログ蓄積装置、ログ蓄積方法、プログラム、および記録媒体

Publications (1)

Publication Number Publication Date
JP2008204211A true JP2008204211A (ja) 2008-09-04

Family

ID=39781646

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007040257A Pending JP2008204211A (ja) 2007-02-21 2007-02-21 ログ蓄積装置、ログ蓄積方法、プログラム、および記録媒体

Country Status (1)

Country Link
JP (1) JP2008204211A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010072984A (ja) * 2008-09-19 2010-04-02 Hitachi Software Eng Co Ltd ログ管理サーバ
JP2010231709A (ja) * 2009-03-30 2010-10-14 Alps System Integration Co Ltd ログ統合管理システム
WO2014049804A1 (ja) * 2012-09-28 2014-04-03 株式会社日立製作所 分散システムにおけるシステム動作トレース方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010072984A (ja) * 2008-09-19 2010-04-02 Hitachi Software Eng Co Ltd ログ管理サーバ
JP2010231709A (ja) * 2009-03-30 2010-10-14 Alps System Integration Co Ltd ログ統合管理システム
WO2014049804A1 (ja) * 2012-09-28 2014-04-03 株式会社日立製作所 分散システムにおけるシステム動作トレース方法
JPWO2014049804A1 (ja) * 2012-09-28 2016-08-22 株式会社日立製作所 分散システムにおけるシステム動作トレース方法

Similar Documents

Publication Publication Date Title
US11677635B2 (en) Hierarchical network analysis service
CN111984499B (zh) 一种大数据集群的故障检测方法和装置
US10108411B2 (en) Systems and methods of constructing a network topology
WO2020062211A1 (zh) 一种融合区块链技术拟态存储防篡改日志的方法及系统
US10747592B2 (en) Router management by an event stream processing cluster manager
US10462027B2 (en) Cloud network stability
US20100070981A1 (en) System and Method for Performing Complex Event Processing
US20180096241A1 (en) Visualizing deep neural networks
US20060026467A1 (en) Method and apparatus for automatically discovering of application errors as a predictive metric for the functional health of enterprise applications
CN111143286B (zh) 一种云平台日志管理方法及系统
KR102139058B1 (ko) 서버 관리 장치를 구비한 클라우드 서버 및 로컬 서버를 이용하는 제로클라이언트 단말기용 클라우드 컴퓨팅 시스템
US11892976B2 (en) Enhanced search performance using data model summaries stored in a remote data store
CN109032904A (zh) 被监控、管理服务器及数据获取、分析方法和管理系统
JP4881760B2 (ja) ログ管理装置、ログ管理方法、プログラム、及び記録媒体
JP2008204211A (ja) ログ蓄積装置、ログ蓄積方法、プログラム、および記録媒体
CN111935226B (zh) 支持工业数据实现流式计算方法及系统
WO2021169057A1 (zh) 一种基于事件的半结构化数据和非结构化数据采集系统
KR102188987B1 (ko) 서버 관리 장치를 구비한 클라우드 서버 및 로컬 서버를 이용하는 제로클라이언트 단말기용 클라우드 컴퓨팅 시스템의 운영 방법
JP2012181744A (ja) 分散ファイルシステムにおける運用監視システム及び運用監視方法
JP2004348640A (ja) ネットワーク管理システム及びネットワーク管理方法
US11474891B2 (en) Enriched high fidelity metrics
US11841827B2 (en) Facilitating generation of data model summaries
US20220035359A1 (en) System and method for determining manufacturing plant topology and fault propagation information
Gao et al. Study on data acquisition solution of network security monitoring system
Chandra et al. Co-designing the failure analysis and monitoring of large-scale systems