JP2004288110A - ネットワークアクセスログ情報の収集解析システム - Google Patents
ネットワークアクセスログ情報の収集解析システム Download PDFInfo
- Publication number
- JP2004288110A JP2004288110A JP2003082318A JP2003082318A JP2004288110A JP 2004288110 A JP2004288110 A JP 2004288110A JP 2003082318 A JP2003082318 A JP 2003082318A JP 2003082318 A JP2003082318 A JP 2003082318A JP 2004288110 A JP2004288110 A JP 2004288110A
- Authority
- JP
- Japan
- Prior art keywords
- log information
- network device
- extracted
- network access
- extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Computer And Data Communications (AREA)
Abstract
【課題】ログ情報のより効率的な収集，解析処理の実現
【解決手段】主ネットワーク機器１０におけるネットワークアクセスログ情報２１からの抽出処理の抽出間隔と、前記関連ネットワーク機器１１におけるログ情報２４の抽出処理の抽出間隔とが、前記ネットワークアクセスログ分析サーバ１２からの指示により同期して設定されると共に、前記主ネットワーク機器１０におけるネットワークアクセスログ情報２１からの抽出ログ情報２３は当該抽出ログ情報２３における時刻情報と関連付けられてインデックス登録され、且つ、前記関連ネットワーク機器１１にて抽出されたログ情報２４も、当該ログ情報２４における時刻情報と関連付けられてインデックス登録される。
【選択図】 図１
【解決手段】主ネットワーク機器１０におけるネットワークアクセスログ情報２１からの抽出処理の抽出間隔と、前記関連ネットワーク機器１１におけるログ情報２４の抽出処理の抽出間隔とが、前記ネットワークアクセスログ分析サーバ１２からの指示により同期して設定されると共に、前記主ネットワーク機器１０におけるネットワークアクセスログ情報２１からの抽出ログ情報２３は当該抽出ログ情報２３における時刻情報と関連付けられてインデックス登録され、且つ、前記関連ネットワーク機器１１にて抽出されたログ情報２４も、当該ログ情報２４における時刻情報と関連付けられてインデックス登録される。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、主なネットワーク機器から出力されるネットワークアクセスログ情報の逐次的な解析処理を行う際に、ネットワーク管理者が注目する内容のネットワークアクセスログデータに時間的に対応する他の関連ネットワーク機器におけるログ情報の抽出を、ログ情報が過剰に蓄積されることを防ぎつつ効率的に収集し、解析処理を行うことを可能とするネットワークアクセスログ情報の収集解析システムに関するものである。
【０００２】
【従来の技術】
従来、ログ情報の収集解析システムとしては、例えば次の先行技術文献に係る発明のような構成のものが開示されている。
【０００３】
【特許文献１】
特開２００２−３６６３９４号公報
【０００４】
ここで、例えば侵入検知システム（ＩＤＳ）にて不正アクセスログが検出された場合に、この不正アクセスがさらにネットワーク内部に侵入しているか否かを把握する必要がある場合には、侵入検知システム（ＩＤＳ）などの主ネットワーク機器と、当該主ネットワーク機器と関連するファイアウォールやルーター等の関連ネットワーク機器とから、時間的に対応するログ情報をそれぞれ抽出して比較する必要がある。このようなログ情報の収集，解析を行うネットワークアクセスログ情報の収集解析システムにおける従来の構成及び処理動作について、図４および図５を参照して以下説明する。
【０００５】
ネットワーク管理者は、例えば侵入検知システム（ＩＤＳ）などの主ネットワーク機器１０にて随時出力されるネットワークアクセスログ情報２１を解析し、例えば不正アクセスログ等といった注目すべき内容のデータが存在するか否かをチェックする。このチェック処理は、主ネットワーク機器１０に搭載された解析用エージェントプログラム３０により実施され、その解析結果はネットワークアクセスログ分析サーバ１２に通知される。
【０００６】
前記解析用エージェントプログラム３０では、ログ抽出プログラム４０により前記ネットワークアクセスログ情報２１から一定間隔ごとに部分的にログ情報の抽出処理が実施され、このとき抽出された抽出ログ情報２３はハードディスク上に保存される（図４の処理▲１▼，図５のステップ１００）。そして保存された各抽出ログ情報２３に対して解析プログラム４１により解析処理が行われ、ネットワーク管理者が注目すべき内容のログ情報の有無の調査が行われる（図５のステップ１０１）。
【０００７】
ここで、注目すべき内容を持つネットワークアクセスログ情報が抽出ログ情報２３内に検出されない場合には、当該抽出ログ情報２３は削除され、他の抽出ログ情報２３について解析が行われる。
【０００８】
一方、注目すべき内容を持つネットワークアクセスログ情報が抽出ログ情報２３内に検出された場合には、ネットワークアクセスログ分析サーバ１２に搭載されたマネージャプログラム３２に対して、当該抽出ログ情報２３が何時から何時までのログ情報を含むのかを示すログ期間情報の通知処理と共に、この抽出ログ情報２３を転送する転送処理が、解析プログラム４１によって行われる（図４の処理▲２▼，図５のステップ１０３）。
【０００９】
そして、上記通知を受信したマネージャプログラム３２では、関連ログ収集通知機能４４によって、例えばファイアウォールやルーターのように主ネットワーク機器と関連する関連ネットワーク機器１１内に搭載された収集用エージェントプログラム３１に対して、転送された抽出ログ情報２３のログ期間情報のみが通知され、当該ログ期間情報に対応する関連ログ情報の送信が要求される（図４の処理▲３▼，図５のステップ１１０）。
【００１０】
こうして関連ログ情報の転送要求を受信した収集用エージェントプログラム３１では、前記関連ネットワーク機器１１にて随時出力される関連するログ情報２２に対して、ログ抽出プログラム４２による抽出処理が実施され、抽出された抽出ログ情報２４がハードディスク上に保存される（図４の処理▲４▼，図５のステップ１２０）。
【００１１】
そして保存された抽出ログ情報２４に対して、対応期間チェックプログラム４３により、前記ログ期間情報に対応する期間内の関連ログ情報の抽出処理が行われ、主ネットワーク機器１０からネットワークアクセスログ分析サーバ１２へ転送された抽出ログ情報２３と同一期間内の関連ログ情報よりなる対応部分ログ情報２５が作成され、マネージャプログラム３２に対して当該対応部分ログ情報２５が転送される（図４の処理▲５▼）。
【００１２】
そしてマネージャプログラム３２内では、分析環境作成，レポート作成処理機能４５が起動し、ネットワーク管理者が利用する分析環境，レポートの作成処理が行われる。
【００１３】
【発明が解決しようとする課題】
しかしながら、上述のような従来技術では、関連するログ情報の要求処理（図４の処理▲３▼，図５のステップ１１０）が発生した段階でログ抽出プログラム４２が起動され、関連ネットワーク機器１１におけるログ抽出処理が実施され始めるため、抽出ログ情報２４の容量やデータ数が膨大な量となる問題があった。
【００１４】
また、上記抽出ログ情報２４から前記対応部分ログ情報２５を抽出，作成する処理では、図５のステップ１２０以降に示すように、抽出ログ情報２４に含まれる全てのデータに対して１件ずつ時間的に対応するか否かの判定処理を実施しなければならず、前記対応部分ログ情報２５の作成，転送までに多くの時間を要するといった不都合があった。
【００１５】
そこで本発明の目的は、主ネットワーク機器から一定間隔ごとに抽出した部分的ログ情報内にネットワーク管理者が注目すべき内容が検出された場合には、その部分的ログ情報に対応する他の関連ネットワーク機器内の関連するログ情報を速やかに抽出でき、且つ、効率的な収集解析処理が実現できるよう抽出期間を最適化することのできるネットワークアクセスログ情報の収集解析システムを提供することにある。
【００１６】
【課題を解決するための手段】
上記目的を達成するために、本発明は、ネットワークアクセスログ情報から一定間隔ごとに部分的に抽出した抽出ログ情報に内から、ネットワーク管理者が注目すべき内容を含む抽出ログ情報のみをネットワークアクセスログ分析サーバに転送する主ネットワーク機器と、前記主ネットワーク機器のログ情報と関連性のあるログ情報を蓄積し、この蓄積されたログ情報から、前記主ネットワーク機器から転送される抽出ログ情報と時間的に対応するログ情報のみをネットワークアクセスログ分析サーバに転送する関連ネットワーク機器と、前記主ネットワーク機器および前記関連ネットワーク機器からそれぞれ転送されたログ情報に基づいて、分析環境，レポートの作成処理を行うネットワークアクセスログ分析サーバと、を有するネットワークアクセスログ情報の収集解析システムにおいて、前記主ネットワーク機器におけるネットワークアクセスログ情報からの抽出処理の抽出間隔と、前記関連ネットワーク機器におけるログ情報の抽出処理の抽出間隔とが、前記ネットワークアクセスログ分析サーバからの指示により同期して設定されると共に、前記主ネットワーク機器におけるネットワークアクセスログ情報からの抽出ログ情報は当該抽出ログ情報における時刻情報と関連付けられてインデックス登録され、且つ、前記関連ネットワーク機器にて抽出されたログ情報も、当該ログ情報における時刻情報と関連付けられてインデックス登録されるように動作するものである。
【００１７】
また、本発明のネットワークアクセスログ情報の収集解析システムにおいては、前記主ネットワーク機器におけるネットワークアクセスログ情報からの抽出ログ情報の待ち数が予め設定され且つ管理され、一つの抽出ログ情報を処理している間にネットワークアクセスログ情報から抽出，蓄積されて解析処理待ちの状態となった新規の抽出ログ情報の総数が当該待ち数以上になった場合には、前記主ネットワーク機器にて新たな抽出期間が設定され、前記主ネットワーク機器におけるネットワークアクセスログ情報からの抽出処理の抽出間隔と、前記関連ネットワーク機器におけるログ情報の抽出処理の抽出間隔とが、前記ネットワークアクセスログ分析サーバの指示を介して新たな抽出間隔に同期して設定されるようにしても良い。
【００１８】
さらに、本発明のネットワークアクセスログ情報の収集解析システムにおいては、前記関連ネットワーク機器にて抽出された後に保持されるログ情報の数が世代数として予め設定され且つ管理され、前記関連ネットワーク機器内に保持されるログ情報の数が当該世代数を超えた場合には、前記主ネットワーク機器から前記ネットワークアクセスログ分析サーバを介して前記関連ネットワーク機器に、解析済みの抽出ログ情報の最新時刻データが通知され、この解析済み最新時刻データによって、前記関連ネットワーク機器内に保持されるログ情報のなかから当該最新時刻以前のログ情報が削除されるようにしても良い。
【００１９】
【発明の実施の形態】
本発明の一実施形態に係るネットワークアクセスログ情報の収集解析システムについて、図１から図３を参照して以下説明する。
【００２０】
まず、本実施形態における解析用エージェントプログラム３０内の処理において、ログ抽出プログラム４０による抽出処理の実施される期間（間隔）が、マネージャプログラム３２におけるログ抽出間隔通知機能４９によって指示される（図１の処理▲１▼，図２のステップ１１１）。このとき、当該抽出処理間隔は、関連ネットワーク機器１１内の収集用エージェントプログラム３１内のログ抽出プログラム４２にも同時に指示される。以上により、解析用エージェントプログラム３０と収集用エージェントプログラム３１とにおけるログ情報の抽出処理の間隔が同期して設定されることになり（図２のステップ１０３，１２１）、その結果、主ネットワーク機器１０から抽出された抽出ログ情報２３と同一期間内に生じた関連ネットワーク機器１１内のログ情報の検索処理が容易になる。
【００２１】
こうして双方のネットワーク機器１０，１１におけるログ情報抽出処理間隔が同期したところで、主ネットワーク機器１０にて随時出力されるネットワークアクセスログ情報２１に対して、解析用エージェントプログラム３０によって抽出処理が行われる（図１の処理▲２▼，図２のステップ１００）。
【００２２】
ここで、ネットワークアクセスログ情報２１から一定間隔ごとに抽出された複数の抽出ログ情報２３は、各抽出ログ情報毎に図３のようなインデックス管理テーブル２６にインデックス登録される（図２のステップ１０２）。このインデックス管理テーブル２６におけるインデックスデータは、各抽出ログ情報２３をハードディスク上に保存した際のファイル名，各抽出ログ情報２３内のデータの開始時刻および終了時刻の３つのデータで構成されている。尚、ファイル名は、オペレーティングシステムの日付時刻情報を利用することによって各抽出ログ情報２３の名称が重複しないように自動設定される。
【００２３】
そして、解析プログラム４１によりネットワーク管理者が注目すべき内容のログ情報が抽出ログ情報２３内に検出されない場合には、当該抽出ログ情報２３は削除され、新規の抽出ログ情報２３について解析が行われる（図２のステップ１０１以降）。
【００２４】
一方、解析プログラム４１によりネットワーク管理者が注目すべき内容のログ情報が検出された場合には、この解析プログラム４１によりネットワークアクセスログ分析サーバ１２上のマネージャプログラム３２に対して、検出されたログ情報を含む抽出ログ情報２３と、当該抽出ログ情報２３のインデックス情報（時刻情報）とが転送される（図１の処理▲６▼，図２のステップ１０３）。
【００２５】
続いて、マネージャプログラム３２により、解析用エージェントプログラム３０から転送された情報の内の時刻情報のみが収集用エージェントプログラム３１にさらに転送されると（図１の処理▲７▼，図２のステップ１１０）、関連ネットワーク機器１１では対応ログ情報検索プログラム４８が起動され、再転送された時刻情報に該当する期間内の抽出ログ情報２４が抽出される（図１の処理▲８▼，図２のステップ１３０以降）。ここで、本実施形態では、収集用エージェントプログラムでも解析用エージェントプログラム３０と同様に、関連するログ情報から抽出された複数の抽出ログ情報が、インデックス管理テーブル２７に、抽出ログ情報２４のファイル名とインデックス（ログ情報内データの開始時刻，終了時刻）とが関連付けられてインデックス登録されており、該当する抽出ログ情報はこのインデックス管理テーブル２７を利用して抽出される。よって、この抽出処理においては、図２のステップ１３０以降に示すように、転送された時刻情報に該当する情報がインデックス管理テーブル２７に存在するか否かを確認するだけで良いので、従来と比べて抽出時間の短縮化が実現される。
【００２６】
そして、抽出された該当抽出ログ情報がマネージャプログラムに転送されると、マネージャプログラム３２内では分析環境作成，レポート作成処理機能４５が起動し、ネットワーク管理者が利用する分析環境，レポートの作成処理が行われる。
【００２７】
以上のように、本実施形態に係るネットワークアクセスログ情報の収集解析システムにより、ネットワークアクセスログ情報の逐次的解析処理において、主ネットワーク機器内の抽出ログ情報と関連ネットワーク機器内の抽出ログ情報とが、それぞれ時刻データを関連付けた状態でインデックス管理テーブルに登録されるため、主ネットワーク機器内の抽出ログ情報と同一期間内に生じた関連するログ情報をマネージャプログラムに対して速やかに提供することが可能となる。よって、解析処理対象のログ情報においてネットワーク管理者が注目すべき内容のログ情報が発見された場合に、より早期に分析環境，レポートを提供することが可能となる。
【００２８】
また本実施形態では、ログ情報の収集，解析処理の効率化を図るべく、図１のように主ネットワーク機器１０の解析用エージェントプログラム３０と関連ネットワーク機器１１の収集用エージェントプログラム３１とに、それぞれ世代数管理プログラム４６，４７が備えられ、さらにネットワークアクセスログ分析環境１２のマネージャプログラム３２には、解析済み最新時刻通知機能５０が備えられている。そして、これらのプログラムや機能は、上述のログ情報の収集解析処理中に随時実行される。以下、この並行処理手順について具体的に説明する。
【００２９】
まず、主ネットワーク機器１０では、解析用エージェントプログラム３０の世代管理プログラム４６により、ネットワークアクセスログ情報からの抽出ログ情報２３の待ち数（解析処理待ちの状態の抽出ログ情報２３の数）が管理される。この待ち数（最大数）は予め設定されるが、一つの抽出ログ情報を処理している間にネットワークアクセスログ情報から抽出，蓄積されて解析処理待ちの状態となった新規の抽出ログ情報の総数がその待ち数以上になった場合には、設定されている解析処理時間の平均値に、１以上の数を乗算する（乗算する数も、予め設定されている）。こうして得られた値は、新抽出期間としてマネージャプログラム３２内のログ抽出間隔通知機能４９に通知される（図１の処理▲３▼，図２のステップ１０４，１０５）。尚、この通知処理は、図１及び図２に示すようにネットワークアクセスログ情報からの抽出処理およびインデックス管理テーブル２６への登録処理後に行われる。
【００３０】
そして、通知を受けたマネージャプログラム３２のログ抽出間隔通知機能４９により、主ネットワーク機器１０および関連ネットワーク機器１１のログ抽出プログラム４０，４２に対して、前記新抽出期間が新たなログ抽出期間として通知される（図１の処理▲１▼，図２のステップ１１１）。その後、再度図２のステップ１０３の処理が行われ、解析用エージェントプログラム３０と収集用エージェントプログラム３１とにおけるログ情報の抽出処理の間隔を同期させる。
【００３１】
ここで、新抽出期間にて抽出ログ情報２３の抽出が実施された結果、解析処理待ちの抽出ログ情報２３の数が減少して０になった場合には、抽出間隔を以前の解析処理時間に戻す等、再設定が行われるようにすればよい。
【００３２】
以上のように、ログ抽出間隔の再計算処理が行われることによって、主ネットワーク機器１０内の一つの抽出ログ情報の解析処理遅延により生じる抽出ログ情報の解析処理待ち状態を解消することができるため、より円滑な抽出ログ情報２３の解析処理が実行されるようになると共に、主ネットワーク機器１０におけるリソースを効率よく利用することが可能となる。
【００３３】
さらに関連ネットワーク機器１１では、関連するログ情報２２から抽出後に保持される抽出ログ情報２４の数を世代数として予め設定し、世代管理プログラム４７により、この抽出ログ情報２４の世代数が管理，維持される。尚、収集用エージェントプログラム３１における世代数は、解析用エージェント３０における世代数よりも大きく設定されている。
【００３４】
そして、前記世代数管理プログラム４７にて、関連ネットワーク機器１１内に保持される抽出ログ情報２４の数が設定されている世代数を超えた場合には、マネージャプログラム３２内の解析済み最新時刻通知機能５０を使用して、解析用エージェントプログラム３０内の解析プログラム４１に対して、解析済みの抽出ログ情報の最新時刻データを通知してもらう（図１の処理▲４▼，▲５▼、図２のステップ１２２，１２３）。そして、この解析済み最新時刻データの通知を受けると、この解析済み最新時刻以前の抽出ログ情報２４は以後の処理には無用のものであるため、世代数管理プログラム４７によってこの時刻以前の抽出ログ情報２４の削除が行われる。
【００３５】
以上のように削除処理が行われることによって、検索対象となるインデックス管理テーブル２７に登録されるデータ数は最高で設定世代数となるため、従来のように抽出ログ情報２４に含まれる全てのデータ数を保持しておく必要がなくなる。よって、同一期間内に生じたログ情報の抽出に要する時間は、従来方式に比べて減少することとなり、一層円滑な抽出ログ情報２４の解析処理が実行されるようになると共に、関連ネットワーク機器１１におけるリソースを効率よく利用することが可能となる。
【００３６】
【発明の効果】
以上説明したように、本発明のネットワークアクセスログ情報の収集解析システムによれば、解析対象ログ情報に時間的に対応する関連ログ情報の収集に要する時間を短縮することが可能となると共に、解析処理待ちとなる解析対象ログ情報の蓄積数を制限することが可能となる。これにより、ログ情報の効率的な収集，解析処理が可能となるため、例えば不正アクセスがあった場合等のように早急な状況把握が求められる事象発生時に対して、より早期の分析環境，レポート作成を実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の第一実施形態に係るネットワークアクセスログ情報の収集解析システムの構成及び各データの流れを示す図である。
【図２】第一実施形態に係るネットワークアクセスログ情報の収集解析システムによる処理手順を示すフローチャートである。
【図３】本発明の第一実施形態に係るネットワークアクセスログ情報の収集解析システムにおけるインデックス管理テーブルの構成を示す図である。
【図４】従来のネットワークアクセスログ情報の収集解析システムの構成及び各データの流れを示す図である。
【図５】従来のネットワークアクセスログ情報の収集解析システムによる処理手順を示すフローチャートである。
【符号の説明】
１０…主ネットワーク機器、１１…関連ネットワーク機器、１２…ネットワークアクセスログ分析環境、２１…ネットワークアクセスログ情報、２２…関連するログ情報、２３…抽出ログ情報（主ネットワーク機器内）、２４…抽出ログ情報（関連ネットワーク機器内）、２６…インデックス管理テーブル（主ネットワーク機器内）、２７…インデックス管理テーブル（関連ネットワーク機器内）、３０…解析用エージェントプログラム、３１…収集用エージェントプログラム、４０…ログ抽出プログラム（主ネットワーク機器内）、４１…解析プログラム、４２…ログ抽出プログラム（関連ネットワーク機器内）、４３…対応期間チェックプログラム、４４…関連ログ収集通知機能、４５…分析環境作成，レポート作成処理機能、４６…世代数管理プログラム（主ネットワーク機器内）、４７…世代数管理プログラム（関連ネットワーク機器内）、４８…対応ログ情報検索プログラム、４９…ログ抽出間隔通知機能、５０…解析済み最新時刻通知機能。
【発明の属する技術分野】
本発明は、主なネットワーク機器から出力されるネットワークアクセスログ情報の逐次的な解析処理を行う際に、ネットワーク管理者が注目する内容のネットワークアクセスログデータに時間的に対応する他の関連ネットワーク機器におけるログ情報の抽出を、ログ情報が過剰に蓄積されることを防ぎつつ効率的に収集し、解析処理を行うことを可能とするネットワークアクセスログ情報の収集解析システムに関するものである。
【０００２】
【従来の技術】
従来、ログ情報の収集解析システムとしては、例えば次の先行技術文献に係る発明のような構成のものが開示されている。
【０００３】
【特許文献１】
特開２００２−３６６３９４号公報
【０００４】
ここで、例えば侵入検知システム（ＩＤＳ）にて不正アクセスログが検出された場合に、この不正アクセスがさらにネットワーク内部に侵入しているか否かを把握する必要がある場合には、侵入検知システム（ＩＤＳ）などの主ネットワーク機器と、当該主ネットワーク機器と関連するファイアウォールやルーター等の関連ネットワーク機器とから、時間的に対応するログ情報をそれぞれ抽出して比較する必要がある。このようなログ情報の収集，解析を行うネットワークアクセスログ情報の収集解析システムにおける従来の構成及び処理動作について、図４および図５を参照して以下説明する。
【０００５】
ネットワーク管理者は、例えば侵入検知システム（ＩＤＳ）などの主ネットワーク機器１０にて随時出力されるネットワークアクセスログ情報２１を解析し、例えば不正アクセスログ等といった注目すべき内容のデータが存在するか否かをチェックする。このチェック処理は、主ネットワーク機器１０に搭載された解析用エージェントプログラム３０により実施され、その解析結果はネットワークアクセスログ分析サーバ１２に通知される。
【０００６】
前記解析用エージェントプログラム３０では、ログ抽出プログラム４０により前記ネットワークアクセスログ情報２１から一定間隔ごとに部分的にログ情報の抽出処理が実施され、このとき抽出された抽出ログ情報２３はハードディスク上に保存される（図４の処理▲１▼，図５のステップ１００）。そして保存された各抽出ログ情報２３に対して解析プログラム４１により解析処理が行われ、ネットワーク管理者が注目すべき内容のログ情報の有無の調査が行われる（図５のステップ１０１）。
【０００７】
ここで、注目すべき内容を持つネットワークアクセスログ情報が抽出ログ情報２３内に検出されない場合には、当該抽出ログ情報２３は削除され、他の抽出ログ情報２３について解析が行われる。
【０００８】
一方、注目すべき内容を持つネットワークアクセスログ情報が抽出ログ情報２３内に検出された場合には、ネットワークアクセスログ分析サーバ１２に搭載されたマネージャプログラム３２に対して、当該抽出ログ情報２３が何時から何時までのログ情報を含むのかを示すログ期間情報の通知処理と共に、この抽出ログ情報２３を転送する転送処理が、解析プログラム４１によって行われる（図４の処理▲２▼，図５のステップ１０３）。
【０００９】
そして、上記通知を受信したマネージャプログラム３２では、関連ログ収集通知機能４４によって、例えばファイアウォールやルーターのように主ネットワーク機器と関連する関連ネットワーク機器１１内に搭載された収集用エージェントプログラム３１に対して、転送された抽出ログ情報２３のログ期間情報のみが通知され、当該ログ期間情報に対応する関連ログ情報の送信が要求される（図４の処理▲３▼，図５のステップ１１０）。
【００１０】
こうして関連ログ情報の転送要求を受信した収集用エージェントプログラム３１では、前記関連ネットワーク機器１１にて随時出力される関連するログ情報２２に対して、ログ抽出プログラム４２による抽出処理が実施され、抽出された抽出ログ情報２４がハードディスク上に保存される（図４の処理▲４▼，図５のステップ１２０）。
【００１１】
そして保存された抽出ログ情報２４に対して、対応期間チェックプログラム４３により、前記ログ期間情報に対応する期間内の関連ログ情報の抽出処理が行われ、主ネットワーク機器１０からネットワークアクセスログ分析サーバ１２へ転送された抽出ログ情報２３と同一期間内の関連ログ情報よりなる対応部分ログ情報２５が作成され、マネージャプログラム３２に対して当該対応部分ログ情報２５が転送される（図４の処理▲５▼）。
【００１２】
そしてマネージャプログラム３２内では、分析環境作成，レポート作成処理機能４５が起動し、ネットワーク管理者が利用する分析環境，レポートの作成処理が行われる。
【００１３】
【発明が解決しようとする課題】
しかしながら、上述のような従来技術では、関連するログ情報の要求処理（図４の処理▲３▼，図５のステップ１１０）が発生した段階でログ抽出プログラム４２が起動され、関連ネットワーク機器１１におけるログ抽出処理が実施され始めるため、抽出ログ情報２４の容量やデータ数が膨大な量となる問題があった。
【００１４】
また、上記抽出ログ情報２４から前記対応部分ログ情報２５を抽出，作成する処理では、図５のステップ１２０以降に示すように、抽出ログ情報２４に含まれる全てのデータに対して１件ずつ時間的に対応するか否かの判定処理を実施しなければならず、前記対応部分ログ情報２５の作成，転送までに多くの時間を要するといった不都合があった。
【００１５】
そこで本発明の目的は、主ネットワーク機器から一定間隔ごとに抽出した部分的ログ情報内にネットワーク管理者が注目すべき内容が検出された場合には、その部分的ログ情報に対応する他の関連ネットワーク機器内の関連するログ情報を速やかに抽出でき、且つ、効率的な収集解析処理が実現できるよう抽出期間を最適化することのできるネットワークアクセスログ情報の収集解析システムを提供することにある。
【００１６】
【課題を解決するための手段】
上記目的を達成するために、本発明は、ネットワークアクセスログ情報から一定間隔ごとに部分的に抽出した抽出ログ情報に内から、ネットワーク管理者が注目すべき内容を含む抽出ログ情報のみをネットワークアクセスログ分析サーバに転送する主ネットワーク機器と、前記主ネットワーク機器のログ情報と関連性のあるログ情報を蓄積し、この蓄積されたログ情報から、前記主ネットワーク機器から転送される抽出ログ情報と時間的に対応するログ情報のみをネットワークアクセスログ分析サーバに転送する関連ネットワーク機器と、前記主ネットワーク機器および前記関連ネットワーク機器からそれぞれ転送されたログ情報に基づいて、分析環境，レポートの作成処理を行うネットワークアクセスログ分析サーバと、を有するネットワークアクセスログ情報の収集解析システムにおいて、前記主ネットワーク機器におけるネットワークアクセスログ情報からの抽出処理の抽出間隔と、前記関連ネットワーク機器におけるログ情報の抽出処理の抽出間隔とが、前記ネットワークアクセスログ分析サーバからの指示により同期して設定されると共に、前記主ネットワーク機器におけるネットワークアクセスログ情報からの抽出ログ情報は当該抽出ログ情報における時刻情報と関連付けられてインデックス登録され、且つ、前記関連ネットワーク機器にて抽出されたログ情報も、当該ログ情報における時刻情報と関連付けられてインデックス登録されるように動作するものである。
【００１７】
また、本発明のネットワークアクセスログ情報の収集解析システムにおいては、前記主ネットワーク機器におけるネットワークアクセスログ情報からの抽出ログ情報の待ち数が予め設定され且つ管理され、一つの抽出ログ情報を処理している間にネットワークアクセスログ情報から抽出，蓄積されて解析処理待ちの状態となった新規の抽出ログ情報の総数が当該待ち数以上になった場合には、前記主ネットワーク機器にて新たな抽出期間が設定され、前記主ネットワーク機器におけるネットワークアクセスログ情報からの抽出処理の抽出間隔と、前記関連ネットワーク機器におけるログ情報の抽出処理の抽出間隔とが、前記ネットワークアクセスログ分析サーバの指示を介して新たな抽出間隔に同期して設定されるようにしても良い。
【００１８】
さらに、本発明のネットワークアクセスログ情報の収集解析システムにおいては、前記関連ネットワーク機器にて抽出された後に保持されるログ情報の数が世代数として予め設定され且つ管理され、前記関連ネットワーク機器内に保持されるログ情報の数が当該世代数を超えた場合には、前記主ネットワーク機器から前記ネットワークアクセスログ分析サーバを介して前記関連ネットワーク機器に、解析済みの抽出ログ情報の最新時刻データが通知され、この解析済み最新時刻データによって、前記関連ネットワーク機器内に保持されるログ情報のなかから当該最新時刻以前のログ情報が削除されるようにしても良い。
【００１９】
【発明の実施の形態】
本発明の一実施形態に係るネットワークアクセスログ情報の収集解析システムについて、図１から図３を参照して以下説明する。
【００２０】
まず、本実施形態における解析用エージェントプログラム３０内の処理において、ログ抽出プログラム４０による抽出処理の実施される期間（間隔）が、マネージャプログラム３２におけるログ抽出間隔通知機能４９によって指示される（図１の処理▲１▼，図２のステップ１１１）。このとき、当該抽出処理間隔は、関連ネットワーク機器１１内の収集用エージェントプログラム３１内のログ抽出プログラム４２にも同時に指示される。以上により、解析用エージェントプログラム３０と収集用エージェントプログラム３１とにおけるログ情報の抽出処理の間隔が同期して設定されることになり（図２のステップ１０３，１２１）、その結果、主ネットワーク機器１０から抽出された抽出ログ情報２３と同一期間内に生じた関連ネットワーク機器１１内のログ情報の検索処理が容易になる。
【００２１】
こうして双方のネットワーク機器１０，１１におけるログ情報抽出処理間隔が同期したところで、主ネットワーク機器１０にて随時出力されるネットワークアクセスログ情報２１に対して、解析用エージェントプログラム３０によって抽出処理が行われる（図１の処理▲２▼，図２のステップ１００）。
【００２２】
ここで、ネットワークアクセスログ情報２１から一定間隔ごとに抽出された複数の抽出ログ情報２３は、各抽出ログ情報毎に図３のようなインデックス管理テーブル２６にインデックス登録される（図２のステップ１０２）。このインデックス管理テーブル２６におけるインデックスデータは、各抽出ログ情報２３をハードディスク上に保存した際のファイル名，各抽出ログ情報２３内のデータの開始時刻および終了時刻の３つのデータで構成されている。尚、ファイル名は、オペレーティングシステムの日付時刻情報を利用することによって各抽出ログ情報２３の名称が重複しないように自動設定される。
【００２３】
そして、解析プログラム４１によりネットワーク管理者が注目すべき内容のログ情報が抽出ログ情報２３内に検出されない場合には、当該抽出ログ情報２３は削除され、新規の抽出ログ情報２３について解析が行われる（図２のステップ１０１以降）。
【００２４】
一方、解析プログラム４１によりネットワーク管理者が注目すべき内容のログ情報が検出された場合には、この解析プログラム４１によりネットワークアクセスログ分析サーバ１２上のマネージャプログラム３２に対して、検出されたログ情報を含む抽出ログ情報２３と、当該抽出ログ情報２３のインデックス情報（時刻情報）とが転送される（図１の処理▲６▼，図２のステップ１０３）。
【００２５】
続いて、マネージャプログラム３２により、解析用エージェントプログラム３０から転送された情報の内の時刻情報のみが収集用エージェントプログラム３１にさらに転送されると（図１の処理▲７▼，図２のステップ１１０）、関連ネットワーク機器１１では対応ログ情報検索プログラム４８が起動され、再転送された時刻情報に該当する期間内の抽出ログ情報２４が抽出される（図１の処理▲８▼，図２のステップ１３０以降）。ここで、本実施形態では、収集用エージェントプログラムでも解析用エージェントプログラム３０と同様に、関連するログ情報から抽出された複数の抽出ログ情報が、インデックス管理テーブル２７に、抽出ログ情報２４のファイル名とインデックス（ログ情報内データの開始時刻，終了時刻）とが関連付けられてインデックス登録されており、該当する抽出ログ情報はこのインデックス管理テーブル２７を利用して抽出される。よって、この抽出処理においては、図２のステップ１３０以降に示すように、転送された時刻情報に該当する情報がインデックス管理テーブル２７に存在するか否かを確認するだけで良いので、従来と比べて抽出時間の短縮化が実現される。
【００２６】
そして、抽出された該当抽出ログ情報がマネージャプログラムに転送されると、マネージャプログラム３２内では分析環境作成，レポート作成処理機能４５が起動し、ネットワーク管理者が利用する分析環境，レポートの作成処理が行われる。
【００２７】
以上のように、本実施形態に係るネットワークアクセスログ情報の収集解析システムにより、ネットワークアクセスログ情報の逐次的解析処理において、主ネットワーク機器内の抽出ログ情報と関連ネットワーク機器内の抽出ログ情報とが、それぞれ時刻データを関連付けた状態でインデックス管理テーブルに登録されるため、主ネットワーク機器内の抽出ログ情報と同一期間内に生じた関連するログ情報をマネージャプログラムに対して速やかに提供することが可能となる。よって、解析処理対象のログ情報においてネットワーク管理者が注目すべき内容のログ情報が発見された場合に、より早期に分析環境，レポートを提供することが可能となる。
【００２８】
また本実施形態では、ログ情報の収集，解析処理の効率化を図るべく、図１のように主ネットワーク機器１０の解析用エージェントプログラム３０と関連ネットワーク機器１１の収集用エージェントプログラム３１とに、それぞれ世代数管理プログラム４６，４７が備えられ、さらにネットワークアクセスログ分析環境１２のマネージャプログラム３２には、解析済み最新時刻通知機能５０が備えられている。そして、これらのプログラムや機能は、上述のログ情報の収集解析処理中に随時実行される。以下、この並行処理手順について具体的に説明する。
【００２９】
まず、主ネットワーク機器１０では、解析用エージェントプログラム３０の世代管理プログラム４６により、ネットワークアクセスログ情報からの抽出ログ情報２３の待ち数（解析処理待ちの状態の抽出ログ情報２３の数）が管理される。この待ち数（最大数）は予め設定されるが、一つの抽出ログ情報を処理している間にネットワークアクセスログ情報から抽出，蓄積されて解析処理待ちの状態となった新規の抽出ログ情報の総数がその待ち数以上になった場合には、設定されている解析処理時間の平均値に、１以上の数を乗算する（乗算する数も、予め設定されている）。こうして得られた値は、新抽出期間としてマネージャプログラム３２内のログ抽出間隔通知機能４９に通知される（図１の処理▲３▼，図２のステップ１０４，１０５）。尚、この通知処理は、図１及び図２に示すようにネットワークアクセスログ情報からの抽出処理およびインデックス管理テーブル２６への登録処理後に行われる。
【００３０】
そして、通知を受けたマネージャプログラム３２のログ抽出間隔通知機能４９により、主ネットワーク機器１０および関連ネットワーク機器１１のログ抽出プログラム４０，４２に対して、前記新抽出期間が新たなログ抽出期間として通知される（図１の処理▲１▼，図２のステップ１１１）。その後、再度図２のステップ１０３の処理が行われ、解析用エージェントプログラム３０と収集用エージェントプログラム３１とにおけるログ情報の抽出処理の間隔を同期させる。
【００３１】
ここで、新抽出期間にて抽出ログ情報２３の抽出が実施された結果、解析処理待ちの抽出ログ情報２３の数が減少して０になった場合には、抽出間隔を以前の解析処理時間に戻す等、再設定が行われるようにすればよい。
【００３２】
以上のように、ログ抽出間隔の再計算処理が行われることによって、主ネットワーク機器１０内の一つの抽出ログ情報の解析処理遅延により生じる抽出ログ情報の解析処理待ち状態を解消することができるため、より円滑な抽出ログ情報２３の解析処理が実行されるようになると共に、主ネットワーク機器１０におけるリソースを効率よく利用することが可能となる。
【００３３】
さらに関連ネットワーク機器１１では、関連するログ情報２２から抽出後に保持される抽出ログ情報２４の数を世代数として予め設定し、世代管理プログラム４７により、この抽出ログ情報２４の世代数が管理，維持される。尚、収集用エージェントプログラム３１における世代数は、解析用エージェント３０における世代数よりも大きく設定されている。
【００３４】
そして、前記世代数管理プログラム４７にて、関連ネットワーク機器１１内に保持される抽出ログ情報２４の数が設定されている世代数を超えた場合には、マネージャプログラム３２内の解析済み最新時刻通知機能５０を使用して、解析用エージェントプログラム３０内の解析プログラム４１に対して、解析済みの抽出ログ情報の最新時刻データを通知してもらう（図１の処理▲４▼，▲５▼、図２のステップ１２２，１２３）。そして、この解析済み最新時刻データの通知を受けると、この解析済み最新時刻以前の抽出ログ情報２４は以後の処理には無用のものであるため、世代数管理プログラム４７によってこの時刻以前の抽出ログ情報２４の削除が行われる。
【００３５】
以上のように削除処理が行われることによって、検索対象となるインデックス管理テーブル２７に登録されるデータ数は最高で設定世代数となるため、従来のように抽出ログ情報２４に含まれる全てのデータ数を保持しておく必要がなくなる。よって、同一期間内に生じたログ情報の抽出に要する時間は、従来方式に比べて減少することとなり、一層円滑な抽出ログ情報２４の解析処理が実行されるようになると共に、関連ネットワーク機器１１におけるリソースを効率よく利用することが可能となる。
【００３６】
【発明の効果】
以上説明したように、本発明のネットワークアクセスログ情報の収集解析システムによれば、解析対象ログ情報に時間的に対応する関連ログ情報の収集に要する時間を短縮することが可能となると共に、解析処理待ちとなる解析対象ログ情報の蓄積数を制限することが可能となる。これにより、ログ情報の効率的な収集，解析処理が可能となるため、例えば不正アクセスがあった場合等のように早急な状況把握が求められる事象発生時に対して、より早期の分析環境，レポート作成を実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の第一実施形態に係るネットワークアクセスログ情報の収集解析システムの構成及び各データの流れを示す図である。
【図２】第一実施形態に係るネットワークアクセスログ情報の収集解析システムによる処理手順を示すフローチャートである。
【図３】本発明の第一実施形態に係るネットワークアクセスログ情報の収集解析システムにおけるインデックス管理テーブルの構成を示す図である。
【図４】従来のネットワークアクセスログ情報の収集解析システムの構成及び各データの流れを示す図である。
【図５】従来のネットワークアクセスログ情報の収集解析システムによる処理手順を示すフローチャートである。
【符号の説明】
１０…主ネットワーク機器、１１…関連ネットワーク機器、１２…ネットワークアクセスログ分析環境、２１…ネットワークアクセスログ情報、２２…関連するログ情報、２３…抽出ログ情報（主ネットワーク機器内）、２４…抽出ログ情報（関連ネットワーク機器内）、２６…インデックス管理テーブル（主ネットワーク機器内）、２７…インデックス管理テーブル（関連ネットワーク機器内）、３０…解析用エージェントプログラム、３１…収集用エージェントプログラム、４０…ログ抽出プログラム（主ネットワーク機器内）、４１…解析プログラム、４２…ログ抽出プログラム（関連ネットワーク機器内）、４３…対応期間チェックプログラム、４４…関連ログ収集通知機能、４５…分析環境作成，レポート作成処理機能、４６…世代数管理プログラム（主ネットワーク機器内）、４７…世代数管理プログラム（関連ネットワーク機器内）、４８…対応ログ情報検索プログラム、４９…ログ抽出間隔通知機能、５０…解析済み最新時刻通知機能。
Claims (3)
- ネットワークアクセスログ情報から一定間隔ごとに部分的に抽出した抽出ログ情報に内から、ネットワーク管理者が注目すべき内容を含む抽出ログ情報のみをネットワークアクセスログ分析サーバに転送する主ネットワーク機器と、前記主ネットワーク機器のログ情報と関連性のあるログ情報を蓄積し、この蓄積されたログ情報から、前記主ネットワーク機器から転送される抽出ログ情報と時間的に対応するログ情報のみをネットワークアクセスログ分析サーバに転送する関連ネットワーク機器と、前記主ネットワーク機器および前記関連ネットワーク機器からそれぞれ転送されたログ情報に基づいて、分析環境，レポートの作成処理を行うネットワークアクセスログ分析サーバと、を有するネットワークアクセスログ情報の収集解析システムにおいて、
前記主ネットワーク機器におけるネットワークアクセスログ情報からの抽出処理の抽出間隔と、前記関連ネットワーク機器におけるログ情報の抽出処理の抽出間隔とが、前記ネットワークアクセスログ分析サーバからの指示により同期して設定されると共に、
前記主ネットワーク機器におけるネットワークアクセスログ情報からの抽出ログ情報は当該抽出ログ情報における時刻情報と関連付けられてインデックス登録され、且つ、前記関連ネットワーク機器にて抽出されたログ情報も、当該ログ情報における時刻情報と関連付けられてインデックス登録されることを特徴とするネットワークアクセスログ情報の収集解析システム。 - 前記主ネットワーク機器におけるネットワークアクセスログ情報からの抽出ログ情報の待ち数が予め設定され且つ管理され、一つの抽出ログ情報を処理している間にネットワークアクセスログ情報から抽出，蓄積されて解析処理待ちの状態となった新規の抽出ログ情報の総数が当該待ち数以上になった場合には、前記主ネットワーク機器にて新たな抽出期間が設定され、前記主ネットワーク機器におけるネットワークアクセスログ情報からの抽出処理の抽出間隔と、前記関連ネットワーク機器におけるログ情報の抽出処理の抽出間隔とが、前記ネットワークアクセスログ分析サーバの指示を介して新たな抽出間隔に同期して設定されることを特徴とする請求項１に記載のネットワークアクセスログ情報の収集解析システム。
- 前記関連ネットワーク機器にて抽出された後に保持されるログ情報の数が世代数として予め設定され且つ管理され、前記関連ネットワーク機器内に保持されるログ情報の数が当該世代数を超えた場合には、前記主ネットワーク機器から前記ネットワークアクセスログ分析サーバを介して前記関連ネットワーク機器に、解析済みの抽出ログ情報の最新時刻データが通知され、この解析済み最新時刻データによって、前記関連ネットワーク機器内に保持されるログ情報のなかから当該最新時刻以前のログ情報が削除されることを特徴とする請求項１又は２に記載のネットワークアクセスログ情報の収集解析システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003082318A JP2004288110A (ja) | 2003-03-25 | 2003-03-25 | ネットワークアクセスログ情報の収集解析システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003082318A JP2004288110A (ja) | 2003-03-25 | 2003-03-25 | ネットワークアクセスログ情報の収集解析システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004288110A true JP2004288110A (ja) | 2004-10-14 |
Family
ID=33295644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003082318A Pending JP2004288110A (ja) | 2003-03-25 | 2003-03-25 | ネットワークアクセスログ情報の収集解析システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004288110A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008225758A (ja) * | 2007-03-12 | 2008-09-25 | Web Republic Kk | マイニングシステム及びマイニング方法 |
| WO2017217305A1 (ja) * | 2016-06-13 | 2017-12-21 | 日本電気株式会社 | ログ出力制御装置、ログ分析システム、ログ出力制御方法、ログ分析方法、および、記録媒体 |
-
2003
- 2003-03-25 JP JP2003082318A patent/JP2004288110A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008225758A (ja) * | 2007-03-12 | 2008-09-25 | Web Republic Kk | マイニングシステム及びマイニング方法 |
| WO2017217305A1 (ja) * | 2016-06-13 | 2017-12-21 | 日本電気株式会社 | ログ出力制御装置、ログ分析システム、ログ出力制御方法、ログ分析方法、および、記録媒体 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9537897B2 (en) | Method and apparatus for providing analysis service based on behavior in mobile network environment | |
| JP3778652B2 (ja) | ログデータ収集管理方法及びその装置 | |
| CN101802805B (zh) | 用于验证应用程序并控制其执行的方法 | |
| CN106941493B (zh) | 一种网络安全态势感知结果输出方法及装置 | |
| CN111046011B (zh) | 日志收集方法、系统、装置、电子设备及可读存储介质 | |
| CN110401632B (zh) | 一种恶意域名感染主机溯源方法 | |
| CN112350854B (zh) | 一种流量故障定位方法、装置、设备及存储介质 | |
| CN107977473B (zh) | 基于Logback的分布式系统日志的检索方法和系统 | |
| CN103593613A (zh) | 用于计算机病毒检测的方法、终端、服务器和系统 | |
| JP2006302170A (ja) | ログ管理方法及び装置 | |
| CN111708679A (zh) | 日志监控方法、系统、装置和存储介质 | |
| CN114465741B (zh) | 一种异常检测方法、装置、计算机设备及存储介质 | |
| JP5752642B2 (ja) | 監視装置および監視方法 | |
| CN110543584B (zh) | 一种建立人脸索引的方法、装置、处理服务器及存储介质 | |
| CN104462158A (zh) | 数据抓取方法和数据抓取系统 | |
| JP4485112B2 (ja) | ログデータの収集管理方法および装置 | |
| CN116107846A (zh) | 一种基于EBPF的Linux系统事件监控方法及装置 | |
| CN114039774B (zh) | 一种恶意pe程序的阻断方法、检测方法及装置 | |
| WO2015154416A1 (zh) | 一种上网行为管理方法及装置 | |
| US8468238B2 (en) | Computer product, apparatus and method for generating configuration-information for use in monitoring information technology services | |
| KR102189127B1 (ko) | 행위 기반 룰 처리 장치 및 그 처리 방법 | |
| JP2004288110A (ja) | ネットワークアクセスログ情報の収集解析システム | |
| US20090119287A1 (en) | Image processing apparatus, information processing method, and computer-readable storage medium | |
| TWI640891B (zh) | 偵測惡意程式的方法和裝置 | |
| WO2012136054A1 (zh) | 一种采集性能数据的方法、设备和网管系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060516 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060718 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060905 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061031 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070306 |