JP2011065440A - ログデータ分析装置及びログデータ分析装置のログデータ分析方法及びログデータ分析プログラム - Google Patents
ログデータ分析装置及びログデータ分析装置のログデータ分析方法及びログデータ分析プログラム Download PDFInfo
- Publication number
- JP2011065440A JP2011065440A JP2009215765A JP2009215765A JP2011065440A JP 2011065440 A JP2011065440 A JP 2011065440A JP 2009215765 A JP2009215765 A JP 2009215765A JP 2009215765 A JP2009215765 A JP 2009215765A JP 2011065440 A JP2011065440 A JP 2011065440A
- Authority
- JP
- Japan
- Prior art keywords
- log
- analysis
- log data
- group
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
【課題】ログ種類のパターンを考慮した分析をすることができるログデータ分析装置を提供する。
【解決手段】分析基準情報記録部131が、連続するログデータのログ種類パターンと信頼値とを対応付けた分析基準情報DB132を記録し、分析部140が、分析対象ファイルの各ログデータを先頭とする各グループであって、先頭から所定の時間内に発生した連続するログデータからなる各グループである分析対象グループに含まれるログ種類パターンを、分析基準情報DB132に含まれるログ種類パターンの中から取得し、取得したログ種類パターンに対応する信頼値に基づいて、当該分析対象グループの先頭のログデータが異常かどうかを判定する判定値を算出し、算出した判定値を当該分析対象グループの先頭のログデータに設定し、異常検出部150が、設定された判定値に基づいて、分析対象ファイルのログデータの中から、異常なログデータを検出する。
【選択図】図1
【解決手段】分析基準情報記録部131が、連続するログデータのログ種類パターンと信頼値とを対応付けた分析基準情報DB132を記録し、分析部140が、分析対象ファイルの各ログデータを先頭とする各グループであって、先頭から所定の時間内に発生した連続するログデータからなる各グループである分析対象グループに含まれるログ種類パターンを、分析基準情報DB132に含まれるログ種類パターンの中から取得し、取得したログ種類パターンに対応する信頼値に基づいて、当該分析対象グループの先頭のログデータが異常かどうかを判定する判定値を算出し、算出した判定値を当該分析対象グループの先頭のログデータに設定し、異常検出部150が、設定された判定値に基づいて、分析対象ファイルのログデータの中から、異常なログデータを検出する。
【選択図】図1
Description
本発明は、例えば、ログデータを分析するログデータ分析装置及びログデータ分析装置のログデータ分析方法及びログデータ分析プログラムに関する。
従来技術では、端末操作ログの傾向分析において、まず、印刷の回数やファイルのエクスポート回数など、単一の操作種類で操作回数平均を算出している。そして、算出した操作回数平均を異なる期間の端末操作ログの操作回数と比較することで、分析対象の端末操作ログの操作傾向における変化の検出を実現している(特許文献1参照)。この手法により、例えば、印刷の回数やファイルのエクスポート回数が急激に増えるといった現象を比較的容易に検知することが可能になる。
例えば、端末利用者が、アプリケーションの設定情報などを意図的に操作し、システム管理者が想定していないような動作をアプリケーションにさせようとする問題のあるケースがある。このような問題のあるケースは、ファイル操作とアプリケーション起動操作などの複数の種類の操作が関連するものであるため、単一種類の操作の回数に絞って確認する従来の方法のみでは、発見が困難である。また、従来の方法では、このような問題のあるケースが発見された場合には、ログを特定の操作などで絞らずに、問題のあるケースの発生箇所と関連すると思われるログを技術者が目視で、その都度確認する必要がある。
つまり、従来の技術では、上記のような複雑な操作が関連すると考えられる問題のあるケースを、従来の単一の操作種類に特定したログの変化からでは検知することが難しいという課題がある。また、ある問題が発生した場合でも、複雑な操作が関連すると考えられる問題の場合は、発生箇所と関連すると思われるログを技術者が目視で、その都度確認する必要があるため、問題の原因等発見の遅れに繋がる可能性があるという課題がある。
本発明は、上記のような課題を解決するためになされたものであり、ログデータの分析において、複雑な操作が関連する問題が生じた場合であっても、端末操作ログから異常箇所を的確に、かつ、迅速に発見することができるログデータ分析装置を提供することを目的とする。
本発明に係るログデータ分析装置は、
ログデータの発生時刻を示すログ発生時刻とログデータの種類を示すログ種類とを含むログデータがログ発生時刻順に連続して複数蓄積されている分析対象ファイルを分析するログデータ分析装置において、
連続するログデータのログ種類の順序であるログ種類パターンと、対応するログ種類パターンの信頼値とを対応付けた分析基準情報を記録する分析基準情報記録部と、
前記分析対象ファイルに蓄積された複数のログデータの各ログデータを先頭のログデータとする連続するログデータからなる各グループであって、先頭のログデータのログ発生時刻と末尾のログデータのログ発生時刻との差が所定の時間内である各グループである分析対象グループに含まれる連続するログデータのログ種類の順序を含むログ種類パターンを、前記分析基準情報記録部により記録された分析基準情報に含まれるログ種類パターンの中から処理装置により取得し、取得したログ種類パターンに対応する信頼値に基づいて、ログ種類パターンが取得された分析対象グループの先頭のログデータが異常かどうかを判定する判定値を処理装置により算出し、算出した判定値をログ種類パターンが取得された分析対象グループの先頭のログデータに設定する判定値設定部と、
前記判定値設定部により設定された判定値に基づいて、前記分析対象ファイルに蓄積された複数のログデータの中から、異常なログデータを処理装置により検出する異常検出部とを備えることを特徴とする。
ログデータの発生時刻を示すログ発生時刻とログデータの種類を示すログ種類とを含むログデータがログ発生時刻順に連続して複数蓄積されている分析対象ファイルを分析するログデータ分析装置において、
連続するログデータのログ種類の順序であるログ種類パターンと、対応するログ種類パターンの信頼値とを対応付けた分析基準情報を記録する分析基準情報記録部と、
前記分析対象ファイルに蓄積された複数のログデータの各ログデータを先頭のログデータとする連続するログデータからなる各グループであって、先頭のログデータのログ発生時刻と末尾のログデータのログ発生時刻との差が所定の時間内である各グループである分析対象グループに含まれる連続するログデータのログ種類の順序を含むログ種類パターンを、前記分析基準情報記録部により記録された分析基準情報に含まれるログ種類パターンの中から処理装置により取得し、取得したログ種類パターンに対応する信頼値に基づいて、ログ種類パターンが取得された分析対象グループの先頭のログデータが異常かどうかを判定する判定値を処理装置により算出し、算出した判定値をログ種類パターンが取得された分析対象グループの先頭のログデータに設定する判定値設定部と、
前記判定値設定部により設定された判定値に基づいて、前記分析対象ファイルに蓄積された複数のログデータの中から、異常なログデータを処理装置により検出する異常検出部とを備えることを特徴とする。
前記ログデータ分析装置は、さらに、
ログデータの発生時刻を示すログ発生時刻とログデータの種類を示すログ種類とを含むログデータがログ発生時刻順に連続して複数蓄積されている分析基準生成用ファイルから、連続するログデータであって、所定の期間内に発生した複数のログデータからなるグループを分析用グループとして処理装置により複数抽出する分析用グループ抽出部と、
前記分析用グループ抽出部により抽出された複数の分析用グループを対象として、分析用グループに含まれる連続するログデータのログ種類の順序であるログ種類パターンが同じである分析用グループの数を処理装置によりカウントしてカウント値を生成し、生成したカウント値に対応する分析用グループの有するログ種類パターンの信頼値を、生成したカウント値を用いて処理装置により算出し、算出した信頼値と生成したカウント値に対応する分析用グループの有するログ種類パターンとを対応付けた前記分析基準情報を生成する分析基準情報生成部とを備えることを特徴とする。
ログデータの発生時刻を示すログ発生時刻とログデータの種類を示すログ種類とを含むログデータがログ発生時刻順に連続して複数蓄積されている分析基準生成用ファイルから、連続するログデータであって、所定の期間内に発生した複数のログデータからなるグループを分析用グループとして処理装置により複数抽出する分析用グループ抽出部と、
前記分析用グループ抽出部により抽出された複数の分析用グループを対象として、分析用グループに含まれる連続するログデータのログ種類の順序であるログ種類パターンが同じである分析用グループの数を処理装置によりカウントしてカウント値を生成し、生成したカウント値に対応する分析用グループの有するログ種類パターンの信頼値を、生成したカウント値を用いて処理装置により算出し、算出した信頼値と生成したカウント値に対応する分析用グループの有するログ種類パターンとを対応付けた前記分析基準情報を生成する分析基準情報生成部とを備えることを特徴とする。
前記分析基準情報生成部は、
前記生成したカウント値を、前記生成したカウント値に対応する分析用グループの有するログ種類パターンの信頼値として設定することを特徴とする。
前記生成したカウント値を、前記生成したカウント値に対応する分析用グループの有するログ種類パターンの信頼値として設定することを特徴とする。
前記判定値設定部は、
前記取得したログ種類パターンに対応する信頼値を合算した値を、前記判定値として設定することを特徴とする。
前記取得したログ種類パターンに対応する信頼値を合算した値を、前記判定値として設定することを特徴とする。
前記分析用グループ抽出部は、
前記分析対象ファイルの少なくとも一部を、前記分析基準生成用ファイルとすることを特徴とする。
前記分析対象ファイルの少なくとも一部を、前記分析基準生成用ファイルとすることを特徴とする。
前記異常検出部は、
前記分析対象ファイルに蓄積された複数のログデータの中から、所定の基準値以下の判定値が設定されているログデータを前記異常なログデータとして検出する
ことを特徴とする。
前記分析対象ファイルに蓄積された複数のログデータの中から、所定の基準値以下の判定値が設定されているログデータを前記異常なログデータとして検出する
ことを特徴とする。
本発明に係るログデータ分析装置のログデータ分析方法は、
ログデータの発生時刻を示すログ発生時刻とログデータの種類を示すログ種類とを含むログデータがログ発生時刻順に連続して複数蓄積されている分析対象ファイルを分析するログデータ分析装置のログデータ分析方法において、
分析基準情報記録部が、連続するログデータのログ種類の順序であるログ種類パターンと、対応するログ種類パターンの信頼値とを対応付けた分析基準情報を記録する分析基準情報記録ステップと、
判定値設定部が、前記分析対象ファイルに蓄積された複数のログデータの各ログデータを先頭のログデータとする連続するログデータからなる各グループであって、先頭のログデータのログ発生時刻と末尾のログデータのログ発生時刻との差が所定の時間内である各グループである分析対象グループに含まれる連続するログデータのログ種類の順序を含むログ種類パターンを、前記分析基準情報記録ステップにより記録された分析基準情報に含まれるログ種類パターンの中から処理装置により取得し、取得したログ種類パターンに対応する信頼値に基づいて、ログ種類パターンが取得された分析対象グループの先頭のログデータが異常かどうかを判定する判定値を処理装置により算出し、算出した判定値をログ種類パターンが取得された分析対象グループの先頭のログデータに設定する判定値設定ステップと、
異常検出部が、前記判定値設定ステップにより設定された判定値に基づいて、前記分析対象ファイルに蓄積された複数のログデータの中から、異常なログデータを処理装置により検出する異常検出ステップとを備えることを特徴とする。
ログデータの発生時刻を示すログ発生時刻とログデータの種類を示すログ種類とを含むログデータがログ発生時刻順に連続して複数蓄積されている分析対象ファイルを分析するログデータ分析装置のログデータ分析方法において、
分析基準情報記録部が、連続するログデータのログ種類の順序であるログ種類パターンと、対応するログ種類パターンの信頼値とを対応付けた分析基準情報を記録する分析基準情報記録ステップと、
判定値設定部が、前記分析対象ファイルに蓄積された複数のログデータの各ログデータを先頭のログデータとする連続するログデータからなる各グループであって、先頭のログデータのログ発生時刻と末尾のログデータのログ発生時刻との差が所定の時間内である各グループである分析対象グループに含まれる連続するログデータのログ種類の順序を含むログ種類パターンを、前記分析基準情報記録ステップにより記録された分析基準情報に含まれるログ種類パターンの中から処理装置により取得し、取得したログ種類パターンに対応する信頼値に基づいて、ログ種類パターンが取得された分析対象グループの先頭のログデータが異常かどうかを判定する判定値を処理装置により算出し、算出した判定値をログ種類パターンが取得された分析対象グループの先頭のログデータに設定する判定値設定ステップと、
異常検出部が、前記判定値設定ステップにより設定された判定値に基づいて、前記分析対象ファイルに蓄積された複数のログデータの中から、異常なログデータを処理装置により検出する異常検出ステップとを備えることを特徴とする。
本発明に係るログデータ分析プログラムは、
ログデータの発生時刻を示すログ発生時刻とログデータの種類を示すログ種類とを含むログデータがログ発生時刻順に連続して複数蓄積されている構成を有する分析対象ファイルを分析する処理をコンピュータであるログデータ分析装置に実行させるログデータ分析プログラムにおいて、
連続するログデータのログ種類の順序であるログ種類パターンと、対応するログ種類パターンの信頼値とを対応付けた分析基準情報を記録する分析基準情報記録処理と、
前記分析対象ファイルに蓄積された複数のログデータの各ログデータを先頭のログデータとする連続するログデータからなる各グループであって、先頭のログデータのログ発生時刻と末尾のログデータのログ発生時刻との差が所定の時間内である各グループである分析対象グループに含まれる連続するログデータのログ種類の順序を含むログ種類パターンを、前記分析基準情報記録処理により記録された分析基準情報に含まれるログ種類パターンの中から処理装置により取得し、取得したログ種類パターンに対応する信頼値に基づいて、ログ種類パターンが取得された分析対象グループの先頭のログデータが異常かどうかを判定する判定値を処理装置により算出し、算出した判定値をログ種類パターンが取得された分析対象グループの先頭のログデータに設定する判定値設定処理と、
前記判定値設定処理により設定された判定値に基づいて、前記分析対象ファイルに蓄積された複数のログデータの中から、異常なログデータを処理装置により検出する異常検出処理とを、前記コンピュータであるログデータ分析装置に実行させることを特徴とする。
ログデータの発生時刻を示すログ発生時刻とログデータの種類を示すログ種類とを含むログデータがログ発生時刻順に連続して複数蓄積されている構成を有する分析対象ファイルを分析する処理をコンピュータであるログデータ分析装置に実行させるログデータ分析プログラムにおいて、
連続するログデータのログ種類の順序であるログ種類パターンと、対応するログ種類パターンの信頼値とを対応付けた分析基準情報を記録する分析基準情報記録処理と、
前記分析対象ファイルに蓄積された複数のログデータの各ログデータを先頭のログデータとする連続するログデータからなる各グループであって、先頭のログデータのログ発生時刻と末尾のログデータのログ発生時刻との差が所定の時間内である各グループである分析対象グループに含まれる連続するログデータのログ種類の順序を含むログ種類パターンを、前記分析基準情報記録処理により記録された分析基準情報に含まれるログ種類パターンの中から処理装置により取得し、取得したログ種類パターンに対応する信頼値に基づいて、ログ種類パターンが取得された分析対象グループの先頭のログデータが異常かどうかを判定する判定値を処理装置により算出し、算出した判定値をログ種類パターンが取得された分析対象グループの先頭のログデータに設定する判定値設定処理と、
前記判定値設定処理により設定された判定値に基づいて、前記分析対象ファイルに蓄積された複数のログデータの中から、異常なログデータを処理装置により検出する異常検出処理とを、前記コンピュータであるログデータ分析装置に実行させることを特徴とする。
本発明に係るログデータ分析装置は、分析基準情報記録部が、連続するログデータのログ種類パターンと信頼値とを対応付けた分析基準情報を記録し、判定値設定部が、分析対象ファイルに蓄積された複数のログデータの各ログデータを先頭のログデータとする各グループであって、先頭のログデータから所定の時間内に発生した連続するログデータからなる各グループである分析対象グループに含まれるログ種類パターンを、分析基準情報に含まれるログ種類パターンの中から取得し、取得したログ種類パターンに対応する信頼値に基づいて、当該分析対象グループの先頭のログデータが異常かどうかを判定する判定値を算出し、算出した判定値を当該分析対象グループの先頭のログデータに設定し、異常検出部が、設定された判定値に基づいて、前記分析対象ファイルのログデータの中から、異常なログデータを検出するので、分析対象ファイルの分析に際し、複数のログ種類が関連する問題が生じた場合であっても、ログ種類パターンを考慮した分析をすることができるので、異常箇所を的確に、かつ、迅速に発見することができるという効果を奏する。
以下に、本発明の実施の形態について、図を用いて説明する。
実施の形態1.
図1は、実施の形態1に係るログデータ分析装置100の機能ブロックの構成を示す図である。図2は、実施の形態1に係るログデータ分析装置100の分析対象ファイルであるログデータファイル200の構成を示す図である。図1及び図2を用いて、本実施の形態に係るログデータ分析装置100の機能ブロックの構成について説明する。
図1は、実施の形態1に係るログデータ分析装置100の機能ブロックの構成を示す図である。図2は、実施の形態1に係るログデータ分析装置100の分析対象ファイルであるログデータファイル200の構成を示す図である。図1及び図2を用いて、本実施の形態に係るログデータ分析装置100の機能ブロックの構成について説明する。
ログデータ分析装置100は、分析条件設定部110、分析条件DB111(分析条件データベース)、分析用グループ抽出部120、分析用グループ記憶部121、分析基準情報生成部130、分析基準情報記録部131、分析基準情報DB132(分析基準情報データベース)、分析部140、異常検出部150を備えている。
ログデータファイル200は、ログデータ分析装置100の分析対象となるファイルである。図2に示すように、ログデータファイル200には、ログデータ200x(x=1〜N)が蓄積されている。ログデータファイル200は、ログデータ200xの発生日時(発生時刻)を示すログ発生日時(ログ発生時刻)とログデータの種類を示すログ種類とを含むログデータがログ発生時刻順に連続して複数蓄積されている構成を有する。
ログデータ200xは、ログデータ200xが発生した日時であるログ発生日時が設定される項目、ログデータのプロセス名等のログデータを記録した元のログソースが設定される項目、ログデータの操作の種類であるログ操作種類が設定される項目を備えている。「ログソース」と「ログ操作種類」とは、ログ種類の一例である。
例えば、ログデータ2001は、ログ発生日時が「2009/08/01 12:00:00」、ログソースが「Image.exe」、ログ操作種類が「起動」と設定されている。また、例えば、ログデータ2005は、ログ発生日時が「2009/08/01 12:00:15」、ログソースが「Demo.exe」、ログ操作種類が「Mail受信」と設定されている。図2に示すログデータファイル200は、端末操作のログデータを収集するシステム(端末操作ログ収集システム)から出力された端末操作ログデータファイルである。
本実施の形態では、ログデータ分析装置100は、端末操作に関するログデータファイル200を分析対象ファイルとしているが、ログデータ分析装置100が分析対象とするファイルはこのような種類のファイルに限られない。ログデータ分析装置100は、データを取得した時刻と、そのデータの種類に関する情報とを有する履歴データを蓄積したファイルであれば、分析対象のファイルとして適用可能である。例えば、行動分析に関する履歴データファイル等にも適用することができる。
また、ログデータ分析装置100は、ログデータファイル200を、分析対象ファイルとして用いるとともに、後述する分析基準生成用ファイルとしても用いる。
図1に戻り、ログデータ分析装置100の機能ブロックの説明を続ける。
分析条件設定部110は、ログデータ分析装置100がログデータファイル200を分析するための条件である分析条件を入力して、入力した分析条件を分析条件DB111に記憶する。分析条件設定部110は、予め、ログデータ分析装置100の利用者により指定された分析の基準となる分析条件(各種情報)を入力する。例えば、分析条件設定部110は、分析対象ファイルとするログデータファイル200の期間を「分析期間112」として入力する。分析条件設定部110は、分析の対象とするログデータファイル200の分析に必要な情報が記録されているログデータファイル200の列位置を「情報記録列113」として入力する。また、分析条件設定部110は、「所定の時間」内に連続して発生しているログデータを関連あるログデータであるとして抽出するための「所定の時間」の時間幅を「判断時間114」として入力する。分析条件設定部110は、ログデータ分析装置100により分析対象ファイルの各ログデータに設定されたログデータの判定値において、所定の基準値以上であれば信頼持てると判断する際の所定の基準値を「判定基準値115」として入力する。分析条件設定部110は、入力した「分析期間112」、「情報記録列113」、「判断時間114」、「判定基準値115」等を分析条件DB111として記憶装置に記憶する。
分析用グループ抽出部120は、分析対象ファイルの分析のために利用する分析基準情報DBの生成に用いる分析基準生成用ファイルから、連続するログデータからなるグループであって、ログ発生時刻の最も早い先頭のログデータのログ発生時刻とログ発生時刻の最も遅い末尾のログデータのログ発生時刻との差が所定の時間内であるグループを分析用グループとして複数抽出する。すなわち、分析用グループ抽出部120は、分析基準用ファイルから、判断時間114内に発生した連続するログデータのグループを分析用グループとして抽出する。分析用グループ抽出部120は、抽出した分析用グループを分析用グループ記憶部121に記憶する。すなわち、分析用グループ記憶部121には、分析用グループ抽出部120により抽出された複数の分析用グループが記憶される。
分析基準情報記録部131は、連続するログデータのログ種類の順序であるログ種類パターンと、対応するログ種類パターンの信頼値とを対応付けた分析基準情報を記憶装置に記録する。例えば、分析基準情報記録部131は、後述する分析基準情報生成部130により生成された分析基準情報を分析基準情報DB132として記憶装置に記録する。
分析基準情報生成部130は、分析用グループ抽出部120により抽出された複数の分析用グループを対象として、分析用グループに含まれる連続するログデータのログ種類の順序であるログ種類パターンが同じである分析用グループの数を処理装置によりカウントしてカウント値を生成する。分析基準情報生成部130は、生成したカウント値に対応する分析用グループの有するログ種類パターンの信頼値を、生成したカウント値を用いて算出し、算出した信頼値と生成したカウント値に対応する分析用グループの有するログ種類パターンとを対応付けた分析基準情報を生成する。例えば、分析基準情報生成部130は、生成したカウント値を、前記生成したカウント値に対応する分析用グループの信頼値として設定して分析基準情報を生成する。
本実施の形態では、分析基準情報生成部130が分析基準情報の生成の基としている分析用グループを抽出する分析基準生成用ファイルとして、分析対象ファイルとして指定されたファイルを用いている。すなわち、分析対象ファイルと分析基準生成用ファイルは同一のファイルである。しかし、分析基準生成用ファイルは、分析対象ファイルと同一のファイルでもよいし、分析対象ファイルの少なくとも一部のファイルでもよい。あるいは、分析基準生成用ファイルは、分析対象ファイルと同一の種類のファイル(例えば端末操作ログのファイル)でもよいし、他の種類の履歴データを蓄積したファイルでもよい。あるいは、ログデータファイル200の過去の期間のログデータから、異常のなかった期間を選択して、分析基準生成用ファイルとして利用してもよい。
分析部140は、分析対象ファイルに蓄積された複数のログデータの各ログデータを先頭のログデータとする連続するログデータからなる各グループであって、先頭のログデータのログ発生時刻と末尾のログデータのログ発生時刻との差が所定の時間内である各グループである分析対象グループに含まれる連続するログデータのログ種類の順序を含むログ種類パターンを、分析基準情報記録部131により記録された分析基準情報DB132に含まれるログ種類パターンの中から処理装置により取得する。分析部140は、取得したログ種類パターンに対応する信頼値に基づいて、ログ種類パターンが取得された分析対象グループの先頭のログデータが異常かどうかを判定する判定値を算出し、算出した判定値をログ種類パターンが取得された分析対象グループの先頭のログデータに設定する。このような分析部140の機能により、分析対象ファイルの各ログデータには、各ログデータが異常か否かを判定するための判定値がそれぞれ設定される。分析部140は、判定値設定部の一例である。例えば、分析部140は、取得したログ種類パターンに対応する信頼値を合算した値を、判定値として対応するログデータに設定する。
異常検出部150は、分析部140により設定された判定値に基づいて、分析対象ファイルに蓄積された複数のログデータの中から、異常なログデータを検出する。異常検出部150は、例えば、分析条件DB111から判定基準値115を取得して、分析対象ファイルに蓄積された複数のログデータの中から、判定基準値115(所定の基準値)以下の判定値が設定されているログデータを異常なログデータとして検出する。
図3は、実施の形態1に係るログデータ分析装置100の外観の一例を示す図である。図3において、ログデータ分析装置100は、システムユニット910、CRT(Cathode・Ray・Tube)やLCD(液晶)の表示装置901、キーボード902(Key・Board:K/B)、マウス903、FDD904(Flexible・Disk・ Drive)、コンパクトディスク装置905(CDD)、プリンタ装置906、スキャナ装置907などのハードウェア資源を備え、これらはケーブルや信号線で接続されている。システムユニット910は、コンピュータであり、ファクシミリ機932、電話器931とケーブルで接続され、また、ローカルエリアネットワーク942(LAN)、ゲートウェイ941を介してインターネット940に接続されている。
図4は、実施の形態1に係るログデータ分析装置100のハードウェア資源の一例を示す図である。図4において、ログデータ分析装置100は、プログラムを実行するCPU911(Central・Processing・Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう)を備えている。
CPU911は、バス912を介してROM913、RAM914、通信ボード915、表示装置901、キーボード902、マウス903、FDD904、CDD905、プリンタ装置906、スキャナ装置907、磁気ディスク装置920と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置920の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。
RAM914は、揮発性メモリの一例である。ROM913、FDD904、CDD905、磁気ディスク装置920の記憶媒体は、不揮発性メモリの一例である。これらは、記憶装置あるいは記憶部の一例である。
通信ボード915、キーボード902、スキャナ装置907、FDD904、表示装置901などは、入力部、入力装置の一例である。また、入力装置としてタッチパネル等を備えていてもよい。また、通信ボード915、表示装置901、プリンタ装置906などは、出力部、出力装置の一例である。
通信ボード915は、電話回線網を介してファクシミリ機932、電話器931(携帯電話を含む)に接続されている。また、通信ボード915は、LAN942等に接続されている。通信ボード915は、LAN942に限らず、インターネット940、ISDN等のWAN(ワイドエリアネットワーク)などに接続されていても構わない。インターネット940或いはISDN等のWANに接続されている場合、ゲートウェイ941は不用となる。
磁気ディスク装置920には、オペレーティングシステム921(OS)、ウィンドウシステム922、プログラム群923、ファイル群924が記憶されている。プログラム群923のプログラムは、CPU911、オペレーティングシステム921、ウィンドウシステム922により実行される。
上記プログラム群923には、以下に述べる実施の形態の説明において「〜部」、「〜手段」として説明する機能を実行するプログラムが記憶されている。プログラムは、CPU911により読み出され実行される。ファイル群924には、以下に述べる実施の形態の説明において、「〜の判定結果」、「〜の計算結果」、「〜の処理結果」として説明する情報やデータや信号値や変数値やパラメータが、「〜ファイル」、「〜データベース」、「〜データ」の各項目として記憶されている。「〜ファイル」、「〜データベース」、「〜データ」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してCPU911によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのCPUの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示のCPUの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、以下に述べる実施の形態の説明において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、RAM914のメモリ、FDD904のフレキシブルディスク、CDD905のコンパクトディスク、磁気ディスク装置920の磁気ディスク、その他光ディスク、ミニディスク、DVD(Digital・Versatile・Disk)等の記録媒体に記録される。また、データや信号は、バス912や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
また、以下に述べる実施の形態の説明において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」、「手段」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ROM913に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等の記録媒体に記憶される。プログラムはCPU911により読み出され、CPU911により実行される。すなわち、プログラムは、以下に述べる「〜部」としてコンピュータを機能させるものである。あるいは、以下に述べる「〜部」の手順や方法をコンピュータに実行させるものである。
次に、本実施の形態に係るログデータ分析装置100のログデータ分析方法及びログデータ分析プログラムのログデータ分析処理について説明する。
図5は、実施の形態1に係る分析条件設定処理の流れを示すフロー図である。
まず、S101において、分析条件設定部110は、ログデータファイル200のうち分析対象とする分析期間112を入力装置により入力する。分析期間112は、分析対象とする期間として、ログデータ200xの発生日時の期間を指定する。例えば、分析期間112として、「2009/08/01/12:00:00から2009/08/01/13:00:00まで」のように利用者により指定される。分析条件設定部110は、入力した分析期間112を分析条件DB111に記録する。
次に、S102〜S104において、分析条件設定部110は、ログデータファイル200の有する情報(項目)のうち、分析に用いる情報(項目)を入力装置により入力する。例えば、利用者は、ログデータファイル200の有する情報(項目)のうちの分析に用いる情報(項目)を、ログデータファイル200の列を入力することによって指定する。
S102において、分析条件設定部110は、分析に用いる「ログ発生日時」の情報として、「ログ発生日時」項目を指定する。例えば、分析条件設定部110は、「ログ発生日時」の情報として、ログデータファイル200の列「A列」(図2参照)を入力する。
S103において、分析条件設定部110は、分析に用いる「ログ種類」の情報として、「ログソース」項目を指定する。例えば、分析条件設定部110は、「ログ種類」の情報として、ログデータファイル200の列「B列」(図2参照)を入力する。
S104において、分析条件設定部110は、分析に用いる「ログ種類」の情報として、「ログ操作種類」項目を指定する。例えば、分析条件設定部110は、「ログ種類」の情報として、ログデータファイル200の列「C列」(図2参照)を入力する。
分析条件設定部110は、S102からS104において入力したログデータファイル200の列を情報記録列113として分析条件DB111に記録する。これにより、ログデータ分析装置100は、ファイルの分析の処理に用いる情報(「ログ発生日時」及び「ログ種類」)と、その情報に対応する分析対象ファイルの情報とが関連付けられる。このような処理を行うことで、「ログ発生日時」及び「ログ種類」となる情報を有するログデータファイルであれば、どのような構成を有していてもログデータ分析装置100の分析対象ファイルとして適用することができる。あるいは、ログデータ分析装置100は、情報記録列113を記録せず、予め定義された「ログ発生日時」及び「ログ種類」とを有するログデータファイルのみを分析対象ファイルとして適用するとしてもよい。
S105において、分析条件設定部110は、所定の時間内に連続して発生しているログデータを関連ある複数のログデータのグループ(関連ログ)であると判別するための時間幅を、「判断時間114」をして入力装置より入力する。利用者は、例えば、「判断時間114」として、「15秒」、「30秒」、「1分」等の時間幅を指定する。分析条件設定部110は、指定された「判断時間114」を分析条件DB111に記録する。
S106において、分析条件設定部110は、分析の結果として導き出される各ログデータの判定値において、所定の基準値(数値)以上であれば異常ではないと判断するための「判定基準値115」を入力装置により入力する。分析条件設定部110は、入力した判定基準値115を分析条件DB111に記録する。
以上の処理により、分析条件設定部110は、分析条件DB111に「分析期間112」、「情報記録列113」、「判断時間114」、「判定基準値115」を設定する。ログデータ分析装置100は、例えば、分析条件設定画面(図示なし)を表示装置に表示して、利用者に「分析期間112」、「情報記録列113」、「判断時間114」、「判定基準値115」を入力させる。
図6は、実施の形態1に係る分析用グループ抽出処理の流れを示すフロー図である。
S201において、分析用グループ抽出部120は、分析条件DB111から分析期間112を処理装置により読み出す。分析用グループ抽出部120は、ログデータファイル200に蓄積された複数のログデータ200xから、分析期間112に発生した連続するログデータを分析基準生成用ファイルとして処理装置により取得する。
本実施の形態では、S201において取得された分析基準生成用ファイルは、ログデータ分析装置100の分析対象である分析対象ファイルでもある。すなわち、本実施の形態のログデータ分析装置100では、分析対象ファイルと、分析基準生成用ファイルとが同じ内容のファイルである。
例えば、分析条件設定部110は、分析基準生成用ファイルを指定するための分析基準生成用ファイルの期間(分析基準生成用期間)を予め入力し、入力した分析基準生成用期間を分析条件DB111に記録しておく。そして、分析用グループ抽出部120は、分析条件DB111に記録された分析基準生成用期間を読み出して、読み出した分析基準生成用期間に発生したログデータを、ログデータファイル200から取得して分析基準生成用ファイルとしてもよい。
S202において、分析用グループ抽出部120は、分析基準生成用ファイルの各ログデータに、各ログデータを一意に識別するための値であるログデータIDを設定する。
S204において、分析用グループ抽出部120は、分析基準生成用ファイルからログデータを取り出し処理対象ログデータとする。また、分析用グループ抽出部120は、分析条件DB111から判断時間114を読み出す。S205において、分析用グループ抽出部120は、処理対象ログデータのログ発生日時から判断時間114以内に発生した連続するログデータを、分析基準生成用ファイルから処理装置を用いて抽出する。分析用グループ記憶部121は、抽出した連続するログデータを分析用グループとして記憶装置に記憶する。分析用グループ記憶部121は、分析用グループの含む連続するログデータのログデータIDを分析用グループとして記憶装置に記憶してもよい。
分析用グループ抽出部120及び分析用グループ記憶部121は、S204からS205の処理を、分析基準生成用ファイルに含まれるすべてのログデータについて実行する。
つまり、分析用グループ抽出処理は、処理対象ログデータの発生時刻以降、かつ、分析条件DB111から読み込んだ判断時間114の幅以内に発生している連続するログデータ同士を「時間的関連性があるもの」とする分析手法である。
図7は、分析用グループ抽出処理の一例を図式化して示した図である。
図7では、分析期間112は「2009/08/01 12:00から2009/08/01 13:00」であり、判断時間114は「15秒」である。分析基準生成用ファイルの1行目のログデータについて、1行目のログデータのログ発生日時から判断時間114「15秒」以内に発生したログデータであって、1行目のログデータから連続するログデータは、ログデータID「2」、「3」、「4」のログデータである。すなわち、1行目のログデータに対する分析用グループ1211は、1行目から4行目までのログデータとなる。また、分析基準生成用ファイルの2行目のログデータについて、2行目のログデータのログ発生日時から判断時間114「15秒」以内に発生したログデータであって、1行目のログデータから連続するログデータは、ログデータID「3」、「4」のログデータである。すなわち、2行目のログデータに対する分析用グループ1212は、2行目から4行目までのログデータとなる。
図8は、実施の形態1に係る分析基準情報生成処理の流れを示すフロー図である。
S302において、分析基準情報生成部130は、分析用グループ抽出処理において抽出された複数の分析用グループ(分析用グループ記憶部121)の中から、処理対象の分析用グループ(以下、処理対象分析用グループとする)を取り出す。
S303において、分析基準情報生成部130は、分析用グループ記憶部121の中から、処理対象分析用グループに含まれる連続するログデータのログ種類(ログソース及びログ操作種類)の順序であるログ種類パターンが同じである分析用グループがあるか否かを処理装置により判断する。分析基準情報生成部130は、処理対象分析用グループと同じログ種類パターン(以下、処理対象ログ種類パターンとする)があると判断した場合には、S304へ進む。分析基準情報生成部130は、処理対象ログ種類パターンがないと判断した場合には、S302へ戻る。
また、分析基準情報生成部130は、S302において取り出した処理対象分析用グループの処理対象ログ種類パターンが、既に処理対象となったことのあるログ種類パターンと同一である場合には、次の処理対象分析用グループを取り出すとしてもよい。
S304において、分析基準情報生成部130は、処理対象ログ種類パターンと同一のログ種類パターンの分析用グループを、分析用グループ記憶部121に記憶されている複数の分析用グループを対象として処理装置によりカウントする。分析基準情報生成部130は、カウントした値を処理対象カウント値とし、処理対象分析用グループのログ種類パターン(処理対象ログ種類パターン)と対応付けて処理装置により一時記憶する。
S305において、分析基準情報記録部131は、処理対象ログ種類パターンの信頼値として、S304にて一時記憶された処理対象ログ種類パターンの処理対象カウント値を設定して、処理対象ログ種類パターンと信頼値とを対応付けて分析基準情報DB132に処理装置により記憶する。
分析基準情報生成部130及び分析基準情報記録部131は、分析用グループ記憶部121の中に処理対象としていない分析用グループが存在する間、S302からS305の処理を繰り返す。
図9は、分析基準情報生成処理により生成される分析基準情報DBの構成を示す図である。
図9に示すように、1行目のログに対する分析用グループ1211のログ種類パターン1311は、“「Image.exe/起動」「Image.exe/印刷」「Demo.exe/起動」「Image.exe/書出し」”である。例えば、このログ種類パターン1311を、処理対象分析用グループに含まれる連続するログデータのログ種類(ログソース及びログ操作種類)の順序であるログ種類パターンとする。n行目のログに対する分析用グループ121nのログ種類パターン131nは、“「Image.exe/起動」「Image.exe/印刷」「Demo.exe/起動」「Image.exe/書出し」”である。例えば、このログ種類パターン131nを、ログ種類パターンが同じである分析用グループのログ種類パターンであるとする。そうすると、分析基準情報生成部130は、ログ種類パターン1311とログ種類パターン131nとが同一であると判断してカウントする。
分析基準情報生成部130は、ログ種類パターン1311と同一のログ種類パターンのカウントが終了し、ログ種類パターン1311のカウント値は「31」であるとする。分析基準情報記録部131は、分析基準情報DB132に、ログ種類パターン1311を設定し、対応するカウント値「31」をログ種類パターン1311に対応付けて設定する。さらに、分析基準情報記録部131は、ログ種類パターン1311を一意に識別するパターンID「P1」を設定する。
ここでは、例えば、ログ種類パターン1311をカウントしたカウント値「31」を、そのままログ種類パターン1311の信頼値「31」としている。つまり、ログ種類パターン1311の信頼値「31」とは、分析用グループ記憶部121の中に、ログ種類パターン1311を有する分析用グループが31個あることを意味している。カウント値は、数が多ければ多い程、対象のログ種類パターンが通常多く行われる操作のパターンであることを意味する。反対に、カウント値の数が少なければ、対象のログ種類パターンは、通常行われない操作のパターンであると考えられ、異常な操作の可能性が高いことを意味する。したがって、カウント値を信頼値とすることは、対象のログ種類パターンの信頼の度合いを意味する数値として適している。
その他、カウント値を用いて信頼値を算出する方法としては、例えば、通常のログ種類パターン(操作パターン)の始まりとして信頼度が高いと考えられる「起動」が対象のログ種類パターンの先頭にある場合には、カウント値に所定の重み付けをした値を信頼値にする等の方法を適用してもよい。
本実施の形態の分析基準情報生成処理では、処理対象分析用グループのログ種類パターンと同一のログ種類パターンを有する分析用グループをカウントして分析基準情報DB132を生成した。あるいは、例えば、次のような条件でカウントすることにより分析基準情報DB132を生成してもよい。
例えば、図8のS302において、分析基準情報生成部130は、分析用グループ記憶部121から分析用グループ(端末操作ログパターン)を順次1グループずつとして取込む。この1グループを処理対象分析用グループとする。そして、分析基準情報生成部130は、処理対象分析用グループのログ種類パターンが次の条件と一致するログ種類パターンを検出する。まず、分析基準情報生成部130は、処理対象分析用グループの1行目に記録されたログソース及びログ操作種類が同一な分析用グループ(操作パターン)を「情報類似性があるもの」とし、この条件に一致するものを分析用グループ記憶部121から抽出する。次に、分析基準情報生成部130は、処理対象分析用グループのログ種類パターンに記録されたログ種類を上から順に確認し、そのログ種類の順番と同一の組み合わせが、比較の対象とする分析用グループ群(すなわち、分析用グループ記憶部121内の処理対象分析用グループ以外の分析用グループ)のログ種類パターンにも存在するものを「順序関係性があるもの」として、存在する分析用グループを抽出する。このような処理によって、例えば、Aというケースのログデータと、B、Cというログデータが順に組み合わさっているログ種類パターンを検出した場合、そのログ種類パターンを基準ログ種類パターンとして記録すると共に、基準ログ種類パターンの検出件数を「カウント値(パターン信頼値)」として数値で記録する。以上の処理を分析用グループ記憶部121内の全分析用グループに対して行なう。
図10は、実施の形態1に係る分析処理の流れを示すフロー図である。分析処理は、判定値設定処理の一例である。
S402において、分析部140は、分析対象ファイルから処理対象ログデータを1行(1レコード)取り出す。
S403において、分析部140は、分析基準情報DB132に含まれるログ種類パターンのうち、処理対象ログデータのログ種類(ログソース及びログ操作種類)と同一のログ種類がログ種類パターンの1行目(先頭)に設定されているログ種類パターンがあるか否かを処理装置により判断する。分析部140は、処理対象ログデータのログ種類(ログソース及びログ操作種類)が先頭に設定されているログ種類パターンがあると判断した場合には(S403でYES)、S404へ進む。分析部140は、処理対象ログデータのログ種類(ログソース及びログ操作種類)が先頭に設定されているログ種類パターンがないと判断した場合には(S403でNO)、S402へ戻る。
S404において、分析部140は、処理対象ログデータを先頭として、連続する複数のログデータであって、処理対象ログデータのログ発生日時から判断時間114以内に発生したログデータを処理対象グループとして処理対象ファイルから処理装置により抽出する。分析部140は、抽出した処理対象グループのログ種類の順序パターンであるログ種類パターンを含むログ種類パターンが、分析基準情報DB132にあるか否かを処理装置により判断する。分析部140は、処理対象グループのログ種類パターンを含むログパターンがあると判断した場合には(S404にてYES)、S405へ進む。分析部140は、処理対象グループのログ種類パターンを含むログ種類パターンがないと判断した場合には(S404にてNO)、S402へ戻る。
S405において、分析部140は、分析基準情報DB132から、処理対象グループのログ種類パターンを含むログ種類パターン(ログパターンID)を処理装置により抽出する。分析部140は、抽出した処理対象グループのログ種類パターンを含むログ種類パターンが複数ある場合には、抽出した複数のログ種類パターンに対応する複数の信頼値を処理装置により合算して判定値とする。分析部140は、算出した判定値を処理対象グループの先頭のログデータ、すなわち処理対象ログデータの判定値として、処理対象ログデータに設定する。
分析部140は、分析対象ファイルに分析していないログデータが存在する間、すなわち判定値が設定されていないログデータ存在する間、S402からS405の処理を繰り返す。
図11は、分析処理(判定値設定処理)を図式化した図である。図11を用いて、分析処理の具体例について説明する。
図11において、分析対象ファイルの1行目のログデータを処理対象ログデータとする場合の、分析処理について説明する。まず、分析処理では、1行目のログデータを先頭として、判断時間114「15秒」以内に発生した連続するログデータを処理対象グループとする。
処理対象グループのログ種類パターン(処理対象ログパターンとする)は、「Image.exe/起動」「Image.exe/印刷」「Demo.exe/起動」「Image.exe/書出し」である。分析基準情報DB132から、処理対象ログ種類パターンを含むログ種類パターンの情報(ログパターンID)を抽出し、以下の2つの情報が抽出されたとする。抽出された2つの情報は、「パターンID「P1」、ログ種類パターン:「Image.exe/起動」「Image.exe/印刷」「Demo.exe/起動」「Image.exe/書出し」、信頼値:「31」」の情報と、「パターンID「P10」、ログ種類パターン:「Image.exe/起動」「Image.exe/印刷」「Demo.exe/起動」「Image.exe/書出し」「Demo.exe/終了」、信頼値:「10」」の情報である。
分析部140は、抽出した2つのログ種類パターン(パターンID「P1」と「P10」)に設定されている信頼値「31」と「11」とを合算して「42」とし、合算した値を処理対象グループの先頭のログデータ、すなわち処理対象ログデータの判定値として処理対象ログデータに設定する。このように、1行目のログデータの判定値は、「42」と設定される。
以上の処理を処理対象ファイルの各ログデータについて実行することにより、処理対象ファイルの各ログデータについて判定値がそれぞれ設定される。
以上の分析処理(判定値設定処理)を換言して、以下に説明する。
S402において、分析部140は、分析対象ファイルのログデータを順次1行ずつとして取込み(この1行を以下処理対象ログデータとする)、分析基準情報DB132に記録されているログ種類パターン(以下、基準ログ種類パターン)と比較を行なう。比較方法は以下の2つ(2段階)ある。(1)処理対象ログデータに書かれたログソース及びログ操作種類の情報が、比較を行なう基準ログ種類パターンの1行目におけるログソース・種類と一致するものを、同一ログソース・種類から発生しているものである「情報元に一致があるもの」とする比較、(2)比較を行なう処理対象ログデータの行以降に発生しているログデータが、基準ログ種類パターンで組み合わされているログデータのパターンと同じ順番で「判断時間114」内に発生しているものを「順序に関連性があるもの」とする比較。(1)及び(2)の比較の結果、処理対象ログデータの行に関連して一致する基準ログ種類パターンが検出された場合には、その行に対して検出された基準ログ種類パターンの信頼値を設定する。以上の処理を分析対象ファイルのログデータ全行に対して行なう。
S402において、分析部140は、分析対象ファイルのログデータを順次1行ずつとして取込み(この1行を以下処理対象ログデータとする)、分析基準情報DB132に記録されているログ種類パターン(以下、基準ログ種類パターン)と比較を行なう。比較方法は以下の2つ(2段階)ある。(1)処理対象ログデータに書かれたログソース及びログ操作種類の情報が、比較を行なう基準ログ種類パターンの1行目におけるログソース・種類と一致するものを、同一ログソース・種類から発生しているものである「情報元に一致があるもの」とする比較、(2)比較を行なう処理対象ログデータの行以降に発生しているログデータが、基準ログ種類パターンで組み合わされているログデータのパターンと同じ順番で「判断時間114」内に発生しているものを「順序に関連性があるもの」とする比較。(1)及び(2)の比較の結果、処理対象ログデータの行に関連して一致する基準ログ種類パターンが検出された場合には、その行に対して検出された基準ログ種類パターンの信頼値を設定する。以上の処理を分析対象ファイルのログデータ全行に対して行なう。
図12は、実施の形態1における異常検出処理の流れを示すフロー図である。
S501において、異常検出部150は、分析対象ファイルの各ログデータに設定された各判定値と、分析条件DB111に記録されている判定基準値115とを処理装置によりそれぞれ比較する。異常検出部150は、比較した結果、判定基準値115以下の判定値が設定されているログデータを、異常なログデータとして分析対象ファイルから検出する。異常検出部150は、例えば、異常なログデータとして検出されたログデータに異常フラグを設定する。
S502において、異常検出部150は、分析結果を表示装置に表示する。異常検出部150は、例えば、分析対象ファイルのログデータのうち、異常フラグが設定されているログデータに、警告マークを付して表示装置に表示する。
図13は、異常検出処理により表示された分析対象ファイル分析結果の一例を示す図である。図13に示すように、異常検出部150は、分析対象ファイルの各ログデータに各判定値を設定したものを、「分析対象ファイル分析結果」として表示装置に表示する。さらに、異常検出部150は、例えば、異常フラグが設定されているログデータが正常なログデータと区別されるように表示する。異常検出部150は、例えば、異常なログデータのセルの色やセルのパターンを変えたり、異常なログデータを丸や四角で囲んだりして、正常なログデータと区別できるように表示する。また、異常検出部150は、事前に設定されている判定基準値115を分析対象ファイル分析結果とともに表示してもよい。
図13では、異常なログデータを楕円で囲んで区別するとともに、分析対象ファイル分析結果の下部に判定基準値115を表示する例を示している。
例えば、ログデータID「7」のログデータは、判定値が「1」であり、基準判定値「5」に満たない。このようなログデータは、この後の操作を考慮すると、信頼の持てない操作(ここでは、メールの内容が持ち出された可能性のあるケース)の始まりであると考えられ異常なログデータとして検出される。
例えば、ログデータID「1」のログデータは、判定値が「42」であり、基準判定値「5」を十分に満たす。このようなログデータは、この後の操作を考慮すると、信頼の持てる操作の始まりであると考えられ異常なログデータとして検出されない。例えば、文章編集ソフトを起動し、「印刷」「ファイル保存」を行ったケース(K11)である。あるいは、ログデータID「2」のログデータは、判定値が「31」であり、基準判定値「5」を十分に満たす。このようなログデータも、この後の操作を考慮すると、信頼の持てる操作の始まりであると考えられ異常なログデータとして検出されない。例えば、メールソフトを起動し、「メール送受信」を行ったケース(K12)である。
以上の異常検出処理を換言して、以下に説明する。
異常検出部150は、分析対象ファイルの各ログデータ(各行)に記録された判定値と判定基準値115とを比較し、判定基準値115を満たさない判定値の行を、信頼のもてない異常な操作が行なわれている可能性がある箇所と判断し、判定基準値115を満たしている行を信頼が十分な信頼の持てる操作が行なわれている箇所であると判断する。その結果、表示装置に判定基準値115を満たさなかったログデータを示すことでログデータ分析装置100の分析結果とする。
異常検出部150は、分析対象ファイルの各ログデータ(各行)に記録された判定値と判定基準値115とを比較し、判定基準値115を満たさない判定値の行を、信頼のもてない異常な操作が行なわれている可能性がある箇所と判断し、判定基準値115を満たしている行を信頼が十分な信頼の持てる操作が行なわれている箇所であると判断する。その結果、表示装置に判定基準値115を満たさなかったログデータを示すことでログデータ分析装置100の分析結果とする。
本実施の形態では、以下のようなログデータ分析装置100について説明した。
実施の形態1に係るログデータ分析装置100は、(1)分析対象ファイルの分析の基準となる各種情報を操作者が予め指定するための部分(分析条件設定部110)と、(2)分析の基準とされた分析基準生成用ファイルのログデータの傾向パターンを解析する部分(分析用グループ抽出部120)と、(3)ログデータの傾向パターン同士を照らし合わせてパターン自体の信頼性を算出する部分(分析基準情報生成部130、分析基準情報記録部131)と、(4)ログの傾向パターンと、任意のログを比較してログの差異を検出する部分(分析部140)と、(5)及び(4)の結果導き出される異常な操作が行なわれている可能性のあるログを画面に表示する部分(異常検出部150)とを備えることを特徴とする。
実施の形態1に係るログデータ分析装置100は、(1)分析対象ファイルの分析の基準となる各種情報を操作者が予め指定するための部分(分析条件設定部110)と、(2)分析の基準とされた分析基準生成用ファイルのログデータの傾向パターンを解析する部分(分析用グループ抽出部120)と、(3)ログデータの傾向パターン同士を照らし合わせてパターン自体の信頼性を算出する部分(分析基準情報生成部130、分析基準情報記録部131)と、(4)ログの傾向パターンと、任意のログを比較してログの差異を検出する部分(分析部140)と、(5)及び(4)の結果導き出される異常な操作が行なわれている可能性のあるログを画面に表示する部分(異常検出部150)とを備えることを特徴とする。
実施の形態1に係るログデータ分析装置100のログデータ分析方法は、分析用グループ抽出部120が、分析対象ファイルの端末操作ログにて任意の操作ログが発生後、事前に操作者により指定された「判断時間」の間に発生した複数の操作ログを一つのログの組合せであるパターンとし、分析用グループとして抽出する。分析基準情報生成部130(及び分析基準情報記録部131)が、分析用グループ抽出部120で抽出したパターン(分析用グループ)を互いに比較し、組合せ中に記録された操作ログが記録されている順番が同一のものを検出し、同一のものが検出された場合にはその検出回数を該当パターンの「信頼値」として記録する。分析部140では、端末操作ログと端末操作パターンを比較し、パターンが一致した場合にはそのパターンに設定された「信頼値」をパターンと一致した端末操作ログの行に判定値として設定する。異常検出部150では、端末操作ログに記録された「判定値」と事前に操作者により指定された「判定基準値」とを比較して判定基準値より小さいものを信頼の持てない操作ログと判断し、一方大きいものを信頼の持てる操作ログと判断する。
本実施の形態に係るログデータ分析装置100によれば、ログデータのログ種類パターンを解析するパターン解析部(分析用グループ抽出部、分析基準情報生成部)と、解析結果のログ種類パターンと分析対象ファイルのログデータのログ種類パターンとをする比較して分析対象ファイルを分析する分析部とを有することで、複数のログデータの中にあるログ種類パターンとのずれを発見可能とすることができる。
本実施の形態に係るログデータ分析装置100によれば、問題が発生している可能性のあるログデータの箇所をピンポイントで押さえることが可能となる。このため、本実施の形態に係るログデータ分析装置100によれば、担当者がログデータを目視で確認する時間を抑えるとともに、担当者の技術に関わらずぶれの無い分析結果を導き出すことが可能となる。
100 ログデータ分析装置、110 分析条件設定部、111 分析条件DB、112 分析期間、113 情報記録列、114 判断時間、115 判定基準値、120 分析用グループ抽出部、121 分析用グループ記憶部、130 分析基準情報生成部、131 分析基準情報記録部、132 分析基準情報DB、140 分析部、150 異常検出部、200 ログデータファイル、901 表示装置、902 キーボード、903 マウス、904 FDD、905 CDD、906 プリンタ装置、907 スキャナ装置、910 システムユニット、911 CPU、912 バス、913 ROM、914 RAM、915 通信ボード、920 磁気ディスク装置、921 OS、922 ウィンドウシステム、923 プログラム群、924 ファイル群、931 電話器、932 ファクシミリ機、940 インターネット、941 ゲートウェイ、942 LAN、5001,5002,5003 システム、1211,121n 分析用グループ、1311,131n ログ種類パターン。
Claims (8)
- ログデータの発生時刻を示すログ発生時刻とログデータの種類を示すログ種類とを含むログデータがログ発生時刻順に連続して複数蓄積されている分析対象ファイルを分析するログデータ分析装置において、
連続するログデータのログ種類の順序であるログ種類パターンと、対応するログ種類パターンの信頼値とを対応付けた分析基準情報を記録する分析基準情報記録部と、
前記分析対象ファイルに蓄積された複数のログデータの各ログデータを先頭のログデータとする連続するログデータからなる各グループであって、先頭のログデータのログ発生時刻と末尾のログデータのログ発生時刻との差が所定の時間内である各グループである分析対象グループに含まれる連続するログデータのログ種類の順序を含むログ種類パターンを、前記分析基準情報記録部により記録された分析基準情報に含まれるログ種類パターンの中から処理装置により取得し、取得したログ種類パターンに対応する信頼値に基づいて、ログ種類パターンが取得された分析対象グループの先頭のログデータが異常かどうかを判定する判定値を処理装置により算出し、算出した判定値をログ種類パターンが取得された分析対象グループの先頭のログデータに設定する判定値設定部と、
前記判定値設定部により設定された判定値に基づいて、前記分析対象ファイルに蓄積された複数のログデータの中から、異常なログデータを処理装置により検出する異常検出部とを備えることを特徴とするログデータ分析装置。 - 前記ログデータ分析装置は、さらに、
ログデータの発生時刻を示すログ発生時刻とログデータの種類を示すログ種類とを含むログデータがログ発生時刻順に連続して複数蓄積されている分析基準生成用ファイルから、連続するログデータであって、所定の期間内に発生した複数のログデータからなるグループを分析用グループとして処理装置により複数抽出する分析用グループ抽出部と、
前記分析用グループ抽出部により抽出された複数の分析用グループを対象として、分析用グループに含まれる連続するログデータのログ種類の順序であるログ種類パターンが同じである分析用グループの数を処理装置によりカウントしてカウント値を生成し、生成したカウント値に対応する分析用グループの有するログ種類パターンの信頼値を、生成したカウント値を用いて処理装置により算出し、算出した信頼値と生成したカウント値に対応する分析用グループの有するログ種類パターンとを対応付けた前記分析基準情報を生成する分析基準情報生成部とを備える
ことを特徴とする請求項1に記載のログデータ分析装置。 - 前記分析基準情報生成部は、
前記生成したカウント値を、前記生成したカウント値に対応する分析用グループの有するログ種類パターンの信頼値として設定することを特徴とする請求項2に記載のログデータ分析装置。 - 前記判定値設定部は、
前記取得したログ種類パターンに対応する信頼値を合算した値を、前記判定値として設定することを特徴とする請求項2または3に記載のログデータ分析装置。 - 前記分析用グループ抽出部は、
前記分析対象ファイルの少なくとも一部を、前記分析基準生成用ファイルとすることを特徴とする請求項2から4のいずれかに記載のログデータ分析装置。 - 前記異常検出部は、
前記分析対象ファイルに蓄積された複数のログデータの中から、所定の基準値以下の判定値が設定されているログデータを前記異常なログデータとして検出する
ことを特徴とする請求項1から5のいずれかに記載のログデータ分析装置。 - ログデータの発生時刻を示すログ発生時刻とログデータの種類を示すログ種類とを含むログデータがログ発生時刻順に連続して複数蓄積されている分析対象ファイルを分析するログデータ分析装置のログデータ分析方法において、
分析基準情報記録部が、連続するログデータのログ種類の順序であるログ種類パターンと、対応するログ種類パターンの信頼値とを対応付けた分析基準情報を記録する分析基準情報記録ステップと、
判定値設定部が、前記分析対象ファイルに蓄積された複数のログデータの各ログデータを先頭のログデータとする連続するログデータからなる各グループであって、先頭のログデータのログ発生時刻と末尾のログデータのログ発生時刻との差が所定の時間内である各グループである分析対象グループに含まれる連続するログデータのログ種類の順序を含むログ種類パターンを、前記分析基準情報記録ステップにより記録された分析基準情報に含まれるログ種類パターンの中から処理装置により取得し、取得したログ種類パターンに対応する信頼値に基づいて、ログ種類パターンが取得された分析対象グループの先頭のログデータが異常かどうかを判定する判定値を処理装置により算出し、算出した判定値をログ種類パターンが取得された分析対象グループの先頭のログデータに設定する判定値設定ステップと、
異常検出部が、前記判定値設定ステップにより設定された判定値に基づいて、前記分析対象ファイルに蓄積された複数のログデータの中から、異常なログデータを処理装置により検出する異常検出ステップと
を備えることを特徴とするログデータ分析装置のログデータ分析方法。 - ログデータの発生時刻を示すログ発生時刻とログデータの種類を示すログ種類とを含むログデータがログ発生時刻順に連続して複数蓄積されている構成を有する分析対象ファイルを分析する処理をコンピュータであるログデータ分析装置に実行させるログデータ分析プログラムにおいて、
連続するログデータのログ種類の順序であるログ種類パターンと、対応するログ種類パターンの信頼値とを対応付けた分析基準情報を記録する分析基準情報記録処理と、
前記分析対象ファイルに蓄積された複数のログデータの各ログデータを先頭のログデータとする連続するログデータからなる各グループであって、先頭のログデータのログ発生時刻と末尾のログデータのログ発生時刻との差が所定の時間内である各グループである分析対象グループに含まれる連続するログデータのログ種類の順序を含むログ種類パターンを、前記分析基準情報記録処理により記録された分析基準情報に含まれるログ種類パターンの中から処理装置により取得し、取得したログ種類パターンに対応する信頼値に基づいて、ログ種類パターンが取得された分析対象グループの先頭のログデータが異常かどうかを判定する判定値を処理装置により算出し、算出した判定値をログ種類パターンが取得された分析対象グループの先頭のログデータに設定する判定値設定処理と、
前記判定値設定処理により設定された判定値に基づいて、前記分析対象ファイルに蓄積された複数のログデータの中から、異常なログデータを処理装置により検出する異常検出処理とを、前記コンピュータであるログデータ分析装置に実行させることを特徴とするログデータ分析プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009215765A JP2011065440A (ja) | 2009-09-17 | 2009-09-17 | ログデータ分析装置及びログデータ分析装置のログデータ分析方法及びログデータ分析プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009215765A JP2011065440A (ja) | 2009-09-17 | 2009-09-17 | ログデータ分析装置及びログデータ分析装置のログデータ分析方法及びログデータ分析プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011065440A true JP2011065440A (ja) | 2011-03-31 |
Family
ID=43951615
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009215765A Pending JP2011065440A (ja) | 2009-09-17 | 2009-09-17 | ログデータ分析装置及びログデータ分析装置のログデータ分析方法及びログデータ分析プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011065440A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013038489A1 (ja) * | 2011-09-13 | 2013-03-21 | 株式会社日立製作所 | 計算機システム、クライアント計算機の管理方法及び記憶媒体 |
JP2013175085A (ja) * | 2012-02-27 | 2013-09-05 | Nec Corp | リソースキャパシティ予測装置、方法およびプログラム |
US9059819B2 (en) | 2010-02-12 | 2015-06-16 | Qualcomm Incorporated | Flexible uplink control channel configuration |
CN106055450A (zh) * | 2016-05-20 | 2016-10-26 | 北京神州绿盟信息安全科技股份有限公司 | 一种二进制日志解析方法及装置 |
JP2017126283A (ja) * | 2016-01-15 | 2017-07-20 | 富士通株式会社 | 検知プログラム、検知方法および検知装置 |
JP2018163574A (ja) * | 2017-03-27 | 2018-10-18 | サクサ株式会社 | ログ管理装置及びログ管理用プログラム |
KR101985850B1 (ko) * | 2018-12-11 | 2019-09-30 | 넷마블 주식회사 | 이상 로그 탐지를 위한 탐지 장치 및 이의 동작 방법과 트레이닝 장치 및 이의 동작 방법 |
CN111984516A (zh) * | 2020-09-02 | 2020-11-24 | 大连大学 | 基于sgse-ecc的日志异常检测系统 |
US11574211B2 (en) | 2017-09-27 | 2023-02-07 | Nec Corporation | Log analysis system, log analysis method, log analysis program, and storage medium |
CN116166967A (zh) * | 2023-04-21 | 2023-05-26 | 深圳开鸿数字产业发展有限公司 | 基于元学习与残差网络的数据处理方法、设备和存储介质 |
-
2009
- 2009-09-17 JP JP2009215765A patent/JP2011065440A/ja active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9059819B2 (en) | 2010-02-12 | 2015-06-16 | Qualcomm Incorporated | Flexible uplink control channel configuration |
WO2013038489A1 (ja) * | 2011-09-13 | 2013-03-21 | 株式会社日立製作所 | 計算機システム、クライアント計算機の管理方法及び記憶媒体 |
JP2013175085A (ja) * | 2012-02-27 | 2013-09-05 | Nec Corp | リソースキャパシティ予測装置、方法およびプログラム |
JP2017126283A (ja) * | 2016-01-15 | 2017-07-20 | 富士通株式会社 | 検知プログラム、検知方法および検知装置 |
CN106055450A (zh) * | 2016-05-20 | 2016-10-26 | 北京神州绿盟信息安全科技股份有限公司 | 一种二进制日志解析方法及装置 |
CN106055450B (zh) * | 2016-05-20 | 2019-07-02 | 北京神州绿盟信息安全科技股份有限公司 | 一种二进制日志解析方法及装置 |
JP2018163574A (ja) * | 2017-03-27 | 2018-10-18 | サクサ株式会社 | ログ管理装置及びログ管理用プログラム |
US11574211B2 (en) | 2017-09-27 | 2023-02-07 | Nec Corporation | Log analysis system, log analysis method, log analysis program, and storage medium |
KR101985850B1 (ko) * | 2018-12-11 | 2019-09-30 | 넷마블 주식회사 | 이상 로그 탐지를 위한 탐지 장치 및 이의 동작 방법과 트레이닝 장치 및 이의 동작 방법 |
CN111984516A (zh) * | 2020-09-02 | 2020-11-24 | 大连大学 | 基于sgse-ecc的日志异常检测系统 |
CN111984516B (zh) * | 2020-09-02 | 2024-01-05 | 大连大学 | 基于sgse-ecc的日志异常检测系统 |
CN116166967A (zh) * | 2023-04-21 | 2023-05-26 | 深圳开鸿数字产业发展有限公司 | 基于元学习与残差网络的数据处理方法、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011065440A (ja) | ログデータ分析装置及びログデータ分析装置のログデータ分析方法及びログデータ分析プログラム | |
US8621624B2 (en) | Apparatus and method for preventing anomaly of application program | |
JP4458493B2 (ja) | ログ通知条件定義支援装置とログ監視システムおよびプログラムとログ通知条件定義支援方法 | |
US20180357214A1 (en) | Log analysis system, log analysis method, and storage medium | |
CN101493790B (zh) | 记录回放系统和记录回放方法 | |
US20100169973A1 (en) | System and Method For Detecting Unknown Malicious Code By Analyzing Kernel Based System Actions | |
JP5454363B2 (ja) | 解析プログラム、解析装置および解析方法 | |
US12118476B2 (en) | Anomaly detection device | |
JP4773332B2 (ja) | セキュリティ管理装置及びセキュリティ管理方法及びプログラム | |
US20070162427A1 (en) | Query parameter output page finding method, query parameter output page finding apparatus, and computer product | |
US8402537B2 (en) | Detection accuracy tuning for security | |
WO2019077656A1 (ja) | 生産設備監視装置、生産設備監視方法及び生産設備監視プログラム | |
JP2008090504A (ja) | コンピュータ保守支援システム及び解析サーバ | |
JP2008158889A (ja) | トラブル要因検出プログラム、トラブル要因検出方法およびトラブル要因検出装置 | |
JP7274162B2 (ja) | 異常操作検知装置、異常操作検知方法、およびプログラム | |
JP2008140100A (ja) | 情報処理装置及びデータ判定方法及びプログラム | |
JP4745881B2 (ja) | ネットワーク状態判定装置及びネットワーク状態判定方法及びネットワーク状態判定プログラム | |
JP2008217118A (ja) | ログファイル管理装置及びログファイル送信装置及びログファイル管理方法及びログファイル送信方法及びプログラム | |
JP6355668B2 (ja) | 診断結果統合装置および診断結果統合プログラム | |
JP2005242988A (ja) | ログ情報管理システム、サービス提供システム、ログ情報管理プログラムおよびサービス提供プログラム、並びにログ情報管理方法およびサービス提供方法 | |
JP7027696B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP6574146B2 (ja) | サービス監視装置及びサービス監視方法 | |
JP5197128B2 (ja) | 依存関係推定装置及び依存関係推定プログラム及び記録媒体 | |
JP2010250677A (ja) | セキュリティ評価装置及びセキュリティ評価装置のセキュリティ評価方法及びセキュリティ評価装置のセキュリティ評価プログラム | |
JP2010237836A (ja) | セキュリティ監査時期導出装置及びセキュリティ監査時期導出プログラム及び記録媒体 |