JP2014191799A - Log management device, log management system, log management method and log management program - Google Patents
Log management device, log management system, log management method and log management program Download PDFInfo
- Publication number
- JP2014191799A JP2014191799A JP2013069590A JP2013069590A JP2014191799A JP 2014191799 A JP2014191799 A JP 2014191799A JP 2013069590 A JP2013069590 A JP 2013069590A JP 2013069590 A JP2013069590 A JP 2013069590A JP 2014191799 A JP2014191799 A JP 2014191799A
- Authority
- JP
- Japan
- Prior art keywords
- log
- definition
- syntax
- character string
- log message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007726 management method Methods 0.000 title claims description 34
- 239000000284 extract Substances 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 239000000470 constituent Substances 0.000 claims description 4
- 230000009471 action Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
Description
本願発明は、ログメッセージの分析に必要なログメッセージの構文定義を行うためのログ管理装置、ログ管理システム、ログ管理方法、及び、ログ管理プログラムに関する。 The present invention relates to a log management apparatus, a log management system, a log management method, and a log management program for defining the syntax of a log message necessary for log message analysis.
データセンターに代表される近年のコンピュータシステムの大規模化に伴い、コンピュータシステムが包含する電子機器の種類や数が増加し、各電子機器から出力されるログメッセージも多種多様で膨大なものになってきている。また、同時に、これらコンピュータシステムに要求される可用性のレベルも高まってきていることもあり、多種多様で膨大なログメッセージを効率よく収集し分析するための技術が求められている。 With the recent increase in the scale of computer systems represented by data centers, the types and number of electronic devices included in computer systems have increased, and the log messages output from each electronic device have become diverse and enormous. It is coming. At the same time, the level of availability required for these computer systems is also increasing, and there is a need for techniques for efficiently collecting and analyzing a wide variety of log messages.
このような技術として、特許文献1には、監視対象機器において障害発生時に生成されるログ情報から、予め定められた障害メッセージに合致する情報を特定して収集すると共に、予め定められた検索用語を含むログ情報を特定して収集するようにしたシステムが公開されている。 As such a technique, in Patent Document 1, information that matches a predetermined failure message is identified and collected from log information generated when a failure occurs in the monitoring target device, and a predetermined search term is used. A system that identifies and collects log information that includes
また、特許文献2には、複数種類のフォーマットのログメッセージに対して、ログデータ送信装置側でフォーマット変換を行い、フォーマットが統一されたログデータをデータ収集装置に送信するようにした装置が公開されている。
また、特許文献3には、障害発生時に複数ベンダの製品が出力するログ情報を収集し、それらを時系列で整理し、製品毎に定められた重要度ではなく、業務システム全体としての重要度の基準に従ってログ情報を整理し、発生した障害の本質的な原因とその対策方法をレポートとして生成するようにしたシステムが公開されている。
Also,
電子機器から出力されるログメッセージを、ログメッセージの分析装置が分析するためには、ログメッセージから、時刻、ホスト名、ディレクトリ名、コマンド種別等の各種情報を抽出することが必要である。そして、前述の情報の抽出を行うためには、ログメッセージの構文パターンを定義した構文定義情報を準備しておき、ログメッセージを構文定義情報と照合することで可能となる。 In order for a log message analyzer to analyze a log message output from an electronic device, it is necessary to extract various types of information such as time, host name, directory name, and command type from the log message. In order to extract the information described above, it is possible to prepare syntax definition information that defines the syntax pattern of the log message and collate the log message with the syntax definition information.
電子機器上で動作するオペレーティングシステムや、ファームウェアや、アプリケーションソフトウェア等が更新された場合、当該電子機器が新しい仕様のログメッセージを出力するようになる場合がある。このとき、ログメッセージの分析装置は、構文定義情報が未定義のログメッセージを受信することになり、前述の各種情報を抽出することができなくなるため、ログメッセージの分析を行うことができなくなる。 When an operating system, firmware, application software, or the like that operates on an electronic device is updated, the electronic device may output a log message with a new specification. At this time, the log message analysis apparatus receives a log message whose syntax definition information is undefined, and cannot extract the various kinds of information described above. Therefore, the log message cannot be analyzed.
昨今の大規模コンピュータシステムにおいて、未定義の構文定義情報の新規追加作業を手動で行うことは非効率的であり、多大な作業コストが発生する問題が生じる。前述の特許文献1乃至3は、上述の問題を解決するためのものではない。 In recent large-scale computer systems, it is inefficient to manually add new undefined syntax definition information, resulting in a problem that a large work cost occurs. The aforementioned Patent Documents 1 to 3 are not intended to solve the above-described problems.
本願発明の目的は、上述の問題を解決した、ログ管理装置、ログ管理システム、ログ管理方法、及び、ログ管理プログラムを提供することである。 An object of the present invention is to provide a log management device, a log management system, a log management method, and a log management program that solve the above-described problems.
本願発明の一実施形態のログ管理装置は、定型文字列と変数名の組である、構成要素を複数格納するナレッジ記憶手段と、前記構成要素の並び順である構文パターンと前記構文パターンの識別子を含む構文定義を複数記憶する定義記憶手段と、システム内の電子機器が出力し、前記定型文字列と値の組を含むログメッセージを入力して、前記ログメッセージに含まれる前記定型文字列の並びと、前記構文パターンに含まれる前記構成要素の前記定型文字列の並びが一致する前記構文パターンを、前記定義記憶手段から検索し、当該構文パターンに含まれる前記構成要素の前記変数名に対応する値を前記ログメッセージから抽出し、当該構文パターンの識別子と共に出力する分析手段と、前記並びが一致する構文パターンが検索できないとき、前記ログメッセージに含まれる前記定型文字列を含む前記構成要素を、前記定型文字列の並びに従って、前記ナレッジ記憶手段から抽出して、新たな構文パターン対応に前記構文定義を作成して、前記定義記憶手段に格納する定義手段と、を備える。 A log management apparatus according to an embodiment of the present invention includes a knowledge storage unit that stores a plurality of components, which is a set of a fixed character string and a variable name, a syntax pattern that is an arrangement order of the components, and an identifier of the syntax pattern A definition storage means for storing a plurality of syntax definitions including, and an electronic device in the system that outputs a log message including a pair of the fixed character string and a value, and the fixed character string included in the log message A search is made from the definition storage means for the syntax pattern in which the sequence matches the sequence of the fixed character string of the component included in the syntax pattern, and corresponds to the variable name of the component included in the syntax pattern A value to be extracted from the log message and output together with an identifier of the syntax pattern, and when the syntax pattern matching the sequence cannot be searched, The component including the fixed character string included in the log message is extracted from the knowledge storage unit according to the arrangement of the fixed character strings, and the syntax definition is created in correspondence with a new syntax pattern, and the definition Defining means for storing in the storage means.
本願発明の一実施形態のログ管理方法は、定型文字列と変数名の組である、構成要素をナレッジ記憶域に複数格納し、前記構成要素の並び順である構文パターンと前記構文パターンの識別子を含む構文定義を定義記憶域に複数記憶し、システム内の電子機器が出力し、前記定型文字列と値の組を含むログメッセージを入力して、前記ログメッセージに含まれる前記定型文字列の並びと、前記構文パターンに含まれる前記構成要素の前記定型文字列の並びが一致する前記構文パターンを、前記定義記憶域から検索し、当該構文パターンに含まれる前記構成要素の前記変数名に対応する値を前記ログメッセージから抽出し、当該構文パターンの識別子と共に出力し、前記並びが一致する構文パターンが検索できないとき、前記ログメッセージに含まれる前記定型文字列を含む前記構成要素を、前記定型文字列の並びに従って、前記ナレッジ記憶域から抽出して、新たな構文パターン対応に前記構文定義を作成して、前記定義記憶域に格納する。 According to an embodiment of the present invention, a log management method stores a plurality of components in a knowledge storage area, which is a set of a fixed character string and a variable name, and a syntax pattern that is an arrangement order of the components and an identifier of the syntax pattern A plurality of syntax definitions including, are stored in the definition storage area, output by an electronic device in the system, a log message including a pair of the fixed character string and value is input, and the fixed character string included in the log message is input. A search is made from the definition storage area for the syntax pattern in which the sequence matches the sequence of the fixed character strings of the component included in the syntax pattern, and corresponds to the variable name of the component included in the syntax pattern A value to be extracted from the log message and output together with the identifier of the syntax pattern. When a syntax pattern matching the sequence cannot be searched, it is included in the log message. The component including the fixed character string to be extracted is extracted from the knowledge storage area according to the sequence of the fixed character string, and the syntax definition is created corresponding to a new syntax pattern and stored in the definition storage area .
本願発明の一実施形態のログ管理プログラムは、定型文字列と変数名の組である、構成要素をナレッジ記憶域に複数格納するナレッジ記憶処理と、前記構成要素の並び順である構文パターンと前記構文パターンの識別子を含む構文定義を定義記憶域に複数記憶する定義記憶処理と、システム内の電子機器が出力し、前記定型文字列と値の組を含むログメッセージを入力して、前記ログメッセージに含まれる前記定型文字列の並びと、前記構文パターンに含まれる前記構成要素の前記定型文字列の並びが一致する前記構文パターンを、前記定義記憶域から検索し、当該構文パターンに含まれる前記構成要素の前記変数名に対応する値を前記ログメッセージから抽出し、当該構文パターンの識別子と共に出力する分析処理と、前記並びが一致する構文パターンが検索できないとき、前記ログメッセージに含まれる前記定型文字列を含む前記構成要素を、前記定型文字列の並びに従って、前記ナレッジ記憶域から抽出して、新たな構文パターン対応に前記構文定義を作成して、前記定義記憶域に格納する定義処理と、をコンピュータに実行させる。 A log management program according to an embodiment of the present invention is a combination of a fixed character string and a variable name, a knowledge storage process for storing a plurality of components in a knowledge storage area, a syntax pattern that is an arrangement order of the components, and the A definition storage process for storing a plurality of syntax definitions including syntax pattern identifiers in a definition storage area, and an electronic device in the system that outputs a log message including a set of the fixed character string and value, and the log message The syntax pattern in which the sequence of the fixed character strings included in the list matches the sequence of the fixed character strings of the components included in the syntax pattern is searched from the definition storage area, and the syntax pattern includes A value corresponding to the variable name of the constituent element is extracted from the log message and is output together with the identifier of the syntax pattern. When the sentence pattern cannot be searched, the component including the fixed character string included in the log message is extracted from the knowledge storage area in accordance with the sequence of the fixed character string, and the syntax definition corresponding to a new syntax pattern is extracted. And a definition process for storing in the definition storage area is executed by a computer.
本願発明は、ログメッセージが包含するログ構成要素の部品情報を登録したナレッジを基に、構文パターンが未登録であるログメッセージの構文パターンの構文定義情報への新規登録を自動で行うことで、ログの分析を効率的に確実に行うことを可能とする。 The present invention automatically performs new registration to the syntax definition information of the syntax pattern of the log message whose syntax pattern is not registered based on the knowledge in which the component information of the log component included in the log message is registered. Log analysis can be performed efficiently and reliably.
本願発明の第1の実施の形態について図面を参照して詳細に説明する。 A first embodiment of the present invention will be described in detail with reference to the drawings.
図1は本実施形態のログ管理システム1の構成を示すブロック図である。本実施形態のログ管理システム1は、ログ管理装置10と、電子機器20−1乃至20−nと、を包含している。
FIG. 1 is a block diagram showing a configuration of a log management system 1 of the present embodiment. The log management system 1 of this embodiment includes a
ログ管理装置10は、電子機器20−1乃至20−nから出力されるログメッセージを受信して、ログメッセージの分析を行う。ログ管理装置10は、ナレッジ記憶部11と、定義記憶部12と、定義部13と、分析部14と、ナレッジ登録部15と、ログメッセージ記憶部16と、を包含している。定義部13と、分析部14と、ナレッジ登録部15は、電子回路の場合もあれば、コンピュータプログラムの場合もある。ナレッジ記憶部11と、定義記憶部12と、ログメッセージ記憶部16は、電子回路、あるいは、コンピュータプログラムによりアクセス制御される磁気ディスク等の電子デバイスである。
The
ログメッセージ記憶部16は、電子装置20−1乃至20−nから出力されたログメッセージを格納する。
The log
定義記憶部12は、電子装置20−1乃至20−nから出力されるログメッセージの構文パターンを定義したログメッセージ構文定義情報120を記憶している。ログメッセージ構文定義情報120は、ログメッセージを所定の区切り文字を基準として区切った一部分であって、定型文字列、あるいは、変数の値の少なくともいずれかを包含するログ構成要素について、当該変数の値を当該変数の名称に置き換えて表記したログ構成要素部品の並びで、ログメッセージの構文パターンを定義した情報である。ログメッセージ構文定義情報120の構成例を図3に示す。
The
ログメッセージ構文定義情報120は、複数のフレーム定義120−1、120−2等を包含している。各フレーム定義は識別子が付与されており、例えば、フレーム定義120−1、及び、120−2の識別子は、それぞれ、1、及び、2である。各フレーム定義は、複数のパラメータ定義を包含しており、例えばフレーム定義120−1は、パラメータ定義120−1−1、120−1−2等を包含し、フレーム定義120−2は、パラメータ定義120−2−1等を包含している。
The log message
フレーム定義は、ログメッセージの全体的な構文パターンを定義した情報であり、例えば、電子装置20−1乃至20−nの中で、同じOS(Operating System)が動作している電子装置が出力するログメッセージで共通的な構文パターンの定義情報である。図3の例の場合、フレーム定義120−1は、ログ構成要素部品である、“<timestamp>”、“<hostname>”、“sudu”、“<username>”、及び、“<parameter>”を包含している。 The frame definition is information that defines the overall syntax pattern of the log message, and is output from, for example, an electronic device in which the same OS (Operating System) is operating in the electronic devices 20-1 to 20-n. Syntactic pattern definition information common to log messages. In the case of the example of FIG. 3, the frame definition 120-1 includes log component parts “<timestamp>”, “<hostname>”, “sudu”, “<username>”, and “<parameter>”. Is included.
“<timestamp>”はログメッセージの日時情報、“<hostname>”は、ログメッセージを出力した電子機器のホスト名の情報、“<username>”はログメッセージを出力したユーザ名の情報である。“sudo”はログメッセージを出力したエージェントが特権実行コマンドであることを示している。“<parameter>”は、パラメータ定義で詳細が定義される情報である。 “<Timestamp>” is date information of the log message, “<hostname>” is information of the host name of the electronic device that has output the log message, and “<username>” is information of the user name that has output the log message. “Sudo” indicates that the agent that has output the log message is a privileged execution command. “<Parameter>” is information whose details are defined in the parameter definition.
上述のログ構成要素部品において、“<>”で囲まれた部分は変数であり、“<>”内の文字列は変数の名称である。したがって、フレーム定義120−1により構文パターンが定義されるログメッセージにおいては、“<timestamp>”、“<hostname>”、及び、“<username>”の部分には、それぞれ、ログメッセージごとに変化する日時、ホスト名、及び、ユーザ名の値が入ることになる。 In the log component parts described above, the portion surrounded by “<>” is a variable, and the character string in “<>” is the name of the variable. Therefore, in the log message in which the syntax pattern is defined by the frame definition 120-1, the parts of “<timestamp>”, “<hostname>”, and “<username>” change for each log message. The date and time, host name, and user name values to be entered are entered.
パラメータ定義は、フレーム定義における、“<parameter>”の部分の詳細を定義した情報であり、電子機器20−1乃至20−nにおいて発生した事象の種別等により構文パターンが異なるログメッセージの構文パターンを定義している。各パラメータ定義も、フレーム定義と同様に識別子が付与されており、例えば、パラメータ定義120−1−1、及び、120−1−2の識別子は、それぞれ、1−1、及び、1−2である。 The parameter definition is information defining details of the “<parameter>” portion in the frame definition, and the syntax pattern of the log message having a different syntax pattern depending on the type of the event that has occurred in the electronic devices 20-1 to 20-n. Is defined. Each parameter definition is also given an identifier as in the frame definition. For example, the identifiers of the parameter definitions 120-1-1 and 120-1-2 are 1-1 and 1-2, respectively. is there.
図3の例の場合、パラメータ定義120−1−1は、ログ構成要素部品である、“command not allowed”、“TTY=<interface>”、“PWD=<directory>”、“RUNAS=<execute_user>”、及び、“COMMAND=<action>”を包含している。 In the case of the example in FIG. 3, the parameter definition 120-1-1 includes log command component parts “command not allowed”, “TTY = <interface>”, “PWD = <directory>”, “RUNAS = <execute_user”. > ”And“ COMMAND = <action> ”.
上述のログ構成要素部品のうち、“command not allowed”は、定型文字列のみで構成され、その他のものは、定型文字列と変数とで構成されたものである。パラメータ定義120−1−1により構文パターンが定義されるログメッセージにおいては、“<interface>”、“<directory>”、“<execute_user>”、及び、“<action>”の部分には、ぞれぞれ、ログメッセージごとに変化するインタフェース名、ディレクトリ名、実行ユーザ名、及び、アクション名の値が入ることになる。 Among the log component parts described above, “command not allowed” is composed only of a fixed character string, and the other is composed of a fixed character string and a variable. In a log message in which a syntax pattern is defined by the parameter definition 120-1-1, “<interface>”, “<directory>”, “<execution_user>”, and “<action>” include The interface name, directory name, execution user name, and action name values that change for each log message are entered.
ナレッジ記憶部11は、電子装置20−1乃至20−nから出力されるログメッセージが包含する可能性があるログ構成要素に対応したログ構成要素部品の情報であるログ構成要素部品情報110を記憶している。ログ構成要素部品情報110は、部品番号111と、ログ構成要素部品112と、機種種別113の項目を包含している。
The
機種種別113は、ログ構成要素部品112に対応するログ構成要素を包含するログメッセージを出力する電子機器20−1乃至20−nの種別を示す情報であり、例えば、OSがUNIX(登録商標)のサーバ装置、OSがWindows(登録商標)のサーバ装置、ネットワークスイッチ機器等を区別する。複数の機種の電子機器に対応するログ構成要素部品の機種種別113は、複数の機種種別の情報を包含する。図4の例の場合、例えば、部品番号が2のログ構成要素部品は、A乃至Bの2つの機種種別の電子機器から出力されるログメッセージのログ構成要素に対応している。
The
定義部13は、電子機器20−1乃至20−nのいずれかから受信したログメッセージの構文パターンを、定義記憶部12におけるログメッセージ構文定義情報120と照合し、ログメッセージの構文パターンがログメッセージ構文定義情報120に登録済みであるかどうかを確認する。定義部13が、ログメッセージサンプル1を受信したときの上述の照合動作の詳細を以下に説明する。
(ログメッセージサンプル1)
May 8 17:24:22 Host1 sudo: user1: command not allowed; TTY=pts/0; PWD=/prod/home01; RUNAS=wlusr; COMMAND=/usr/bin/ksh;
定義部13は、まず、ログメッセージサンプル1とログメッセージ構文定義情報120のフレーム定義の照合を行う。定義部13は、日時情報、ホスト名の情報、ユーザ名の情報を所定の基準でログメッセージから抽出する仕組みを実装しており、ログメッセージサンプル1の構文パターンが、フレーム定義120−1と一致することを確認する。この場合、フレーム定義120−1における変数の“<timestamp>”、“<hostname>”、及び、<username>”の値は、それぞれ、“May 8 17:24:22”、“Host1”、及び、“user1”となる。
The
(Log message sample 1)
May 8 17:24:22 Host1 sudo: user1: command not allowed; TTY = pts / 0; PWD = / prod / home01; RUNAS = wlusr; COMMAND = / usr / bin / ksh;
The
定義部13は、次に、ログメッセージサンプル1とログメッセージ構文定義情報120のパラメータ定義の照合を行う。定義部13は、パラメータ定義の照合においては、ログメッセージに含まれる定型文字列の並びが一致するパラメータ定義を、ログメッセージ構文定義情報120から検索する。
Next, the
定義部13は、ログメッセージサンプル1の構文パターンが、パラメータ定義120−1−1と一致することを確認する。この場合、パラメータ定義120−1−1における変数の“<interface>”、“<directory>”、“<execute_user>”、及び、“<action>”の値は、それぞれ、“pts/0”、“/prod/home01”、“wlusr”、及び、“/usr/bin/ksh”となる。
The
次に、定義部13が、ログメッセージサンプル2を受信したときの上述の照合動作の詳細を以下に説明する。
(ログメッセージサンプル2)
May 8 17:24:22 Host1 sudo: user1: command not allowed; TTY=pts/0; PWD=/prod/home01; USER=root; COMMAND=/usr/bin/ksh;
定義部13は、ログメッセージサンプル2とログメッセージ構文定義情報120を照合し、ログメッセージサンプル2の構文パターンが、フレーム定義120−1とは一致するが、パラメータ定義120−1−1とは、“USER=root”のログ構成要素で一致せず、フレーム定義120−1に包含される他のパラメータ定義とも一致しないことを確認する。
Next, details of the above-described collation operation when the
(Log message sample 2)
May 8 17:24:22 Host1 sudo: user1: command not allowed; TTY = pts / 0; PWD = / prod / home01; USER = root; COMMAND = / usr / bin / ksh;
The
定義部13は、ナレッジ記憶部11におけるログ構成要素部品情報110において、機器種別113がログメッセージサンプル2の出力元の電子機器の種別の情報を含むレコードの中から、ログメッセージサンプル2が包含するログ構成要素に対応するログ構成要素部品の情報を抽出する。
In the log
定義部13は、ログメッセージサンプル2が包含するログ構成要素の定型文字列の部分が一致するログ構成要素部品を、ログ構成要素部品情報110から抽出する。定義部13は、ログメッセージサンプル2と図4の例の場合、ログ構成要素部品情報110から、部品番号111が、1、2、3、6、及び、5のレコードのログ構成要素部品112の情報を順番に抽出する。定義部13は、ログ構成要素部品を前述の順番で並べ、各ログ構成要素部品の後ろに、区切り文字である“;”を挿入して記述したパラメータ定義を生成する。
The
定義部13は、生成したパラメータ定義を、フレーム定義120−1に包含されるパラメータ定義として、ログメッセージ構文定義情報120へ新規登録する。上述のログメッセージサンプル2への対応で定義部13が生成したパラメータ定義は、以下のものである。
PARAMETER=“command not allowed; TTY=<interface>; PWD=<directory>; USER=<execute_user>; COMMAND=<action>;”
次に、定義部13が、ログメッセージサンプル3を受信したときの上述の照合動作の詳細を以下に説明する。
(ログメッセージサンプル3)
May 8 17:24:22 Host1 sudo: user1: command not allowed; TTY=pts/0; PWD=/prod/home01; RUNAS=wlusr; COMMAND=/usr/bin/ksh; CLASS=0;
定義部13は、ログメッセージサンプル3とログメッセージ構文定義情報120を照合し、ログメッセージサンプル3の構文パターンが、フレーム定義120−1とは一致するが、パラメータ定義120−1−1とは、“CLASS=0”のログ構成要素で一致せず、フレーム定義120−1に包含される他のパラメータ定義とも一致しないことを確認する。
The
PARAMETER = “command not allowed; TTY = <interface>; PWD = <directory>; USER = <execute_user>; COMMAND = <action>;
Next, details of the above-described collation operation when the
(Log message sample 3)
May 8 17:24:22 Host1 sudo: user1: command not allowed; TTY = pts / 0; PWD = / prod / home01; RUNAS = wlusr; COMMAND = / usr / bin / ksh; CLASS = 0
The
定義部13は、ログメッセージサンプル3が包含するログ構成要素の定型文字列の部分が一致するログ構成要素部品を、ログ構成要素部品情報110から抽出しようとするが、“CLASS=0”のログ構成要素に対応するログ構成要素部品は、ログ構成要素部品情報110に登録されていない。
The
定義部13は、“CLASS=0”のログ構成要素に対応するログ構成要素部品を、ログ構成要素部品情報110に新規登録するように、ナレッジ登録部15に指示する。定義部13は、ナレッジ登録部15によるログ構成要素部品の新規登録が完了後、新規登録されたログ構成要素部品を使用してパラメータ定義を生成し、ログメッセージ構文定義情報120へ新規登録する。
The
ナレッジ登録部15は、定義部13からの指示を受信して、ログ構成要素部品をログ構成要素部品情報110に新規登録する。ナレッジ登録部15は、上述の“CLASS=0”のように、受信したログ構成要素が“=”を包含している場合、“=”以降の部分は変数の値であると見なして、“=”以降の文字列を、当該変数に付与した変数名に置き換えてログ構成要素部品を生成する。定義部13は、“CLASS=0”のログ構成要素に対して、例えば、“reserve1”という変数名を付与し、変数名の前後を“<>”で囲った“CLASS=<reserve1>”のログ構成要素部品を生成する。
The
ナレッジ登録部15は、受信したログ構成要素が“=”を包含していない場合、当該ログ構成要素は、定型文字列のみを包含するものと見なして、受信したログ構成要素の文字列を、そのまま、ログ構成要素部品として、ログ構成要素部品情報110に新規登録する。
When the received log component does not include “=”, the
尚、ナレッジ登録部15は、“=”のような所定の文字列を基に、定型文字列と変数を区別する場合もあれば、所定の文字数の定型文字列の後の部分を変数の値と見なすことで、定型文字列と変数を区別する場合などもある。
Note that the
分析部14は、ログメッセージ記憶部16に格納された、電子機器20−1乃至20−nから出力されたログメッセージを読み出して、定義部13と同様の論理動作でログメッセージ構文定義情報120と照合する。分析部14は、ログメッセージと一致した構文パターンにおける変数名に対応する値を当該ログメッセージから抽出して、一致した構文パターンの識別子とともにログメッセージに対する対処内容の情報を記憶したデータベース(図示せず)に出力して、当該データベースから得られた対処内容の情報を、システム管理者のコンソール画面(図示せず)に出力する。
The
次に図2のフローチャートを参照して、本実施形態の動作について詳細に説明する。 Next, the operation of this embodiment will be described in detail with reference to the flowchart of FIG.
ログ管理装置10は、電子機器20−i(iは1乃至nのいずれかの整数)から受信したログメッセージをログメッセージ記憶部16へ格納する(S101)。定義部13は、電子機器20−iから受信したログメッセージの構文パターンを定義記憶部12におけるログメッセージ構文定義情報120と照合し、ログメッセージの構文パターンがログメッセージ構文定義情報120に登録済みであるかどうか確認する(S102)。
The
ログメッセージの構文パターンが登録済みである場合(S103でYes)、分析部14は、ログメッセージ記憶部16からログメッセージを読み出して、ログメッセージ構文定義情報120と照合し、ログメッセージと一致した構文パターンにおける変数名に対応する値をログメッセージから抽出し、構文パターンの識別子とともに出力して、当該ログメッセージを分析し(S109)、全体の処理は終了する。
When the syntax pattern of the log message has been registered (Yes in S103), the
ログメッセージの構文パターンが登録済みでない場合(S103でNo)、定義部13は、ナレッジ記憶部11におけるログ構成要素部品情報110において、機器種別113が電子機器20−iの機器種別の情報を含むレコードの中から、ログメッセージが包含するログ構成要素に対応するログ構成要素部品を抽出する(S104)。
If the syntax pattern of the log message has not been registered (No in S103), the
ログ構成要素に対応するログ構成要素部品が、ログ構成要素部品情報110に未登録であるものが、存在しない場合(S105でNo)、定義部13は、ログメッセージの構文パターンを、抽出したログ構成要素部品の並びで生成し、当該構文パターンに識別子を付与して、ログメッセージ構文定義情報120へ新規登録し(S108)、S109を経て全体の処理は終了する。
When there is no log component part corresponding to the log component that is not registered in the log component part information 110 (No in S105), the
ログ構成要素に対応するログ構成要素部品が、ログ構成要素部品情報110に未登録であるものが、存在する場合(S105でYes)、定義部13は、ナレッジ登録部15に対して、ログ構成要素部品が未登録であるログ構成要素のログ構成要素部品の、ログ構成要素パターン情報110への新規登録を指示する(S106)。
If there is a log component part corresponding to the log component that has not been registered in the log component part information 110 (Yes in S105), the
ナレッジ登録部15は、当該ログ構成要素が変数を包含する場合は、当該ログ構成要素における変数の値の部分を、当該変数に付与した変数名に置き換えてログ構成要素部品を生成し、当該ログ構成要素部品に部品番号を付与して、ログ構成要素部品情報110へ新規登録し(S107)、処理はS104へ戻る。
When the log component includes a variable, the
本実施形態には、ログメッセージが包含するログ構成要素の部品情報を登録したナレッジを基に、構文パターンが未登録であるログメッセージの構文パターンの構文定義情報への新規登録を自動で行い、ログの分析を効率的に確実に行うことを可能とする効果がある。その理由は、定義部13が、電子機器20−1乃至20−nから受信したログメッセージをログメッセージ構文定義情報120と照合して、ログメッセージの構文パターンが未登録のものである場合、当該ログメッセージの構文パターンを、ログ構成要素部品情報110に登録されたログ構成要素部品を用いて生成し、ログメッセージ構文定義情報120に登録するからである。
In this embodiment, based on the knowledge that registered the component information of the log component included in the log message, new registration to the syntax definition information of the syntax pattern of the log message whose syntax pattern is not registered is automatically performed, There is an effect that the log analysis can be performed efficiently and reliably. The reason is that when the
分析部14は、ログメッセージ記憶部16に格納された、電子機器20−1乃至20−nから出力されたログメッセージを、ログメッセージ構文定義情報120と照合して、変数の値を当該変数の名称と対応付けて抽出し、当該ログメッセージを分析する。ログメッセージの構文パターンが、ログメッセージ構文定義情報120に未登録である場合、分析部14は、ログメッセージ分析用のデータベースを参照して当該ログメッセージを分析することができないため、システムの運用上、支障をきたすことになる。
The
近年の大規模コンピュータシステムにおいては、電子機器の新規追加や、ソフトウェアのバージョンアップ等も頻繁に行われるため、ログ管理装置10が、ログメッセージ構文定義情報120に構文パターンが定義されていないログメッセージを受信するケースが増加する傾向にある。未定義の構文定義情報を手動で新規追加することは、作業コスト等を考慮すると非現実的である。
In recent large-scale computer systems, new electronic devices and software upgrades are frequently performed. Therefore, the
本実施形態では、ログ管理装置10が、ログ構成要素部品情報110を保持することで、未定義の構文定義情報を自動で新規追加することが可能となり、その結果、ログの分析を効率的に確実に行うことが可能となる。
In the present embodiment, the
本実施形態では、また、定義部13は、ログ構成要素部品情報110から、ログ構成要素部品を抽出するに当たり、ログ構成要素部品情報110における機器種別113がログメッセージの出力元の電子機器の機器種別の情報を含むレコードをサーチする。電子機器の機器種別が異なれば、ログ構成要素部品の情報も異なるので、定義部13が、ログ構成要素部品情報110の全レコードをサーチするのではなく、サーチするレコードを絞り込むことで、ログ管理装置10が構文定義情報の新規登録をより効率的に行うことを可能としている。
In the present embodiment, when the
本実施形態では、さらに、ログメッセージのログ構成要素に対応するログ構成要素部品の情報が、ログ構成要素部品情報110に未登録である場合、ナレッジ登録部15が、定義部13からの指示を受けて、ログ構成要素部品を新たに生成してログ構成要素部品情報110に登録する。ログ構成要素部品として未登録であるログ構成要素を包含するログメッセージについても、定義部13が構文定義情報の新規登録を行えるようにすることで、構文パターン未定義により当該ログメッセージの分析ができなくなることを回避し、ログ管理装置10が、ログメッセージの分析をより確実に行うことを可能としている。
<第二の実施形態>
次に、本願発明の第2の実施形態について図面を参照して詳細に説明する。
In the present embodiment, when the information of the log component part corresponding to the log component of the log message is not registered in the log
<Second Embodiment>
Next, a second embodiment of the present invention will be described in detail with reference to the drawings.
図5は本願発明の第2の実施形態のログ管理装置10の構成を示すブロック図である。
FIG. 5 is a block diagram showing the configuration of the
本実施形態のログ管理装置10は、ナレッジ記憶部11と、定義記憶部12と、定義部13と、分析部14と、を包含している。
The
ナレッジ記憶部11は、定型文字列と変数名の組であるログ構成要素部品に関するレコードを複数包含するログ構成要素部品情報110を格納する。
The
定義記憶部12は、ログ構成要素部品の並び順である構文パターンと構文パターンの識別子を含む構文定義に関するレコードを複数包含するログメッセージ構文定義情報120を記憶する。
The
分析部14は、電子機器20−1乃至20−nが出力し、定型文字列と値の組を含むログメッセージを入力して、ログメッセージに含まれる定型文字列の並びと、構文パターンに含まれるログ構成要素部品の定型文字列の並びが一致する構文パターンを、定義記憶部12から検索する。分析部14は、当該構文パターンに含まれるログ構成要素部品の変数名に対応する値をログメッセージから抽出し、当該構文パターンの識別子と共に出力する。
The
定義部13は、並びが一致する構文パターンが検索できないとき、ログメッセージに含まれる定型文字列を含むログ構成要素部品を、定型文字列の並びに従って、ナレッジ記憶部11から抽出して、新たな構文パターン対応に構文定義の情報を作成して、定義記憶部12に格納する。
When the syntactic pattern with the matching sequence cannot be searched, the
本実施形態には、第1の実施形態と同様に、ログメッセージが包含するログ構成要素の部品情報を登録したナレッジを基に、構文パターンが未登録であるログメッセージの構文パターンの構文定義情報への新規登録を自動で行い、ログの分析を効率的に確実に行うことを可能とする効果がある。その理由は、定義部13が、電子機器20−1乃至20−nから受信したログメッセージをログメッセージ構文定義情報120と照合して、ログメッセージの構文パターンが未登録のものである場合、当該ログメッセージの構文パターンを、ログ構成要素部品情報110に登録されたログ構成要素部品を用いて生成し、ログメッセージ構文定義情報120に登録するからである。
In the present embodiment, as in the first embodiment, the syntax definition information of the syntax pattern of the log message whose syntax pattern is not registered based on the knowledge in which the component information of the log component included in the log message is registered. New registration is automatically performed, and log analysis can be performed efficiently and reliably. The reason is that when the
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されたものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 While the present invention has been described with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.
1 ログ管理システム
10 ログ管理装置
11 ナレッジ記憶部
110 ログ構成要素部品情報
111 部品番号
112 ログ構成要素部品
113 機器種別
12 定義記憶部
120 ログメッセージ構文定義情報
120−1 フレーム定義
120−2 フレーム定義
120−1−1 パラメータ定義
120−1−2 パラメータ定義
120−2−1 パラメータ定義
13 定義部
14 分析部
15 ナレッジ登録部
16 ログメッセージ記憶部
20−1乃至20−n 電子機器
DESCRIPTION OF SYMBOLS 1
Claims (10)
前記構成要素の並び順である構文パターンと前記構文パターンの識別子を含む構文定義を複数記憶する定義記憶手段と、
システム内の電子機器が出力し、前記定型文字列と値の組を含むログメッセージを入力して、前記ログメッセージに含まれる前記定型文字列の並びと、前記構文パターンに含まれる前記構成要素の前記定型文字列の並びが一致する前記構文パターンを、前記定義記憶手段から検索し、当該構文パターンに含まれる前記構成要素の前記変数名に対応する値を前記ログメッセージから抽出し、当該構文パターンの識別子と共に出力する分析手段と、
前記並びが一致する構文パターンが検索できないとき、前記ログメッセージに含まれる前記定型文字列を含む前記構成要素を、前記定型文字列の並びに従って、前記ナレッジ記憶手段から抽出して、新たな構文パターン対応に前記構文定義を作成して、前記定義記憶手段に格納する定義手段と、
を備えるログ管理装置。 Knowledge storage means for storing a plurality of components, which is a set of a fixed character string and a variable name;
Definition storage means for storing a plurality of syntax definitions including a syntax pattern that is an arrangement order of the constituent elements and an identifier of the syntax pattern;
An electronic device in the system outputs, inputs a log message including a set of the fixed character string and a value, a sequence of the fixed character string included in the log message, and the component included in the syntax pattern The syntax pattern that matches the sequence of the fixed character strings is searched from the definition storage means, a value corresponding to the variable name of the component included in the syntax pattern is extracted from the log message, and the syntax pattern An analysis means for outputting together with the identifier of
When a syntactic pattern that matches the sequence cannot be searched, the component including the standard character string included in the log message is extracted from the knowledge storage unit according to the sequence of the standard character string, and a new syntax pattern is extracted. A definition means for creating the syntax definition correspondingly and storing it in the definition storage means;
A log management device comprising:
前記定義手段は、前記ログメッセージの出力元と、前記電子機器の種別の識別情報が一致する前記構成要素を、前記ナレッジ記憶手段から抽出する、
請求項1のログ管理装置。 The knowledge storage means stores the component and the identification information of the type of the electronic device in association with each other,
The definition means extracts from the knowledge storage means the component that matches the output information of the log message and the identification information of the type of the electronic device.
The log management apparatus according to claim 1.
をさらに備える、請求項1乃至2のログ管理装置。 When the component including the fixed character string included in the log message is not registered in the knowledge storage unit, the variable name is generated, and the knowledge as a new component together with the fixed character string is generated. The log management apparatus according to claim 1, further comprising knowledge registration means stored in the storage means.
前記構成要素の並び順である構文パターンと前記構文パターンの識別子を含む構文定義を定義記憶域に複数記憶し、
システム内の電子機器が出力し、前記定型文字列と値の組を含むログメッセージを入力して、前記ログメッセージに含まれる前記定型文字列の並びと、前記構文パターンに含まれる前記構成要素の前記定型文字列の並びが一致する前記構文パターンを、前記定義記憶域から検索し、当該構文パターンに含まれる前記構成要素の前記変数名に対応する値を前記ログメッセージから抽出し、当該構文パターンの識別子と共に出力し、
前記並びが一致する構文パターンが検索できないとき、前記ログメッセージに含まれる前記定型文字列を含む前記構成要素を、前記定型文字列の並びに従って、前記ナレッジ記憶域から抽出して、新たな構文パターン対応に前記構文定義を作成して、前記定義記憶域に格納する、
ログ管理方法。 Store multiple components in knowledge storage, which are pairs of fixed character strings and variable names,
Storing a plurality of syntax definitions in a definition storage area including a syntax pattern that is an arrangement order of the constituent elements and an identifier of the syntax pattern;
An electronic device in the system outputs, inputs a log message including a set of the fixed character string and a value, a sequence of the fixed character string included in the log message, and the component included in the syntax pattern The syntax pattern that matches the sequence of the fixed character strings is searched from the definition storage area, and a value corresponding to the variable name of the component included in the syntax pattern is extracted from the log message. With the identifier of
When a syntax pattern that matches the sequence cannot be searched, the component including the fixed character string included in the log message is extracted from the knowledge storage area according to the fixed character string sequence, and a new syntax pattern is extracted. The syntax definition is created correspondingly and stored in the definition storage area.
Log management method.
前記ログメッセージの出力元と、前記電子機器の種別の識別情報が一致する前記構成要素を、前記ナレッジ記憶域から抽出する、
請求項5のログ管理方法。 Storing the component and identification information of the type of the electronic device in association with each other in the knowledge storage area;
Extracting the component from which the log message output source and the identification information of the electronic device type match from the knowledge storage area;
The log management method according to claim 5.
請求項5乃至6のログ管理方法。 When the component including the fixed character string included in the log message is not registered in the knowledge storage area, the variable name is generated, and the knowledge as a new component together with the fixed character string is generated. Store in storage,
The log management method according to claim 5.
前記構成要素の並び順である構文パターンと前記構文パターンの識別子を含む構文定義を定義記憶域に複数記憶する定義記憶処理と、
システム内の電子機器が出力し、前記定型文字列と値の組を含むログメッセージを入力して、前記ログメッセージに含まれる前記定型文字列の並びと、前記構文パターンに含まれる前記構成要素の前記定型文字列の並びが一致する前記構文パターンを、前記定義記憶域から検索し、当該構文パターンに含まれる前記構成要素の前記変数名に対応する値を前記ログメッセージから抽出し、当該構文パターンの識別子と共に出力する分析処理と、
前記並びが一致する構文パターンが検索できないとき、前記ログメッセージに含まれる前記定型文字列を含む前記構成要素を、前記定型文字列の並びに従って、前記ナレッジ記憶域から抽出して、新たな構文パターン対応に前記構文定義を作成して、前記定義記憶域に格納する定義処理と、
をコンピュータに実行させるログ管理プログラム。 Knowledge storage processing for storing a plurality of components in the knowledge storage area, which is a set of fixed character string and variable name,
A definition storage process for storing a plurality of syntax definitions including a syntax pattern that is an arrangement order of the constituent elements and an identifier of the syntax pattern in a definition storage area;
An electronic device in the system outputs, inputs a log message including a set of the fixed character string and a value, a sequence of the fixed character string included in the log message, and the component included in the syntax pattern The syntax pattern that matches the sequence of the fixed character strings is searched from the definition storage area, and a value corresponding to the variable name of the component included in the syntax pattern is extracted from the log message. An analysis process to be output with the identifier of
When a syntax pattern that matches the sequence cannot be searched, the component including the fixed character string included in the log message is extracted from the knowledge storage area according to the fixed character string sequence, and a new syntax pattern is extracted. A definition process for creating the syntax definition correspondingly and storing it in the definition storage area;
Log management program that causes a computer to execute
前記ログメッセージの出力元と、前記電子機器の種別の識別情報が一致する前記構成要素を、前記ナレッジ記憶域から抽出する前記定義処置と、
をコンピュータに実行させる請求項8のログ管理プログラム。 The knowledge storage process for storing the component and the identification information of the type of the electronic device in association with each other in the knowledge storage area;
The definition processing for extracting from the knowledge storage area the component that matches the output information of the log message and the identification information of the type of the electronic device,
The log management program according to claim 8, which causes a computer to execute.
をコンピュータに実行させる請求項8乃至9のログ管理プログラム。 When the component including the fixed character string included in the log message is not registered in the knowledge storage area, the variable name is generated, and the knowledge as a new component together with the fixed character string is generated. 10. The log management program according to claim 8, which causes a computer to execute a knowledge registration process stored in a storage area.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013069590A JP6127647B2 (en) | 2013-03-28 | 2013-03-28 | Log management device, log management system, log management method, and log management program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013069590A JP6127647B2 (en) | 2013-03-28 | 2013-03-28 | Log management device, log management system, log management method, and log management program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014191799A true JP2014191799A (en) | 2014-10-06 |
JP6127647B2 JP6127647B2 (en) | 2017-05-17 |
Family
ID=51837933
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013069590A Active JP6127647B2 (en) | 2013-03-28 | 2013-03-28 | Log management device, log management system, log management method, and log management program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6127647B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108763044A (en) * | 2018-05-30 | 2018-11-06 | 中国建设银行股份有限公司 | A kind of log processing method and device |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011113492A (en) * | 2009-11-30 | 2011-06-09 | Nec Corp | Operation information management system, operation information management method, operation information management program |
WO2012066650A1 (en) * | 2010-11-17 | 2012-05-24 | 富士通株式会社 | Information processing device, message extracting method and message extracting program |
-
2013
- 2013-03-28 JP JP2013069590A patent/JP6127647B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011113492A (en) * | 2009-11-30 | 2011-06-09 | Nec Corp | Operation information management system, operation information management method, operation information management program |
WO2012066650A1 (en) * | 2010-11-17 | 2012-05-24 | 富士通株式会社 | Information processing device, message extracting method and message extracting program |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108763044A (en) * | 2018-05-30 | 2018-11-06 | 中国建设银行股份有限公司 | A kind of log processing method and device |
Also Published As
Publication number | Publication date |
---|---|
JP6127647B2 (en) | 2017-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11860821B2 (en) | Generating target application packages for groups of computing devices | |
US11334602B2 (en) | Methods and systems for alerting based on event classification and for automatic event classification | |
JP6919569B2 (en) | Log analysis systems, methods, and recording media | |
Tak et al. | Logan: Problem diagnosis in the cloud using log-based reference models | |
US20170279840A1 (en) | Automated event id field analysis on heterogeneous logs | |
US20200184072A1 (en) | Analysis device, log analysis method, and recording medium | |
US20160255108A1 (en) | Identifying security-related events derived from machine data that match a particular portion of machine data | |
EP3256962A1 (en) | Finding documents describing solutions to computing issues | |
CN110213207B (en) | Network security defense method and equipment based on log analysis | |
Ekelhart et al. | The slogert framework for automated log knowledge graph construction | |
WO2014190427A1 (en) | Identifying client states | |
KR100817562B1 (en) | Method for indexing a large scaled logfile, computer readable medium for storing program therein, and system for the preforming the same | |
JP4928848B2 (en) | Message converter in computer system integrated management environment. | |
JP6127647B2 (en) | Log management device, log management system, log management method, and log management program | |
WO2016199411A1 (en) | Log display device, log display method and log display program | |
US11308091B2 (en) | Information collection system, information collection method, and recording medium | |
Kubacki et al. | Holistic processing and exploring event logs | |
Liu et al. | Anomaly Detection of Command Shell Sessions based on DistilBERT: Unsupervised and Supervised Approaches | |
WO2018225115A1 (en) | Operation assistance system and method | |
CN110569164B (en) | Equipment monitoring method, device and equipment | |
US20220092186A1 (en) | Security information analysis device, system, method and program | |
JP7408530B2 (en) | Security management system and security management method | |
US20220414618A1 (en) | Management and aggregation of ticket data from multiple sources | |
Mudholkar et al. | Analysis of automated log template generation methodologies | |
KR101710086B1 (en) | Method and Apparatus for executing proof collection and investigation analysis for incident response |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170327 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6127647 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |