JP2013214148A - メッセージ変換装置、及びメッセージ変換プログラム - Google Patents

メッセージ変換装置、及びメッセージ変換プログラム Download PDF

Info

Publication number
JP2013214148A
JP2013214148A JP2012082868A JP2012082868A JP2013214148A JP 2013214148 A JP2013214148 A JP 2013214148A JP 2012082868 A JP2012082868 A JP 2012082868A JP 2012082868 A JP2012082868 A JP 2012082868A JP 2013214148 A JP2013214148 A JP 2013214148A
Authority
JP
Japan
Prior art keywords
message
unit
conversion rule
conversion
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012082868A
Other languages
English (en)
Inventor
Seiya Hirahara
誠也 平原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Solutions Corp filed Critical Toshiba Corp
Priority to JP2012082868A priority Critical patent/JP2013214148A/ja
Publication of JP2013214148A publication Critical patent/JP2013214148A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

【課題】
監視対象から収集されたログメッセージを共通フォーマットに変換し、一元分析を可能
とすることで、効率的なメッセージ分析を可能とするメッセージ変換装置、及びそのプロ
グラムを提供することを目的とする。
【解決手段】
実施形態のメッセージ変換装置は、複数のメッセージを記憶するメッセージ記憶部と、
メッセージを構成要素に分割するメッセージ分割部と、メッセージ毎の分割された構成要
素に基づいて変換ルールを生成する変換ルール生成部と、ユーザの入力に基づいて変換ル
ールの変数部とラベル部とを決定する変換ルール決定部と、変換ルール決定部により変数
部とラベル部とを決定された変換ルールに基づいてメッセージを変換するメッセージ変換
部と、を備える。
【選択図】図1

Description

本発明の実施形態は、メッセージ変換装置、及びメッセージ変換プログラムに関する
コンピュータシステムにおいて、運用管理者(以下、「ユーザ」と記載する)の負荷軽
減や、障害対応の効率化を実現するツールとして統合管理ツールがある。従来の統合管理
ツールでは、個別のアプリケーションプログラム(以下、「アプリケーション」と記載す
る)やミドルウェアのログファイルなどに出力されるメッセージに関して、ツール提供ベ
ンダーが用意したテンプレートを用いて解析を行う。
このとき、解析対象が自製ミドルウェアやアプリケーションに記述された独自フォーマ
ットのログの場合でも、正規表現等を用いて個別のログフォーマットを1つずつマッピン
グすることによって基本的な解析が可能である。
中規模から大規模のコンピュータシステムにおいては、ベンダー提供のアプリケーショ
ンと自製のアプリケーションが混在するような場合がほとんどであり、ログメッセージの
バリエーションはさまざまである。
したがって、従来の統合管理ツールで個別のアプリケーションのログを統合管理ツール
で解析する場合に、以下のような問題点がある。
第1の問題点は、出現するメッセージのフォーマット定義に高スキルが要求されること
である。特に、中規模から大規模のアプリケーションシステムにおいては、メッセージフ
ォーマットのバリエーションが膨大なものとなりうる。そのため、ログ解析を行う際には
、対象システムやアプリケーションのログフォーマットへの深い理解やノウハウを持った
専門技術者でないと対応が出来ない恐れがある。
第2の問題点は、メッセージの内容を機械的に解析することが困難なことである。多く
のアプリケーションのログのメッセージが「人間が目で見て動作を確認する」ことを想定
して設計されているため、メッセージの内容が自然言語で表現されているケースが多く、
機械的な解析には向いていないことが多い。
第3の問題点は、各アプリケーションやミドルウェアが出力するログ同士の比較解析が
難しいことである。これらログのフォーマットはそのアプリケーションに特化した独自フ
ォーマットである場合が多く、トラブル発生時の解析の際、原因の切り分けが困難になっ
てしまう。
これらの問題点に対して、監視対象のアプリケーションから収集されたメッセージに対
して、予め定義しておいたルール(以下、「変換ルール」と記載する)に基づきメッセー
ジの形式や文言、重大度の変換を施すことができるメッセージ変換装置がある。このメッ
セージ変換装置は、メッセージを自然言語に近い形式へと変換することによってシステム
運用管理者に理解しやすいものとし、障害対処への初動に要する時間を短縮することがで
きる。
しかしながら当該メッセージ変換装置は、ログ変換フォーマットを固定としているため
、特定の条件下においては上記問題点を解決するものの、独自形式のログフォーマットを
任意の形式に変換することはできず、解析の自由度は極めて小さい。
特開2008−9475号公報
本発明が解決しようとする課題は、監視対象から収集されたログメッセージを共通フォ
ーマットに変換し、一元分析を可能とすることで、効率的なメッセージ分析を可能とする
メッセージ変換装置、及びそのプログラムを提供することを目的とする。
実施形態のメッセージ変換装置は、複数のメッセージを記憶するメッセージ記憶部と、
メッセージを構成要素に分割するメッセージ分割部と、メッセージ毎の分割された構成要
素に基づいて変換ルールを生成する変換ルール生成部と、ユーザの入力に基づいて変換ル
ールの変数部とラベル部とを決定する変換ルール決定部と、変換ルール決定部により変数
部とラベル部とを決定された変換ルールに基づいてメッセージを変換するメッセージ変換
部と、を備える。
実施形態に係るメッセージ変換装置の基本構成の一例を示す図。 実施形態に係るメッセージ変換装置に入力されるメッセージの一例を示す図。 実施形態に係るメッセージ変換装置に係る区切り文字テーブルの一例を示す図。 実施形態に係るメッセージ変換装置のメッセージ変換処理の一例を示すフローチャート。 実施形態に係るメッセージ変換装置のメッセージ変換処理の一例を示すフローチャート。 実施形態に係るメッセージ変換装置のメッセージ変換処理の一例を示すフローチャート。 実施形態に係るメッセージ変換装置の仮変換ルールの一例を示す図。 実施形態に係るメッセージ変換装置の変換ルールの一例を示す図。 実施形態に係るメッセージ変換装置のメッセージ変換処理の一例を示すフローチャート。 実施形態に係るメッセージ変換装置におけるメッセージ変換処理後のメッセージの一例を示す図。
以下、実施形態のメッセージ変換装置について図面を参照して説明する。
(第1の実施形態)
図1乃至図10を参照して、本実施形態のメッセージ変換装置について説明する。図1
は、本実施形態のメッセージ変換装置10の基本構成の一例を示す図である。
図1に示すように、メッセージ変換装置1は、メッセージ取得部110、メッセージ分
割部120、変換ルール生成部130、変換ルール決定部140、メッセージ変換部15
0、メッセージ出力部160、メッセージ記憶部170、区切り文字記憶部180、表示
部190及び入力部200を備え、監視対象のアプリケーション11やOS12が動作す
るコンピュータシステム10と接続される。なお、メッセージ変換装置1は、コンピュー
タシステム10の一部として構成することも可能である。
メッセージ取得部110は、監視対象のアプリケーション11やOS12から出力され
るメッセージを取得する。メッセージは例えば、アプリケーション11やOS12の利用
状況やデータ通信の履歴であるログメッセージやSNMPトラップであり、本実施形態で
はログメッセージが取得される場合について説明する。メッセージ取得部110は取得し
たログメッセージをメッセージ記憶部170に記憶する。
ここで、図2を参照してメッセージ記憶部170に記憶されるログメッセージの一例に
ついて説明する。
図2に示すように、メッセージ記憶部170にはログメッセージ171、ログメッセー
ジ172、ログメッセージ173、及びログメッセージ174の、3種類の4つのログメ
ッセージが記憶されている。これらログメッセージ171〜174はコンピュータシステ
ム10上で動作し、コンピュータシステム10が備えるデータベース(以下、「DB」と
記載する)へアクセスするアプリケーション11の動作に伴って出力されるログメッセー
ジである。
ログメッセージ171及び172は、アプリケーション11の画面遷移や実行したメソ
ッドの履歴(アクションログ)を示す。ログメッセージ173は、アプリケーション11
が動作しているアプリケーションサーバ(図示しない)のアクセスログを示す。ログメッ
セージ174は、DBへのSQL文発行履歴(SQLログ)を示す。図2に示すように、
ログメッセージ171、172、173、174は種類毎にメッセージのフォーマットが
異なる。
メッセージ分割部120は、区切り文字記憶部180に登録された区切り文字に基づい
て、メッセージ記憶部170に記憶されたログメッセージを構成要素毎に分割するメッセ
ージ分割処理を行う。区切り文字及びメッセージ分割処理については後述する。
変換ルール生成部130は、メッセージ分割部120によるメッセージ分割処理の結果
に基づいて、メッセージ記憶部170に記憶されたログメッセージの仮変換ルールを生成
する変換ルール生成処理を行う。仮変換ルール及び変換ルール生成処理については後述す
る。
変換ルール生成部130が生成した仮変換ルールは、表示部190に表示され、ユーザ
に提示される。ユーザは入力部200を操作して表示部190に表示された仮変換ルール
の編集を行なうことができる。表示部190は例えば液晶ディスプレイであり、入力部2
00は例えばマウスとキーボードである。
変換ルール決定部140は、ユーザの編集後の仮変換ルールを変換ルールと決定し、後
述するメッセージ変換部150に送信する。ユーザの編集がない場合は、変換ルール生成
部130が生成した仮変換ルールをそのまま変換ルールとして送信する。
メッセージ変換部150は、受信した変換ルールに基づいてログメッセージを変換する
メッセージ変換処理を行う。メッセージ変換処理については後述する。
メッセージ出力部160は、メッセージ変換部150によって変換されたメッセージ(
以下、「変換後メッセージ」と記載する)を出力する。なお、メッセージ出力部160は
、表示部190を兼ねてもよい。
図3に示すように区切り文字記憶部180は、単独区切り文字182と、ペア区切り文
字183と、優先度フラグ184を項目として備える区切り文字テーブル181が記憶さ
れている。単独区切り文字182は、単独でメッセージを分割することを想定した単独の
文字であり、例えば半角スペース( )、カンマ(,)、アンダーバー(_)などである
。すなわち、メッセージ分割部120は、当該単独区切り文字182がログメッセージに
存在するかを検索し、存在する場合にこの単独区切り文字182の前後でログメッセージ
を区切る。
ペア区切り文字183は、ペアで項目を区切る文字であり、例えば括弧(() 「」
{} [] <>)やシングルクオテーション(‘’)、ダブルクオテーション(“”)
などである。優先度フラグ184は、メッセージ分割処理において、ペア区切り文字18
3と単独区切り文字182のどちらを優先して区切るのかを示し、本実施形態では、ペア
区切り文字183を優先する場合に優先度フラグ184を「0」とする。一方、単独区切
り文字182を優先する場合に優先度フラグ184を「1」とする。
例えば、ペア区切り文字182の方の優先度を高く設定する場合(優先度フラグ184
が「0」の場合)、メッセージ分割部120はペア区切り文字182で囲まれた文字列に
ついては強制的に1つの文字列とみなす。一方、ペア区切り文字183の優先度を単独区
切り文字182より低く設定する場合(優先度フラグ184が「1」の場合)には、メッ
セージ分割部120はペア区切り文字183を区切り文字として扱わず通常の文字と同じ
扱いとする。すなわち、メッセージ分割部120はペア区切り文字183でメッセージを
分割しない。
図4乃至図10を参照して、上述のように構成されるメッセージ変換装置1の動作の一
例について説明する。
まず、メッセージ変換装置1のメッセージ取得部110は、監視対象のアプリケーショ
ン11やOS12から出力されるログメッセージを取得し(ステップS1)、取得したロ
グメッセージをメッセージ記憶部170に登録する(ステップS2)。メッセージ取得部
110は、一度に複数のログメッセージを取得する。以下、図2に示した4つのログメッ
セージ171〜174が取得されたとする。
本実施形態で説明するログメッセージは、「日付」「メソッド名」などの各項目を任意
の区切り文字でつないだ構成であり、行頭から改行記号までを1つのログメッセージとす
る。なお、ログメッセージの形式はこれに限定されるものではなく、1つのログメッセー
ジが複数の行からなる場合や、1行に複数のログメッセージが記述されても構わない。例
えば、メッセージの末尾に適当な文字列(アンカー)を充てることで、1行1メッセージ
に対応付けることは可能である。
メッセージ記憶部170にログメッセージが登録されると、メッセージ分割部120は
、区切り文字記憶部180に登録された区切り文字テーブル181に基づいて、登録され
た各ログメッセージを構成要素の文字列に分割するメッセージ分割処理を行う(ステップ
S3)。
図5を参照して、本実施形態のメッセージ分割部120によるメッセージ分割処理につ
いて説明する。
まず、メッセージ分割部120は、メッセージ記憶部170からログメッセージ171
〜174を取得し、これらのログメッセージに含まれる文字列の構文解析を行なう(ステ
ップS31)。メッセージ分割部120は、ステップS31の構文解析の際に、取得した
各ログメッセージにおいて区切り文字テーブル181に登録されている単独区切り文字1
82が出現した回数をカウントする(ステップS32)。なお、このとき区切り文字テー
ブル181の優先度フラグ184において、ペア区切り文字183の優先度が高いことを
示すフラグ「0」が格納されている場合は、ペア区切り文字183で囲まれている文字列
に出現する単独区切り文字182の回数はカウントしない。
例えば図2に示したログメッセージ171及び172においては、それぞれ、単独区切
り文字182のうち半角スペースの出現回数は4回であり、カンマの出現回数は0回であ
り、アンダーバーの出現回数は0回である。ログメッセージ173においては、単独区切
り文字182のうちの半角スペースの出現回数は4回であり、カンマの出現回数は0回で
あり、アンダーバーの出現回数は0回である。ログメッセージ174においては、単独区
切り文字182のうちの半角スペースの出現回数は1回であり、カンマの出現回数は3回
であり、アンダーバーの出現回数は0回である。
続いてメッセージ分割部120は、単独区切り文字182の出現回数に基づいて、単独
区切り文字182に含まれる各文字について、ログメッセージ間での出現回数の変化を示
す評価値を算出する(ステップS33)。すなわちメッセージ分割部120は、単独区切
り文字182毎にログメッセージ間での出現回数の変化を比較する。
以下、ステップS33で算出する評価値を重み付き変動値といい、ある単独区切り文字
xに対する重み付き変動値をS(x)とする。以下に、重み付き変動値を算出する計算式
(1)を示す。
S(x)=(max−min)/A ・・・(1)
ここで、maxは単独区切り文字xがログメッセージに出現する回数の最大値であり、
minは単独区切り文字xがログメッセージに出現する回数の出現回数の最小値である。
また、Aはminをキー値(0より大きい任意の整数値)で割った商に1を加えた整数
値である。キー値はあらかじめ設定された値であり、本実施形態では「5」とする。
例えば、図2に示すログメッセージ171〜174において単独区切り文字182のう
ちのカンマの重み付変動値は、S(,)=(3−0)/1=3である。同様に、半角スペ
ースの重み付変動値は、S( )=(4−1)/2=1.5であり、アンダーバーの重み
付変動値は、S(_)=0である。
メッセージ分割部120は、重み付き変動値S(x)が最小となる単独区切り文字xを
抽出する(ステップS34)。以下、ステップS34で抽出された単独区切り文字xをメ
イン区切り文字という。ここでは、メイン区切り文字はS(,)=3である「,」である
続いてメッセージ分割部120は、区切り文字テーブル181の優先度フラグ184に
基づいてペア区切り文字183と単独区切り文字182のどちらを優先するかを判定する
(ステップS35)。
ペア区切り文字183を優先する場合(ステップS35がYes)、メッセージ分割部
120はステップS34で抽出したメイン区切り文字および区切り文字テーブル181の
ペア区切り文字182に基づいてログメッセージを文字列に分割する(ステップS36)
。このとき、ペア区切り文字183で囲まれた部分にメイン区切り文字が出現していても
分割は行わない。
単独区切り文字182を優先する場合(ステップS35がNo)、メッセージ分割部1
20はステップS34で抽出したメイン区切り文字のみでログメッセージを文字列に分割
する(ステップS37)。以下、メッセージ分割処理結果の各文字列を「大項目」という
ステップS36もしくはステップS37の処理が行われると、メッセージ分割部120
はメッセージ分割処理を終了する。
ここで、図4の説明に戻る。メッセージ分割処理が終了すると、変換ルール生成部13
0は分割処理結果の文字列に基づいて変換ルール生成処理を行う(ステップS4)。
図6を参照して、変換ルール生成部130による変換ルール生成処理の一例について説
明する。
まず、変換ルール生成部130は、メッセージ記憶部170に記憶されたログメッセー
ジ毎に、メッセージ分割処理結果の大項目に識別子(以下、「項目ID」と記載する)を
付与する(ステップS41)。なお、ラフパターンでは、項目IDはログメッセージに大
項目が出現する順に1,2,3,…と付与される。
変換ルール生成部130は、ログメッセージ毎に、項目IDと、メイン区切り文字を交
互に並べたテキスト(以下、「ラフパターン」と記載する)を生成する(ステップS42
)。例えば、項目IDを1,2,3が付与された大項目を3つ備え、メイン区分文字がカ
ンマ記号であるログメッセージの場合、項目ラフパターンは「1,2,3」となる。同様
にして、メッセージ記憶部170に記憶された全てのログメッセージに対してラフパター
ンを生成する。
変換ルール生成部130は、メッセージ記憶部170に記憶された全てのログメッセー
ジのうち、グループを判定していないログメッセージのラフパターンから、項目IDの最
終値が最小のラフパターンを抽出する(ステップS43)。すなわち、変換ルール生成部
130は、大項目数が最小のログメッセージに含まれる大項目数を抽出する。
続いて、変換ルール生成部130は、メッセージ記憶部170に記憶された全てのログ
メッセージにおいて、文頭からステップS43で抽出したラフパターンの項目IDの最終
値に対応する大項目までが同じであるログメッセージ抽出する(ステップS44)。
以下、ステップS44で抽出されたログメッセージに含まれる、ステップS43で抽出
された項目ID以降の全ての大項目をあわせて「メッセージ句」と定義する。メッセージ
句には複数の大項目が存在し得るが、以降これらの項目を「小項目」と再定義する。
変換ルール生成部130は抽出結果のログメッセージから1つを選択し、メッセージ句
が一致するかを示す一致度(以下、「スコア」と記載する)を算出し(ステップS45)
、算出したスコアが0より大きいか否かを判定する(ステップS46)
ここで、変換ルール生成部130が算出するスコアの一例について説明する。例えば、
変換ルール生成部130は、ユーザが設定したスコア算出ルールに基づいて小項目ごとに
スコアを算出する。スコア算出ルールの一例を以下に示す。なお、メッセージ句に属する
小項目毎のスコアの合計値がそのログメッセージの合計スコアとなる。
ルール:ログメッセージ間で対応する小項目の文字列間で共通部分文字列が存在(スコ
ア=(共通部分文字列の文字数)/(小項目全体の文字数)
すなわち、スコアは0〜1の間の値を取り、ログメッセージ間で対応する小項目の文字
列が完全一致する場合はスコア=1となる。
変換ルール生成部130は、選択したログメッセージの合計スコアが0より大きい場合
(ステップS46がYes)、すなわち選択したログメッセージのメッセージ句と、その
他のログメッセージのメッセージ句に共通文字列が存在する場合に、これらのログメッセ
ージを同一グループのログメッセージであると判定する(ステップS47)。このとき、
変換ルール生成部130は、同一グループと判定されたログメッセージに同一のグループ
IDを付与する。なお、最もスコアの大きいログメッセージ同士のみを同一のグループと
してもよい。
選択したログメッセージの合計スコアが0の場合(ステップS46がNo)、すなわち
選択したログメッセージのメッセージ句に他のログメッセージのメッセージ句との共通文
字列が存在しない場合、ステップS45で選択したログメッセージを独立グループである
と判定する(ステップS48)。このとき、ステップS47と同様に、変換ルール生成部
130は、同一グループと判定されたログメッセージに同一のグループIDを付与する。
ステップS47もしくはステップS48でグループが判定されたログメッセージに対し
て、変換ルール生成部130は仮変換ルールを生成する(ステップS49)。ここで、変
換ルール生成部130によって生成される仮変換ルールについて説明する。この仮変換ル
ールは、例えば当該グループに属するログメッセージに対応するラフパターンと、メイン
区切り文字とを対応付けた情報である。なお、仮変換ルールに含まれる共通文字列はステ
ップS45で一致度を算出する際の検索結果を表示してもよいし、再度共通文字列の検索
を行なってもよい。
図7に仮変換ルールの一例を示す。仮変換ルールは図7に示すように、グループID1
42と変換ルール143とメイン区切り文字144という項目を備える変換ルールテーブ
ル141で管理される。なお、仮変換ルールテーブル141は他にもログメッセージに含
まれる大項目数などを含んでも良い。
グループID141はステップS47もしくはS48において付与されるグループID
が格納される。変換ルール142には、このグループID141に属するログメッセージ
のラフパターンがされる。メイン区切り文字は、仮変換ルール生成対象のログメッセージ
群におけるメイン区切り文字が格納される。ここではメイン区切り文字はカンマ(,)で
ある。
ステップS47もしくはステップS48でグループが判定されていないログメッセージ
がステップS44で抽出されたログメッセージ群に存在する場合(ステップS50がYe
s)、変換ルール生成部130はステップS45に戻り、別のログメッセージを選択して
処理を行う。このとき、選択したログメッセージと既にグループ番号が付与されたログメ
ッセージが同一グループと判定された場合、選択したログメッセージには、同一グループ
と判定されたログメッセージのグループ番号を付与する。
ステップS44で抽出されたログメッセージすべてにステップS47もしくはステップ
S48でグループが判定され、仮変換ルールが生成された場合(ステップS50がNo)
、変換ルール生成部130は変換ルール生成処理を終了する。
作成された仮変換ルールに基づいて、変換ルール決定部140は変換ルール決定処理を
行う(ステップS5)。具体的には、変換ルール決定部140が表示部190を通してユ
ーザに仮変換ルールを提示すると、ユーザは入力部200を操作して仮変換ルールの編集
を行なう。
入力部200から仮変換ルールの編集終了が入力されると、変換ルール生成部140は
編集後の仮変換ルールを当該グループの変換ルールと決定する。以下、ユーザによる仮変
換ルールの編集について説明する。ユーザは、提示されたグループ毎の仮変換ルールを見
て、グループ分けが正しいかどうかを確認し適宜修正を加える。修正はGUIを介して行
うことができる。このときの修正対象は例えばグループに属するログメッセージメッセー
ジの振り分け変更、区切り文字の箇所、種類の変更である。
また、ユーザは、入力部200を介してログメッセージの文字列を項目ごとに「変数部
」と「ラベル部」とに分類する。変数部とはメソッド名やユーザIDなど、他のログメッ
セージにおいて意味が同じであってもメッセージ毎に文字列そのものが変わる可能性のあ
る部分である。例えば「user00」と「user01」は別の文字列であるため、変
数部と見なす。
ラベル部は、出力される文字列が一意に定まる(変化しない)部分である。例えば「・
・・は、正常に開始しました」などである。
ユーザは変数部に、その項目の意味を踏まえ、適当な名前を付ける(前述例の場合は「
ユーザID」)。ユーザによって入力された項目名を「クラス」という。各ログメッセー
ジにおいて文字列を同一クラスに分類することによって、ログメッセージのグループをま
たいだ項目の管理が可能となる。なお、「日付」や「時刻」といった一般性の高いクラス
については、変換ルール決定部140に書式を相互変換できるようなロジックをあらかじ
め組み込んでおくことによって、例えば「01/Jan/2010」と「2010/1/
1」を同じ意味であるとユーザに表示するようにしてもよい。
図8にログメッセージ171〜174についての仮変換ルールのユーザ編集後の一例を
示す。本実施形態では、仮変換ルールは編集後、メッセージ同士をまたいだ解析に必要と
なる最低限のクラス数となり、カンマを区切り文字とした変換ルールとなっている。すな
わち、変換ルール決定部150が決定した変換ルールがこの変換ルールに対応付けられた
ログメッセージの共通フォーマットである。
変換ルール決定処理後、メッセージ分割部120は、メッセージ記憶部170に記憶さ
れた全てのログメッセージが取得され、変換ルールが生成されているか判定する(ステッ
プS6)。
メッセージ記憶部170に記憶された全てのログメッセージが取得されていない場合(
ステップS6がNo)、ステップS1に戻り処理を繰り返す。
メッセージ記憶部170に記憶された全てのログメッセージが取得された場合(ステッ
プS6がYes)、メッセージ変換部150は、変換ルール決定部150が決定した変換
ルールに基づいて同一グループに属する各ログメッセージを統一フォーマットのメッセー
ジに変換するメッセージ変換処理を行う(ステップS7)。図9乃至図10を参照して本
実施形態のメッセージ変換処理について説明する。
メッセージ変換部150は、各ログメッセージに対応付けられた変換ルールを取得し(
ステップS71)、ログメッセージから変換ルールの変数部と一致する文字列を抽出する
(ステップS72)。メッセージ変換部150は、抽出結果の文字列を変換ルールに記載
された文字列の順番で並び替える(ステップS73)。メッセージ変換部150は、変換
ルールのラベル部を変換ルールに記載された順にログメッセージに付与し(ステップS7
4)、メッセージ変換処理を終了する。
メッセージ変換処理後、表示部190が変更処理後のログメッセージを出力し(ステッ
プS8)、メッセージ変換装置1は処理を終了する
図10にメッセージ変換処理後のログメッセージ171〜174の一例を示す。図10
に示すように、メッセージ変換処理後のログメッセージ171〜174は、可読性は低下
しているが、全体のフォーマットが統一されたことによって機械的な解析の自由度が高く
なる。また、カンマで区切られた各フィールドの値に対する一致検索や出現バリエーショ
ンの把握、集計などを行うことによって、メッセージ形式にとらわれない同一の分析方法
で基本的な分析が可能となる。また、メッセージ変換部150は、変換ルール決定処理後
の変換ルールテーブルを記憶部(図示しない)に記憶してもよい。この場合、図4のステ
ップS1でログメッセージ取得部110はログメッセージを取得後、当該ログメッセージ
と既に記憶部に記憶された変換ルールに含まれる区切り文字の並びとラベル部の文字列と
が完全一致するか否かを判定し、完全一致する場合は、ステップS2乃至ステップS5の
処理を行わずに当該変換ルールに基づいてメッセージ変換処理を行うようにしてもよい。
上述のように、本実施形態のメッセージ変換装置1によると、異種のOSやアプリケー
ションが出力したメッセージを、解析の自由度を損ねることなく統一したフォーマットの
メッセージに変換することが可能である。また、本実施形態のメッセージ変換装置1によ
ると、変換を行わせるルールをあらかじめ作成する必要がなく、煩雑なルール記述の手間
を削減することが可能である。
以上、本発明の実施形態を説明したが、この実施形態は一例として提示したものであり
、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な
形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き
換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれ
るとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10…変換対象のログファイル、20…変換後のログファイル、50…区切り文字テーブ
ル、110…メッセージ入力部、120…メッセージ分割部、130…変換ルール生成部
、140…変換ルール決定部、150…メッセージ変換部、160…メッセージ出力部
、170…メッセージ記憶部、180…区切り文字記憶部、190…表示部、200…入
力部

Claims (5)

  1. 複数のメッセージを記憶するメッセージ記憶部と、
    前記メッセージを構成要素に分割するメッセージ分割部と、
    前記メッセージ毎の分割された構成要素に基づいて変換ルールを生成する変換ルール生
    成部と、
    前記変換ルールとユーザの入力に基づいて前記メッセージの共通フォーマットを決定す
    る変換ルール決定部と、
    前記共通フォーマットに基づいて、前記メッセージを変換するメッセージ変換部と、
    を備えるメッセージ変換装置。
  2. 前記メッセージ分割部は区切り文字に基づいて前記メッセージを構成要素に分割する請
    求項1に記載のメッセージ変換装置。
  3. 前記変換ルール決定部は、前記ユーザの入力に基づいて前記変換ルールの変数部とラベ
    ル部とを決定し、
    前記メッセージ変換部は、前記変数部とラベル部とに基づいて前記メッセージを変換す
    る請求項1又は請求項2に記載のメッセージ変換装置。
  4. 前記変換ルール生成部は、前記複数のメッセージから1つのメッセージを選択し、選択
    したメッセージと、前記メッセージ記憶部に記憶された他のメッセージとの一致度を算出
    し、前記他のログメッセージの内、前記一致度が閾値以上のログメッセージを前記選択し
    たログメッセージと同一グループと判定し、当該同一グループ毎に前記変換ルールを生成
    する請求項1乃至請求項3のいずれか1項に記載のメッセージ変換装置。
  5. 複数のメッセージを記憶するメッセージ記憶部を備えるメッセージ変換装置のメッセー
    ジ変換プログラムであって、
    コンピュータに、
    前記メッセージ記憶部が記憶したメッセージを構成要素に分割する機能と、
    前記分割された構成要素に基づいて変換ルールを生成する機能と、
    ユーザの入力に基づいて、前記変換ルールの変数部とラベル部とを決定する機能と、
    前記変数部と前記ラベル部とを決定された変換ルールに基づいて前記メッセージを変換
    する機能と、
    を実行させるメッセージ変換プログラム。
JP2012082868A 2012-03-30 2012-03-30 メッセージ変換装置、及びメッセージ変換プログラム Pending JP2013214148A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012082868A JP2013214148A (ja) 2012-03-30 2012-03-30 メッセージ変換装置、及びメッセージ変換プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012082868A JP2013214148A (ja) 2012-03-30 2012-03-30 メッセージ変換装置、及びメッセージ変換プログラム

Publications (1)

Publication Number Publication Date
JP2013214148A true JP2013214148A (ja) 2013-10-17

Family

ID=49587441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012082868A Pending JP2013214148A (ja) 2012-03-30 2012-03-30 メッセージ変換装置、及びメッセージ変換プログラム

Country Status (1)

Country Link
JP (1) JP2013214148A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016048506A (ja) * 2014-08-28 2016-04-07 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation ログメッセージのフォーマットを推定する方法、並びに、その為のコンピュータ及びコンピュータ・プログラム
WO2016199433A1 (ja) * 2015-06-11 2016-12-15 日本電気株式会社 メッセージ分析装置、メッセージ分析方法、および、記憶媒体
JP2020154381A (ja) * 2019-03-18 2020-09-24 ヤフー株式会社 情報処理システム、情報処理装置、情報処理方法およびプログラム
WO2022259559A1 (ja) * 2021-06-11 2022-12-15 日本電信電話株式会社 判定装置、判定方法および判定プログラム
WO2023162271A1 (ja) * 2022-02-28 2023-08-31 日本電気株式会社 運用管理装置、システム及び方法、並びに、コンピュータ可読媒体
WO2024004313A1 (ja) * 2022-06-28 2024-01-04 株式会社日立製作所 不具合診断システム、不具合診断装置および不具合診断方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016048506A (ja) * 2014-08-28 2016-04-07 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation ログメッセージのフォーマットを推定する方法、並びに、その為のコンピュータ及びコンピュータ・プログラム
US9858168B2 (en) 2014-08-28 2018-01-02 International Business Machines Corporation Method for estimating format of log message and computer and computer program therefor
US9875171B2 (en) 2014-08-28 2018-01-23 International Business Machines Corporation Method for estimating format of log message and computer and computer program therefor
WO2016199433A1 (ja) * 2015-06-11 2016-12-15 日本電気株式会社 メッセージ分析装置、メッセージ分析方法、および、記憶媒体
JPWO2016199433A1 (ja) * 2015-06-11 2018-03-29 日本電気株式会社 メッセージ分析装置、メッセージ分析方法、および、記憶媒体
JP2020154381A (ja) * 2019-03-18 2020-09-24 ヤフー株式会社 情報処理システム、情報処理装置、情報処理方法およびプログラム
WO2022259559A1 (ja) * 2021-06-11 2022-12-15 日本電信電話株式会社 判定装置、判定方法および判定プログラム
WO2023162271A1 (ja) * 2022-02-28 2023-08-31 日本電気株式会社 運用管理装置、システム及び方法、並びに、コンピュータ可読媒体
WO2024004313A1 (ja) * 2022-06-28 2024-01-04 株式会社日立製作所 不具合診断システム、不具合診断装置および不具合診断方法

Similar Documents

Publication Publication Date Title
US10237295B2 (en) Automated event ID field analysis on heterogeneous logs
JP2013214148A (ja) メッセージ変換装置、及びメッセージ変換プログラム
US10198511B1 (en) Datacenter search query interpretation system
CN107506256B (zh) 一种崩溃数据监控的方法和装置
WO2021051546A1 (zh) 一种链路异常识别方法、服务器及计算机可读存储介质
CN104536987B (zh) 一种查询数据的方法及装置
US20160098390A1 (en) Command history analysis apparatus and command history analysis method
CN111639027B (zh) 一种测试方法、装置及电子设备
CN108829884B (zh) 数据映射方法及装置
US10979295B2 (en) Automatically discovering topology of an information technology (IT) infrastructure
US10812327B2 (en) Event clusters
US20230040635A1 (en) Graph-based impact analysis of misconfigured or compromised cloud resources
Vervaet et al. USTEP: Unfixed search tree for efficient log parsing
CN111950263A (zh) 一种日志解析方法、系统及电子设备
CN112182025A (zh) 日志分析方法、装置、设备与计算机可读存储介质
JP4928848B2 (ja) 計算機システム統合管理環境におけるメッセージ変換装置
US20130325907A1 (en) Xml file conversion to flat file
JP5295062B2 (ja) 複合イベント処理向けクエリ自動生成装置
CN109408577B (zh) Oracle数据库json解析方法、系统、装置及可存储介质
CN107977304B (zh) 一种系统调试方法和装置
CN114995719A (zh) 列表渲染方法、装置、设备以及存储介质
JP2018081403A (ja) インシデント管理システム、インシデント管理方法およびコンピュータプログラム
CN112541718B (zh) 物料处理方法和装置
WO2020049622A1 (ja) 情報処理装置、分析システム、分析方法及び分析プログラムが格納された非一時的なコンピュータ可読媒体
JPWO2016013209A1 (ja) 文集合抽出システム、方法およびプログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150216

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150218