JP2018535501A - 異種混合ログの周期性解析 - Google Patents

Abstract

システムと方法は、異種混合ログメッセージを取り込むこと、夫々のログメッセージは、タイムスタンプと１つ又は複数のフィールドを有するテキストコンテンツを含むこと、ログメッセージからログフォーマットを認識すること、テキストコンテンツを時系列データのセット、夫々のログフォーマットに対する１つの時系列に変換すること、トレーニング段階中に、時系列データのセットを解析すること、異種混合ログ内の夫々の周期イベントのタイプに関するカテゴリモデルを構築すること、ライブ動作中に、ライブの異種混合ログメッセージからカテゴリモデルを時系列データのストリームに適用すること、カテゴリモデルに違反する時系列データのポイントにフラグを生成すること、対応するログメッセージに対するアラームレポートを生成すること、を行うことによって機械が生成したロギングから周期イベントの挙動を検出することが開示される。

Description

本システムは、周期イベントの挙動の機械判断に関する。

周期イベントは、固定された間隔、または（イベントとイベントの間の時間が実質的に同じものであるか、もしくはいくつかのあり得る値の中にあることを意味する）固定された間隔のセットで、定期的に何度も繰り返して起こるイベントである。記録されたログデータからの周期性解析は、物理的なイベントへの有用な見識を提供し、システムが、異常値をレポートすること、および将来の挙動を予測することを可能にする重要なタスクである。例えば、図１は、１日に２回、午前１：００および午後１４：００頃に起こる、システムイベントのタイプの周期パターンを含んでいるＩＴシステムのログから得られたテキストログのセットを示している。図１から突き止められたログイベントの周期性に基づいて、予期しないシステムの挙動が検出されることがある。例えば、図２は、午前１：００および午後１４：００の周期性に違反する２つのイベントの検出を示している。

イベントの周期性を得るために、システムは、本来的に複雑な周期的挙動に関する現実世界の課題、および不完全なデータ収集の問題に直面しなければならない。具体的には、隠れた一時的な周期的挙動は振動していることがあり、ノイズが入っていることがある。フーリエ変換（ＦＦＴ）および自己相関などの伝統的な周期性解析方法は、通例、データが均一にサンプルされることを要求し、すなわちタイムスタンプ毎の観察がある。フーリエ変換のいくつかの拡張が均一でないデータサンプルを取り扱うことを提案されたとしても、これらは、まだ、非常に低いサンプリングレートのケースに適用可能ではない。

いくつかの方法は、１つのイベントのタイプの単一の時系列に対する統計的解析技法を適用する。周期性に対する確率的な測定、つまり、電子的な周期性は、周期を検出するために使用されてきた。これは、この時系列を複数の長さＴの時系列に分割すること、これらの時系列にオーバレイすること、およびイベントの条件付き確率によって測定された最も大きいクラスタ化挙動を有する値Ｔを周期性としてレポートすることを行うために、異なる潜在的な周期性の長さＴを適用することによって行われる。

ＩＴシステムのログから得られた例示的な周期イベントの例を示す。 ログイベントの周期性のチェックを通じて検出された例示的なシステム異常を示す。 例示的なカテゴリモデルベースの周期性解析（ＣＭＢＰＡ）処理を示す。 例示的なＣＭＢＰＡのログから時系列への転換手順を示す。 図１のログに関する例示的なＣＭＢＰＡの時系列データを示す。 図１のログに関する例示的なＣＭＢＰＡの時系列データを示す。 図１のログに関する例示的なカテゴリモデルの出力を示す。 例示的なＣＭＢＰＡのログから時系列への転換手順を示す。 例示的なＣＭＢＰＡのカテゴリモデルのテスト手順を示す。 図２のログに関する例示的なカテゴリモデルのテスト出力を示す。 図１に関する例示的なハードウェアを示す。

システムおよび方法は、異種混合ログメッセージを取り込むことであって、それぞれのログメッセージは、タイムスタンプおよび１つまたは複数のフィールドを有するテキストコンテンツを含むことと、テキストコンテンツを時系列データのセットに変換することと、トレーニング段階中に、時系列データのセットを解析すること、および異種混合ログ内のそれぞれの周期イベントのタイプに関するカテゴリモデルを構築することと、ライブ動作中に、ライブの異種混合ログメッセージからカテゴリモデルを時系列データのストリームに適用すること、およびカテゴリモデルに違反する時系列データのポイントにフラグを生成すること、および対応するログメッセージを生成することと、によって機械が生成したロギングから周期イベントの挙動を検出するために開示される。

別の態様において、システムは、機械的なアクチュエータと、データをログ記録するためにアクチュエータに連結されているディジタイザと、機械が生成したロギングから周期イベントの挙動を検出するモジュールとを含むシステムであって、それぞれのログメッセージは、タイムスタンプおよび１つまたは複数のフィールドを有するテキストコンテンツを含む異種混合ログメッセージを取り込み、テキストコンテンツを時系列データのセットに変換し、トレーニング段階中に、時系列データのセットを解析し、異種混合ログ内のそれぞれの周期イベントのタイプに関するカテゴリモデルを構築し、ライブ動作中に、ライブの異種混合ログメッセージからカテゴリモデルを時系列データのストリームに適用し、カテゴリモデルに違反する時系列データのポイントにフラグを生成し、対応するログメッセージを生成するコードを含む。

実装形態において、アクチュエータは、例えば、パフォーマンス、信頼性、またはメンテナンスの目的で監視される必要がある周期イベントの挙動を生成するモータまたはエンジンであってよい。

システムの利点は、以下の１つまたは複数を含むことがある。単一の時系列として入力データを扱う代わりに、本発明は、異種混合ログを複数の時系列に変換し、それぞれの時系列に存在する複数の周期を潜在的に発見するすばやくかつ強固なメカニズムを提供する。周期性発見メカニズムは、適合性スコア、カテゴリ中心、および誤り限界のパラメータを伴うカテゴリモデルに基づいている。システムは、カテゴリモデルを構築し、カテゴリモデルに基づいて周期性異常をテストする線形法も提供する。システムは、システムについての従来の知識が利用可能でないことがあるときでさえ、大量の異種混合ログ内の周期イベントのパターンを統計的に見つけることの複雑性を著しく減らす。斬新な方式で先進的なテキストマイニングと時系列解析とを統合することによって、本原理は、原理的な方式で、異種混合ログに対する自動的な周期パターンのマイニング方法を組み立て、より速い動作およびシステム更新を可能にする。

図３は、異種混合ログに対するカテゴリモデルベースの周期性解析（ＣＭＢＰＡ）と呼ばれる１つの例示的な処理を示す。処理は、以下のように動作する。

１０１．トレーニングのための異種混合ログの収集。このステップは、任意の／未知のシステムまたはアプリケーションからの異種混合ログを用いる。ログメッセージは、タイムスタンプおよび１つまたは複数のフィールドを有するテキストコンテンツからなる。

１０２．ログから時系列への転換。このステップは、オリジナルのトレーニングテキストログを時系列データのセットに変換する。

１０３．カテゴリモデルの生成。このステップは、１０２によって出力された時系列のセットを解析し、異種混合ログ内のそれぞれの周期イベントのタイプに関するカテゴリモデルを構築する。

１０４．テストのための異種混合ログの収集。このステップは、周期性挙動のテストのために１０１の同じシステムから収集された異種混合ログを用いる。ログメッセージは、タイムスタンプおよび１つまたは複数のフィールドを有するテキストコンテンツからなる。テストデータは、ログファイルとして１つのバッチで入手してもよく、またはストリームプロセスで入手してもよい。

１０５．ログから時系列への転換。このステップは、オリジナルのテストをするテキストログを時系列データのセットに変換する。

１０６．カテゴリモデルのチェック。このステップは、１０３によって出力された対応するカテゴリモデルに基づいて、１０２によって出力された時系列データのセットを解析し、カテゴリモデルに違反する任意の時系列データのポイントに関するアラームおよび対応するログメッセージを出力する。

１０７．ログ管理アプリケーション。このステップは、１０３によって出力されたカテゴリモデルに基づいて、１０１からの異種混合ログに、または１０６によって出力されたカテゴリモデルのチェックに基づいて、１０４からの異種混合ログに、管理アプリケーションのセットを適用する。例えば、ログベースの障害管理は、期待された時点に現れない消えたログメッセージを発見すること、または１０６によって出力された予期しない時点に現れる異常なログメッセージを検出することによって適用されてよい。

図４は、ＣＭＢＰＡのログから時系列への転換手順の詳細を以下のように示す。

２０１．ログフォーマットの認識。トレーニングログにマッチするログフォーマットのセットは、ユーザによって直接提供されるか、または以下のように、異種混合ログすべてに関するフォーマット認識手順によって自動的に生成されてよい。

２０１．ａ−任意の異種混合ログ（ステップ１０１）を用いて、トークン化は、ログから意味的に有意義なトークンを生成するように処理される。異種混合ログがトークン化された後、異種混合ログに関する類似性測定が適用される。この類似性測定は、ログレイアウト情報とログコンテンツ情報との両方を活用し、任意の異種混合ログに特別に調整される。ログ同士の類似性が取り込まれた後で、ログ階層式クラスタ化のアルゴリズムは、ログクラスタ階層を生成および出力するように適用されてよい。ＣＭＰＢＡは、ユーザが最も好きな階層式クラスタ化アルゴリズムにつなぐことを可能にする。

２０１．ｂ−ログクラスタ階層が、ログクラスタ階層の最も低いレベルにあるそれぞれのクラスタ内に受け取られた後で、ログが調節される。ログ調節は、以下のステップでログのパターン認識を助けるために、異種混合ログの未知のレイアウトを維持するようにデザインされる。ログが調節された後で、ログモチーフの発見が、最も代表的なレイアウトおよびログフィールドを見つけるために遂行される。以下のステップは、このようなモチーフからのパターン認識である。第１に、タイムスタンプ、インターネットプロトコル（ＩＰ）アドレス、およびユニバーサルリソースロケーターズ（ＵＲＬs）などのフィールドが認識される。第２に、ログに高度に保存されている他のフィールドが認識され、クラスタ階層のデータ構造の中で編成される。上記のログモチーフの発見およびパターン認識は、ログ階層の最も低いレベルで最初に行われることに留意されたい。この後、情報すべては、階層のより高いレベルまで逆伝播され、ログからフォーマットのパターン表記を提供するために、情報のローカルパターンと融合される。

２０２．フォーマット毎の時系列の生成。クラスタ化階層のそれぞれの一意のフォーマットに関して、以下は異種混合ログすべてに対する時系列の生成手順である。

２０２．ａ−（例えば、規則的な表現テストを通じて）パターンのフォーマットにマッチするすべてのログメッセージを見つける。

２０２．ｂ−メッセージのタイムスタンプに基づいてこれらのマッチしたメッセージを並べる。Ｋ個の順序付けられたメッセージがあり、Ｘ＝｛Ｘ１，Ｘ２，．．．，ＸＫ｝のようにメッセージのタイムスタンプを示すと仮定する。

２０２．ｃ−Ｙ＝｛Ｙ１＝Ｘ２−Ｘ１，Ｙ２＝Ｘ３−Ｘ２，．．．，ＹＫ−１＝ＸＫ−ＸＫ−１｝のように出現と出現との間の時系列を出力する。

例えば、図５は、ログフォーマット“｛％ＴＩＭＥ＿ＳＴＡＭＰ｝（％ＩＰ＿ＡＤＤＲＥＳＳ）ＣＯＭＭＩＴ”に一致した図１のログに対する時系列の一部を示す。

Ｙ１＝４６８０００００
Ｙ２＝３９６０００００
Ｙ３＝４６８０００００
Ｙ４＝３９６０００００
Ｙ５＝４６８０００００
Ｙ６＝３９６０００００
Ｙ７＝４６８０００００
Ｙ８＝３９６０００００
．．．．．．
図６は、ＣＭＢＰＡのカテゴリモデルの生成手順の詳細を示す。２０２から出力された出現と出現との間の時系列Ｙ＝｛Ｙ１，Ｙ２，．．．，ＹＫ−１｝を伴うそれぞれのログフォーマットＹに関して、以下は、ログフォーマットＹが周期イベントのパターンを含むかどうかを判定するカテゴリモデルの生成手順であり、ログフォーマットＹが周期イベントのパターンを含む場合、詳細な周期性モデルである。

３０１．カテゴリを推定する。時系列Ｙの中の一意の値の発生回数を数えること、増加する順にこれらの一意の値をソートすること、ならびに順序付けられたリストＣ_{ｅｓｔｉｍａｔｅｄ}＝［Ｃ_１，Ｃ_２，．．．Ｃ_ｕ｝、およびＮ_{ｅｓｔｉｍａｔｅｄ}＝［Ｎ_１，Ｎ_２，．．．Ｎ_ｕ｝にこれらを記録することを行い、ここで、ｕは一意の値の数であり、Ｎ_ｉはＹの中の一意の値Ｃ_ｉの発生回数である。

３０２．推定されたカテゴリをクラスタ化する。Ｃ_{ｅｓｔｉｍａｔｅｄ}の中の推定されたカテゴリの値から、カテゴリの距離の比率σ（例えば、σ＝０．０１）を与えられた推定されたカテゴリの値の距離に基づいて、推定されたカテゴリの値をクラスタ化する。

３０２．ａ−ソートされたリスト、すなわちＤ_{ｅｓｔｉｍａｔｅｄ}＝［ｄ_１＝／Ｃ_２−Ｃ_１｜，ｄ_２＝／Ｃ_３−Ｃ_２｜，．．．ｄ_ｕ−１＝／Ｃ_ｕ−Ｃ_ｕ−１｜｝の中のその次に隣接する、Ｃ_{ｅｓｔｉｍａｔｅｄ}の中のそれぞれの値の距離を計算する。ｄ_ｍａｘ＝ｍａｘ｛ｄ_ｉ，１≦ｉ≦ｕ−１｝とする。

３０２．ｂ−Ｄ_{ｉｎｄｅｘ}＝｛｝リストを初期化する。ｉ＝１から（ｕ−１）までの間、距離の値ｄ_ｉが（ｄ_ｉ／ｄ_ｍａｘ）≦σを満足する場合、ｉはリストＤ_{ｉｎｄｅｘ}＝Ｄ_{ｉｎｄｅｘ}＋｛ｉ｝に追加される。

３０２．ｃ−リストＤ_{ｉｎｄｅｘ}が空である場合、この時系列Ｙに対して見つけられたカテゴリモデルはない。

３０２．ｄ−リストＤ_{ｉｎｄｅｘ}が空ではない場合、リストＣ_{ｆｉｎａｌ}＝｛｝として最終的なカテゴリモデルを初期化し、ｉ＝１からｕまでの間、ｋ＝１にセットする。

３０２．ｄ．１−ｉがＤ_{ｉｎｄｅｘ}およびＣ_{ｆｉｎａｌ}の中にない場合、新しいカテゴリのリストＣ’_ｋ＝｛Ｃ_ｉ｝を作成し、これを最終的なカテゴリモデルＣ_{ｆｉｎａｌ}＝Ｃ_{ｆｉｎａｌ}＋｛Ｃ’_ｋ｝、ｋ＝ｋ＋１に追加し、
３０２．ｄ．２−ｉがＤ_{ｉｎｄｅｘ}の中にある場合、Ｄ_{ｉｎｄｅｘ}の中で最も長い連続的な整数のシーケンス（ｉ，ｉ＋１，ｉ＋２，．．．，ｉ＋ｃ）を見つけ、新しいカテゴリのリストＣ’_ｋ＝｛Ｃ_ｉ，Ｃ_ｉ＋１，．．，Ｃ_{ｉ＋ｃ＋１}｝を作成し、これを最終的なカテゴリモデルＣ_{ｆｉｎａｌ}＝Ｃ_{ｆｉｎａｌ}＋｛Ｃ’_ｋ｝、ｋ＝ｋ＋１に追加し、
３０３．カテゴリをモデル化する。カテゴリモデルがない場合、ここで終了する。そうでなければ、最終的なカテゴリモデルＣ_{ｆｉｎａｌ}＝｛Ｃ’_１，Ｃ’_２，．．．，Ｃ’_Ｆ｝に関して、モデルパラメータ（Ｃｅｎｔｅｒ（Ｃ’_ｋ），Ｅｒｒｏｒ（Ｃ’_ｋ））は、それぞれのＣ’_ｋ＝｛Ｃ_ｉ，Ｃ_ｉ＋１，．．，Ｃ_ｉ＋ｊ｝、１≦ｋ≦Ｆに対して計算され、適合性スコアは、全体のカテゴリモデルＣ_{ｆｉｎａｌ}に対して計算される。

３０３．ａ−Ｃｅｎｔｅｒ（Ｃ’_ｋ）＝Ｃ_ｍであり、ここで、ｍは、Ｍａｘ｛Ｎ_ｍ，ｉ≦ｍ≦ｉ＋ｊ｝である。すなわち、カテゴリＣ’_ｋのクラスタの中心として、Ｙの中の最も大きい発生回数を有する一意の値を選ぶ。

３０３．ｂ−Ｅｒｒｏｒ（Ｃ’_ｋ）＝ｍａｘ｛｜Ｃ_ｍ−Ｃｅｎｔｅｒ（Ｃ’_ｋ）｜，ｉ≦ｍ≦ｉ＋ｊ｝。すなわち、その中心へのＣ’_ｋの中の一意の値の最も大きい距離として、誤り限界を選ぶ。

３０３．ｃ−Ｓｉｚｅ（Ｃ’_ｋ）＝Σ_{ｍ：ｉ，．．．，ｉ＋ｊ}Ｎ_ｍ、ａｖｅｒａｇｅ＿ｓｉｚｅ（Ｃ_{ｆｉｎａｌ}）＝（Ｋ−１）／Ｆ、ｆｉｔｎｅｓｓ（Ｃ_{ｆｉｎａｌ}）＝ｍｉｎ｛Ｓｉｚｅ（Ｃ’_ｋ），１≦ｋ≦Ｆ｝／ａｖｅｒａｇｅ＿ｓｉｚｅ（Ｃ_{ｆｉｎａｌ}）。

例えば、図７は、２つのカテゴリが、図１のログに対して生成されることを示し、すなわち、１つは中心値３．９６Ｅ７（１１時間間隔）と誤り限界０、およびもう１つは中心値４．６８Ｅ７（１３時間間隔）と誤り限界０であり、全体のカテゴリモデルに対する適合性スコアは、０．９６２９６２９６２９６２９６２９である。

図８は、テスト手順に対するＣＭＢＰＡのログから時系列への転換手順の詳細を示す。

５０１．ログフォーマットの選択。２０１で生成されたログフォーマットのセットから、カテゴリモデルを有するフォーマットだけが、残りのテスト手順のために選択される。

５０２．メッセージ毎のタイムスタンプの認識。テストデータの中のそれぞれのログメッセージｉに関して、
（例えば、規則的な表現テストを通じて）マッチするログフォーマットｆ_ｉを見つけ、ｉに対するタイムスタンプｔ_ｉを抽出する。ｉがマッチするフォーマットを見つけない場合、ｉは、残りのテスト手順のために除去される。

図９は、ＣＭＢＰＡのカテゴリモデルのテスト手順の詳細を示す。１０５において、マッチするフォーマットｆｉを有するそれぞれのログメッセージｉに関して、以下は、ログメッセージｉがｆｉのカテゴリモデルによって説明される周期性挙動に違反し、異常がレポートされるべきかどうかを判定するカテゴリモデルのテスト手順である。

６０１．カテゴリを見つける。Ｔを、ログｉおよび以前のログがマッチするフォーマットｆ_ｉの出現と出現との間の時間とする。フォーマットｆ_ｉのカテゴリモデルＣ_ｆ＝｛Ｃ’_１，Ｃ’_２，．．．，Ｃ’_Ｆ｝に関して、Ｃｅｎｔｅｒ（Ｃ’_ｍ）＝ｍｉｎ｛／Ｔ−Ｃｅｎｔｅｒ（Ｃ’_ｊ）｜，，１≦ｊ≦Ｆ｝であるＣ’_ｍを見つける。

６０２．誤り限界をチェックする。｜Ｔ−Ｃｅｎｔｅｒ（Ｃ’_ｍ））｜＞Ｅｒｒｏｒ（Ｃ’_ｍ））の場合、ログメッセージｉは、ｆ_ｉ’のカテゴリモデルによって説明される周期性挙動に違反する。そうでなければ、メッセージｉは、いかなる周期性挙動にも違反しない。

６０３．異常をレポートする。ログメッセージｉが周期性挙動に違反する場合、カテゴリモデルの適合性スコアがチェックされ、カテゴリモデルの適合性スコアが閾値α（例えば、０．５）よりも大きい場合、異常はレポートされ、そうでなければ、ログメッセージｉを含むフォーマットｆ_ｉにマッチする、連続的なログであるｋ（例えば、２）が周期性挙動に違反するまで、異常はレポートされない。

図１０は、図１のログから突き止められた周期性モデルに基づいて、図２のログから検出された３つの周期性異常を示す。

同様の数字が同じまたは類似の要素を表す図面を参照し、初めに図１１を参照すると、本原理の実施形態による、本原理が適用される例示的な処理システム１００を説明するブロック図が示される。処理システム１００は、システムバス１０２を介して他の構成要素に動作可能なように連結されている少なくとも１つのプロセッサ（ＣＰＵ）１０４を含んでいる。キャッシュ１０６、リードオンリメモリ（ＲＯＭ）１０８、ランダムアクセスメモリ（ＲＡＭ）１１０、入力／出力（Ｉ／Ｏ）アダプタ１２０、サウンドアダプタ１３０、ネットワークアダプタ１４０、ユーザインタフェースアダプタ１５０、およびディスプレイアダプタ１６０は、システムバス１０２に動作可能なように連結されている。

第１のストレージデバイス１２２および第２のストレージデバイス１２４は、Ｉ／Ｏアダプタ１２０によってシステムバス１０２に動作可能なように連結されている。ストレージデバイス１２２および１２４は、ディスクストレージデバイス（例えば、磁気または光ディスクストレージデバイス）、ソリッドステートの磁気デバイス、などのいずれかであってよい。ストレージデバイス１２２および１２４は、同じタイプのストレージデバイスまたは異なるタイプのストレージデバイスであってよい。

スピーカ１３２は、サウンドアダプタ１３０によってシステムバス１０２に動作可能なように連結されている。送受信機１４２は、ネットワークアダプタ１４０によってシステムバス１０２に動作可能なように連結されている。ディスプレイデバイス１６２は、ディスプレイアダプタ１６０によってシステムバス１０２に動作可能なように連結されている。第１のユーザ入力デバイス１５２、第２のユーザ入力デバイス１５４、および第３のユーザ入力デバイス１５６は、ユーザインタフェースアダプタ１５０によってシステムバス１０２に動作可能なように連結されている。ユーザ入力デバイス１５２、１５４、および１５６は、キーボード、マウス、キーパッド、画像キャプチャデバイス、動作検知デバイス、マイクロフォン、先述のデバイスの少なくとも２つの機能性を組み込むデバイス、などのいずれかであってよい。当然、他のタイプの入力デバイスが、本原理の精神を維持しながら、使用されてもよい。ユーザ入力デバイス１５２、１５４、および１５６は、同じタイプのユーザ入力デバイスまたは異なるタイプのユーザ入力デバイスであってよい。ユーザ入力デバイス１５２、１５４、および１５６は、システム１００に情報を入力するため、およびシステム１００から情報を出力するために使用される。

当然、処理システム１００は、当業者によって容易に想定されるような他の要素（図示せず）を含んでもよく、一定の要素を省略してもよい。例えば、様々な他の入力デバイスおよび／または出力デバイスは、処理システム１００に含まれてよく、当業者によって容易に理解されるような、同じものの特定の実装形態に依存する。例えば、様々なタイプのワイヤレスおよび／または有線の入力および／または出力デバイスは、使用されてよい。そのほかに、様々な構成の中に追加のプロセッサ、コントローラ、メモリ、などが、当業者によって容易に理解されるように、利用されてもよい。処理システム１００のこれらおよび他の変形形態は、本明細書で提供された本原理の教示を与えられる当業者によって容易に想定される。

本明細書で説明された実施形態は、全面的にハードウェアであってよく、またはハードウェア、およびファームウェア、常駐ソフトウェア、マイクロコードなどを含むが限定されないソフトウェアの両方の要素を含んでよいことを理解されたい。

実施形態は、コンピュータまたは任意の命令実行システムによる、または関連する使用のためにプログラムコードを提供するコンピュータ使用可能媒体またはコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品を含んでよい。コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによる、もしくは関連する使用のためにプログラムを格納、通信、伝播、または運搬する任意の装置を含んでよい。媒体は、磁気、光学、電子、電磁気、赤外線、または半導体のシステム（もしくは装置もしくはデバイス）または伝播媒体であってよい。媒体は、半導体または固体メモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、固定磁気ディスクおよび光ディスクなどの、コンピュータ可読ストレージ媒体を含んでよい。

プログラムコードを格納および／または実行するのに適切なデータ処理システムは、システムバスを通じてメモリ要素に直接的または間接的に連結されている少なくとも１つのプロセッサ、例えば、ハードウェアプロセッサを含んでよい。メモリ要素は、プログラムコードの実際の実行中に用いられるローカルメモリ、大容量ストレージ、および実行中にコードが大容量ストレージから取り出される回数を減らすための少なくともいくつかのプログラムコードの一時的なストレージを提供するキャッシュメモリを含んでよい。（キーボード、ディスプレイ、ポインティングデバイスなどを含むが限定されない）入力／出力すなわちＩ／Ｏデバイスは、直接的または間にあるＩ／Ｏコントローラを通じてシステムに連結されていてよい。

前述は、あらゆる点で、実例的かつ典型的なものとして理解されることになるが、限定的なものではなく、本明細書で開示された本発明の範囲は、詳細な説明から判断されるべきではなく、むしろ特許法によって許可される十分な広がりに従って解釈されるものとして、特許請求の範囲から判断されるべきである。本明細書で示され、説明された実施形態は、本発明の諸原理の実例的なものにすぎないこと、ならびに当業者は、本発明の範囲および精神から逸脱することなく、様々な変更形態を実装してよいことを理解されたい。当業者は、本発明の範囲および精神から逸脱することなく、様々な他の特性の組合せを実装してよい。

Claims (20)

1. 機械が生成したロギングから周期イベントの挙動を検出する方法であって、
   それぞれのログメッセージが、タイムスタンプおよび１つまたは複数のフィールドを有するテキストコンテンツを含む異種混合ログメッセージを取り込むことと、
   前記テキストコンテンツを時系列データのセットに変換することと、
   トレーニング段階中に、時系列データの前記セットを解析すること、および異種混合ログ内のそれぞれの周期イベントのタイプに関するカテゴリモデルを構築することと、
   ライブ動作中に、ライブの異種混合ログメッセージから前記カテゴリモデルを時系列データのストリームに適用すること、および前記カテゴリモデルに違反する時系列データのポイントにフラグを生成すること、および前記カテゴリモデルに違反する時系列データのポイントに対応するログメッセージに関するアラームレポートを生成することと、を含む、方法。
2. 前記異種混合ログメッセージは、未知のシステムまたはアプリケーションからのものである、請求項１に記載の方法。
3. カテゴリモデルの出力に基づいて、前記異種混合ログメッセージに１つまたは複数の管理アプリケーションを適用することを含む、請求項１に記載の方法。
4. カテゴリモデルの検査出力に基づいて、前記異種混合ログメッセージに１つまたは複数の管理アプリケーションを適用することを含む、請求項１に記載の方法。
5. 期待された時点に現れないメッセージである消えたログメッセージを発見すること、または予期しない時点の出力に現れる異常なログメッセージを検出することによってログに基づく障害管理を適用することを含む、請求項１に記載の方法。
6. ログメッセージから意味的に有意義なトークンを生成するためにトークン化を処理することと、
   前記異種混合ログがトークン化された後、異種混合ログに関する類似性測定が適用されることと、
   一度、ログ同士の類似性が取り込まれると、ログクラスタ階層を生成および出力するためにログ階層式クラスタ化の方法を適用することと、を含む、請求項１に記載の方法。
7. 異種混合ログの未知のレイアウトを維持し、ログのパターンの認識を助けるために、前記ログクラスタ階層の最も低いレベルにあるそれぞれのクラスタ内で前記ログメッセージを調節することを含む、請求項１に記載の方法。
8. 代表的なレイアウトおよびログフィールドを見つけるために、ログモチーフの発見を遂行することを含む、請求項７に記載の方法。
9. タイムスタンプ、インターネットプロトコル（ＩＰ）アドレス、およびユニバーサルリソースロケーターズ（ＵＲＬｓ）を認識することによって前記モチーフからパターンを認識することと、前記ログに保存されているフィールドを認識すること、および前記クラスタ階層のデータ構造の中で前記フィールドを編成することと、階層の中で情報を逆伝播すること、および前記ログからフォーマットのパターン表記を提供するために、前記逆伝播された情報をローカルパターンと融合させることとを含む、請求項８に記載の方法。
10. 前記タイムスタンプに基づいて、マッチしたメッセージを並べること、およびＫ個の順序付けられたメッセージに対して、Ｘ＝｛Ｘ_１，Ｘ_２，．．．，Ｘ_Ｋ｝のように前記メッセージのタイムスタンプをマークすること、およびＹ＝｛Ｙ_１＝Ｘ_２−Ｘ_１，Ｙ_２＝Ｘ_３−Ｘ_２，．．．，Ｙ_Ｋ−１＝Ｘ_Ｋ−Ｘ_Ｋ−１｝のように出現と出現との間の時系列を出力することを含む、請求項１に記載の方法。
11. 前記時系列Ｙの中の一意の値の発生回数を数えること、増加する順に一意の値をソートすること、ならびに順序付けられたリストＣ_{ｅｓｔｉｍａｔｅｄ}＝［Ｃ_１，Ｃ_２，．．．Ｃ_ｕ｝、およびＮ_{ｅｓｔｉｍａｔｅｄ}＝［Ｎ_１，Ｎ_２，．．．Ｎ_ｕ｝に記録することによって前記カテゴリを推定することを含み、ここで、ｕは一意の値の数であり、Ｎ_ｉはＹの中の前記一意の値Ｃ_ｉの出現回数である、請求項１０に記載の方法。
12. 前記推定されたカテゴリをクラスタ化することを含む、請求項１１に記載の方法。
13. それぞれのＣ’_ｋ＝｛Ｃ_ｉ，Ｃ_ｉ＋１，Ｃ_ｉ＋ｊ｝、１≦ｋ≦Ｆに対する、モデルパラメータ（Ｃｅｎｔｅｒ（Ｃ’_ｋ），Ｅｒｒｏｒ（Ｃ’_ｋ））、およびカテゴリモデルＣ_{ｆｉｎａｌ}に対する適合性スコアを判断して、最終的なカテゴリモデルＣ_{ｆｉｎａｌ}＝｛Ｃ’_１，Ｃ’_２，．．．，Ｃ’_Ｆ｝を生成することを含む、請求項１２に記載の方法。
14. Ｃｅｎｔｅｒ（Ｃ’_ｍ）＝ｍｉｎ｛／Ｔ−Ｃｅｎｔｅｒ（Ｃ’_ｊ）｜，，１≦ｊ≦Ｆ｝であるＣ’_ｍを判断することを含み、ここで、Ｔは、ログｉおよびカテゴリモデルＣ_ｆ＝｛Ｃ’_１，Ｃ’_２，．．．，Ｃ’_Ｆ｝を有する以前のログが適合するフォーマットｆ_ｉの出現と出現との間の時間である、請求項１３に記載の方法。
15. ｜Ｔ−Ｃｅｎｔｅｒ（Ｃ’_ｍ））｜＞Ｅｒｒｏｒ（Ｃ’_ｍ））の場合、周期性挙動の違反を判断することを含む、請求項１４に記載の方法。
16. 前記機械は、モータおよび前記モータによって駆動される動きを取り込むディジタイザを含む、請求項１に記載の方法。
17. 機械的なアクチュエータと、
    データを記録するために前記アクチュエータに連結されているディジタイザと、
    機械が生成したロギングから周期イベントの挙動を検出するモジュールと、を含むシステムであって、
    それぞれのログメッセージは、タイムスタンプおよび１つまたは複数のフィールドを有するテキストコンテンツを含む異種混合ログメッセージを取り込み、
    前記テキストコンテンツを時系列データのセットに変換し、
    トレーニング段階中に、時系列データの前記セットを解析し、異種混合ログ内のそれぞれの周期イベントのタイプに関するカテゴリモデルを構築し、
    ライブ動作中に、ライブの異種混合ログメッセージから前記カテゴリモデルを時系列データのストリームに適用し、前記カテゴリモデルに違反する時系列データのポイントにフラグを生成し、対応するログメッセージを生成するコードを含む、システム。
18. 前記アクチュエータはモータを含む、請求項１７に記載のシステム。
19. 前記アクチュエータはエンジンである、請求項１７に記載のシステム。
20. 異種混合ログの未知のレイアウトを維持し、ログのパターン認識を助けるために、前記ログクラスタ階層の最も低いレベルにあるそれぞれのクラスタ内で前記ログメッセージを調節すること、
    代表的なレイアウトおよびログフィールドを見つけるために、ログモチーフの発見を遂行すること、および、
    タイムスタンプ、インターネットプロトコル（ＩＰ）アドレス、およびユニバーサルリソースロケーターズ（ＵＲＬｓ）を認識することによって前記モチーフからパターンを認識すること、前記ログに保存されているフィールドを認識すること、前記クラスタ階層のデータ構造の中で前記フィールドを編成すること、階層の中で情報を逆伝播すること、および前記ログからフォーマットのパターン表記を提供するために、前記逆伝播された情報をローカルパターンと融合させること、を行うコードを含む、請求項１７に記載のシステム。

Images