JP2010182044A - 障害原因解析システム及びプログラム - Google Patents

Abstract

【課題】従来の障害原因の解析処理は、複数の障害原因判定条件の組み合わせの全てがイベント列の並びのパターンと完全に一致する場合に限り、障害原因を特定できる。しかし、システムの改変等により、障害原因をシステム的に特定できない場合、原因の特定に多くの時間を必要とする。
【解決手段】出願人は、事前に用意された判定ルールに対応する障害原因判定条件の全てが成立しない場合でも、システム障害の原因の可能性が高い障害原因候補を一覧形式で表示する。その際、各障害原因候補について定義されている障害原因判定条件の数と、各障害原因判定条件の成立状況とを、各障害原因候補のそれぞれに対応づけて表示できる障害原因解析システム及びプログラムを提案する。
【選択図】図３

Description

本発明は、ＩＴ（Information Technology）システム上でシステム障害が発生した場合に、その障害原因を自動的に解析するシステム及びプログラムに関する。より具体的には、ＩＴシステムの監視系から送られてくるイベント列と、予め定義された判定ルール（１つ又は複数の障害原因判定条件の組み合わせパターン）とのマッチング処理を通じて、システム障害の根本原因を特定するシステム及びプログラムに関する。

製造、通信、金融など、システムの障害が事業や社会に大きく影響する事業分野では、システム障害の発生時における障害原因の解析時間の短縮と復旧時間の短縮とが強く求められている。このため、システム障害の根本原因の迅速な特定が特に重要である。

ところで、現状における解析作業は、障害対応手順書等の資料に基づく手作業により進められる。このため、解析作業の時間短縮には限度がある。また、ＩＴシステムの改変により、過去に作成した障害対応手順書等の資料が陳腐化し、実態と合わなくなった場合には、システム障害の根本原因の解析自体が困難である。

このように、システム障害の根本原因の解析作業を手作業で行っている限りは、解析作業の能力は属人化し、システム障害の復旧を遅延させる要因になっている。
この問題の解決のため、システム障害の根本原因の解析をシステム化したのが、障害原因解析システムである。

図１に、障害原因解析システムの従来例を示す。図１に示す障害原因解析システム１０１は、接続アダプタ１０４と、完全一致判定ルール１０５と、障害原因完全一致判定機構１０６と、障害原因判定結果ダッシュボード生成機構１０７と、ディスプレイモニタ１０８とで構成されている。

接続アダプタ１０４は、監視システム１０３からイベントを受信してイベントの内容を解釈するインターフェース部である。完全一致判定ルール１０５は、システム障害の根本原因別に用意された判定ルールの集合である。なお、個々の判定ルールには、対応する根本原因に固有の障害原因判定条件が発生順に記述される。ここでの障害原因判定条件は、個々のイベントに対応する。また、個々の判定ルールの内容は、障害原因一致判定ルール定義テンプレート１０９に基づいて生成される。

障害原因完全一致判定機構１０６は、通知されたイベントと各判定ルールとを比較し、判定ルールを構成する全ての障害原因判定条件が成立する障害原因が存在するか否かを判定する。障害原因判定結果ダッシュボード生成機構１０７は、この判定結果に基づいて特定された障害原因を表示するダッシュボード画面を生成する。生成されたダッシュボード画面は、ディスプレイモニタ１０８の表示画面を通じて、ユーザ（例えば保守管理者）に提示される。

なお、図１には、障害原因解析システム１０１が監視対象とする監視対象システム１０２と、その出力ログを監視する監視システム１０３も描かれている。一般に、出力ログのデータ構造は、監視対象システム１０２毎に異なっている。このため、監視システム１０３では、出力ログのデータ構造を統一フォーマットのデータ構造に変換する処理が実行される。この明細書においては、統一フォーマットに変換された状態の出力ログを「イベント」という。

引き続き、障害原因解析システム１０１で実行される解析動作の概要を説明する。この従来システムにおいては、監視システム１０３が監視対象システム１０２の動作状態を常に監視している。監視システム１０３は、監視対象システム１０２の動作状態が予め設定された条件を満たす場合、対応するイベントを障害監視解析システム１０１に送出する。障害原因解析システム１０１は、完全一致判定ルール１０５に格納されている判定ルールと監視システム１０３から受信されたイベントの並びとを比較し、判定ルール毎に障害原因判定条件の全てが成立するか否かを判定する。いずれか一つでも判定ルールを構成する障害原因判定条件の全てが成立する場合、障害原因解析システム１０１は、障害原因を特定したものと判定し、特定された障害原因をディスプレイモニタ１０８のダッシュボード画面に表示する。

図２に、障害原因一致判定ルール定義テンプレート１０９に基づいて作成される障害原因別の判定ルール２０１の記述例を示す。この判定ルール２０１は、障害原因毎に用意される。なお、判定ルール２０１は、事前に定められたルール言語で記述される。図２に示すように、判定ルール２０１には、１つ又は複数の障害原因判定条件と、それらの全てが真（成立）と判定された場合に実行すべきアクションとが記述される。図２においては、ここでのアクションを障害原因判定結果アクションと記す。

特開２０００−１８３８８１号公報

前述したように、図１に示す従来システムでは、システム障害の発生時に監視システム１０３から受信されるイベント列と完全に一致する判定ルールが存在する場合に限り、システム障害の原因を特定的に表示することができる。このことは、障害原因判定条件が真（成立）と判定されないイベントが一つでも存在する場合に、システム障害の原因を特定できないことを意味する。

従って、従来システムの場合には、発生する可能性のある障害原因と完全に一致するイベント列のパターンを全て列挙した障害原因一致判定ルール定義テンプレート１０９を用意する必要があった。

ところが、このパターンは、大規模システムの場合、事実上無限に近い数だけ存在する。すなわち、パターンの全てを事前に列挙することは事実上不可能に近い。しかも、システム構成に改変が生じた場合には、システム障害に対応して障害原因一致判定ルール定義テンプレート１０９を書き直す必要がある。このような書き換えも、事実上不可能に近い。

そこで、出願人は、事前に用意した判定ルールを構成する障害原因判定条件の一部についてしか判定条件が成立しない場合でも、障害原因判定条件が部分的に成立した障害原因の中からシステム障害の原因である可能性が高い障害原因候補を特定して画面上に一覧表示する障害原因解析システム及びプログラムを提案する。

また、その表示時に、障害原因候補のそれぞれについて、対応する障害原因判定条件の数と各障害原因判定条件の成立状況を一組として表示できる障害原因解析システム及びプログラムを提案する。

出願人の提案する発明によれば、システム障害の発生時、利用可能な判定ルールが不完全のために、判定ルールを構成する障害原因特定条件の全てと受信したイベント列とが完全に一致しない場合でも、システム障害の根本原因である可能性の高い障害原因候補を画面上に一覧表示することができる。すなわち、客観性の高い障害原因候補を画面上に表示することができる。結果的に、ユーザは、可能性の高い障害原因候補から順番に特定作業を実行することができる。すなわち、障害解析の属人化を回避し、解析時間の短縮化を実現できる。

また、障害原因候補の表示時には、個々の障害原因候補を構成する障害原因判定条件の数と各障害原因判定条件の成立状況とを明示的に表示する。この機能により、ユーザは、障害原因判定条件の単なる成立割合だけでなく、成立した又は成立しなかった障害原因判定条件を考慮して解析作業を進めることができる。

障害原因解析システムの従来例を示す図である。 障害原因完全一致判定ルールで使用する判定パターンの記述例を示す図である。 実施の形態に係る障害原因解析システムの構成例を示す図である。 障害原因判定ルール定義テンプレートのデータ構造例を示す図である。 実施の形態に係る障害原因解析結果の一覧表示画面例を示す図である。 実施の形態に係る障害原因部分一致判定ルールで使用する判定パターン例を示す図である。 実施形態に係るデシジョンテーブルのデータ構造例を示す図である。 障害原因の判定ルールの作成に使用するフローチャートの一例を示す図である。 デシジョンテーブルの作成に使用するフローチャートの一例を示す図である。

以下、発明に係る障害原因解析システムの一形態例を説明する。なお言うまでも無く、発明は、後述する形態例や説明に限定されるものではなく、既知の技術と組み合わせた他の態様にも適用できる。

[第１の形態例]
（ａ）処理機能の概略
図３に、障害原因解析システム３０１の概略構成例を示す。この障害原因解析システム３０１では、後述するように、障害原因判定ルール定義テンプレート３１４に基づいて、完全一致判定用の判定ルールだけでなく、部分一致判定用の判定ルールも同時に生成する。そして、これら２種類の判定ルールの適用により、障害原因解析システム３０１は、全ての障害原因判定条件が成立する障害原因が特定されない場合でも、システム障害の原因である可能性が高い障害原因候補を画面上に一覧表示する。この際、判定条件が成立する割合の大きいものを優先的に画面上に表示するようにすれば、ユーザは、システム障害の原因である可能性が高い候補から障害原因を解析できる。

なお、障害原因候補の一覧表示時には、障害原因判定条件が成立した割合（すなわち、一致率）だけでなく、障害原因を構成する障害原因判定条件の数が多いものを優先することが望ましい。一致率が同じでも、障害原因判定条件の数が多い方が成立の困難性が高く、障害原因である可能性が高いためである。

また、障害原因候補の一覧表示時には、個々の障害原因候補に対応する障害原因判定条件の数とその成立状況を一組として表示することが望ましい。障害原因判定条件によって、成立の容易さに違いがあるためである。これらの情報を画面表示することにより、一致率だけで作業の優先順位を判断する場合に比して、障害解析の作業効率を高めることができる。

なお、この明細書においては、「障害原因判定条件の成立」は、障害原因判定条件に対応するイベントが存在することを意味するものとする。また、この明細書では、「障害原因判定条件の成立」することを、障害原因判定条件とイベントとが一致するともいう。従って、障害原因に対応する全ての障害原因判定条件が成立することを、障害原因判定条件とイベント列とが完全一致したともいう。また、障害原因に対応する障害原因判定条件の一部の障害原因判定条件だけが成立することを、障害原因判定条件とイベントとが部分一致したともいう。

（ｂ）システムの概略構成
障害原因解析システム３０１は、接続アダプタ３０４と、完全一致判定ルール３０５と、障害原因完全一致判定機構３０６と、部分一致判定ルール３０７と、障害原因部分一致判定機構３０８と、障害原因判定ルール生成機構３０９と、障害原因判定結果ダッシュボード生成機構３１０と、デシジョンテーブル３１１と、ログデータベース３１２と、ディスプレイモニタ３１３とで構成される。

なお、接続アダプタ３０４は、監視システム３０３からイベントを受信してイベントの内容を解釈する処理を実行するインターフェースである。ここで、監視システム３０３は、監視対象システム３０２の動作状態を、その出力ログを通じて監視している。監視対象システム３０２は、前述したように、障害発生の影響が大きい比較的大規模なシステム、例えば給与システム、購買システム、決算システムその他への適用を想定する。また、監視対象システム３０２は、障害原因の解析と解析結果の蓄積とが継続的に実行されるシステムでもある。

完全一致判定ルール３０５は、システム障害の根本原因別に用意された完全一致判定用の判定ルールの集合である。この完全一致判定ルール３０５は、図２で説明した判定ルールの集合体として実現される。なお、完全一致判定ルール３０５は、不図示の記憶領域に確保された一部又は全部の領域として実現される。

障害原因完全一致判定機構３０６は、通知されたイベント列と完全一致判定用の各判定ルールとの比較処理と、判定ルールを構成する全ての障害原因判定条件が成立したか否かの判定処理と、全ての障害原因判定条件が成立する判定ルールが検出された場合、判定ルールに記述されたアクションとを実行する信号処理部である。なお、判定ルールとイベント列との比較処理は、各判定ルールで規定された障害原因判定条件の数の範囲で実行される。

この障害原因完全一致判定機構３０６は、特許請求の範囲における「第１の判定部」に対応する。また、障害原因完全一致判定機構３０６は、ハードウェアとしてもソフトウェアとしても実現できる。ソフトウェアとして実現される場合、コンピュータで実行されるプログラムの一部の機能として実現される。

部分一致判定ルール３０７は、システム障害の根本原因別に用意された部分一致判定用の判定ルールの集合である。部分一致判定用の判定ルールとは、完全一致判定用の判定ルールを構成する個別の障害原因判定条件について、それぞれが成立した場合に実行するアクションの内容とを一組として記述した判定ルールの集合で構成される。

例えば完全一致判定用の判定ルールを構成する障害原因判定条件が３つの場合、部分一致判定用の判定ルールには、個々の判定動作と判定結果に対するアクションとを一組とする３つの判定ルールが記述される。この形態例の場合、判定結果に対するアクションは、判定動作で条件が成立した場合についてのみ定義される。例えばアクションの内容として、成立が確認された障害原因判定条件を、ログデータベース３１２に記録することが記述される。この部分一致判定ルール３０７の場合も、不図示の記憶領域に確保された一部又は全部の領域として実現される。

障害原因部分一致判定機構３０８は、通知されたイベント列と部分一致判定用の各判定ルールに基づいて、完全一致判定用の判定ルールを構成する個々の障害原因判定条件についてのイベントとの比較処理と、個々の比較結果について記述されているアクションとを実行する信号処理部である。このように、障害原因部分一致判定機構３０８は、個々の障害原因判定条件の判定単位で、ログデータベース３１２への障害原因判定条件の記録処理を実行する。

なお、この障害原因部分一致判定機構３０８の場合も、判定ルールとイベント列との比較処理は、各判定ルールで規定された障害原因判定条件の数の範囲で実行される。例えば判定ルールに対応する障害原因判定条件の数が６つであれば、６つ分のイベントについて比較処理が実行される。また例えば判定ルールに対応する障害原因判定条件の数が３つであれば、３つ分のイベントについて比較処理が実行される。

この障害原因部分一致判定機構３０８は、特許請求の範囲における「第２の判定部」に対応する。また、障害原因部分一致判定機構３０８は、ハードウェアとしてもソフトウェアとしても実現できる。ソフトウェアとして実現される場合、コンピュータで実行されるプログラムの一部の機能として実現される。

障害原因判定ルール生成機構３０９は、障害原因一致判定ルール定義テンプレート３１４が入力された場合に、完全一致判定用の判定ルールと部分一致判定用の判定ルールを作成する信号処理部である。障害原因一致判定ルール定義テンプレート３１４の入力には、不図示の入力インターフェースが用いられる。

この障害原因判定ルール生成機構３０９は、特許請求の範囲における「判定ルール生成部」に対応する。また、障害原因判定ルール生成機構３０９は、ハードウェアとしてもソフトウェアとしても実現できる。ソフトウェアとして実現される場合、コンピュータで実行されるプログラムの一部の機能として実現される。

障害原因判定結果ダッシュボード生成機構３１０は、完全一致判定ルールや部分一致判定ルールを用いた判定処理の結果に基づいて、解析処理結果をユーザに提示するダッシュボード画面を生成する信号処理部である。この障害原因判定結果ダッシュボード生成機構３１０は、特許請求の範囲における「表示画面生成部」に対応する。

障害原因判定結果ダッシュボード生成機構３１０は、ハードウェアとしてもソフトウェアとしても実現できる。ソフトウェアとして実現される場合、コンピュータで実行されるプログラムの一部の機能として実現される。

なお、障害原因判定結果ダッシュボード生成機構３１０は、事前の設定又はユーザの指示に従い、ダッシュボード画面を生成する。例えばダッシュボード画面の生成時には、障害原因判定条件とイベントとの一致率と、判定ルールを構成する障害原因判定条件の数とを参照する。例えば一致率を第１ソート条件として使用し、一致率が同じ障害原因候補間では障害原因判定条件の数を第２ソート条件として使用する。もしくは、障害原因判定条件の数を第１ソート条件として使用し、障害原因判定条件の数が同じ障害原因候補間では一致率を第２ソート条件として使用する。いずれにしても、システム障害の根本原因の可能性が高い障害原因ほど上位に表示されるように工夫することが作業時間の短縮に有利である。もっとも、これらのソート表示だけでは、短時間で障害原因に到達できない可能性もある。それは、これらのソートには、障害原因判定条件間の軽重情報が反映されていないためである。そこで、形態例に係る障害原因判定結果ダッシュボード生成機構３１０には、個々の障害原因候補に対するユーザの評価を助ける仕組みを採用する。詳細については後述する。生成されたダッシュボード画面は、ディスプレイモニタ３１３に表示される。

この他、障害原因判定結果ダッシュボード生成機構３１０は、ダッシュボード画面に表示される障害原因候補に対するユーザのアクション又はシステムのアクションの進捗状況を管理する機能も有している。

また、障害原因判定結果ダッシュボード生成機構３１０は、障害原因候補に対するその後の確認作業を通じ、今回の障害原因として確定的に特定された場合には、図３に矢印で示すように、障害原因判定ルール定義テンプレートを自動的に作成して出力する機能も有している。ここで出力される障害原因判定ルール定義テンプレートの内容は、例えばイベント列と一致した障害原因判定条件を選択的に抽出することにより実現される。障害原因判定ルール定義テンプレートの出力は、外部記憶媒体への出力、通信回線を通じての出力の他、障害原因判定ルール生成機構３０９への出力も含まれる。いずれにしても、この出力機能の搭載により、同じ障害原因の発生時には、完全一致する可能性を高めることが可能になる。

デシジョンテーブル３１１は、部分一致判定用の判定ルールを適用した場合における障害原因判定条件についての個別の判定結果を、判定ルール別に集計して格納する領域として使用される。このデシジョンテーブル３１１も、不図示の記憶領域に確保された一部又は全部の領域として実現される。デシジョンテーブル３１１に格納された内容は、障害原因判定結果ダッシュボード生成機構３１０により、ダッシュボード画面の生成時に参照される。

ログデータベース３１２は、部分一致判定用の判定ルールを用いて実行された障害原因判定条件単位の判定結果の記録領域として使用される。この形態例の場合、ログデータベース３１２は、判定条件が成立した障害原因判定条件の記録にのみ使用される。

（ｃ）概略動作
形態例に係る障害原因解析システム３０１において実行される解析動作の概要を説明する。
障害原因解析システム３０１においては、監視システム３０３が監視対象システム３０２の動作状態を常に監視している。監視システム３０３は、監視対象システム３０２の動作状態が予め設定された条件を満たすと、対応するイベントを障害監視解析システム３０１に送出する。障害原因解析システム３０１は、完全一致判定ルール３０５に格納される判定ルールと監視システム３０３から受信されたイベント列の並びとを比較し、各判定ルールについて障害原因判定条件の全てが成立するか否かを判定する。判定ルールを構成する障害原因判定条件の全てが成立する場合、障害原因解析システム３０１は、障害原因を特定したものと判定し、判定結果をダッシュボード上に視覚化して、ディスプレイモニタ３１３に表示する。

しかし、完全一致判定ルール３０５による判定ルールでは、障害原因を特定できなかった場合、障害原因解析システム３０１は、部分一致判定ルール３０７に格納されている判定ルールと監視システム３０３から受信されたイベント列の並びとを比較する。すなわち、完全一致判定用の判定ルールとイベント列の並びのパターンとが部分的にでも一致するか否かを比較判定する。部分的な一致が確認された場合、障害原因解析システム３０１は、確認された障害原因候補によってダッシュボード画面を生成し、ディスプレイモニタ３１３に表示する。

（ｄ）障害原因判定ルール定義テンプレートのデータ構造例
図４に、前述した障害原因判定ルール定義テンプレートの詳細構造例を示す。図４に示すように、障害原因判定ルール定義テンプレート４０１は、障害原因判定ルール名称４０２と、障害原因判定条件リスト４０３と、障害原因判定結果アクション４０４とから構成される。

障害原因判定条件リスト４０３は、更に障害原因判定条件４０５の配列によって構成される。なお、個々の障害原因判定条件４０３に配列される障害原因判定条件４０５の内容や個数は、監視対象である障害原因毎に異なっている。すなわち障害原因判定条件４０５の配列数は１個以上であり、障害原因の特定に必要な判定条件の数だけ配列される。障害原因判定結果アクション４０４には、障害原因判定条件リスト４０３に記載された全ての障害原因判定条件が成立した場合に実行すべきアクションが記述される。勿論、記載内容は、障害原因によって異なっている。このアクションの内容は、図２に示す障害原因完全一致判定ルールの障害原因判定結果アクションに引き継がれる。

（ｅ）部分一致判定動作の実行時に表示される画面例
図５に、障害原因解析結果一覧表示画面５０１の表示画面例を示す。障害原因解析結果一覧表示画面５０１は、障害原因判定結果ダッシュボード生成機構３１０によって生成される。障害原因解析結果一覧表示画面５０１は、図５に示すように二次元表形式で構成される。

各行には、個々の障害原因候補に関する情報が表示される。なお、表示の順番は、選択又は設定された所定のソート規則に従うものとする。例えば障害原因の可能性が高い障害原因候補が上位にソートする規則を使用する。

この際、ソート規則は、一致率の高さだけでなく、障害原因判定条件数を考慮することが望ましい。例えば一致率の高さを第１ソート条件としてソートし、一致率が同じ障害原因候補については、対応する障害原因判定条件数を第２ソート条件としてソートする規則を使用する。一致率が同じであれば、障害原因判定条件数の多い方が、障害原因の可能性が高いからである。また、これらの反対に、障害原因判定条件数を第１ソート条件としてソートし、障害原因判定条件数が同じ障害原因候補については、一致率を第２ソート条件としてソートする規則を使用しても良い。
なお、図５の表示例は、いずれの障害原因候補も障害原因判定条件の数が６個の場合である。このため、表示順序は、基本的に一致率と一致している。

一方、各列には、障害原因の特定や判定結果の確認に必要な項目が順番に表示される。図５の場合は、順位５０２、一致率５０３、障害原因判定ルール名称５０４、障害原因判定条件成立状況５０５で構成される。

順位５０２は、各行をソートして並べた順位を表すための表示項目である。一致率５０３は、障害原因判定ルール定義テンプレート４０１で定義された障害原因判定条件リスト４０３の中で障害原因判定条件が部分一致した割合を表す。例えば障害原因判定条件が６個ある場合に、条件が成立した障害原因判定条件が５つある場合、四捨五入した数値（８０％）を表示する。

障害原因判定ルール名称５０４は、一致判定で使用した障害原因判定ルール定義テンプレート４０１に記述された判定ルールの名称である。

障害原因判定条件成立状況５０５は、一致判定の元になった障害原因判定ルール定義テンプレート４０１のうち障害原因判定条件リスト４０３に記述された各障害原因判定条件４０５の一致状況を個別に示す表示項目である。この形態例の場合、障害原因判定条件成立状況５０５の表示には２種類の表示形態を用意する。１つは、通常表示画面であり、他方は拡大表示画面である。

通常表示画面は、障害原因判定条件の個別の成立状況を全体的に確認するための表示である。通常表示画面の場合、各行に対応する障害原因判定条件成立状況５０５の表示欄には、各行に対応する障害原因の特定に必要な障害原因判定条件の個数分だけブロックが表示される。

図５の表示例では、各行について６個のブロックが表示されている。すなわち、各障害原因候補の特定に必要な障害原因判定条件がいずれも６個であることを示している。なお図中、網掛けで表示したブロックは、判定条件が成立した障害原因判定条件に対応するブロックを表している。実施の表示画面では、このブロックは、ハイライトブロック（相対的に輝度が高いブロック）や特定の色（例えば黄色）に着色されたブロックとして表示される。一方、白抜きのブロックは、判定条件が成立していない障害原因判定条件に対応するブロックを表している。また、ここでの表示ブロックの並びは、障害原因判定条件リスト４０３（図４）に記述される障害原因判定条件の並びに一致する。

このように、通常表示画面は、複数の障害原因についての判定条件の成立状況（一致と不一致）を概略的に理解するのに非常に便利である。その一方で、障害原因判定条件成立状況５０５の表示欄は、割り当て可能な表示幅や表示面積の点で制約があり、個々のブロックに対応する障害原因判定条件の内容についてまでは確認することができない。実際、表示画面内で上下に隣り合うブロックであっても、対応する障害原因判定条件の内容は同じではない。そこで、前述したように、この形態例の場合には、後述するような拡大表示画面を用意する。

拡大表示画面は、ポインタ等によって指定された画面上の特定上のうち少なくとも障害原因判定条件成立状況５０５の内容を拡大して表示する表示画面である。図５の場合は、拡大表示画面を、前述した通常表示画面とは重ならないように表示している。勿論、通常表示画面に拡大表示画面を重ねて表示することもできる。この拡大表示画面には、障害原因判定条件に対応する個々のブロック内に、対応する障害判定条件の内容を表す文字や名称が個別に表示される点で通常表示画面と異なっている。勿論、通常表示画面でのハイライト表示や着色表示は、この拡大表示画面にも引き継がれる。文字情報が加わることで、どの障害判定条件が成立し、どの障害判定条件が成立しなかったかをユーザが容易に確認することができる。

（ｆ）障害原因部分一致判定ルールのデータ構造例
図６に、障害原因一致判定ルール定義テンプレート３１４に基づいて作成される障害原因の部分一致判定ルール６０１の記述例を示す。この障害原因部分一致判定ルール６０１は、障害原因判定ルール定義テンプレート３１４に記述された障害原因判定条件リスト４０３の個々の障害原因判定条件４０５に対応する判定ルール６０２の集合である。判定ルール６０２には、障害原因判定条件と、当該障害原因判定条件が成立した場合に実行するアクションとが記述される。図６の場合、アクションとして、対応する障害原因判定条件の成立を示す文言情報等のログデータベース３１２に記録することを命じることが記述される。この記録命令の存在により、ログデータベース３１２には、判定条件が成立した障害原因判定条件が集積される。また、この情報に基づいて、デシジョンテーブル３１１が生成される。

（ｇ）デシジョンテーブルのデータ構造例
図７に、デシジョンテーブル７０１（図３の３１１）のデータ構造例を示す。デシジョンテーブル７０１は、障害原因部分一致判定機構３０８が作成する。障害原因部分一致判定機構３０８は、障害原因の部分一致判定動作の履歴が集積されたログデータベース３１２を参照し、図に示すようなテーブルを生成する。前述したように、デシジョンテーブル３１１は、障害原因の部分成立状況を把握するためのダッシュボードの生成に用いられる重要なテーブルである。

デシジョンテーブル７０１は、格納する要素の数を保存する要素数情報７０４と、障害原因判定ルール対応要素７０２との配列で構成される。図７の場合は、要素数情報７０４で与えられる個数がＮ個であるので、Ｎ行の障害原因判定ルール対応要素７０２が配列される。なお、ここでの障害原因判定ルール対応要素７０２は、障害原因判定ルール定義テンプレート３１４を通じて障害原因解析システム３０１に登録されている障害原因完全一致判定ルールの一つに対応する。

障害原因判定ルール対応要素７０２には、完全一致判定ルール７０３（図３の３０５）へのポインタ７０５、障害原因判定条件数７０６、障害原因判定条件成立数７０７、部分一致判定ルールの障害原因判定条件の成否情報７０８を要素とする配列で構成される。

障害原因判定条件数７０６は、障害原因判定ルール対応要素７０２毎にそれぞれ固有の値Ｍが設定される。勿論、その数値は、対応する完全一致判定ルールを構成する障害原因判定条件の数をカウントすることにより一意的に設定される。

一方、障害原因判定条件成立数７０７は、Ｍ個の障害原因判定条件のうち条件が成立した条件の数Ｋである。この形態例の場合、この数値は、ログデータベース３１２とのマッチング動作を通じて設定される。

この形態例の場合、成否情報７０８は、後述するログデータベース３１２の解析動作を通じて、条件の成立した判定条件が検出されるたびに追加的に記録される。このため、成否情報７０８の個数Ｋと障害原因判定条件成立数７０７の個数Ｋとは一致している。

なお、ダッシュボードに表示される障害原因部分一致判定ルールの一致率は、このデシジョンテーブル７０１における障害原因判定条件成立数７０７を障害原因判定条件数７０６で除した結果の百分率として算出される。

（ｈ）障害原因判定ルールの生成手順
図８には、障害原因判定ルール生成機構３０９において実行される処理手順を示す。すなわち、障害原因判定ルール定義テンプレート３１４から、完全一致判定ルール３０５と部分一致判定ルール３０７を生成する手順を示す。

障害原因判定ルール生成機構３０９は、障害原因判定ルール定義テンプレート３１４が入力されると、内容を障害原因完全一致判定ルール２０１に変換して出力する（ステップ８０１）。

次に、障害原因判定ルール生成機構３０９は、障害原因判定ルール定義テンプレート３１４の障害原因判定条件リスト４０３から、障害原因判定条件４０５を一つ取り出す（ステップ８０２）。

次に、障害原因判定ルール生成機構３０９は、処理対象である障害原因判定条件４０５について、当該条件が成立した場合に結果をログデータベース３１２に記録することをアクション内容とするルールを作成し、部分一致判定ルール３０７に追加する（ステップ８０３）。

この後、障害原因判定ルール生成機構３０９は、未処理の障害原因判定条件４０５が残っているか判定する（ステップ８０４）。残っていることが確認された場合、障害原因判定ルール生成機構３０９は、前述したステップ８０２に戻り、次の未処理の障害原因判定条件４０５について一連の動作を継続する（ステップ８０４）。なお、全ての障害原因判定条件４０５について判定動作が完了していた場合には、障害原因判定ルールの作成動作を終了する。

（ｉ）デシジョンテーブルの作成手順
図９に、前述したデシジョンテーブル３１１を作成する際に使用する処理手順の一例を示す。動作主体は、障害原因部分一致判定機構３０８である。また、この処理動作は、障害原因部分一致判定機構３０８が、全ての部分一致判定ルール３０７について、判定動作が終了したことを検出した時点以降に実行される。

まず、障害原因部分一致判定機構３０８は、完全一致判定ルール３０５から障害原因完全一致判定ルールを一つ取り出す（ステップ９０１）。

次に、障害原因部分一致判定機構３０８は、障害原因判定ルール対応要素７０２を、新しく作成して初期化する（ステップ９０２）。このとき、ポインタ７０５、障害原因判定条件数７０６、障害原因判定条件成立数７０７のデータ欄が作成される。勿論、障害原因判定条件数７０６と障害原因判定条件成立数７０７にはゼロ（０）が記録される。

次に、障害原因部分一致判定機構３０８は、ステップ９０１で取り出した障害原因完全一致判定ルールを構成する障害原因判定条件の数Ｍを、ステップ９０２で作成した障害原因判定ルール対応要素７０２の障害原因判定条件数７０６に記録する（ステップ９０３）。

次に、障害原因部分一致判定機構３０８は、ログデータベース３１２にアクセスし、部分一致判定ルールに対して格納されたログの一つを取り出す（ステップ９０４）。この形態例の場合、条件が成立した障害原因判定条件に関するログが一つ取り出される。

障害原因部分一致判定機構３０８は、ステップ９０４で取り出したログが、ステップ９０１で取り出した障害原因完全一致判定ルールに係わるものか否かを、ログの内容で比較する（ステップ９０５）。

このステップ９０５の判定において、ログが、ステップ９０１で取り出した障害原因完全一致判定ルールと関係無いと判定された場合、障害原因部分一致判定機構３０８は、ステップ９０４へ戻る（ステップ９０６）。

一方、ステップ９０５の判定において、ログが、ステップ９０１で取り出した障害原因完全一致判定ルールと関係すると判定された場合、障害原因部分一致判定機構３０８は、部分一致判定ルールの障害原因判定条件の成否情報７０８に、当該条件が成立したことを示すフラグをセットする（ステップ９０７）。

この後、障害原因部分一致判定機構３０８は、障害原因判定条件成立数７０７の数値Ｋを、Ｋ＋１に更新する（ステップ９０８）。

続いて、障害原因部分一致判定機構３０８は、ログデータベース３１２に、取り出されていないログが残っているか判定する（ステップ９０９）。このとき、取り出されていないログがあれば、障害原因部分一致判定機構３０８は、ステップ９０４へ戻る。一方、全てのログが取り出されていれば、障害原因部分一致判定機構３０８は、次のステップ９１０に進む。

すなわち、障害原因部分一致判定機構３０８は、完全一致判定ルール３０５にステップ９０１で読み出していない障害原因完全一致判定ルールが残っているか否かを判定する（ステップ９１０）。このとき、取り出されていない障害原因完全一致判定ルールが残っていれば、障害原因部分一致判定機構３０８は、ステップ９０１へ戻る。一方、全ての障害原因完全一致判定ルールが取り出されていれば、障害原因部分一致判定機構３０８は、デシジョンテーブル３１１の作成処理を終了する。

（ｊ）まとめ
以上説明したように、この形態例に係る障害原因解析システム３０１を採用することにより、監視システムから通知されるイベント列が判定ルールと完全に一致しなくても、部分的に成立した障害条件判定条件の割合やその成否の内容を明示的に画面上に表示することができる。

このため、ユーザは、可能性の高い障害原因判定条件の絞込みを効率的に実行することができる。特に、部分的な成立状況を画面上で確認できる。すなわち、条件が成立しなかった障害原因判定条件と成立した障害原因判定条件を個別に確認できる。このため、障害原因候補の絞込みを効率的に実行できる。

また、この機能の搭載により、システム構成の改変などにより、障害時に出現するイベントの種類や並びが想定内容と異なる場合でも、障害原因に効率的にたどり着くことが可能になる。

（２）その他
前述した監視対象システム３０２、監視システム３０３及び障害原因解析システム３０１は、必ずしも物理的に１つの建物内に構築されている必要は無い。例えば各システムがネットワークを通じてそれぞれ異なる建物内に構築されていても良い。
また、前述したシステムは、国又は国に準じる地域を跨ぐように構築されていても良い。

また、前述した監視対象システム３０２、監視システム３０３及び障害原因解析システム３０１の各システムは、同一の事業者によって運用されている場合だけでなく、それぞれ異なる事業者によって運用されていても良い。例えばデータセンターを運用する事業者とその保守管理サービスを提供する事業者とによって別々に運用されていても良い。

１０１…障害原因解析システム、１０２…監視対象システム、１０３…監視システム、１０４…接続アダプタ、１０５…完全一致判定ルール、１０６…障害原因完全一致判定機構、１０７…障害原因判定結果ダッシュボード生成機構、１０８…ディスプレイモニタ、１０９…障害原因判定ルール定義テンプレート、２０１…障害原因完全一致判定ルール記述、３０１…障害原因解析システム、３０２…監視対象システム、３０３…監視システム、３０４…接続アダプタ、３０５…完全一致判定ルール、３０６…障害原因完全一致判定機構、３０７…部分一致判定ルール、３０８…障害原因部分一致判定機構、３０９…障害原因判定ルール作成機構、３１０…障害原因判定結果ダッシュボード生成機構、３１１…デシジョンテーブル、３１２…ログデータベース、３１３…ディスプレイモニタ、３１４…障害原因判定ルール定義テンプレート、４０１…障害原因判定ルール定義テンプレート、４０２…障害原因判定ルール名称、４０３…障害原因判定条件リスト、４０４…障害原因判定結果アクション、４０５…障害編印判定条件、５０１…障害原因解析結果一覧表示画面、５０２…順位、５０３…一致率、５０４…障害原因判定ルール名称、５０５…障害原因判定条件成立状況、５０６…障害原因判定条件、６０１…障害原因部分判定ルールセット、６０２…障害原因部分判定ルール。

Claims (9)

1. システム障害に伴って通知されるイベント列と、個々の障害原因について定義された複数の障害原因判定条件の組み合わせとを比較し、前記複数の障害原因判定条件の全てが同時に成立するか否かを判定する第１の判定部と、
   システム障害に伴って通知されるイベント列と、個々の障害原因について定義された複数の障害原因判定条件の組み合わせとを比較し、個々の前記障害原因判定条件が個別に成立するか否かを判定する第２の判定部と、
   前記第１の判定部における判定結果が肯定的であった場合、特定された障害原因を表示する画面を生成し、前記第１の判定部における判定結果が否定的であった場合、前記障害原因判定条件が部分的に成立した障害原因候補を前記第２の判定部の判定結果を用いて特定し、当該障害原因候補を所定の規則に従って一覧的に表示する画面を生成する表示画面生成部と
   を有する障害原因解析システム。
2. 前記表示画面生成部は、前記障害原因候補のそれぞれについて定義されている障害原因判定条件の数と、前記第２の判定部の判定結果その個別の成立状況を一組として表示する
   ことを特徴とする障害原因解析システム。
3. 前記表示画面生成部は、前記障害原因判定条件の数を表示ブロックの数で表現し、前記障害原因判定条件の個別の成立状況を、前記表示ブロックの表示態様の違いによって表現する
   ことを特徴とする請求項２に記載の障害原因解析システム。
4. 前記表示画面生成部は、前記表示ブロックに対応する障害原因判定条件の内容確認用の表示形式を有する
   ことを特徴とする請求項３に記載の障害原因解析システム。
5. 個々の障害原因について定義された複数の障害原因判定条件を個々の障害原因判定条件に分割し、個々の障害原因判定条件に関する判定結果をログ情報として記憶領域に保存させる判定ルールを、前記第２の判定部における判定用に生成する判定ルール生成部
   を有することを特徴とする請求項４に記載の障害原因解析システム。
6. システム障害に伴って通知されるイベント列と、個々の障害原因について定義された複数の障害原因判定条件の組み合わせとを比較し、前記複数の障害原因判定条件の全てが同時に成立するか否かを第１の判定部に判定させる処理と、
   システム障害に伴って通知されるイベント列と、個々の障害原因について定義された複数の障害原因判定条件の組み合わせとを比較し、個々の前記障害原因判定条件が個別に成立するか否かを第２の判定部に判定させる処理と、
   前記第１の判定部における判定結果が肯定的であった場合、特定された障害原因を表示する画面を生成する処理と、
   前記第１の判定部における判定結果が否定的であった場合、前記障害原因判定条件が部分的に成立した障害原因候補を前記第２の判定部の判定結果を用いて特定し、当該障害原因候補を所定の規則に従って一覧的に表示する画面を生成する処理と
   をコンピュータに実行させるプログラム。
7. 前記第１の判定部における判定結果が否定的であった場合、前記障害原因候補のそれぞれについて、対応する障害原因判定条件の数とその個別の成立状況を一組として表示させる
   ことを特徴とする請求項６に記載のプログラム。
8. 前記第１の判定部における判定結果が否定的であった場合、前記障害原因判定条件の数を表示ブロックの数で表現し、前記障害原因判定条件の個別の成立状況を、前記表示ブロックの表示態様の違いによって表現する
   ことを特徴とする請求項７に記載のプログラム。
9. 前記第１の判定部における判定結果が否定的であった場合、前記表示ブロックに対応する障害原因判定条件の内容確認用の表示形式を有する
   ことを特徴とする請求項８に記載のプログラム。

Images