JP2012100056A - 対処提示方法及び対処提示装置 - Google Patents

Abstract

【課題】対処提示装置において、属人性を排除し対応すべき現象を選択できることを目的とする。
【解決手段】ネットワークを構成する複数の装置それぞれで発生する現象に対して実行される一連の対処内容を対処手順として予め記憶した対処手順記憶部と、前記装置で発生した現象に対応する前記対処手順の対処内容を実行し、実行した前記対処内容と前記対処内容の実行結果を関連付けた対処履歴を生成する対処実行部と、前記対処履歴を記憶する対処履歴記憶部と、前記現象の原因が同一の複数の対処履歴をグループ化し、グループ内の対処履歴を前記現象の原因である第１の現象と、前記第１の現象の影響による第２の現象とに切り分ける解析部と、前記第２の現象を非提示状態とし前記第１の現象を提示状態として、提示状態の前記第１の現象を提示する提示部と、を有する。
【選択図】 図３

Description

本発明は、対処提示方法及び対処提示装置に関する。

ＩＴ（Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ）システムを形成する各種機器監視において、例えば、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークにおける、ルータやスイッチ等を監視対象装置として監視するネットワーク監視装置が配置される場合がある。

ネットワーク監視装置によって監視対象装置に障害が発生したことが検出された場合、かかる障害に対する対処内容を運用管理者に提示する対処提示装置（又はナビゲーションシステムとも呼ぶ）が配置される場合がある。対処提示装置は、ネットワーク監視装置から受け付けた障害（以降「インシデント」と呼ぶ）に関する情報に基づいて、対処内容を提示し、運用管理者によって対処内容が実行された場合に、かかる対処内容の実行結果に基づいて次の対処内容を提示する。すなわち、運用管理者は、対処提示装置によって提示される対処内容を順次実行することで、監視対象装置において発生した障害に対して対処する。

図１は従来のネットワーク監視システムの一例の構成図を示す。図１において、ネットワーク監視装置１は、ネットワークの監視対象装置２に対してＰｉｎｇを用いた定期的なポーリングを行っている。ここで、ネットワーク監視装置１は監視対象装置２の装置が樹状に連なり、樹状の連なりにそってポーリングによるネットワーク監視を行う主信号系監視を行っている。

監視対象装置２の装置が一定時間もしくは一定回数上記ポーリングに応答しなかった場合、ネットワーク監視装置１は対象の装置を障害とみなし、対処提示装置３に障害の発生（アラーム）を通知する。対処提示装置３は、通知されたアラームに対するインシデントを登録する。

図１においては、監視対象装置２のうち装置２−２でポート障害が発生すると、装置２−２の配下の装置２−３〜２−５が障害装置となる。また、装置２−６で装置障害が発生すると、装置２−６の配下の装置２−７〜２−１０等が障害装置となる。ここで、障害が発生した監視対象装置を障害原因装置と呼び、発生した障害の影響を受けた装置を障害現象装置と呼ぶ。この障害原因装置と障害現象装置を障害装置と総称する。

ところで、通信機器からの障害通知を受信し、到来する障害通知を予め設定した基準でアラームグループ化し、障害通知に対応する１または２以上の障害源候補を挙げ、アラームグループ内の複数の該障害源候補から最も発生回数の多い障害源候補を真の障害源と判定する網障害診断システムが知られている（例えば特許文献１参照）。

また、障害事実を認識すると、認識した障害事象の現象及び日時を未処理障害として障害履歴データベースへ登録し、自動通知機能により人間系へ現象、影響範囲を通知し、自動復旧機能は障害情報管理データベースに登録された復旧手順に基づき障害の自動復旧を行う技術が知られている（例えば特許文献２参照）。

特開平５−２６００５０号公報 特開平８−３１４７４１号公報

図１のネットワーク監視装置１で検知した障害（インシデント）において、解決すべき障害は装置２−２と装置２−６の２件のインシデントであるが、上記障害の影響を受けた装置２−３〜２−５，２−７〜２−１０等に関してもアラームによるインシデントが登録される。

運用管理者は、登録されたインシデントに関して随時対処を実施するが、登録された複数のインシデントから障害原因のインシデント（上記の場合、装置２−２と装置２−６）を選択するためには、自己の能力や経験に基づいた属人的なスキルを必要とする。つまり、対処提示装置３によって登録された個々の障害装置について、運用管理者が対処要否及び対処の優先順位を決定し、監視対象装置において発生した障害に対して、最短で有効な対処を実行することの成否は、個人のスキルにゆだねることになる。

特に、図１に示すような多重障害等の複合的な事象が発生し、事象自体が関連し交錯するような場合は障害自体の切り分けが難しく、運用管理者のスキルが低い場合、本来調査する必要のない障害現象装置に対する不要な作業が発生する等の問題があった。

また、運用管理者のスキルによらず、障害原因解決時に登録されたインシデントについて障害原因か障害現象か、つまり、装置クローズの可否を確認しながら、手作業で装置をクローズすることが必要となる。大量の障害現象インシデントが登録された場合に、当該クローズ処理にかかる作業コストは膨大となり運用管理者の負荷となるという問題があった。

開示の対処提示装置は、属人性を排除し対応すべき現象を選択できることを目的とする。

開示の一実施形態による対処提示装置は、ネットワークを構成する複数の装置それぞれで発生する現象に対して実行される一連の対処内容を対処手順として予め記憶した対処手順記憶部と、
前記装置で発生した現象に対応する前記対処手順の対処内容を実行し、実行した前記対処内容と前記対処内容の実行結果を関連付けた対処履歴を生成する対処実行部と、
前記対処履歴を記憶する対処履歴記憶部と、
前記現象の原因が同一の複数の対処履歴をグループ化し、グループ内の対処履歴を前記現象の原因である第１の現象と、前記第１の現象の影響による第２の現象とに切り分ける解析部と、
前記第２の現象を非提示状態とし前記第１の現象を提示状態として、提示状態の前記第１の現象を提示する提示部と、を有する。

本実施形態によれば、属人性を排除し対応すべき現象を選択することができる。

従来のネットワーク監視システムの一例の構成図である。 ネットワーク監視システムの一実施形態の構成図である。 対処提示装置の一実施形態の構成図である。 シナリオの一例を示す図である。 対処実行結果情報の一例を示す図である。 インデント情報の構成を示す図である。 対処実行結果・記録処理のフローチャートである。 障害グループマップ情報と障害解析情報の構成を示す図である。 グルーピング処理のフローチャートである。 インシデント情報のシナリオパート実行マップ部分を示す図である。 インシデントのグルーピングイメージを示す図である。 第１グルーピング処理のフローチャートである。 第２グルーピング処理のフローチャートである。 障害グループマップ情報の更新の様子を示す図である。 障害解析情報の構成を示す図である。 通知情報の構成を示す図である。 第１インシデント制御処理のフローチャートである。 インシデントステータスの説明図である。 第２インシデント制御処理のフローチャートである。 第１障害例について説明するための図である。 第２障害例について説明するための図である。 第２障害例について説明するための図である。 インシデント情報を示す図である。 第２障害例について説明するための図である。

以下、図面に基づいて実施形態を説明する。

＜ネットワーク監視システム＞
図２はネットワーク監視システムの一実施形態の構成図を示す。図２において、監視対象装置（以下、単に「装置」と呼ぶ）１０〜１４はＩＴシステムやＩＰネットワーク等の監視対象ネットワーク（主信号系監視対象）２０に含まれる各種装置であり、例えば、ルータやスイッチやサーバ等である。

ネットワーク監視装置３０は、装置１０〜１４が正常に動作しているか否かを監視する。例えば、ネットワーク監視装置３０は、装置１０〜１４に対してポーリング（Ｐｉｎｇによる応答確認）を行うことにより、装置１０〜１４の動作状態を監視する。また、例えば、ネットワーク監視装置３０は、装置１０〜１４が自律的に警告を通知する場合には、装置１０〜１４から受信する警告に基づいて、装置１０〜１４の動作状態を監視する。

そして、ネットワーク監視装置３０は、装置１０〜１４において障害等の現象が発生したことを検知した場合に、ネットワーク管理者等に警告を通知する。なお、以下の実施例において、「現象」とは、例えば、装置１０〜１４において発生する障害や、装置１０〜１４において障害が発生するおそれがある事象等を示す。現象の例としては、装置１０〜１４からポーリングに対する応答がないという事象や、装置１０〜１４が高負荷であるという事象等が挙げられる。

また、ネットワーク監視装置３０は、装置１０〜１４において現象が発生したことを検知した場合に、対処提示装置１００に対して、現象が発生したことを示す新規インシデントを送信する。このとき、ネットワーク監視装置３０は、現象の内容を示す現象情報や、装置１０〜１４に関する属性情報等を含む新規インシデントを送信する。なお、新規インシデントに含まれる現象情報としては、上記例のように、装置１０〜１４からポーリングに対する応答がないという現象を示す情報等である。また、新規インシデントに含まれる装置１０〜１４に関する属性情報の例としては、装置１０〜１４の機器名や製造元や機種名等である。

状態管理装置４０は、装置１０〜１４の各種状態を管理する。具体的には、状態管理装置４０は、装置１０〜１４から各種情報を取得し、取得した情報を保持する。例えば、状態管理装置４０は、装置１０〜１４に対してポーリングを行うことにより、装置１０〜１４の導通状態に関する情報を保持する。また、例えば、状態管理装置４０は、装置１０〜１４によって出力される各種ログを装置１０〜１４から取得し、取得したログを保持する。また、状態管理装置４０は、装置１０〜１４がルータやスイッチ等である場合に、装置１０〜１４が有する通信ポートの動作状態に関する情報を保持する。

対処提示装置１００は、ネットワーク監視装置３０から新規インシデントを受け付けた場合に、かかる現象に対して行う対処手順であるシナリオを提示する。ここで、対処手順とは、現象に対して順次行われる複数の対処内容であるシナリオパートの組合せを示し、具体的には、通知された障害が発生した装置を配下に置く装置（樹形で１段上の装置）からネットワーク監視装置３０までの経路の装置に対して、状態管理装置４０から順番にポーリングによる応答確認を行う手順を意味する。

対処提示装置１００は装置１０〜１４において発生する可能性のある障害に対して行う対処手順の候補であるシナリオを予め記憶しており、ネットワーク監視装置３０から新規インシデントを受け付けた場合に、自装置が保持する対処手順のうち、装置１０〜１４において発生した障害に対して有効である対処手順を提示する。

＜対処提示装置の構成＞
図３は対処提示装置１００の一実施形態の構成図を示す。図３において、対処提示装置１００は、シナリオ記憶部１１０、履歴記憶部１２０、対処実行記録部１３０、障害解析部１４０、インシデント制御部１５０、操作部１６０及び提示部１７０を有している。

シナリオ記憶部１１０には、装置１０〜１４において発生する可能性のある障害に対して行う対処手順の候補であるシナリオが予め記憶される。対処手順には１つの実行結果に対して複数の次の対処内容に分岐する対処が含まれる場合がある。ここで、シナリオを構成する個々の対処内容をシナリオパートと呼ぶ。

図４にシナリオの一例を示す。このシナリオは図２に示す監視対象ネットワーク２０の装置１０〜１４の障害に対する対処手順を示している。図４において、シナリオパートＰＡ１は装置１３の信号が届かない等のノード不明のインシデントに対する対処であり、その対処内容は装置１２の状態を取得することを示す。シナリオパートＰＡ１の実行で装置１２の状態を取得できれば装置１３が障害原因であると判定される。装置１２の状態を取得できなければ装置１３は障害現象と判定して次のシナリオパートＰＡ２を実行する。シナリオパートＰＡ２は装置１２の信号が届かない等のノード不明のインシデントに対する対処であり、その対処内容は装置１１の状態を取得することを示す。シナリオパートＰＡ２の実行で装置１１の状態を取得できれば装置１２が障害原因であると判定される。装置１１の状態を取得できなければ装置１２は障害現象と判定して次のシナリオパートＰＡ３を実行する。

シナリオパートＰＡ３は装置１１の信号が届かない等のノード不明のインシデントに対する対処であり、その対処内容は装置１０の状態を取得することを示す。シナリオパートＰＡ３の実行で装置１０の状態を取得できれば装置１１が障害原因であると判定される。

また、シナリオパートＰＡ４は装置１４の信号が届かない等のノード不明のインシデントに対する対処であり、その対処内容は装置１１の状態を取得することであることを示す。シナリオパートＰＡ４の実行で装置１１の状態を取得できれば装置１４が障害原因であると判定される。装置１１の状態を取得できなければ装置１４は障害現象と判定して次のシナリオパートＰＡ３を実行する。

履歴記憶部１２０は、インデント情報が記憶されるインデント情報記憶部１２１、シナリオを実行した結果である対処実行結果情報が記憶される対処実行結果情報記憶部１２２、障害グループマップ情報が記憶される障害グループマップ情報記憶部１２３、障害解析情報が記憶される障害解析情報記憶部１２４等を有している。

図５に対処実行結果情報の一例を示す。対処実行結果情報はシナリオを実行した結果を示している。対処実行結果情報はインデント毎に記録され、インデントＩＤ、現象ＩＤ、属性情報、実行履歴を有している。インデントＩＤはインデントを特定するための識別子である。現象ＩＤは監視対象装置で発生した現象を識別する識別情報を示し、現象ＩＤ＝２は、ノード不明を示す。属性情報には、属性情報ＩＤ及び属性情報Ｖａｌｕｅの組合せによって形成される属性項目が複数記憶される。属性情報ＩＤは機器情報の種別（ルータ、スイッチ等）を示し、属性情報Ｖａｌｕｅは機器情報の内容（機種名等）を示す。

実行履歴にはシナリオで実行される一又は複数のシナリオパートに対応した欄が設けられており、各欄にはシナリオパートＩＤ（例えばＰＡ４）、現象（例えばノード不明）、対処（例えば装置１１の状態を取得）、結果（例えばＯＫ又はＮＧ）等が記憶される。

本実施形態における対処実行記録部１３０，障害解析部１４０等の処理の駆動契機は、インシデントへの対処、つまり、シナリオの自動実行が完了したタイミングで、そのインシデントを基点として処理が行われる。つまりイベント駆動の処理であり、周期実行ではない。以降に示す処理により障害原因と障害現象が切り分けられるまで、もしくはシナリオパートの完了通知があがらなくなるまで処理は継続され、一定時間の範囲でグループ化するような処理形態ではない。

＜対処実行記録部＞
図３に示す対処実行記録部１３０は、候補抽出部１３１と対処実行結果・記録部１３２を有している。候補抽出部１３１はネットワーク監視装置３０から受信したインシデントに対処するためのシナリオをシナリオパート単位でシナリオ記憶部１１０から抽出し、対処実行結果・記録部１３２に送信する。

対処実行結果・記録部１３２は抽出されたシナリオの各シナリオパートに記載されている対処内容を実行し、各シナリオパートの実行結果である対処実行結果情報を履歴記憶部１２０に記録する。また、対処実行結果・記録部１３２はシナリオを実行して得られる対処実行結果情報から図６に示すシナリオパート実行マップを持つインデント情報を作成し履歴記憶部１２０のインシデント情報記憶部１２１に記録する。

図６において、インデント情報はインデントＩＤ、タイムスタンプ、グループＮＯ、インデントステータス、障害原因、シナリオパート実行マップを有している。インデントＩＤはインデントを特定するための識別子である。タイムスタンプはネットワーク監視装置３０から通知された当該インシデントが発生した時刻情報を表している。グループＮＯは後述する障害解析部１４０でグルーピングされたグループ番号が記録される。インデントステータスは当該インシデントの状態を表している。インシデントの状態は、未着手、対処中、対処終了、仮クローズ、クローズ等である。障害種別は当該インシデントが障害原因か障害現象かを表している。

シナリオパート実行マップは複数のシナリオパートそれぞれに対応する複数ビットが設けられており、当該インシデントに対処するシナリオで実行されたシナリオパートに対応するビットに１が設定され、実行されていないシナリオパートのビットは０に設定される。図６中で左側の最上位ビットはシナリオパートＰＡ１に対応し、右の最下位ビット（第０ビット）はシナリオパートＰＡｎに対応している。

＜対処実行結果・記録部のフローチャート＞
図７は対処実行結果・記録部１３２が実行する対処実行結果・記録処理のフローチャートを示す。ステップＳ１１で候補抽出部１３１がシナリオ記憶部１１０から抽出したシナリオパートを受信して、このシナリオパートを実行する。ステップＳ１２でシナリオパートの実行結果である対処実行結果情報を履歴記憶部１２０の対処実行結果情報記憶部１２２に記録する。また、シナリオパート実行マップを持つインデント情報を履歴記憶部１２０のインデント情報記憶部１２１に記録する。

また、ステップＳ１３で対処実行結果がＯＫかＮＧかを確認し、ステップＳ１４で図４等に示すシナリオから対処実行結果が取得ＯＫとなり対処が完了したか否かを判別する。対処が完了していなければ、ステップＳ１５で候補抽出部１３１に次のシナリオパートの抽出を依頼して処理を終了する。対処が完了していればステップＳ１６で当該インシデントのインシデントＩＤを処理対象インシデントとして障害解析部１４０に通知して障害解析を依頼し、処理を終了する。

＜障害解析部＞
図３に示す障害解析部１４０は関連インシデントグルーピング部１４１と障害原因絞り込み部１４２と連携部１４３を有している。

関連インシデントグルーピング部１４１はインシデントが発生した装置の障害について、この装置の障害が障害原因なのか単なる障害現象なのかを切り分けるために、インデント情報記憶部１２１に登録されているインシデントで、クローズ（解決）されてないインシデントについて、障害原因が同じインシデントのグルーピングを行う。具体的な実施タイミングは、対処実行記録部１３０から対処完了のインシデントを通知されたときであり、関連インシデントグルーピング部１４１は通知された処理対象インシデントに関して、同じグループに属するインシデントを調査・集約してグルーピングを行う。

障害原因絞り込み部１４２は関連インシデントグルーピング部１４１にてグルーピングされたインシデントに関して、インシデント情報のシナリオパート実行マップを使用し、障害原因／障害現象の特定を行う。また、障害原因絞り込み部１４２は障害グループマップ情報記憶部１２３及び障害解析情報記憶部１２４の障害グループマップ情報及び障害解析情報の更新を行う。図８（Ａ），（Ｂ）に障害グループマップ情報と障害解析情報の構成を示す。

障害グループマップ情報は図８（Ａ）に示すように、グループ番号をエントリとしてグループ番号毎に作成され、同一グループの障害原因又は障害現象のインシデントＩＤ及びそのビットマップからなるレコードが複数登録される。ビットマップはインシデント情報におけるシナリオパート実行マップと同一内容である。

障害解析情報は図８（Ｂ）に示すように、グループ番号をエントリとしてグループ番号毎に作成されるレコードであり、同一グループの障害原因インシデントＩＤと一又は複数の障害現象のインシデントＩＤが登録される。

連携部１４３は障害原因絞り込み部１４２により分析を行った結果を履歴記憶部１２０に反映させるためインシデント制御部１５０に依頼する。

＜関連インシデントグルーピング部のフローチャート＞
図９は関連インシデントグルーピング部１４１が実行するグルーピング処理のフローチャートを示す。ステップＳ２１で対処実行結果・記録部１３２からインシデントＩＤの通知を受けたタイミングで、通知された処理対象インシデントのインシデントＩＤに対応する図６に示すインシデント情報を履歴記録部１２０から検索し、検索したインシデント情報のシナリオパート実行マップを取り出す。

ステップＳ２２で履歴記録部１２０を検索して、未クローズ（未着手又は対処中又は対処終了）かつ、上記処理対象インシデントのインシデント情報に登録されたタイムスタンプの前後α秒の期間のインシデント情報を周辺インシデントとして絞り込む。なお、αは数秒程度であり、管理者の操作部１６０の操作等によりチューニング可能である。ステップＳ２３では周辺インシデントとして絞り込まれた件数が１以上か否かを判別し、周辺インシデントの件数が１以上であればステップＳ２４に進む。

ステップＳ２４で周辺インシデントに関して、履歴記録部１２０からインシデント情報を検索し、それぞれのシナリオパート実行マップを取り出し、ステップＳ２４でグループ分け（ステップＳ２６〜Ｓ３１）を開始する。

まず、ステップＳ２６で処理対象インシデントのシナリオパート実行マップにおいて値’１’の最下位ビット位置を特定し、特定ビット位置とする。なお、図６のシナリオパート実行マップでは右側ほど下位のビットである。この特定ビット位置は、対処実行結果・記録部１３２において、対処実行結果が取得ＯＫとなり対処が完了した位置を示している。

ステップＳ２７で周辺インシデントのシナリオパート実行マップにおいて特定ビット位置が値’１’となっているインシデントを検索し、該当するものだけを周辺インシデントとし、該当しないものは周辺インシデントから外す。すなわち、対処実行結果が取得ＯＫとなり対処が完了した位置が処理対象インシデントと同一の周辺インシデントを残している。

ステップＳ２８で絞り込んだ周辺インシデントの件数が１以上か否かを判別し、絞り込んだ周辺インシデントの件数が１以上であればステップＳ２９に進む。ステップＳ２９で絞り込んだ周辺インシデントの中で特定ビット位置より下位（右側）のビットが値’１’（ＯＮ）となっているインシデントを除外して周辺インシデントを更に絞り込む。

ステップＳ３０で絞り込んだ周辺インシデントの件数が１以上か否かを判別し、絞り込んだ周辺インシデントの件数が１以上であればステップＳ３１に進む。ステップＳ３１では処理対象インシデントと周辺インシデントは同一グループとして、同一のグループ番号を付与し、インデント情報記憶部１２の当該処理対象インシデントと当該周辺インシデントのインシデント情報に付与したグループ番号を登録すると共に障害グループマップ情報記憶部１２３に登録する。なお、グループ番号にはインクリメンタルに増加するシーケンス番号を使用する。

こののち、ステップＳ３２でグループ情報として同一のグループ番号を付与した処理対象インシデントと周辺インシデントのインシデントＩＤをグループ番号と共に障害原因絞り込み部１４２に通知する。なお、周辺インシデントがない場合、又は、絞り込みで周辺インシデントが全て除外された場合は、処理対象インシデントのみの通知となる。

ここで、図１０（Ａ），（Ｃ）に処理対象インシデントのインシデント情報のシナリオパート実行マップ部分を示す。このシナリオパート実行マップにおける第７ビットが特定ビット位置である。これに対して、図１０（Ｂ）に示す周辺インシデントのシナリオパート実行マップでは第６ビットが値’１’であるためステップＳ２９で周辺インシデントから除外される。図１０（Ｄ）に示す周辺インシデントは、第７ビットの特定ビット位置が値’１’であり、特定ビット位置がより下位に値’１’のビットがないため、図１０（Ｃ）に示す処理対象インシデントと同一グループとされる。

図１１にインシデントのグルーピングイメージを示す。図２に示す装置１３の障害により発生したインシデントＩＤ＝１３のインシデントに対してシナリオパートＰＡ１，ＰＡ２，ＰＡ３が実行され、上記シナリオパートＰＡ１，ＰＡ２，ＰＡ３に対する対処実行結果情報が履歴記憶部１２０に記憶されている。また、装置１２の障害により発生したインシデントＩＤ＝１２のインシデントに対してシナリオパートＰＡ２，ＰＡ３が実行され、上記シナリオパートＰＡ２，ＰＡ３に対する対処実行結果情報が履歴記憶部１２０に記憶されている。また、装置１１の障害により発生したインシデントＩＤ＝１１のインシデントに対してシナリオパートＰＡ３が実行され、上記シナリオパートＰＡ３に対する対処実行結果情報が履歴記憶部１２０に記憶されている。

ここでは、上記の各インシデントに対するシナリオパートＰＡ３の実行により対処が完了しており、インシデントＩＤ＝１１，１２，１３を装置１１の障害を原因とする同一グループとして扱う。

＜障害原因絞り込み部のフローチャート＞
図１２は障害原因絞り込み部１４２が実行する第１グルーピング処理のフローチャートを示す。ステップＳ４１で関連インシデントグルーピング部１４１から処理対象インシデントと共に周辺インシデントが通知されているかを確認し、周辺インシデントがあればステップＳ４２からステップＳ４３に進み、周辺インシデントがなければステップＳ４２からステップＳ４４に進む。

ステップＳ４３では処理対象インシデントのシナリオパート実行マップと周辺インシデントのシナリオパート実行マップのビット比較を行い、値’１’のビット数が最も少ないインシデントを障害原因と特定し、それ以外のインシデントを障害現象と特定し、ステップＳ４４に進んで連携部１４３に通知する。一方、周辺インシデントがなければステップＳ４４で処理対象インシデントを障害原因として連携部１４３に通知する。

図１３は障害原因絞り込み部１４２が実行する第２グルーピング処理のフローチャートを示す。ステップＳ５１で関連インシデントグルーピング部１４１から通知されたグループ番号で履歴記憶部１２０の障害グループマップ情報記憶部１２３を検索する。ステップＳ５２で障害グループマップ情報記憶部１２３に同一のグループ番号が登録されているか否かを判別する。

同一のグループ番号が登録されていればステップＳ５３に進む。ステップＳ５３では関連インシデントグルーピング部１４１から通知された処理対象インシデントのインシデント情報のインシデントＩＤとシナリオパート実行マップを取り出して、検索されたグループ番号の障害グループマップ情報に新レコードとして追加する。

同一のグループ番号が登録されていない場合はステップＳ５４に進む。ステップＳ５４では関連インシデントグルーピング部１４１から通知されたグループ番号と処理対象インシデントのインシデント情報のインシデントＩＤとシナリオパート実行マップを取り出して、障害グループマップ情報に上記グループ番号の新たなエントリを作成し、当該エントリの新レコードとして上記処理対象インシデントのインシデント情報のインシデントＩＤとシナリオパート実行マップを登録する。

図１４に障害グループマップ情報の更新の様子を示す。最初にインシデントＩＤ＝１１のシナリオパートが実行され、例えばグループ番号＝２が付与されて図１４（Ａ）に示す障害グループマップ情報が障害グループマップ情報記憶部１２３に登録される。なお、シナリオパート実行マップは第７ビットを最下位ビット（右側）として記載している。

次に、インシデントＩＤ＝１２のシナリオパートが実行され、その際にシナリオパート実行マップの特定ビット位置が第７ビットとなるのでグループ番号＝２にグルーピングされる。このため、図１４（Ｂ）に示すように障害グループマップ情報にインシデントＩＤ＝１２のレコードが追加される。更に、インシデントＩＤ＝１３のシナリオパートが実行され、その際にシナリオパート実行マップの特定ビット位置が第７ビットとなるのでグループ番号＝２にグルーピングされる。このため、図１４（Ｃ）に示すように障害グループマップ情報にインシデントＩＤ＝１２のレコードが追加される。

この場合、図１４（Ｃ）に示す障害グループマップ情報の各レコードのシナリオパート実行マップから、値’１’のビット数が最も少ないインシデントＩＤ＝１１が障害原因のインシデントと特定され、他のインシデントＩＤ＝１２，１３は障害現象のインシデントと特定され、図１５に示す障害解析情報が履歴記憶部１２０の障害解析情報記憶部１２４に登録される。

図１６に障害原因絞り込み部１４２から連携部１４３への通知情報の構成を示す。通知情報は、処理対象インシデントと周辺インシデントそれぞれでレコードを構成し、各レコードはインシデントＩＤ、グループ番号、依頼種別（処理対象インシデント／周辺インシデント）、障害種別（障害原因／障害現象）を有する。

＜インシデント制御部＞
図３に示すインシデント制御部１５０は、連携部１４３からの通知情報を履歴記憶部１２０に反映させる。

＜第１インシデント制御処理のフローチャート＞
図１７はインシデント制御部１５０が実行する第１インシデント制御処理のフローチャートを示す。この処理は連携部１４３から通知があると実行される。

ステップＳ６１で連携部１４３から通知される通知情報のレコードを読み込み、ステップＳ６２でレコードの有無を判別する。通知されたレコードがあればステップＳ６３で当該レコードの障害種別が障害原因であるか否かを判別する。

障害種別が障害原因でなければ、つまり、障害現象であれば、ステップＳ６４で当該レコードのインシデントＩＤでインシデント情報記憶部１２１のインシデント情報を検索し、検索されたインシデント情報のインシデントステータスを仮クローズに変更してステップＳ６１に進む。障害種別が障害原因であれば、そのままステップＳ６１に進む。上記のステップＳ６１〜Ｓ６４は連携部１４３から通知される通知情報のレコードがある限り繰り返され、通知情報のレコードがなくなるとステップＳ６５に進んで、インシデントステータスが未着手又は対処中又は対処終了のインシデント情報を画面表示して、この処理を終了する。

図１８にインシデントステータスの説明図を示す。インデントステータスはインシデントの状態を表している。未着手「１」はインシデントが登録された直後の状態である。対処中「２」は対処すなわちシナリオパートを実行中の状態である。対処終了「３」はシナリオパートを実行完了の状態である。仮クローズ「４」は障害現象と特定され仮のクローズがされた状態である。クローズ「５」は実際に装置がクローズされた状態である。

なお、クローズとは、インシデントが解決され、当該装置は障害に無関係と判定された状態や、当該装置が障害の原因と判定され当該装置をネットワークから外す又は修理する等の決定を行ったような状態である。

ここで、図１６に示す同一グループの２つのレコードが連携部１４３からインシデント制御部１５０に通知された場合、第１インシデント制御処理により、インシデントＩＤ＝１２のインシデント情報のインシデントステータスは処理終了「３」とされ、インシデントＩＤ＝１３のインシデント情報のインシデントステータスは仮クローズ「４」とされる。

提示部１７０は、インシデントステータスが未着手「１」又は対処中「２」又は対処終了「３」のインシデントについては画面表示により管理者に提示する。しかし、仮クローズ「４」又はクローズ（停止）のインシデントについては画面表示を行わない。

この第１インシデント制御処理では、障害原因のインシデントに関しては、対処中のケースであるためステータス変更は行われず、対処完了時において処理対象のインシデントとして管理者によって再度評価される。障害現象のインシデントに関しては、仮クローズとすることにより、管理者が再度評価を行うときは既に仮クローズされているので提示部１７０に表示されず評価対象から外されている。すなわち、属人性を排除して対応すべきインシデントを選択できる。これにより、管理者による絞込み時の負荷を軽減できる。

＜第２インシデント制御処理のフローチャート＞
図１９はインシデント制御部１５０が実行する第２インシデント制御処理のフローチャートを示す。この処理は管理者が操作部１６０からクローズ操作を行うときに実行される。

ステップＳ７１で履歴記録部１２０のインシデント情報記憶部１２１に登録されているインシデント情報を提示部１７０に表示させ、管理者は上記の表示を見てクローズすべきインシデント情報であるかの評価を行う。この結果、管理者が所望のインシデント情報を指定してクローズ操作を行うと、インシデント制御部１５０は指定のインシデント情報のインシデントステータスをクローズ「５」に変更する。

ステップＳ７２でクローズ「５」に変更したインシデント情報の障害種別を確認する。ステップＳ７３で変更したインシデント情報の障害種別が障害原因であるか否かを判別し、障害原因であればステップＳ７４に進み、障害現象であれば処理を終了する。

ステップＳ７４ではクローズ「５」に変更したインシデントと同一のグループ番号を持ち、障害種別が障害現象、かつ、インシデントステータスが仮クローズ「４」のインシデント情報を検索する。ステップＳ７５で上記検索によりインシデント情報が検索できたか否かを判別する。検索できた場合にはステップＳ７６で検索されたインシデント情報のインシデントステータスをクローズ「５」に変更してステップＳ７４に進む。検索できない場合には処理を終了する。

先に説明したように、連携部１４３からインシデント制御部１５０への通知により、インシデントＩＤ＝１２のインシデント情報のインシデントステータスは処理終了「３」とされ、インシデントＩＤ＝１３のインシデント情報のインシデントステータスは仮クローズ「４」とされていた場合について考える。

第２インシデント制御処理により、インシデントＩＤ＝１２を指定してクローズ操作を行うと、インシデントＩＤ＝１２のインシデント情報のインシデントステータスは処理終了「３」からクローズ「５」に変更され、インシデントＩＤ＝１３のインシデント情報のインシデントステータスは仮クローズ「４」からクローズ「５」に変更される。

このようにして、管理者が障害原因であるインシデントを評価してクローズ（解決）した場合に、同一グループの障害現象のインシデントは自動的にクローズとされ、管理者が手動でクローズする必要がなくなり、作業コストを削減できる。

＜第１障害例＞
図２０に示すように、樹形ネットワークの先端に位置する装置１３で障害が発生した第１障害例について説明する。

ネットワーク監視装置３０より装置１３の障害が通知された対処提示装置１００に、インシデントＩＤ＝１３のインシデントが登録される。対処実行記録部１３０の候補抽出部１３１にてシナリオ記憶部１１０からシナリオパートＰＡ１を抽出する。

対処実行記録部１３０の対処実行結果・記録部１３１にてシナリオパートＰＡ１に記載されている「対処内容＝装置１２の状態を取得」を実施する。装置状態の取得は状態管理装置４０に対し装置状態の問い合わせを実施し、状態管理装置４０ではポーリングにより装置１２に対する疎通調査を行い、結果を返却する。この結果は取得ＯＫのため、装置１３が障害原因被疑と確定する。対処実行結果・記録部１３１はシナリオパートＰＡ１に対応するビットが値’１’となるシナリオパート実行マップを持つインシデントＩＤ＝１３のインシデント情報を生成してインシデント情報記憶部１２１に登録し、障害解析部１４０の関連インシデントグルーピング部１４１にグルーピングを依頼する。

関連インシデントグルーピング部１４１では、他にインシデントが存在しないため、インシデントＩＤ＝１３のみを障害原因絞り込み部１４２に依頼する。障害原因絞り込み部１４２では、通知されたインシデントが１件しかないため、インシデントＩＤ＝１３を障害原因と特定し、連携部１４３を経由してインシデント制御部１５０への通知を行う。インシデント制御部１５０では、通知されたインシデント＝１３（障害原因）のみのため、何もしない。

＜第２障害例＞
次に、図２１に示すように、装置１２に装置障害が発生し、ネットワーク監視装置３０より装置１２（障害原因）及び装置１３（障害現象）へのポーリングが不通となった第２障害例について説明する。

ネットワーク監視装置３０より装置１２の障害が通知され、対処提示装置１００にインシデント（インシデントＩＤ＝１２）が登録される。対処実行記録部１３０の候補抽出部１３１にて、シナリオパートＰＡ２を抽出する。対処実行記録部１３０の対処実行結果・記録部１３２にて、シナリオパートＰＡ２に記載されている「対処内容＝装置１１の状態を取得」を実施する。この結果は取得ＯＫのため、装置１２が障害原因被疑と確定する。対処実行結果・記録部１３１はシナリオパートＰＡ２に対応するビットが値’１’となるシナリオパート実行マップを持つインシデントＩＤ＝１２のインシデント情報を生成してインシデント情報記憶部１２１に登録し、障害解析部１４０の関連インシデントグルーピング部１４１にグルーピングを依頼する。

関連インシデントグルーピング部１４１では、他にインシデントが存在しないため、インシデントＩＤ＝１２のみを障害原因絞り込み部１４２に依頼する。障害原因絞り込み部１４２では、通知されたインシデントが１件しかないため、インシデントＩＤ＝１２を障害原因と特定し、連携部１４３を経由してインシデント制御部１５０に通知を行う。インシデント制御部１５０では、通知されたインシデント＝１２（障害原因）のみのため、何もしない。

こののち、装置１２が障害であるため、図２２に示すようにネットワーク監視装置３０より装置１３の障害が通知され、対処提示装置１００にインシデント（インシデントＩＤ＝１３）が登録される。対処実行記録部１３０の候補抽出部１３１にて、シナリオパートＰＡ１を抽出する。対処実行記録部１３０の対処実行結果・記録部１３２にて、シナリオパートＰＡ１に記載されている「対処内容＝装置１２の状態を取得」を実施する。この結果は取得ＮＧ（解決＝ＮＯ）のため、対処実行記録部１３０により次の候補として、シナリオパートＰＡ２を抽出する。

対処実行記録部１３０の対処実行結果・記録部１３２にて、シナリオパートＰＡ２に記載されている「対処内容＝装置１１の状態を取得」を実施する。この結果＝取得ＯＫ（解決＝Ｙｅｓ）のため、装置１２が障害原因被疑と確定する。対処実行結果・記録部１３１はシナリオパートＰＡ１，ＰＡ２に対応するビットが値’１’となるシナリオパート実行マップを持つインシデントＩＤ＝１３のインシデント情報を生成してインシデント情報記憶部１２１に登録し、障害解析部１４０の関連インシデントグルーピング部１４１にグルーピングを依頼する。

このとき、インシデント情報記憶部１２１には図２３に示す３つのインシデント情報が登録されているものとする。図２３ではインシデントＩＤとタイムスタンプとシナリオパート実行マップの一部のみを示している。

関連インシデントグルーピング部１４１では、インシデントＩＤ＝１３のインシデント情報のシナリオパート実行マップにおける値’１’である最下位ビットが第２ビットであることを検出する。また、第２ビットが値’１’のインシデント情報を検索して、インシデントＩＤ＝１３，５０を取得する。第２ビットより下位の第１、第０ビットが値’１’のインシデント情報を調査し、この場合、インシデントＩＤ＝５０が該当するので、インシデントＩＤ＝５０のインシデント情報をグループの対象外とする。インシデントＩＤ＝１２，１３のインシデント情報を同一グループと認識し、障害原因絞り込み部１４２に依頼する。

障害原因絞り込み部１４２では、通知されたインシデントグループ内のインシデントが複数件のため、値’１’のビット数が少ないインシデントを障害原因と特定する。この場合、インシデントＩＤ＝１２を障害原因と特定し、インシデントＩＤ＝１３を障害現象として特定し、連携部１４３を経由してインシデント制御部１５０への通知を行う。インシデント制御部１５０では、インシデント情報記憶部１２１でインシデントＩＤ＝１３（障害現象）の検索を行い、検索したインシデント情報のインシデントステータスを仮クローズとする。また、インシデントＩＤ＝１２（障害原因）のインシデント情報については何もしない。

＜第３障害例＞
次に、図２４に示すように、装置１４に装置障害が発生し、ネットワーク監視装置３０より装置１４へのポーリングが不通となった第３障害例について説明する。

ネットワーク監視装置３０より装置１４の障害が通知され、対処提示装置１００にインシデント（インシデントＩＤ＝１４）が登録される。対処実行記録部１３０の候補抽出部１３１にて、シナリオパートＰＡ４を抽出する。対処実行記録部１３０の対処実行結果・記録部１３２にて、シナリオパートＰＡ４に記載されている「対処内容＝装置１１の状態を取得」を実施する。この結果は取得ＯＫのため、装置１４が障害原因被疑と確定する。対処実行結果・記録部１３１はシナリオパートＰＡ４に対応するビットが値’１’となるシナリオパート実行マップを持つインシデントＩＤ＝１４のインシデント情報を生成してインシデント情報記憶部１２１に登録し、障害解析部１４０の関連インシデントグルーピング部１４１にグルーピングを依頼する。

関連インシデントグルーピング部１４１では、インシデントＩＤ＝１４のインシデント情報のシナリオパート実行マップにおける値’１’である最下位ビットが第０ビット（シナリオパートＰＡ４に対応）であることを検出する。第０ビットが値’１’のインシデント情報を検索してインシデント情報記憶部１２１に対象が存在しないため、別グループと認識する。関連インシデントグルーピング部１４１では、インシデントＩＤ＝１４のみを障害原因絞り込み部１４２に依頼する。

障害原因絞り込み部１４２では、通知されたインシデント情報が１件しかないため、インシデントＩＤ＝１４を障害原因と特定し、連携部１４３を経由してインシデント制御部１５０への通知を行う。インシデント制御部１５０では、通知されたインシデントＩＤ＝１４（障害原因）のみのため、何もしない。

上記実施形態では、監視対象の装置において発生した多重障害を含む障害に対して、障害原因となる対象のインシデントの絞込みをシステムが行うため、属人性を排除し対応すべきインシデントの選択が可能となる。これにより障害に対する有効な対処が実施される時間が短縮されるだけではなく、本来調査及び対処を必要としない障害現象装置に対する不要な作業を削減でき、装置負荷及び作業コストを削減可能となる。

また、登録されたインシデントについて、多数を占める障害現象のインシデントをシステムが切り分け、障害原因のインシデントが管理者によりクローズされたときに、障害現象のインシデントを自動でクローズするため、運用管理者による手作業でのクローズが不要となり、作業コストを削減できる。
（付記１）
ネットワークを構成する複数の装置それぞれで発生する現象に対して実行される一連の対処内容を対処手順として予め記憶した対処手順記憶部と、
前記装置で発生した現象に対応する前記対処手順の対処内容を実行し、実行した前記対処内容と前記対処内容の実行結果を関連付けた対処履歴を生成する対処実行部と、
前記対処履歴を記憶する対処履歴記憶部と、
前記現象の原因が同一の複数の対処履歴をグループ化し、グループ内の対処履歴を前記現象の原因である第１の現象と、前記第１の現象の影響による第２の現象とに切り分ける解析部と、
前記第２の現象を非提示状態とし前記第１の現象を提示状態として、提示状態の前記第１の現象を提示する提示部と、
を有することを特徴とする対処提示装置。
（付記２）
付記１記載の対処提示装置において、
前記対処手順は、前記現象が発生した装置を配下に置く第１装置から前記現象を監視する監視装置に接続された第２装置までの各装置の現象を確認する一連の対処内容であり、
前記対処実行部は、前記第１装置から前記第２装置に向け対処が完了するまで前記対処手順を実行して前記対処履歴を生成する
ことを特徴とする対処提示装置。
（付記３）
付記２記載の対処提示装置において、
前記解析部は、前記対処手順記憶部に登録されている複数の対処履歴から前記対処が完了した位置が同一の対処履歴を前記現象の原因が同一のグループとする
ことを特徴とする対処提示装置。
（付記４）
付記３記載の対処提示装置において、
前記解析部は、前記グループ内の対処履歴のうち対処内容数が最小の対処履歴を前記第１の現象とし、残りの対処履歴を前記第２の現象として切り分ける
ことを特徴とする対処提示装置。
（付記５）
付記４記載の対処提示装置において、
前記第２の現象とされた対処履歴に対応する現象が発生した装置を仮クローズ状態とする状態制御部を
有することを特徴とする対処提示装置。
（付記６）
付記５記載の対処提示装置において、
前記状態制御部は、前記第１の現象とされた対処履歴に対応する現象が発生した装置のクローズが指示されたとき前記第２の現象とされた対処履歴に対応する現象が発生した装置をクローズ状態とする
ことを特徴とする対処提示装置。
（付記７）
対処提示装置で実行される対処提示方法であって、
ネットワークを構成する複数の装置それぞれで発生する現象に対して実行される一連の対処内容を対処手順として予め対処手順記憶部に記憶しておき、
前記装置で発生した現象に対応する前記対処手順の対処内容を実行し、実行した前記対処内容と前記対処内容の実行結果を関連付けた対処履歴を生成して対処履歴記憶部に記憶し、
前記現象の原因が同一の複数の対処履歴をグループ化し、グループ内の対処履歴を前記現象の原因である第１の現象と、前記第１の現象の影響による第２の現象とに切り分け、
前記第２の現象を非提示状態とし前記第１の現象を提示状態として、提示状態の前記第１の現象を提示する、
ことを特徴とする対処提示方法。
（付記８）
付記７記載の対処提示方法において、
前記第２の現象とされた対処履歴に対応する現象が発生した装置を仮クローズ状態とする
ことを特徴とする対処提示方法。
（付記９）
付記８記載の対処提示方法において、
前記第１の現象とされた対処履歴に対応する現象が発生した装置のクローズが指示されたとき前記第２の現象とされた対処履歴に対応する現象が発生した装置をクローズ状態とする
ことを特徴とする対処提示方法。

１ 筐体
１０〜１４ 装置
２０ 監視対象ネットワーク
３０ ネットワーク監視装置
４０ 状態管理装置
１００ 対処提示装置
１１０ シナリオ記憶部
１２０ 履歴記憶部
１２１ インデント情報記憶部
１２２ 対処実行結果情報記憶部
１２３ 障害グループマップ情報記憶部
１２４ 障害解析情報記憶部
１３０ 対処実行記録部
１３１ 候補抽出部
１３２ 対処実行結果・記録部
１４０ 障害解析部
１４１ 関連インシデントグルーピング部
１４２ 障害原因絞り込み部
１４３ 連携部
１５０ インシデント制御部
１６０ 操作部
１７０ 提示部

Claims (7)

1. ネットワークを構成する複数の装置それぞれで発生する現象に対して実行される一連の対処内容を対処手順として予め記憶した対処手順記憶部と、
   前記装置で発生した現象に対応する前記対処手順の対処内容を実行し、実行した前記対処内容と前記対処内容の実行結果を関連付けた対処履歴を生成する対処実行部と、
   前記対処履歴を記憶する対処履歴記憶部と、
   前記現象の原因が同一の複数の対処履歴をグループ化し、グループ内の対処履歴を前記現象の原因である第１の現象と、前記第１の現象の影響による第２の現象とに切り分ける解析部と、
   前記第２の現象を非提示状態とし前記第１の現象を提示状態として、提示状態の前記第１の現象を提示する提示部と、
   を有することを特徴とする対処提示装置。
2. 請求項１記載の対処提示装置において、
   前記対処手順は、前記現象が発生した装置を配下に置く第１装置から前記現象を監視する監視装置に接続された第２装置までの各装置の現象を確認する一連の対処内容であり、
   前記対処実行部は、前記第１装置から前記第２装置に向け対処が完了するまで前記対処手順を実行して前記対処履歴を生成する
   ことを特徴とする対処提示装置。
3. 請求項２記載の対処提示装置において、
   前記解析部は、前記対処手順記憶部に登録されている複数の対処履歴から前記対処が完了した位置が同一の対処履歴を前記現象の原因が同一のグループとする
   ことを特徴とする対処提示装置。
4. 請求項３記載の対処提示装置において、
   前記解析部は、前記グループ内の対処履歴のうち対処内容数が最小の対処履歴を前記第１の現象とし、残りの対処履歴を前記第２の現象として切り分ける
   ことを特徴とする対処提示装置。
5. 請求項４記載の対処提示装置において、
   前記第２の現象とされた対処履歴に対応する現象が発生した装置を仮クローズ状態とする状態制御部を
   有することを特徴とする対処提示装置。
6. 請求項５記載の対処提示装置において、
   前記状態制御部は、前記第１の現象とされた対処履歴に対応する現象が発生した装置のクローズが指示されたとき前記第２の現象とされた対処履歴に対応する現象が発生した装置をクローズ状態とする
   ことを特徴とする対処提示装置。
7. 対処提示装置で実行される対処提示方法であって、
   ネットワークを構成する複数の装置それぞれで発生する現象に対して実行される一連の対処内容を対処手順として予め対処手順記憶部に記憶しておき、
   前記装置で発生した現象に対応する前記対処手順の対処内容を実行し、実行した前記対処内容と前記対処内容の実行結果を関連付けた対処履歴を生成して対処履歴記憶部に記憶し、
   前記現象の原因が同一の複数の対処履歴をグループ化し、グループ内の対処履歴を前記現象の原因である第１の現象と、前記第１の現象の影響による第２の現象とに切り分け、
   前記第２の現象を非提示状態とし前記第１の現象を提示状態として、提示状態の前記第１の現象を提示する、
   ことを特徴とする対処提示方法。

Images