JP2007267352A - 障害回復システム及びサーバ - Google Patents

Abstract

【課題】
ネットワークにおける障害の抑止またはネットワークの障害の自動回復を図る。
【解決手段】
サーバ２００は、障害回復の対象であるひとつ又は複数のネットワーク装置Ａ、Ｂ、Ｃを示す監視対象情報と、障害内容を識別するための障害情報と、該障害に対する対処情報と、該対処情報により障害が回復した回数を示す頻度情報とが対応して記憶されたシナリオテーブルを有する。例えばネットワーク装置Ａ３００は、自ネットワーク装置の障害を検出し、障害イベントをサーバ２００に送信する。サーバ２００が、シナリオテーブルを参照して、頻度情報が高い順に処情報を選択し、ネットワーク装置Ａ３００に送信する。サーバ２００は、ネットワーク装置Ａ３００から障害イベントが受信されなくなるまで、対象情報の選択と送信を繰り返す。
【選択図】図１

Description

本発明は、障害回復システム及びサーバに係り、特に、ネットワーク運用管理において蓄積した障害の対処法候補から自動的に学習した優先度に基づき有効な対処法を選択し、障害回復を行うネットワーク制御における障害回復システム及びサーバに関する。

従来のネットワーク運営において、ネットワークに障害が起きた際の対処方法として高いスキルを積んだ運用者が障害毎に直接対応することや、あるいは、簡単な障害を回復するための運用方法をコンピュータ上にスクリプトとして事前に用意しておき、運用者が選択することにより障害に対処していた。しかし、前者の方法の場合、対処方法が運用者のスキルに依存してしまい、平均的な運用を行うことが困難であること及び運用者自体の人的コストが非常に大きくなる傾向があった。また、後者の場合は、障害を回復するための運用方法をあらかじめ保持しておけるため、運用者は障害単位での対応をする必要が減るが、障害が起きた際にどの障害が起きたかを特定判断する必要があり、完全な自動化はできていない。

また、ネットワーク監視システムにおける障害情報管理方式が開示されている（例えば、特許文献１参照）。この方式では、発生する可能性のある障害種別と、これら各障害種別に夫々対応して対応障害が及ぼす影響度の大小に従って予め決定された影響優先度と、対応障害が及ぼす可能性のある影響障害種別とを予め定めて格納した障害情報管理テーブルとを備える。また、複数の障害の発生に応答して、前記障害情報管理テーブルを参照してこれら発生障害種別の各々に対応する影響優先度と影響障害種別とに応じて障害原因となる障害種別を特定する方式である。

特許第３０９９７７０号公報 特許第３６１８６８２号公報

しかしながら、特許文献２の方法において、現在の様々なネットワークプロトコルやネットワーク装置の組み合わせで構成されている構成の変化が常に見込まれるネットワークにおいては優先度も常に変化する必要があり、事前に決定しておいた固定的優先度による障害種別を特定することは困難となる。また、現在のネットワークのような複雑なネットワーク制御プロトコルが多く使用される環境においては、常にネットワークのチューニングをする必要があるが、実際には細かなパラメータ調整など単純な作業の連続であることが多く、人的時間的コストの増大を生んでいた。

また、特許文献２の特許において、セキュリティ障害イベントに応じて、システムが自動生成したマニュアルをユーザが参照しながら、ユーザの障害対応に対しての手助けを行うことを主目的としている。しかしながら、想定している障害への断片的な対処に対するマニュアルの組み合わせのユーザへの提示であり、想定外の障害に対しての対処に関しては、解決が困難となる。

本発明は、以上の点に鑑み、実際のネットワーク運用に即した優先度を頻度情報として自動学習することにより、事前に登録しておいた対処方法を含むシナリオの選択を行い、障害を自動的に回復させる障害回復システム及びサーバを提供することを目的とする。また、本発明は、ネットワーク運用のコスト軽減を図ることのできるネットワーク制御における障害回復システム等を提供することを目的とする。

また、本発明は、人的時間的コストの軽減を図ることも目的のひとつである。さらに、本発明は、ネットワーク障害の抜本的解決ではなく、可能な限りの手段を尽くすことにより運用者が実際に対応するまでの時間を稼ぐことも目的のひとつである。さらに、本発明は、運用者が対応するまでに、想定される対処を自動的に実行し、運用者による対応をより効果的にすることを目的のひとつとする。

（１）自動障害回復システムは、ネットワーク装置とサーバとクライアント装置（クライアント）を備える。ネットワーク装置は、単一または複数のネットワークを構成する他のネットワーク装置と通信し、物理的または論理的な接続関係または、物理的接続関係と論理的な接続上における選択優先度を記述した構成定義テンプレートからネットワーク装置の機能を定義するための構成定義に変換し出力する機能を備える。また、ネットワーク装置は、ネットワーク装置の機能によって発生する障害や状態変化の通知である装置障害イベントを送信する機能を持つ。

サーバは、単一または複数のネットワーク装置と通信し、単一または複数のネットワーク装置の機能によって生じる障害または状態変化による障害のうちユーザが対処したいと考える機能の障害に該当する対象機能かつ監視対象かつ障害情報かつ障害に対応するための対処方法かつ対処方法の選択頻度からなる頻度情報の組み合わせであるシナリオをシナリオテーブルに登録する。また、サーバは、単一または複数のネットワーク装置が送信した装置障害イベントを受信し、シナリオテーブルに存在する該当対処方法のうち頻度情報順に選択する。サーバは、単一または複数のネットワーク装置毎の構成定義テンプレートを生成し、単一または複数のネットワーク装置に送信する機能を有する。サーバは、シナリオテーブルの頻度情報を対処方法の成功結果によって更新する機能を有する。サーバは、前記装置から同じ装置障害イベント情報受信がなくなるまで、シナリオテーブル中の対処方法をもとに順に構成定義テンプレートを生成し、前記装置に送信する機能を有する。

クライアントは、前記サーバのシナリオテーブルに登録またはシナリオテーブル一覧を表示するための外部インタフェースである。
（２）本システムは、単一または複数のネットワーク装置の物理的接続関係または論理的接続関係または物理的接続と論理的接続の関係の選択優先度を記述した構成定義テンプレートは、文法定義を事前に定義したフォーマットに基づいた記述方法を持っている。
（３）本システムは、構成定義テンプレートと構成定義において、構成定義テンプレートの文法定義と構成定義のフォーマットの間に一定の変換規則を持っている。
（４）本システムは、サーバのシナリオテーブルに登録またはシナリオテーブル一覧を表示するための外部インタフェースであるクライアントは、サーバとの接続においてネットワークまたはサーバ内の機能を実現するプロセス間での通信を介する。
（５）本システムは、構成定義によって反映したネットワーク中継の機能に起因する障害または機能の状態変化の情報である装置障害イベントを送信する機能は、ネットワーク装置に備わる通信送信機能またはサーバもしくはネットワーク装置からのコールバックによる送信機能を含む。
（６）本システムは、監視対象は単一または複数のネットワーク装置または装置内の機能部位を論理関係で記述する。
（７）本システムは、シナリオテーブルにユーザが登録した障害に該当する対処方法がすべて頻度情報順に実行されるまで続き、未選択のシナリオがなくなった時点で装置障害イベントの受信が続いた場合に、ユーザに対し手動での対処要求を通知する。
（８）本システムのサーバは、ネットワークまたはプロセス間通信を介してクライアントと通信可能であり、ネットワークを介して単一または複数の装置から送信されてくる装置障害イベントを受信する。サーバは、装置からの装置障害イベントを受信する装置障害イベント受信プログラムと、装置障害イベントの内容に従い、対象機能かつ監視対象かつ障害情報を満たす単一または複数のシナリオ候補一覧をシナリオテーブルから取り出し、シナリオ候補リストとして管理するシナリオテーブル管理プログラムを備える。
（９）本システムは、シナリオテーブルに存在する該当対処方法のうち頻度情報順とは、頻度情報をもとに選択する順序が降順である。
（１０）本システムにおけるデータ処理法は、複数の障害対象に対する、処理を各処理対処の使用頻度を利用しつつ行う、コンピュータを用いた使用頻度を利用したデータ処理法であり、コンピュータは選択された処理対象の使用頻度を更新して記録し、コンピュータは複数の処理対象を、選択のために利用する際に、記録されている各処理対象の使用頻度を読み出して、選択のための情報として利用する使用頻度を利用したデータ処理方法である。
（１１）本システムは、ユーザが事前にシナリオとして登録した障害種別と対処方法との組み合わせに対し、過去の同様の障害における対処方法の使用頻度を頻度情報として付加することにより、過去の事例による対象方法の選択をコンピュータに行わせることを可能とする処理方法をもつ。
（１２）本システムのクライアントは、シナリオテーブルに登録またはシナリオテーブル一覧を表示するための外部インタフェースであり、シナリオテーブル一覧の表示機能とユーザが登録するシナリオの送信機能とを備えたクライアントである。
（１３）本システムは、シナリオテーブル一覧表示機能において、表示を利用する対象は、直接ユーザである人間またはプログラムである。
（１４）本システムのシナリオテーブルは、ユーザが登録したシナリオ一覧を有するシナリオテーブルであって、装置障害の対象機能を保持する対象機能領域と、前記障害発生を起こした機能に該当する単一または複数の装置情報を保持する監視対象領域と、障害情報を保持する障害情報領域と、障害に対処する対処方法領域と、
を備えたシナリオテーブルである。
（１５）本システムは、対処方法は、単一または複数のネットワーク装置の物理的接続関係または論理的接続関係または物理的接続と論理的接続の関係の選択優先度を記述した文法定義を事前に定義したフォーマットに基づく構成定義テンプレートである。
（１６）本システムは、シナリオテーブルにおいて、シナリオテーブルに登録されているシナリオの頻度情報が０の場合、テーブルに登録されている順序が、シナリオを選択する際の順となる。
（１７）本システムは、シナリオテーブルにおいて、シナリオテーブルに登録されている二つ以上のシナリオの頻度情報が同じ値の場合、テーブルに登録されている順序が、シナリオを選択する際の順となる。
（１８）装置障害イベントにおいて、装置障害イベントによって選択したシナリオの実行は実行回数による制限が可能であり、クライアントまたはサーバにおいて前記実行回数の定義できる。
（１９）装置障害イベントにおいて、サーバが特定の装置障害イベントを受け続ける時間を制限することが可能であり、クライアントまたはサーバにおいて前記時間を定義できる。
（２０）ユーザが事前にシナリオとして登録した障害種別と対処方法との組み合わせに対し、過去の同様の障害における対処方法の使用頻度を頻度情報として付加することにより、過去の事例による対象方法の選択をコンピュータに行わせることを可能とする処理方法であり、コンピュータに行わせた結果をログとしてクライアントまたはサーバまたはネットワーク装置に保存できる。
（２１）シナリオテーブルにおいて、シナリオテーブルのシナリオを構成する項目は拡張が可能である。

本発明の第１の解決手段によると、
ネットワークを構成するひとつ又は複数のネットワーク装置と、
前記ネットワーク装置に接続され、障害回復の対象であるひとつ又は複数の前記ネットワーク装置を示す監視対象情報と、障害内容を識別するための障害情報と、該障害に対する対処情報と、該対処情報により障害が回復した回数を示す頻度情報とが対応して記憶されたシナリオテーブルを有するサーバと
を備え、
前記ネットワーク装置が、自ネットワーク装置の障害を検出し、自装置を示す監視対象情報と該障害内容を識別するための障害情報とを含む障害イベントを前記サーバに送信することと、
前記サーバが、該障害イベントを受信し、前記シナリオテーブルを参照して、該障害イベントに含まれる監視対象情報と障害情報に対応するひとつ又は複数の対処情報を検索し、該当する対処情報の中から、対応する頻度情報が最も大きい又は予め定められた値以上の対処情報をひとつ選択することと、
前記サーバが、選択された対処情報を前記ネットワーク装置に送信することと、
前記ネットワーク装置が、対処情報を受信し、該対処情報を反映し又は該対処情報に基づき設定を変更することと、
前記サーバは、選択された対処情報を送信してから予め定められた時間内に前記障害イベントを再度受信していないと判断されると、前記シナリオテーブルを参照し、選択された対処情報に対応する頻度情報を増加させること
を含む障害回復システムが提供される。

本発明の第２の解決手段によると、
ネットワークを構成するひとつ又は複数のネットワーク装置と通信するためのインタフェースと、
障害回復の対象であるひとつ又は複数の前記ネットワーク装置を示す監視対象情報と、障害内容を識別するための障害情報と、該障害に対する対処情報と、該対処情報により障害が回復した回数を示す頻度情報とが対応して記憶されたシナリオテーブルと
処理部と
を備え、
前記処理部は、
前記ネットワーク装置が障害を検出することで送信される、前記ネットワーク装置を示す監視対象情報と該障害内容を識別するための障害情報とを含む障害イベントを、前記インタフェースを介して受信することと、
前記シナリオテーブルを参照して、該障害イベントに含まれる監視対象情報と障害情報に対応するひとつ又は複数の対処情報を検索し、該当する対処情報の中から、対応する頻度情報が最も大きい又は予め定められた値以上の対処情報をひとつ選択することと、
選択された対処情報を、前記インタフェースを介して前記ネットワーク装置に送信することと、
選択された対処情報を送信してから予め定められた時間内に前記障害イベントを再度受信しない場合、前記シナリオテーブルを参照し、選択された対処情報に対応する頻度情報を増加させること
を含むサーバが提供される。

本発明の第３の解決手段によると、
ネットワークを構成する第１のネットワーク装置と、
前記第１のネットワーク装置に接続され、及び、ネットワークを構成する第２のネットワーク装置と、
前記第１及び第２のネットワーク装置に接続され、障害回復の対象である前記第１及び第２のネットワーク装置を示す監視対象情報と、前記第１のネットワーク装置の状態と前記第２のネットワーク装置の状態の組み合わせで定まる障害情報と、該障害に対する対処情報と、該対処情報により障害が回復した回数を示す頻度情報とが対応して記憶されたシナリオテーブルを有するサーバと
を備え、
前記第１のネットワーク装置が、自装置を示す第１の監視対象情報と自装置の状態を示す第１の状態情報を含む第１のイベントを前記サーバに送信することと、
前記第２のネットワーク装置が、自装置を示す第２の監視対象情報と自装置の状態を示す第２の状態情報を含む第２のイベントを前記サーバに送信することと、
前記サーバが、第１及び第２のイベントを受信し、第１の状態情報と第２の状態情報に基づき障害の有無を判断し、及び、障害情報を求めることと、
前記サーバが、前記シナリオテーブルを参照して、第１及び第２のイベントに含まれる第１及び第２の監視対象情報及び求められた障害情報に対応するひとつ又は複数の対処情報を検索し、該当する対処情報の中から、対応する頻度情報が最も大きい又は予め定められた値以上の対処情報をひとつ選択することと、
前記サーバが、選択された対処情報を前記第１及び第２のネットワーク装置にそれぞれ送信することと、
前記第１及び第２のネットワーク装置がそれぞれ、対処情報を受信し、該対処情報を反映し又は該対処情報に基づき設定を変更することと、
前記サーバは、障害が回避されると、前記シナリオテーブルを参照し、選択された対処情報に対応する頻度情報を増加させること
を含む障害回復システムが提供される。

本発明の第４の解決手段によると、
ネットワークを構成する第１及び第２のネットワーク装置と通信するためのインタフェースと、
障害回復の対象である前記第１及び第２のネットワーク装置を示す監視対象情報と、前記第１のネットワーク装置の状態と前記第２のネットワーク装置の状態の組み合わせで定まる障害情報と、該障害に対する対処情報と、該対処情報により障害が回復した回数を示す頻度情報とが対応して記憶されたシナリオテーブルと
処理部と
を備え、
前記処理部は、
前記第１のネットワーク装置から、前記第１のネットワーク装置を示す第１の監視対象情報と前記第１のネットワーク装置の状態を示す第１の状態情報を含む第１のイベントを、前記インタフェースを介して受信することと、
前記第２のネットワーク装置から、前記第２のネットワーク装置を示す第２の監視対象情報と前記第２のネットワーク装置の状態を示す第２の状態情報を含む第２のイベントを、前記インタフェースを介して受信することと、
第１の状態情報と第２の状態情報に基づき障害の有無を判断し、及び、障害情報を求めることと、
前記シナリオテーブルを参照して、第１及び第２のイベントに含まれる第１及び第２の監視対象情報及び求められた障害情報に対応するひとつ又は複数の対処情報を検索し、該当する対処情報の中から、対応する頻度情報が最も大きい又は予め定められた値以上の対処情報をひとつ選択することと、
選択された対処情報を、前記ネットワークインタフェースを介して前記第１及び第２のネットワーク装置にそれぞれ送信することと、
障害が回避されると、前記シナリオテーブルを参照し、選択された対処情報に対応する頻度情報を増加させること
を含むサーバが提供される。

本発明の第５の解決手段によると、
ネットワークを構成する第１のネットワーク装置と、
ネットワークを構成する第２のネットワーク装置と、
前記第１のネットワーク装置を介してネットワークに接続され、かつ、前記第２のネットワーク装置を介してネットワークに接続される第３のネットワーク装置と、
前記第１及び第２のネットワーク装置に接続され、障害回復の対象であるひとつ又は複数の前記ネットワーク装置を示す監視対象情報と、障害内容を識別するための障害情報と、該障害に対する対処情報と、該対処情報により障害が回復した回数を示す頻度情報とが対応して記憶されたシナリオテーブルを有するサーバと
を備え、
前記第３のネットワーク装置が、前記第１又は第２のネットワーク装置の障害により、ネットワークへの転送に障害が発生したことを検出すると、自装置を示す監視対象情報と転送機能の障害であることを識別するための障害情報とを含む障害イベントを前記サーバに送信することと、
前記サーバが、障害イベントを受信し、前記シナリオテーブルを参照して、該障害イベントに含まれる監視対象情報と障害情報に対応するひとつ又は複数の対処情報を検索し、該当する対処情報の中から、対応する頻度情報が最も大きい又は予め定められた値以上の対処情報をひとつ選択することと、
前記サーバが、選択された対処情報に従い、該対処情報を前記第１及び第２のネットワーク装置に送信することと、
前記第１及び第２のネットワーク装置が、対処情報を受信し、該対処情報を反映し又は該対処情報に基づき設定を変更することと、
前記サーバは、選択された対処情報を送信してから予め定められた時間内に前記障害イベントを再度受信しないと、前記シナリオテーブルを参照し、選択された対処情報に対応する頻度情報を増加させること
を含む障害回復システムが提供される。

本発明の第６の解決手段によると、
ネットワークを構成する第１及び第２及び第３のネットワーク装置と通信するためのインタフェースと、
障害回復の対象であるひとつ又は複数の前記ネットワーク装置を示す監視対象情報と、障害内容を識別するための障害情報と、該障害に対する対処情報と、該対処情報により障害が回復した回数を示す頻度情報とが対応して記憶されたシナリオテーブルと、
処理部と
を備え、
前記処理部は、
前記第３のネットワーク装置が、前記第１又は第２のネットワーク装置の障害によりネットワークへの転送に障害が発生したことを検出することで送信される、前記第３のネットワーク装置を示す監視対象情報と転送機能の障害であることを識別するための障害情報とを含む障害イベントを、前記インタフェースを介して受信することと、
前記シナリオテーブルを参照して、該障害イベントに含まれる監視対象情報と障害情報に対応するひとつ又は複数の対処情報を検索し、該当する対処情報の中から、対応する頻度情報が最も大きい又は予め定められた値以上の対処情報をひとつ選択することと、
選択された対処情報に従い、前記ネットワークインタフェースを介して、該対処情報を前記第１及び第２のネットワーク装置に送信することと、
選択された対処情報を送信してから予め定められた時間内に前記障害イベントを再度受信しないと、前記シナリオテーブルを参照し、選択された対処情報に対応する頻度情報を増加させること
を含むサーバが提供される。

本発明によると、実際のネットワーク運用に即した優先度を頻度情報として自動学習することにより、事前に登録しておいた対処方法を含むシナリオの選択を行い、障害を自動的に回復させる障害回復システム及びサーバを提供することができる。また、本発明によると、ネットワーク運用のコスト軽減を図ることのできるネットワーク制御における障害回復システム等を提供することができる。

現在のネットワークのような複雑なネットワーク制御プロトコルが多く使用される環境においては、常にネットワークのチューニングをする必要があるが、実際には細かなパラメータ調整であることが多く、単純な作業の連続であることが多く、本発明により、人的時間的コストの軽減が可能となる。また、ネットワーク障害の抜本的解決ではなく、可能な限りの手段を尽くすことにより運用者が実際に対応するまでの時間を稼ぐことが可能となる。さらに、本発明によると、運用者が対応するまでに、想定される対処を自動的に実行し、運用者による対応をより効果的にすることができる。

１．第１の実施の形態
本実施の形態では、ルーティングに関する実施の形態について説明する。

図１は、本実施の形態による自動障害回復システムの全体構成図である。

自動障害回復システムは、クライアント装置１００と、サーバ２００と、ネットワーク装置とを備える。ネットワーク装置は、例えば、複数備えることができる。図示の例では、ネットワーク装置Ａ３００と、ネットワーク装置Ｂ４００と、ネットワーク装置Ｃ５００を備える。

クライアント装置（以下、クライアントと記す）１００は、ネットワークを運用している管理者用の装置である。クライアント１００とサーバ２００はネットワークまたはプロセス間通信を介して接続している。サーバ２００と単一または複数のネットワーク装置Ａ３００、ネットワーク装置Ｂ４００、ネットワーク装置Ｃ５００は同一ネットワークで接続されている。ネットワーク装置とは、例えば、ネットワークを構成する装置であり、例えば、ルータやスイッチ等である。また、その同一ネットワーク内においてルーティングプロトコルを動作させている。サーバ２００とネットワークを介して繋がっているネットワーク装置は単一または複数であり、いくつあってもよい。ユーザ（管理者）はクライアント１００からサーバ２００に対し、ネットワーク装置Ａ３００またはネットワーク装置Ｂ４００またはネットワーク装置Ｃ５００において障害が起きうることを想定し、障害に対する対処方法を含むシナリオをクライアント１００にあらかじめ登録する。クライアント１００は登録されたシナリオ一覧を表示部に表示し、ユーザはシナリオがサーバ２００に登録されたことを確認する。

サーバ２００は、ネットワーク装置Ａ３００またはネットワーク装置Ｂ４００またはネットワーク装置Ｃ５００から送信される障害イベント情報を受信すると、該当するシナリオを頻度情報に基づき選択する。頻度情報は、例えば、対処情報により障害が回復した回数を示す。また、サーバ２００は、構成定義テンプレートを作成し、障害イベント情報を受信したネットワーク装置Ａ３００またはネットワーク装置Ｂ４００またはネットワーク装置Ｃ５００に送信する。構成定義テンプレートは、例えば、選択されたシナリオ内の対処方法を含む。構成定義テンプレートを受信したネットワーク装置Ａ３００またはネットワーク装置Ｂ４００またはネットワーク装置Ｃ５００は、構成定義を生成し、機能に反映する。これにより、選択されたシナリオの対処方法が反映され、又は、対処方法に従い設定が変更される。

サーバ２００は、ネットワーク装置Ａ３００またはネットワーク装置Ｂ４００またはネットワーク装置Ｃ５００から、予め定められた時間内に同じ装置障害イベントが送信されてこないことを確認後、サーバ２００に登録されているシナリオテーブルの該当するシナリオの頻度情報の数値を＋１更新する。また、装置障害イベントの受信が続いている場合は次に頻度情報の値が大きいシナリオを選択し、ユーザが登録したシナリオ選択を障害が収まるまで繰り返す。障害が収まった時点で、該当シナリオの頻度情報の数値を＋１更新する。

図２は、サーバ２００の構成図である。

サーバ２００は、メモリ２７０と、ＣＰＵ２８０と、ネットワーク装置またはクライアント１００と接続するためのネットワークインタフェース２９０とを備える。メモリ２７０は、シナリオテーブル表示プログラム２１０と、シナリオテーブル管理プログラム２２０と、シナリオテーブル２３０と、シナリオ候補リスト２４０と、構成定義テンプレート生成プログラム２５０と、装置障害イベント受信プログラム２６０とを有する。

シナリオテーブル表示プログラム２１０は、クライアント１００にシナリオテーブル２３０の内容を表示するためのプログラムである。シナリオテーブル管理プログラム２２０は、シナリオテーブルの登録またはシナリオテーブル２３０からシナリオ候補リスト２４０を取り出す。シナリオテーブル２３０は、クライアント１００から登録されたシナリオを格納するテーブルである。シナリオテーブル２３０の詳細な構成は後述する。シナリオ候補リスト２４０は、シナリオテーブル２３０から、対象機能でより絞ったリストである。構成定義テンプレート生成プログラム２５０は、選択したシナリオ中にある対処方法から導かれた構成定義テンプレートを生成し、構成定義テンプレートをネットワーク装置に送信する。装置障害イベント受信プログラム２７０は、ネットワーク装置Ａ３００またはネットワーク装置Ｂ４００またはネットワーク装置Ｃ５００が送信した装置障害イベントを受信する部分である。

ＣＰＵ２８０は、例えば、メモリ２７０から各プログラムを読み込み実行する。ネットワークインタフェース２９０は、例えば、ネットワーク装置Ａ、Ｂ、Ｃやクライアントと通信するためのインタフェースである。なお、図２において、シナリオテーブル２３０及びシナリオ候補リスト２４０はメモリ２７０中に存在しているが、これらはハードディスクのような外部記憶装置上にあってもよいし、ネットワークまたはプロセス間通信を介した外部記憶装置上にあってもよい。

図３は、ネットワーク装置Ａ３００の構成図である。なお、ネットワーク装置Ｂ４００またはネットワーク装置Ｃ５００の構成も同様である。また、同様のネットワーク装置はいくつあってもよい。

ネットワーク装置Ａ３００は、メモリ３３０とＣＰＵ３４０とネットワークインタフェース３５０を有する。ネットワークインタフェース３５０は単一であってもよいし、または複数あってもかまわない。ネットワークインタフェース３５０は、例えば、サーバ２００と通信するためのインタフェースである。メモリ３２０は、構成定義管理プログラム３１０と装置障害イベント送信プログラム３２０とを有する。構成定義管理プログラム３１０は、構成定義テンプレートをサーバ２００から受信し、構成定義を生成する。装置障害イベント送信プログラム３２０は、ネットワーク装置Ａ３００において発生した装置障害イベントをサーバ２００に送信する。ＣＰＵ３４０は、メモリ３３０の各プログラムを読み出し、実行する。

図２０は、クライアント１００の構成図である。クライアント１００は、メモリ１１０と、表示部１２０と、ＣＰＵ１３０と、ネットワークインタフェース１４０と、入力部１５０とを有する。

図４は、クライアント１００の表示部１２０に表示される画面の例を示す図である。例として、図４（ａ）に、クライアント１００においてシナリオ登録するための画面であるシナリオ入力画面１２１を示し、図４（ｂ）にシナリオを登録後に登録されたシナリオ一覧を表示するシナリオ一覧表示画面１２２を示す。シナリオ入力画面１２１とシナリオ一覧表示画面１２２は、同一のクライアントまたは複数のクライアントで構成されていてもよい。

図４（ａ）は、シナリオ入力画面である。シナリオ入力画面は、例えば、シナリオの項目と、シナリオの送信指示を入力するためのボタン１０１を含む。シナリオは、例えば、対象機能と、監視対象と、障害情報と、対処方法とを含む。クライアント１００は、シナリオ入力画面を表示部１２０に表示し、表示部１２０の表示に従いユーザ（管理者）により入力されるシナリオを、入力部（例えば、キーボードなど）１５０から入力する。シナリオをサーバ２００に登録する際には、シナリオを送信するためのボタン１０１が押されることにより、クライアント１００は、入力されたシナリオをサーバ２００に送信する（シナリオ登録要求）。図４（ａ）の例では、「ルーティング」、「ネットワーク装置Ａ」、「経路学習頻発」、「コスト＋１０増加」とのデータを含むシナリオ２３７がサーバ２００に送信される。

図４（ｂ）は、シナリオ一覧表示画面である。シナリオ一覧表示画面は、例えば、シナリオと頻度情報を含む。例えば、新たなシナリオ２３７がサーバ２００に登録されると、サーバ２００は登録されているシナリオ及び頻度情報をクライアント１００に送信する。クライアント１００は、サーバ２００からシナリオ及び頻度情報を受信し、表示部１２０に表示する。

図５は、シナリオテーブル２３０の構成図である。

シナリオテーブル２３０は、対象機能２３１と、監視対象２３２と、障害情報２３３と、対処方法（対処情報）２３４と、頻度情報２３５とを含む。対象機能２３１は、ネットワーク装置で実現されている機能のどれが対象となっているかということを示す。監視対象２３２は、サーバ２００が装置障害イベントを単一または複数のネットワーク装置から受信した際に、どのネットワーク装置を障害回復の対象とするかという条件を記述するデータである。障害情報２３３は、障害の種別を示す。対処方法２３４は、具体的な対処方法を示す。頻度情報２３５は、シナリオが何度選択され障害の回復に貢献されたかを示す。本実施の形態では、２３１〜２３４を総じてシナリオ２３６と称する。

図示のシナリオテーブル２３０においては、例えば、対象機能がルーティング、Ｌ２冗長、マルチキャストルーティングについてのシナリオが複数登録されている。シナリオテーブル２３０に登録されるシナリオ２３６は０ないし複数である。

図６は、シナリオ候補リスト２４０の構成図である。

シナリオ候補リスト２４０は、シナリオテーブル２３０から対象機能で検索して、該当するシナリオ２４６及び頻度情報を取り出したものである。図５のシナリオテーブル２３０と同じ項目２４１〜２４５がシナリオ候補リスト２４０に存在する。図６の例は、ルーティングに関する対象機能のシナリオ候補リスト２４０である。なお、図中コストとは例えば、宛先ネットワークに到達するまでに経由する各リンクに応じた値である。なお、サーバ２００は、シナリオテーブル２３０から取り出したシナリオ候補リスト２４０を参照してシナリオを選択するが、シナリオ候補リスト２４０を省略してシナリオテーブル２３０からシナリオを選択してもよい。また、予め対象機能毎のシナリオテーブル２３０を有してもよい。

図９は、ルーティング機能において本実施の形態を適用した場合のフローチャートを示す。

まず、サーバ２００は、予めシナリオをシナリオテーブル２３０に登録する（ステップＳ０）。ルーティング機能を使用しているネットワーク装置Ｃ５００は、後述する自ネットワーク装置が出力するログに基づき経路学習頻発を判断する（ステップＳ２）。なお、ステップＳ２の処理は、例えば定期的に、繰り返し実行できる。ネットワーク装置Ｃ５００（例えば、装置障害イベント送信プログラム３２０）は、経路学習が頻発していると判断すると、装置障害イベントをサーバ２００に送信をする（ステップ３０１）。装置障害イベントは、例えば、対象機能と、監視対象と、障害情報とを含む。ここでは、対象機能は「ルーティング」、監視対象は「ネットワーク装置Ｃ５００」、障害情報は「経路学習頻発」である。なお、これらの情報は、予め定められた識別子であってもよい。次に、サーバ２００は、例えば、装置障害イベント受信プログラム２６０により装置障害イベントを受信し、装置障害イベントに含まれる情報に基づき、シナリオ候補リスト２４０又はシナリオテーブル２３０を参照し、該当するシナリオのうち、頻度情報が最も大きい又は予め定められた値以上のシナリオを選択する（ステップＳ１）。図６の例では、シナリオ２３８が選択される。頻度情報は、過去にその対処方法を反映又は実行することにより障害が回復した回数を示し、頻度情報が大きいシナリオを選択することで、障害回復が期待できるシナリオ（対処方法）を選択できる。なお、ステップＳ０、ステップＳ１、ステップＳ２の具体的処理は後に詳細に説明する。

サーバ２００（例えば、構成定義テンプレート生成プログラム２５０）は、選択したシナリオに含まれる対処方法に従い、構成定義テンプレートを生成する（ステップＳ３０２）。なお、上述のステップＳ１で選択されたようにネットワーク装置Ｃ５００からのイベントに基づき図６のシナリオ候補リストのシナリオ及び頻度情報を参照すると、最も頻度情報が大きい（最も有力な）対処方法は「コスト＋３０増加」というものである。構成定義テンプレートは、選択された対処方法をネットワーク装置に反映させるためのデータ、命令等を含む。サーバ２００は、ネットワーク装置Ｃ５００の構成定義管理プログラムに構成定義テンプレートを送信する（ステップＳ３０３）。ネットワーク装置Ｃ５００の構成定義管理プログラム３１０は、構成定義テンプレートを受信し、受信した構成定義テンプレートから構成定義を生成し、反映する（ステップＳ３０４）。すなわち、選択されたシナリオの対処方法が反映される。なお、サーバ２００は、対処方法をネットワーク装置Ｃ５００に送信し、ネットワーク装置Ｃ５００は対処方法を実行又は反映させるようにしてもよい。ネットワーク装置Ｃ５００では、障害が回復すれば繰り返し実行するステップＳ２で経路学習頻発と判断されず、再度装置障害イベントが送信されることはないが、障害が回復しなければ、再び装置障害イベントが送信される（ステップＳ２、Ｓ３０１）。

次に、サーバ２００は、今まで装置障害イベントを送信してきていたネットワーク装置Ｃ５００からの装置障害イベントが止まったか判断する（ステップＳ３０５）。例えば、一定時間内にネットワーク装置Ｃ５００から同内容の装置障害イベントが受信されたか否かにより装置障害イベントがとまったかを判断する。サーバ２００は、ネットワーク装置Ｃ５００から同じ装置障害イベントが来た場合（ステップＳ３０５のｎｏの場合）、障害が復旧していないと見なし、ステップＳ１以降の処理を繰り返す。一方、サーバ２００は、装置障害イベントが止まったときは（ステップＳ３０５のｙｅｓの場合）、障害を抑止できたと見なし、シナリオテーブル２３０の該当するシナリオの頻度情報に対し＋１更新する（ステップＳ３０６）。なお、上述のステップＳ１において該当するシナリオがない場合又は順次選択することで全て選択した場合、サーバ２００は、ユーザ（クライアント）に直接通知してもよい。なお、シナリオの対処方法は、複数の対処方法を組み合わせることも可能である。

図７は、シナリオ登録（ステップＳ０）のフローチャートである。

まず、クライアント１００は、ユーザが登録したいシナリオを入力部１５０より入力し、サーバ２００に送信する（ステップＳ１００）。例えば、まず、クライアント１００は、シナリオ入力画面１２１を表示部１２０に表示する。次に、クライアント１００は、表示部１２０の表示に従いユーザ（管理者）により入力される対象機能、監視対象、障害情報、対処方法を含むシナリオを入力部１５０から入力する。ここでは、一例として、図４（ａ）に例示するように、対象機能に「ルーティング」、監視対象に「ネットワーク装置Ａまたはネットワーク装置Ｂ」、障害情報に「経路学習頻発」、対処方法に「コスト＋１０増加」を含むシナリオ２３７が入力される。さらに、クライアント１００は、シナリオ２３７を送信するためのボタン１０１が押されることにより、ユーザにより入力されたシナリオ２３７をサーバ２００に送信する。

サーバ２００（例えば、シナリオテーブル管理プログラム２２０）は、クライアント１００から送信されたシナリオを受信し（ステップＳ１００）、シナリオをシナリオテーブル２３０に登録する（ステップＳ１０１）。例えば、サーバ２００は、受信したシナリオ２３７をシナリオテーブル２３０の新たな各エントリに追加する。例えば、受信されたシナリオ２３７に従い、シナリオテーブル２３０の対象機能２３１に「ルーティング」、監視対象２３２に「ネットワーク装置Ａまたはネットワーク装置Ｂ」、障害情報２３３に「経路学習頻発」、対処方法２３４に「コスト＋１０増加」をそれぞれ登録する。また、サーバ２００は、対応する頻度情報を初期化（例えば０）とする。

サーバ２００（例えば、シナリオテーブル表示プログラム２１０）は、シナリオテーブル２３０に登録された対象機能２３１、監視対象２３２、障害情報２３３、対処方法２３４及び頻度情報を含むシナリオ一覧をクライアント１００に送信する（ステップＳ１０２）。なお、サーバ２００は、新たに登録されたシナリオ及び頻度情報のみを送信するようにしてもよい。クライアント１００は、サーバ２００から送られて来た登録されたシナリオテーブル一覧を受信し、表示部１２０にシナリオ一覧表示画面１２２を表示する（ステップ１０３）。例えば、クライアント１００は、サーバ２００から送信されたシナリオテーブル一覧に含まれる対象機能２３１、監視対象２３２、障害情報２３３、対処方法２３４及び頻度情報２３５の内容を表示部１２０に各々表示する。

図８は、シナリオテーブルを用いたシナリオ選択（ステップＳ１）のフローチャートである。

まず、サーバ２００は、例えばネットワーク装置Ｃ５００からの装置障害イベント内に存在する対象機能、監視対象、障害情報に該当するシナリオ候補リスト２４０がメモリ２７０中に存在しているかを検索する（ステップＳ２００）。シナリオ候補リスト２４０がメモリ２７０中に存在していない場合（ステップＳ２００）、サーバ２００（例えばシナリオテーブル管理プログラム２２０）は、装置障害イベント中の対象機能と、監視対象と、障害情報をキーにシナリオテーブル２３０を検索し、単一または複数のシナリオ候補リスト２４０を取り出す（ステップＳ２０１）。さらに、サーバ２００は、メモリ２７０に、取り出した単一または複数のシナリオ候補リスト２４０を記憶しておく。一方、サーバ２００は、ステップＳ２００でネットワーク装置からの装置障害イベント内に存在する対象機能、監視対象、障害情報に該当するシナリオ候補リスト２４０が存在した場合（ステップＳ２００）、ステップＳ２０２に移る。

ステップＳ２０２では、サーバ２００は、シナリオ候補リスト２４０の中で、頻度情報の数値がもっとも高いシナリオを選択する（ステップＳ２０２）。なお、サーバは、頻度情報が予め定められた値以上の対処方法のうち、適宜のものを選択してもよい。また、サーバ２００は、選択したシナリオ又はシナリオ中の対処方法をメモリ２７０に適宜記憶してもよい。次に、サーバ２００は、シナリオ候補リスト２４０から選択したシナリオをメモリ２７０中にあるシナリオ候補リスト２４０から削除する（ステップ２０３）。これにより、次のタイミングでシナリオが選択される際に、頻度情報が次に大きいシナリオが選択される。なお、ステップＳ２０３の処理を省略して、ステップＳ２０２では頻度情報が高い順に選択されるようにしてもよい。

図１０は、ネットワーク装置が出力する、一定時間内に発生したログの一覧図である。ネットワーク装置は、図示するように一定時間内に発生した経路計算ログ等のログを出力する。ログは、データベース上の情報またはテキストで記述した情報であってもよい。

図１１は、経路学習頻発判断（ステップＳ２）をする際のフローチャートである。

まず、ルーティング機能を使用しているネットワーク装置Ｃ５００は、一定時間内に発生する経路計算ログ回数の閾値（Ｔ回）を設定する（ステップＳ２５１）。次に、ネットワーク装置Ｃ５００は、予め出力したログを監視し、一定時間内に発生した経路計算ログの回数を求める（ステップＳ２５３）。ネットワーク装置Ｃ５００は、求められた経路計算ログの回数がステップＳ２５１で設定した閾値（Ｔ）を超えているか否かを判断する（ステップＳ２５５）。ネットワーク装置Ｃ５００は、設定された閾値（Ｔ）を超えていない場合（ステップＳ２５５のｎｏ）、経路学習頻発でないと判断し、ログの監視を継続する（ステップＳ２５３）。一方、ネットワーク装置Ｃ５００は、経路計算ログの回数がステップＳ２５１で設定した閾値を超えていた場合（ステップＳ２５５のｙｅｓの場合）、経路学習頻発と判断し、装置障害イベントをサーバに送信する（ステップＳ２５７）。ここで、装置障害イベントは、例えば対象機能として「ルーティング」と、監視対象として自装置の識別情報（例えば、「ネットワーク装置Ｃ」）と、障害情報として「経路学習頻発」とを含む。なお、上述の説明では、ネットワーク装置Ｃ５００について説明したが、ネットワーク装置Ａ３００、ネットワーク装置Ｂ４００についても同様である。
２．第２の実施の形態
本実施の形態では、レイヤー２装置冗長における実施の形態について説明する。

図１２は、Ｌ２冗長の機能を用いた場合の全体構成図である。第１の実施の形態との違いのひとつは、二つのネットワーク装置からのイベントを受け、二つのネットワーク装置に機能変更を促している点である。また、二つのネットワーク装置からの各イベントに基づき、ひとつの障害情報を特定している点でも第１の実施の形態と異なる。ただし、この例においては二つのネットワーク装置であるが、特にネットワーク装置で用いられる機能次第で単一または複数のネットワーク装置を扱うことに制限はない。

自動障害回復システムは、クライアント装置１００と、サーバ２００と、ネットワーク装置とを備える。ネットワーク装置は、例えば、複数備えることができる。図示の例では、ネットワーク装置Ａ３００と、ネットワーク装置Ｂ４００と、ネットワーク装置Ｃ５００と、ネットワーク装置Ｄ６００とを備える。図１２においてネットワーク装置Ａ３００とネットワーク装置Ｂ４００は、例えばＬ２冗長切り替えの機能が動作している。各装置の構成は、上述の第１の実施の形態と同様であるので、説明を省略する。

図１３は、図１２の構成において想定されるシナリオの一部を登録したシナリオテーブル２３０から取り出されたシナリオ候補リストである。図示の例では、Ｌ２冗長についてのシナリオが取り出されている。

図１５は、サーバ２００が保持する状態変更判定テーブルの構成図である。状態変更判定テーブルは、ネットワーク装置毎に、各装置がマスターであるかバックアップであるかを示すネットワーク装置状態を保持する。例えば、ネットワーク装置Ａ３００及びＢ４００からの装置障害イベントを受け、マスターとバックアップの二つのネットワーク装置状態を保持する。

図１４は、Ｌ２冗長機能において本実施の形態を適用した場合のフローチャートである。ここでは、ネットワーク装置Ａ３００、ネットワーク装置Ｂ４００がともに、ステータスがマスターからバックアップに移行した場合について説明する。

まず、サーバ２００は、上述の第１の実施の形態と同様に、予めシナリオ登録をする（ステップＳ０）。ネットワーク装置Ａ３００、ネットワーク装置Ｂ４００はそれぞれ、ネットワーク装置のステータスがマスターからバックアップに変わったという装置障害イベントを送信する。ここで、装置障害イベントは、対象機能（例えばＬ２冗長）と、監視対象（例えばネットワーク装置Ａ３００又はネットワーク装置Ｂ４００）と、変更情報（例えばバックアップ又はマスター）とを含む。二つの装置障害イベントをうけたサーバ２００は、変更情報に従い、図１５の状態変更判定テーブルを更新し（図１５（ｂ））、変更された状態変更判定テーブルに基づき、ダブルバックアップになっているという状態判断を行う（ステップＳ３）。例えば、ネットワーク装置Ａ３００とネットワーク装置Ｂ４００の状態に基づき、障害情報を「ダブルバックアップ」とする。状態判断（ステップＳ３）の処理の詳細は後述する。二つのイベントをもって一つの障害情報としている点は、第１の実施の形態と異なる。

次に、図１３に例示するシナリオ候補リストに従い、第１の実施の形態と同様にシナリオを選択する（ステップＳ１）。ここでは、対象機能がＬ２冗長、監視対象がネットワーク装置Ａ３００かつネットワーク装置Ｂ４００、障害情報がダブルバックアップであるので、該当するシナリオのうち頻度情報の高いシナリオ２３９が選択される。サーバ２００は、構成定義テンプレートを作成する（ステップＳ４０４）。但し、本実施の形態では対象が二つのネットワーク装置であるため、構成定義テンプレートは２種類生成される。例えば、選択されたシナリオ２３９の対処方法に従い、ネットワーク装置Ａ３００宛ての構成定義テンプレートは対処方法として「バックアップ」を含み、一方ネットワーク装置Ｂ４００宛ての構成定義テンプレートは対処方法として「マスター」を含む。サーバ２００は、各ネットワーク装置Ａ３００、Ｂ４００の構成定義管理プログラムに構成定義テンプレートを送信する（ステップＳ４０５）。

ネットワーク装置Ａ３００、ネットワーク装置Ｂ４００は、テンプレートを受信しネットワーク装置に反映する（ステップＳ４０６、Ｓ４０７）。次に、ネットワーク装置Ａ３００はバックアップに変更したとう装置障害イベントを送信する（ステップＳ４０８）。同様にネットワーク装置Ｂ４００は、マスターに変更したという装置障害イベントを送信する（ステップＳ４０９）。サーバ２００ではイベントを受け、上述と同様に状態判断する（ステップＳ３１）。ネットワーク装置Ａ３００、ネットワーク装置Ｂ４００で構成されるＬ２冗長構成においてダブルバックアップ又はダブルマスターという状態が回避されたか判断する（ステップＳ４１０）。サーバ２００は、回避されていれば（Ｓ４１０）、シナリオテーブル２３０の該当シナリオの頻度情報を＋１更新する（ステップＳ４１１）。一方、サーバ２００は、障害回復が不成功に終わり、ステップＳ４１０において障害が回避されていないと判断された場合（Ｓ４１０）、第１の実施の形態と同様にステップＳ１から繰り返される。

図１６は、マスターとバックアップの状態判断（ステップＳ３０、Ｓ３１）のフローチャートである。

サーバ２００は、ネットワーク装置Ａ、Ｂのマスター／バックアップの状態を監視する（Ｓ３５１）。サーバ２００は、ネットワーク装置Ａ、Ｂともに同じ状態であるか判断する（Ｓ３５３）。サーバ２００は、ネットワーク装置Ａ、Ｂが同じ状態でなければ（Ｓ３５３：ｎｏ）、正常と判断して（Ｓ３６１）状態判断の処理を終える。一方、サーバ２００は、ネットワーク装置Ａ、Ｂが同じ状態であれば（Ｓ３５３：ｙｅｓ）、その状態がマスターか判断する（Ｓ３５５）。サーバ２００は、状態がマスターであれば（Ｓ３５５：ｙｅｓ）、障害情報を「ダブルマスター」とする。一方、サーバ２００は、状態がバックアップであれば（Ｓ３５５：ｎｏ）、障害情報を「ダブルバックアップ」とする。
３．第３の実施の形態
本実施の形態では、マルチキャストルーティングにおける実施の形態について説明する。

図１７は、マルチキャストルーティングの機能を用いた場合の全体構成図である。第１の実施の形態との違いのひとつは、イベントを送信するネットワーク装置と、構成定義が反映されるネットワーク装置が異なる点である。ただし、この例においては四つのネットワーク装置であるが、特にネットワーク装置で用いられる機能次第で単一または複数のネットワーク装置を扱うことに制限はない。

自動障害回復システムは、クライアント装置１００と、サーバ２００と、ネットワーク装置とを備える。ネットワーク装置は、例えば、複数備えることができる。図示の例では、ネットワーク装置Ａ３００と、ネットワーク装置Ｂ４００と、ネットワーク装置Ｃ５００と、ネットワーク装置Ｄ６００とを備える。図１７においてネットワーク装置Ａ３００とネットワーク装置Ｂ４００、ネットワーク装置Ｃ５００においてマルチキャストルーティングのＲＰの機能が動作している。なお、他の構成については、第１の実施の形態と同様であるので、説明を省略する。

ネットワーク装置Ｄ６００からはネットワーク装置Ａ３００、ネットワーク装置Ｂ４００、ネットワーク装置Ｃ５００のいずれもがＲＰの設定されたネットワーク装置になりうるとして設定されている。ＲＰとは、マルチキャストルーティングにおけるＲｅｎｄｅｚｖｏｕｓ Ｐｏｉｎｔ（ランデブーポイント）の省略形である。

図１８は、図１７の構成において想定されるシナリオの一部を登録したシナリオテーブル２３０から取り出されたシナリオ候補リスト２４０である。

図１９は、マルチキャストルーティング機能における本実施の形態のフローチャートである。ネットワーク装置Ａ３００においてＲＰが設定されていたが、何らかの原因でネットワーク装置Ａ３００がＲＰとして機能しなくなった状態について説明する。

サーバ２００は、上述の第１の実施の形態と同様に、予めシナリオ登録をする（ステップＳ０）。ネットワーク装置Ｄ６００は、ＲＰが見えなくなったためマルチキャストルーティングができなくなったという装置障害イベントを送信する。ここでの装置障害イベントは、例えば、対象機能（例えばマルチキャストルーティング）と、監視対象（例えばネットワーク装置Ｄ）と、障害情報（例えばＲＰが見えなくなった）とを含む。次に、図１８のシナリオ候補リスト２４０に従い、上述の第１の実施の形態と同様に、シナリオを選択する（ステップＳ１）。ここでは、該当するシナリオのうち頻度情報が高いシナリオ２４１が選択される。サーバ２００は、構成定義テンプレートを作成する（ステップＳ５０２）。但し、本実施の形態では対象が三つのネットワーク装置であるため、構成定義テンプレートは３種類生成される。例えば、選択されたシナリオ２４１の対処方法に従い、ネットワーク装置Ａ３００宛ての構成定義テンプレートは対処方法として「ＲＰ設定：ｎｏ」を含み、ネットワーク装置Ｂ４００宛ての構成定義テンプレートは対処方法として「ＲＰ設定：ｙｅｓ」を含み、ネットワーク装置Ｃ５００宛ての構成定義テンプレートは対処方法として「ＲＰ設定：ｎｏ」を含む。サーバ２００は、各ネットワーク装置Ａ３００、Ｂ４００、Ｃ５００の構成定義管理プログラムに構成定義テンプレートを送信する（ステップＳ５０３）。

次に、ネットワーク装置Ａ３００は、受信された構成定義テンプレートに従い、ＲＰの設定をｎｏに変更する（ステップＳ５０４）。同様に、ネットワーク装置Ｂ４００、ネットワーク装置Ｃ５００はそれぞれ、受信された構成定義テンプレートに従いＲＰの設定をｙｅｓ、ｎｏに変更する（ステップＳ５０５）。次にサーバ２００は、今まで装置障害イベントを送信してきていたネットワーク装置Ｄ６００から一定時間内に同じ装置障害イベントの送信が止まったか判断する（ステップＳ５０６）。サーバ２００は、一定時間内に装置障害イベントが来た場合（ステップＳ５０６のｎｏ）、障害が復旧していないと見なし、再びステップＳ１を繰り返す。一方、サーバ２００は、一定時間内に装置障害イベントが受信されない場合（ステップＳ５０６のｙｅｓ）、装置障害イベントが止まったとして障害を抑止できたと見なし、シナリオテーブル２３０の該当するシナリオの頻度情報に対し＋１更新する（ステップＳ５０７）。

なお、第１、第２、第３の実施の形態に分けて説明したが、これら各実施の形態のサーバは、ひとつ又は複数のサーバで実現することができる。

上述の第１〜第３の実施の形態によると、例えば以下の効果を奏する。
（１）上述の実施の形態によると、事前に予測される障害と対処方法を頻度順に実施してみることで、ネットワークにおける障害の抑止またはネットワークの障害の自動回復を図ることが可能となる。また、上述の実施の形態によると、実施した対処方法によってネットワークにおける障害の抑止または自動回復が成功した対処方法に頻度情報を付加することにより、頻度情報に基づく確実な対処方法が選択される可能性が増え、さらに効率的なネットワークの安定化を図ることが可能となる。さらに、上述の実施の形態によると、階層化されているネットワークレイヤーの対処方法を登録しておくことにより本来解決が困難であった特定のネットワークレイヤーの障害に対しても対応することが可能になる。
（２）上述の実施の形態によると、構成定義テンプレートが特有のフォーマットで記述できることは、構成定義テンプレート作成アプリケーションの作成を容易とすることができる。
（３）上述の実施の形態によると、構成定義テンプレートの文法定義と構成定義のフォーマットの間に一定の変換規則を持つことは、機種依存定義である構成定義への変換を容易とすることができる。上述の実施の形態の構成定義テンプレートと構成定義において、構成定義テンプレートの文法定義と構成定義のフォーマットの間に一定の変換規則を持つことを特徴のひとつとする。
（４）上述の実施の形態によると、サーバのシナリオテーブルに登録またはシナリオテーブル一覧を表示するための外部インタフェースであるクライアントは、サーバとの接続においてネットワークまたはサーバ内の機能を実現するプロセス間での通信を介することを特徴のひとつとしているため、既存システムまたは分散システム環境との接続を容易とする。
（５）上述の実施の形態によると、構成定義によって反映したネットワーク中継の機能に起因する障害または機能の状態変化の情報である装置障害イベントを送信する機能とは、ネットワーク装置に備わる通信送信機能またはサーバもしくはネットワーク装置からのコールバックによる送信機能を含むことを特徴のひとつとしているため、既存システムまたは分散システムとの連携で用いられる送信技術への対応を容易とする。
（６）上述の実施の形態によると、監視対象とは単一または複数のネットワーク装置またはネットワーク装置内の機能部位を論理的に記述できることを特徴のひとつとしているため、単一または複数のネットワーク装置のシナリオの記述を容易とし、シナリオテーブルが適切化されやすくなる。
（７）上述の実施の形態によると、シナリオテーブルにユーザが登録した障害に該当する対処方法がすべて頻度情報順に実行されるまで続き、未選択のシナリオがなくなった時点で装置障害イベントの受信が続いた場合に、ユーザに対し手動での対処要求を通知するため、未知の障害があったとしても対処がなされる。
（８）上述の実施の形態によると、シナリオ候補リストとして関連するシナリオ候補を抜き出しているため、該当シナリオを選択するための効率が良い。
（９）上述の実施の形態によると、頻度情報の優先度を明確に決めているため、システムで過去によく使用した順に実行することが可能である。
（１０）上述の実施の形態によると、選択の対象である各処理対象の使用頻度に基づき、選択の効率化が可能である。
（１１）上述の実施の形態によると、ユーザが事前にシナリオとして登録した障害種別と対処方法との組み合わせに対し、過去の同様の障害における対処方法の使用頻度を頻度情報として付加することにより、過去の事例による対象方法の選択をコンピュータに行わせることが可能である。
（１２）上述の実施の形態によると、シナリオテーブルへのシナリオ登録を容易に行うことができる。
（１３）上述の実施の形態によると、シナリオテーブル一覧表示機能は、直接ユーザである人間またはプログラムを対象としているため、ＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）またはアプリケーション構築が可能である。
（１４）上述の実施の形態によると、シナリオテーブルのデータ構造が明確化されているため、アプリケーションとして実装が容易である。
（１５）上述の実施の形態によると、対処方法の記述として構成定義テンプレートを用いているため、論理的な記述が可能である。
（１６）上述の実施の形態によると、シナリオテーブルにおいて、シナリオテーブルに登録されているシナリオの頻度情報が０の場合、テーブルに登録されている順序がシナリオを選択する際の順となるため、シナリオを登録して頻度情報が更新されていない状態であっても適切に動作が可能である。
（１７）上述の実施の形態によると、シナリオテーブルにおいて、シナリオテーブルに登録されている二つ以上のシナリオの頻度情報が同じ値の場合、テーブルに登録されている順序が、シナリオを選択する際の順となるため、頻度情報が同じ値であっても、適切に処理が可能である。
（１８）上述の実施の形態によると、シナリオによっては複数回実行することにより、ネットワークを不安定にすることもありえるため、ユーザが任意に制限を設けることまたはシステムとしての制限を事前に設定しておくことで一定の制限をかけることが可能である。
（１９）上述の実施の形態によると、シナリオによっては長時間実行することにより、ネットワークを不安定にすることもありえるため、サーバが特定の装置障害イベントを受けつづける時間に一定の制限を設けることによりシナリオの実行に一定の制限を設けることが可能である。
（２０）上述の実施の形態によると、ログを保持することによりシステムによって実行された、シナリオの選択または実行順またはシナリオ実行によるネットワーク装置の状態変化をトレースができ、シナリオ作成または障害の抜本的解決に役立てることが可能である。
（２１）上述の実施の形態によると、シナリオテーブルのシナリオを構成する項目を拡張可能にすることにより将来的なシナリオ選択の重み付けの差別化を行うことが可能である。
４．第４の実施の形態
以下に示す実施例は、その本質を変容させることなく、互いに組み合わせ可能であり、他の実施形態にも適用できる。

図２１は、図５に示すシナリオテーブル２３０の項目に、マニュアルデータ２０００を拡張情報として追加している。マニュアルデータ２０００は、直接テーブルにXML（Extensible Markup Language）として記憶するか、または外部データベースに対する参照ポインタを持ってもよい。マニュアルデータ２０００は、障害情報の補足情報、または注意事項としてユーザが追記する。第１〜３までの実施形態のシナリオテーブルにおいていずれも適用可能である。

図２２は、図２１に示すシナリオテーブル２３０に含まれる情報（構成要素）から組み合わせにより、保守マニュアル８００を生成する関係を示している。図２２では、保守マニュアル８００の構成要素を、対象機能２３１、障害情報２３３、マニュアルデータ２０００としているが、シナリオテーブル２３０の構成要素であれば、ユーザが必要とする範囲でどれを採用しても構わない。また、外部の情報を組み合わせることも可能である。ただし、外部の情報と組み合わせる場合は、マニュアルデータ上にURI（Uniform Resource Identifiers）で参照ポインタを記述するか、または、シナリオテーブル２３０の項目を拡張し、マニュアルデータと同様のURIを利用する。

図２３は、図２１における構成要素であるマニュアルデータ２０００に記憶された内容の具体例であり、XMLにて記述しされたマニュアルデータ７００（経路学習関連マニュアルデータ）を示している。マニュアルデータ７００のXMLタグの構成に関しては、ユーザが定義可能である。

図２４は、マニュアルデータとシナリオテーブルの項目を組み合わせて生成された、保守マニュアル８００を示す。保守マニュアル８００をXMLとして生成することにより、例えばHTML（Hyper Text Markup Language）またはワード文書に変換可能となり、ユーザの環境に応じた保守マニュアルの提供が可能となる。

上述の第４の実施の形態のよると、例えば以下の効果を奏する。
（１）障害に対する自動回復だけではなく、補足または注意などの変更点をより詳細にユーザに通知することが可能となる。
（２）保守マニュアルをXML形式で保持することにより、XMLの持つあらゆるドキュメントへの変換が容易であるという特性を利用することが可能であり、例えば紙に印刷されたものや、最初からHTMLのものとは異なり、再利用性が高まる。

本実施の形態の全体構成を示す図である。 サーバを、ＣＰＵを用いて実現した場合の構成を示す図である。 ネットワーク装置を、ＣＰＵを用いて実現した場合の構成を示す図である。 クライアントのシナリオ入力画面とシナリオ一覧を示す図である。 シナリオテーブルを示す図である。 シナリオ候補リストを示す図である。 クライアントがシナリオ登録する際のフローチャートである。 シナリオ選択のフローチャートである。 ルーティング機能使用時におけるシステムフローチャートである。 ネットワーク装置が出力するログの一覧である。 経路学習頻発判断をする際のフローチャートである。 Ｌ２冗長構成時の第２の実施の形態による全体構成を示す図である。 Ｌ２冗長におけるシナリオ候補リストである。 Ｌ２冗長機能使用時におけるシステムフローチャートである。 状態変更判定の基準となる状態遷移テーブルである。 状態判断のフローチャートである。 マルチキャストルーティング機能使用時の全体構成を示す図である。 マルチキャストルーティングにおけるシナリオ候補リストである。 マルチキャストルーティング機能使用時におけるシステムフローチャートである。 クライアントの構成図である。 マニュアルデータの項目を追加したシナリオテーブルである。 シナリオテーブルの情報から保守マニュアルを生成することを示す図である。 マニュアルデータの具体例である。 生成された保守マニュアルの具体例である。

符号の説明

１００ クライアント
２００ サーバ
３００ ネットワーク装置Ａ
４００ ネットワーク装置Ｂ
５００ ネットワーク装置Ｃ
６００ ネットワーク装置Ｄ
２１０ シナリオテーブル表示プログラム
２２０ シナリオテーブル管理プログラム
２３０ シナリオテーブル
２４０ シナリオ候補リスト
２５０ 構成定義テンプレート生成プログラム
２６０ 装置障害イベント受信プログラム
２７０ メモリ
２８０ ＣＰＵ
２９０ ネットワークインタフェース
３１０ 構成定義管理プログラム
３２０ 装置障害イベント送信プログラム
３３０ メモリ
３４０ ＣＰＵ
３５０ ネットワークインタフェース
１０１ シナリオを送信するボタン
２３１ 対象機能
２３２ 監視対象
２３３ 障害情報
２３４ 対処方法
２３５ 頻度情報
２３６ シナリオ
２４０ シナリオ候補リスト
２４１ 対象機能
２４２ 監視対象
２４３ 障害情報
２４４ 対処方法
２４５ 頻度情報
７００ マニュアルデータ
８００ 保守マニュアル

Claims (15)

1. ネットワークを構成するひとつ又は複数のネットワーク装置と、
   前記ネットワーク装置に接続され、障害回復の対象であるひとつ又は複数の前記ネットワーク装置を示す監視対象情報と、障害内容を識別するための障害情報と、該障害に対する対処情報と、該対処情報により障害が回復した回数を示す頻度情報とが対応して記憶されたシナリオテーブルを有するサーバと
   を備え、
   前記ネットワーク装置が、自ネットワーク装置の障害を検出し、自装置を示す監視対象情報と該障害内容を識別するための障害情報とを含む障害イベントを前記サーバに送信することと、
   前記サーバが、該障害イベントを受信し、前記シナリオテーブルを参照して、該障害イベントに含まれる監視対象情報と障害情報に対応するひとつ又は複数の対処情報を検索し、該当する対処情報の中から、対応する頻度情報が最も大きい又は予め定められた値以上の対処情報をひとつ選択することと、
   前記サーバが、選択された対処情報を前記ネットワーク装置に送信することと、
   前記ネットワーク装置が、対処情報を受信し、該対処情報を反映し又は該対処情報に基づき設定を変更することと、
   前記サーバは、選択された対処情報を送信してから予め定められた時間内に前記障害イベントを再度受信していないと判断されると、前記シナリオテーブルを参照し、選択された対処情報に対応する頻度情報を増加させること
   を含む障害回復システム。
2. ネットワークを構成するひとつ又は複数のネットワーク装置と通信するためのインタフェースと、
   障害回復の対象であるひとつ又は複数の前記ネットワーク装置を示す監視対象情報と、障害内容を識別するための障害情報と、該障害に対する対処情報と、該対処情報により障害が回復した回数を示す頻度情報とが対応して記憶されたシナリオテーブルと、
   処理部と
   を備え、
   前記処理部は、
   前記ネットワーク装置が障害を検出することで送信される、前記ネットワーク装置を示す監視対象情報と該障害内容を識別するための障害情報とを含む障害イベントを、前記インタフェースを介して受信することと、
   前記シナリオテーブルを参照して、該障害イベントに含まれる監視対象情報と障害情報に対応するひとつ又は複数の対処情報を検索し、該当する対処情報の中から、対応する頻度情報が最も大きい又は予め定められた値以上の対処情報をひとつ選択することと、
   選択された対処情報を、前記インタフェースを介して前記ネットワーク装置に送信することと、
   選択された対処情報を送信してから予め定められた時間内に前記障害イベントを再度受信しない場合、前記シナリオテーブルを参照し、選択された対処情報に対応する頻度情報を増加させること
   を含むサーバ。
3. 前記サーバは、
   前記ネットワーク装置が該対処情報を反映し又は該対処情報に基づき設定を変更した後に、前記障害が再度検出されることにより送信される前記障害イベントを再度受信することと、
   前記障害イベントを再度受信すると、前記シナリオテーブルを参照し、前記障害イベントに含まれる監視対象情報と障害情報に対応するひとつ又は複数の対処情報の中から、対応する頻度情報が大きい順に対処情報を選択すること、及び、該対処情報を前記ネットワーク装置に送信することを、前記障害イベントが再度受信されなくなるまで繰り返すことをさらに含む請求項１に記載の障害回復システム又は請求項２に記載のサーバ。
4. 前記サーバに送信することは、
   前記ネットワーク装置が、経路計算のログを含む予め出力されたログを監視し、一定時間内に発生した経路計算の回数を求めることと、
   前記ネットワーク装置が、求められた経路計算の回数が予め設定された閾値よりも大きいことにより、経路学習が頻発している障害を検出することと、
   前記ネットワーク装置が、自装置を示す監視対象情報と、経路学習が頻発していることを識別するための障害情報とを含む障害イベントを前記サーバに送信すること
   を含む請求項１に記載の障害回復システム。
5. ネットワークを構成する第１のネットワーク装置と、
   前記第１のネットワーク装置に接続され、及び、ネットワークを構成する第２のネットワーク装置と、
   前記第１及び第２のネットワーク装置に接続され、障害回復の対象である前記第１及び第２のネットワーク装置を示す監視対象情報と、前記第１のネットワーク装置の状態と前記第２のネットワーク装置の状態の組み合わせで定まる障害情報と、該障害に対する対処情報と、該対処情報により障害が回復した回数を示す頻度情報とが対応して記憶されたシナリオテーブルを有するサーバと
   を備え、
   前記第１のネットワーク装置が、自装置を示す第１の監視対象情報と自装置の状態を示す第１の状態情報を含む第１のイベントを前記サーバに送信することと、
   前記第２のネットワーク装置が、自装置を示す第２の監視対象情報と自装置の状態を示す第２の状態情報を含む第２のイベントを前記サーバに送信することと、
   前記サーバが、第１及び第２のイベントを受信し、第１の状態情報と第２の状態情報に基づき障害の有無を判断し、及び、障害情報を求めることと、
   前記サーバが、前記シナリオテーブルを参照して、第１及び第２のイベントに含まれる第１及び第２の監視対象情報及び求められた障害情報に対応するひとつ又は複数の対処情報を検索し、該当する対処情報の中から、対応する頻度情報が最も大きい又は予め定められた値以上の対処情報をひとつ選択することと、
   前記サーバが、選択された対処情報を前記第１及び第２のネットワーク装置にそれぞれ送信することと、
   前記第１及び第２のネットワーク装置がそれぞれ、対処情報を受信し、該対処情報を反映し又は該対処情報に基づき設定を変更することと、
   前記サーバは、障害が回避されると、前記シナリオテーブルを参照し、選択された対処情報に対応する頻度情報を増加させること
   を含む障害回復システム。
6. ネットワークを構成する第１及び第２のネットワーク装置と通信するためのインタフェースと、
   障害回復の対象である前記第１及び第２のネットワーク装置を示す監視対象情報と、前記第１のネットワーク装置の状態と前記第２のネットワーク装置の状態の組み合わせで定まる障害情報と、該障害に対する対処情報と、該対処情報により障害が回復した回数を示す頻度情報とが対応して記憶されたシナリオテーブルと
   処理部と
   を備え、
   前記処理部は、
   前記第１のネットワーク装置から、前記第１のネットワーク装置を示す第１の監視対象情報と前記第１のネットワーク装置の状態を示す第１の状態情報を含む第１のイベントを、前記インタフェースを介して受信することと、
   前記第２のネットワーク装置から、前記第２のネットワーク装置を示す第２の監視対象情報と前記第２のネットワーク装置の状態を示す第２の状態情報を含む第２のイベントを、前記インタフェースを介して受信することと、
   第１の状態情報と第２の状態情報に基づき障害の有無を判断し、及び、障害情報を求めることと、
   前記シナリオテーブルを参照して、第１及び第２のイベントに含まれる第１及び第２の監視対象情報及び求められた障害情報に対応するひとつ又は複数の対処情報を検索し、該当する対処情報の中から、対応する頻度情報が最も大きい又は予め定められた値以上の対処情報をひとつ選択することと、
   選択された対処情報を、前記ネットワークインタフェースを介して前記第１及び第２のネットワーク装置にそれぞれ送信することと、
   障害が回避されると、前記シナリオテーブルを参照し、選択された対処情報に対応する頻度情報を増加させること
   を含むサーバ。
7. 前記サーバは、
   前記第１のネットワーク装置から、第１の監視対象情報と、対処情報が反映され又は設定が変更された後の前記第１のネットワーク装置の状態を示す第３の状態情報とを含む第３のイベントを受信することと、
   前記第２のネットワーク装置から、第２の監視対象情報と、対処情報が反映され又は設定が変更された後の前記第２のネットワーク装置の状態を示す第４の状態情報とを含む第４のイベントを受信することと、
   第３の状態情報と第４の状態情報に基づき障害が回避されたか判断することと、
   障害が回避されていないと判断されると、前記シナリオテーブルを参照し、第１及び第２の監視対象情報と障害情報とに対応するひとつ又は複数の対処情報の中から、対応する頻度情報が大きい順に対処情報を選択すること、及び、該対処情報を前記第１及び第２のネットワーク装置に送信することを、障害が回避されたと判断されるまで繰り返すこと、
   をさらに含む請求項５に記載の障害回復システム又は請求項６に記載のサーバ。
8. 前記第１及び前記第２のネットワーク装置は、冗長構成で動作し、
   前記障害情報を求めることは、
   前記サーバが、前記第１のネットワーク装置の第１の状態情報と、前記第２のネットワーク装置の第２の状態情報の双方がマスターを示す場合、及び、双方がバックアップを示す場合に、前記サーバは障害があると判断すること、及び、ダブルマスター又はダブルバックアップを示す障害情報を求めること
   を含み、
   前記対処情報は、前記第１のネットワーク装置及び前記第２のネットワーク装置の一方をマスター、他方をバックアップとさせるための情報を含む請求項５に記載の障害回復システム。
9. ネットワークを構成する第１のネットワーク装置と、
   ネットワークを構成する第２のネットワーク装置と、
   前記第１のネットワーク装置を介してネットワークに接続され、かつ、前記第２のネットワーク装置を介してネットワークに接続される第３のネットワーク装置と、
   前記第１及び第２のネットワーク装置に接続され、障害回復の対象であるひとつ又は複数の前記ネットワーク装置を示す監視対象情報と、障害内容を識別するための障害情報と、該障害に対する対処情報と、該対処情報により障害が回復した回数を示す頻度情報とが対応して記憶されたシナリオテーブルを有するサーバと
   を備え、
   前記第３のネットワーク装置が、前記第１又は第２のネットワーク装置の障害により、ネットワークへの転送に障害が発生したことを検出すると、自装置を示す監視対象情報と転送機能の障害であることを識別するための障害情報とを含む障害イベントを前記サーバに送信することと、
   前記サーバが、障害イベントを受信し、前記シナリオテーブルを参照して、該障害イベントに含まれる監視対象情報と障害情報に対応するひとつ又は複数の対処情報を検索し、該当する対処情報の中から、対応する頻度情報が最も大きい又は予め定められた値以上の対処情報をひとつ選択することと、
   前記サーバが、選択された対処情報に従い、該対処情報を前記第１及び第２のネットワーク装置に送信することと、
   前記第１及び第２のネットワーク装置が、対処情報を受信し、該対処情報を反映し又は該対処情報に基づき設定を変更することと、
   前記サーバは、選択された対処情報を送信してから予め定められた時間内に前記障害イベントを再度受信しないと、前記シナリオテーブルを参照し、選択された対処情報に対応する頻度情報を増加させること
   を含む障害回復システム。
10. ネットワークを構成する第１及び第２及び第３のネットワーク装置と通信するためのインタフェースと、
    障害回復の対象であるひとつ又は複数の前記ネットワーク装置を示す監視対象情報と、障害内容を識別するための障害情報と、該障害に対する対処情報と、該対処情報により障害が回復した回数を示す頻度情報とが対応して記憶されたシナリオテーブルと、
    処理部と
    を備え、
    前記処理部は、
    前記第３のネットワーク装置が、前記第１又は第２のネットワーク装置の障害によりネットワークへの転送に障害が発生したことを検出することで送信される、前記第３のネットワーク装置を示す監視対象情報と転送機能の障害であることを識別するための障害情報とを含む障害イベントを、前記インタフェースを介して受信することと、
    前記シナリオテーブルを参照して、該障害イベントに含まれる監視対象情報と障害情報に対応するひとつ又は複数の対処情報を検索し、該当する対処情報の中から、対応する頻度情報が最も大きい又は予め定められた値以上の対処情報をひとつ選択することと、
    選択された対処情報に従い、前記ネットワークインタフェースを介して、該対処情報を前記第１及び第２のネットワーク装置に送信することと、
    選択された対処情報を送信してから予め定められた時間内に前記障害イベントを再度受信しないと、前記シナリオテーブルを参照し、選択された対処情報に対応する頻度情報を増加させること
    を含むサーバ。
11. 前記サーバは、
    前記第１及び第２のネットワーク装置が該対処情報を反映し又は該対処情報に基づき設定を変更した後に、前記第３のネットワーク装置で前記障害が再度検出されることにより送信される前記障害イベントを再度受信することと、
    前記障害イベントを再度受信すると、前記シナリオテーブルを参照し、前記障害イベントに含まれる監視対象情報と障害情報に対応するひとつ又は複数の対処情報の中から、対応する頻度情報が大きい順に対処情報を選択すること、及び、該対処情報を前記第１及び第２のネットワーク装置に送信することを、前記第３のネットワーク装置から前記障害イベントが再度受信されなくなるまで繰り返すことと
    をさらに含む請求項９に記載の障害回復システム又は請求項１０に記載のサーバ。
12. 前記第１のネットワーク装置が、マルチキャストルーティングのランデブーポイントとして設定され、
    前記サーバに送信することは、
    前記第３のネットワーク装置が、前記第１のネットワーク装置のランデブーポイント機能の障害により、自装置のマルチキャストルーティング機能に障害が発生したことを検出すること、及び、障害イベントを前記サーバに送信すること
    を含み、
    前記対処情報は、前記第２のネットワーク装置をマルチキャストルーティングのランデブーポイントとして設定するための情報を含む請求項９に記載の障害回復システム。
13. 前記サーバに接続されたクライアント装置
    をさらに備え、
    前記クライアント装置は、入力部から監視対象情報と障害情報と対処情報とを入力して前記サーバへ送信し、
    前記サーバは、前記クライアント装置から受信された監視対象情報と障害情報と対処情報とを前記シナリオテーブルに記憶し、
    前記サーバは、記憶された各情報に対応する頻度情報を初期化する請求項１又は５又は９に記載の障害回復システム。
14. 前記サーバに接続されたクライアント装置
    をさらに備え、
    前記サーバは、前記シナリオテーブルの該当する対処情報が順次選択されることにより、未選択の対処情報がなくなった場合に、前記クライアント装置に通知し、
    前記クライアント装置は、対処情報がなくなったことを表示部に表示又は出力部に出力する請求項１又は５又は９に記載の障害回復システム。
15. 前記シナリオテーブルは、前記障害情報に関連するマニュアル情報を記憶することを特徴とする請求項１記載の障害回復システム。
    

Images