JP2008217735A - 障害解析システム、方法、及び、プログラム - Google Patents

Abstract

【課題】ネットワークに発生した障害を迅速に解析し、障害からの早期復旧を可能にする障害解析システムを提供する。
【解決手段】障害管理サーバ１３は、監視サーバ１２から障害アラーム情報を受信すると、障害に関連するログ情報を抽出し、ネットワークを運用管理するメインサーバ１１及び監視サーバ１２に対して、そのログ情報を採取するコマンドを含むシェルを発行する。障害管理サーバ１３は、メインサーバ１１及び監視サーバ１２が採取したログ情報に基づいて、シナリオ解析して、障害に関連する機器を推定して、リモート保守管理サーバ１４に送信する。
【選択図】図１

Description

本発明は、障害解析システム、方法、及び、プログラムに関し、更に詳しくは、ネットワークシステムにおける障害を解析する障害解析システム、方法、及び、プログラムに関する。

従来は、ネットワークに障害が発生すると、監視サーバに障害アラームが発生しているのを、例えばネットワークを運用する局内の監視・運用部門が発見し、拠点のコールセンター側に通知している。ネットワークを保守管理するメーカ側の保守部門は、コールセンター側から障害発生の通知を受け取ると、障害解析に必要な障害情報を採取し、その情報に基づいて障害の解析を行っていた。しかし、この方法では、障害発生の通知後に複数の障害情報の関連付けや、障害毎の振り分けが必要になり、必要な障害解析フェーズに辿りつく迄に多大の時間がかかるという問題があった。

特許文献１は、分散資源型コンピュータシステムにおけるネットワークの障害解析を行う障害情報解析支援システムを記載している。該特許文献に記載のシステムは、図５に示すように、支援対象となる複数の業務クライアント３１及び複数の業務サーバ３２と、これらにＬＡＮ４０で接続された障害情報監視サーバ３３及びデータベース（ＤＢ）３４と、通信サーバ３５とを備える。通信サーバ３５は、ネットワーク機器内のモジュールの開発／保守を担当する開発／保守担当部門に設置された端末装置３６と、インターネット５０を介して接続されている。業務クライアント３１は、障害検出時にエラーログを障害情報監視サーバ３３に送信するエラーログ処理手段を有する。

障害情報監視サーバ３３は、業務クライアント３１のログ処理手段から、所定時間の間に受信したエラーログを、関連する一連の障害情報としてスタックし、まとめてデータベース３４に格納する。その後、データベース３４から一連の障害情報を、モジュール別担当部門のメールアドレスリストなどと共に読み出し、障害情報に含まれる各モジュール名から、担当部門のメールアドレスを取得し、取得した障害情報を各メールアドレスに振り分けて、電子メールで配信する。
特開２００３−４４３２２号公報

特許文献１に記載のシステムでは、上記のように、障害情報監視サーバが、業務クライアントから受信した障害情報を一旦データベースに格納し、次いで、そのデータベースから読み出した障害情報から障害関連モジュールを振り分け、障害に関連するモジュールの開発／保守を行う担当部門にその障害情報を電子メールで配信している。

障害情報サーバは、上記処理において、一連の障害情報が収集されてデータベースに格納されるまでは、その情報の振り分けを始めとした、障害情報解析の処理に着手できない。従って、例えば複数の障害原因による障害が重なって発生した際には、障害解析及び障害からの復帰が迅速に行われないという問題があった。

本発明は、上記従来の障害解析システムの問題に鑑み、ネットワークシステムに発生した障害について、障害情報の解析が迅速に行われるため、障害からの早期の復旧が可能な障害解析システム、方法、及び、プログラムを提供することを目的とする。

上記目的を達成するために、本発明は、ネットワークを管理するメインサーバと、前記ネットワーク及びメインサーバの状態を監視する監視サーバとを含むネットワークシステムに発生した障害情報を解析する障害管理サーバを備える障害解析システムであって、
前記障害管理サーバは、
ネットワークシステムの障害アラーム情報を受信すると、障害の種類とログ情報とを関連づけて記憶する記憶装置を参照して、障害解析に必要なログ情報を抽出し、前記メインサーバ及び監視サーバの少なくとも一方に、前記抽出したログ情報に関する障害ログ情報を要求するログ情報要求部を備えることを特徴とする障害解析システムを提供する。

また、本発明は、ネットワークを管理するメインサーバと、前記ネットワーク及びメインサーバの状態を監視する監視サーバとを含むネットワークシステムに発生した障害情報を、障害管理サーバを用いて解析する障害解析方法であって、
前記障害管理サーバが、ネットワークシステムの障害アラーム情報を受信すると、障害の種類とログ情報とを関連づけて記憶する記憶装置を参照して、障害解析に必要なログ情報を抽出するステップと、
前記障害管理サーバが、前記メインサーバ及び監視サーバの少なくとも一方に、前記抽出したログ情報に関する障害ログ情報を要求するステップとを有することを特徴とする障害解析方法を提供する。

さらに、本発明は、ネットワークを管理するメインサーバと、前記ネットワーク及びメインサーバの状態を監視する監視サーバとを含むネットワークシステムに発生した障害情報を解析する障害管理サーバのためのプログラムであって、該障害管理サーバに、
前記障害管理サーバが、ネットワークシステムの障害アラーム情報を受信すると、障害の種類とログ情報とを関連づけて記憶する記憶装置を参照して、障害解析に必要なログ情報を抽出するステップと、
前記障害管理サーバが、前記メインサーバ及び監視サーバの少なくとも一方に、前記抽出したログ情報に関する障害ログ情報を要求するステップとを実行させることを特徴とするプログラムを提供する。

本発明の障害解析システム、方法、及び、プログラムでは、障害管理サーバが、送信されてくる障害アラーム情報に応答し、障害の解析に必要なログ情報を抽出してメインサーバ及び／又は監視サーバに要求するので、障害情報の解析が迅速に行われる。従って、一連の障害アラーム情報が揃うまでは解析に着手できなかった従来の障害解析システムとは異なり、障害解析が迅速に行われる。また、保守管理サーバに送信される情報が障害解析に必要な情報に制限できるので、解析者による障害の解析が迅速に行われる。

以下、図面を参照し、本発明の実施形態について詳細に説明する。図１は、本発明の一実施形態に係る障害解析システム１０と、障害解析システム１０によって障害が解析されるネットワークシステムとを示している。このネットワークシステムは、マルチメディア・ネットワークを構築する、例えばＩＰ電話の呼処理を行うメインサーバ１１を有している。各メインサーバ１１は、２台が１組となるクラスタ構成を有し、１つの局（局１、局２）内に設置されるこれらメインサーバ１１の１群に対して、１台の監視サーバ１２が配設されている。各メインサーバ１１及び各監視サーバ１２は、専用の通信回線２１を介して、複数の局に共通の障害管理サーバ１３に接続されている。障害管理サーバ１３は、ネットワークシステムの保守を担当する保守管理部門が保有するリモート保守管理サーバ１４に、専用の通信回線２０を介して接続されている。メインサーバ１１及び監視サーバ１２は、ネットワークを運用管理し、また、ネットワーク内の各機器や回線の状態情報を経時的に保存し、ログ情報として記憶している。

障害管理サーバ１３は、ネットワークシステムを運用する運用部門が管理する複数の局に共通に配設される。障害管理サーバ１３は、監視サーバ１２から障害が発生した旨の障害アラーム情報を受信すると、障害の種類と、障害解析に必要なログ情報と、そのログ情報を管理するサーバとを対応付けて記憶するデータベースを参照し、受信した障害アラーム情報から、発生した障害の解析に必要なログ情報（障害ログ情報）及びそのログ情報を管理するサーバとを抽出する機能を有する。障害管理サーバ１３は、この抽出したログ情報の採取を要求する要求メッセージを、そのログ情報を管理するメインサーバ１１及び／又は監視サーバ１２に送信する。

ログ情報採取の要求メッセージを受信したメインサーバ１１及び／又は監視サーバ１２は、その要求メッセージを受信し、割り込み処理などを実行し、受信した要求メッセージに基づいて障害ログ情報を読み出して、これを障害管理サーバ１３に送信する。障害管理サーバ１３は、受信した障害ログ情報を相互に比較するなどの解析を行い、その障害情報と共にリモート保守管理サーバ１４に送信する機能を有する。

リモート保守管理サーバ１４及び障害管理サーバ１３の双方は、監視サーバ１２のホスト名、シリアル番号及び保守バンドルＩＤと、監視対象のメインサーバ１１のホスト名、シリアル番号及び保守バンドルＩＤとを、対応付けて記憶しており、例えば監視サーバ１２のシリアル番号から、監視対象のホスト名及び保守バンドルＩＤを検索できる。

図２を参照して、図１の障害解析システムの処理を説明する。ネットワークシステムの運用に先立って、或いは、システムの運用中に新しいマシンが導入されると、保守担当部門は、保守部門に設置されたリモート保守管理サーバ１４から、運用部門の障害管理サーバ１３に向けて、各局内でメインサーバ１１の管理を行う監視サーバ１２とメインサーバ１１との対応関係を含むマシンの管理情報を登録するように、登録指令を発行する（ステップＳ１）。障害管理サーバ１３は、これに応答して、各マシンのホスト名、シリアルＩＤ、保守バンドルＩＤと、各マシンの対応関係とをデータベースに登録する（ステップＳ２）。次いで、保守担当部門は、障害アラームの種類とその障害アラーム発生の際に発行すべきシェルとを対応付けたテーブルを作成し（ステップＳ３）、そのテーブルを、リモート保守管理サーバ１４を経由して、障害管理サーバ１３に登録する（ステップＳ４）。ここで、「シェル」とは、特定の情報を採取するコマンドを起動する命令を指す。

システムの運用が開始すると、メインサーバ１１はネットワーク管理を実行し（ステップＳ５）、監視サーバ１２は、そのメインサーバ１１の状態を監視する（ステップＳ６）。メインサーバ１１が、メインサーバ自身又は運用するネットワーク中に障害が発生した旨を検出すると（ステップＳ７）、その障害発生の旨が監視サーバ１２に通知され（ステップＳ８）、監視サーバ１２は障害管理サーバ１３に向けて障害アラーム情報を通知する（ステップＳ９）。

障害管理サーバ１３は、障害アラーム情報を受信すると、そのアラーム中のメッセージを読み出して解析する（ステップＳ１０）。次いで、データベースを参照して、受信したメッセージに含まれる障害アラーム情報から、障害解析に必要なログ情報、及び、対応するシェルを抽出し、抽出したシェルをメインサーバ１１、及び／又は、監視サーバ１２に発行する（ステップＳ１１）。

メインサーバ１１、及び／又は、監視サーバ１２は、発行されたシェルをそのまま自動起動し（ステップＳ１２）、障害ログ情報を採取し、これを送信する（ステップＳ１３）。障害管理サーバ１３は、監視サーバ１２から障害ログ情報を入手すると、シナリオを起動して、マシン管理情報や、過去の障害アラーム情報とマシンとの関連情報などを参照して、障害ログ情報を解析する（ステップＳ１４）。解析内容は、障害を発生したホスト名や、回線名、配線番号を特定し、且つ、障害の原因を推定することである。また、順次に発生する複数の障害アラーム情報がある場合には、それら複数の障害アラーム情報が、単一の故障に起因するものか、或いは、別の故障に起因するものかを解析する。解析した障害情報は、受信した障害アラーム情報と共にリモート保守管理サーバ１４に送信される（ステップＳ１５）。

障害管理サーバ１３は、メインサーバ１１から障害ログ情報を入手すると（ステップＳ１６）、シナリオを起動し（ステップＳ１７）、マシン管理情報や、過去の障害情報とマシンとの関連情報などを参照して、障害ログ情報を解析する（ステップＳ１８）。解析内容は、障害を発生したホスト名や、回線名、配線番号を特定し、且つ、障害の原因を推定することである。また、順次に発生する複数の障害アラーム情報がある場合には、それら複数の障害アラーム情報が、単一の故障に起因するものか、或いは、別の故障に起因するものかを解析する。解析した障害情報は、受信した障害アラーム情報と共にリモート保守管理サーバ１４に送信される（ステップＳ１９）。障害管理サーバ１３は、メインサーバ１１及び監視サーバ１２の双方からログ情報を受信すると、上記処理の他に、双方のログ情報を対比して、障害の原因を解析する。

保守管理者は、リモート保守管理サーバ１４が、障害管理サーバ１３から障害情報及びその解析内容を受信すると、その受信した情報に基づいて、故障原因、及び、それからの復旧処理を検討する。リモート保守管理サーバ１４は、送信された障害情報及び解析内容を自動的にリストに登録する。

以下、実例を挙げて障害解析システムによる障害解析の処理内容を説明する。図３は、障害管理サーバ１３が、監視サーバ１２から受信する障害アラーム情報の一例を示している。障害レベルは、その障害の重大さを示す。アラーム番号は、障害の一連番号である。以下の処理では、このアラーム番号で障害が特定される。アラームメッセージには、メッセージ本文ＰｒＭと、障害を発生したプロセス名と、終了ステータスとを含む。終了ステータスには、障害アラーム情報を発生する前に行った再起動及び再停止の回数などが含まれる。

障害管理サーバ１３は、一般的に、障害アラーム情報を受信すると、メインサーバ内に記憶されている
/var/opt/resmon/log/event.log
という障害基本ログ情報を採取する。この障害基本ログ情報採取のために、例えば
get_event_log.sh
というシェル、及び、障害アラーム情報の解析から必要と判断されたログ情報を要求するその他のシェルを含むメッセージを発行する。メインサーバ１１は、上記シェルが発行されると、対応するログ情報を読み出して、障害管理サーバ１３に送信する。障害管理サーバ１３は、その内容に従って、解析を行う。

図４（ａ）〜（ｃ）はそれぞれ、監視サーバ１２が発行する障害アラーム情報、障害管理サーバ１３が監視サーバ１２又はメインサーバ１１に発行するシェルに含まれる障害ログ情報、及び、障害管理サーバ１３がリモート保守管理サーバ１４に発行する障害情報の一例を示している。

障害アラーム情報は、図４（ａ）に示すように、アラームメッセージに、系統構成に異常がある旨（ＦＴＭ）、２重化されたメインサーバ間の通信ＬＡＮ（heat beat ＬＡＮ）に異常がある旨、及び、プロセス名（Ｖ１）を示している。

障害管理サーバ１３が発行するシェルには、図４（ｂ）に示すように、障害基本ログ情報の取得に加えて、ＬＡＮケーブル＃４、及び、ＬＡＮケーブル＃７の正常か否かを示す情報、及び、ＬＡＮの状態を示す情報を採取するコマンドが含まれる。このため、メインサーバ１１は、例えば割込み命令として上記コマンドをそのまま実行し、障害ログ情報を取得する。

メインサーバ１１は、上記シェルの実行結果として、図４（ｃ）に示すように、ホスト名（０）とホスト名（１）とを接続するＬＡＮケーブル異常が発生した旨、具体的には、ケーブル断線が疑われるログ情報を取得して、障害管理サーバ１３に送信する。障害管理サーバは、そのログ情報に基づいて、特定のＬＡＮケーブルに断線が発生した旨を推定する障害情報を含めて、受信した障害アラーム情報をリモート保守管理サーバ１４に送信する。

保守担当者は、リモート保守管理サーバ１４が受け取った情報から、まず障害ログ情報を確認する。上記に例示した障害の場合には、ＬＡＮケーブルに関するものであるので、ifconfig、及び、netstatの設定が正しくされているかを確認する。また、event.logにおいて、系統内にどのような問題が発生しているかを確認し、ifconfig、netstatの設定に問題があるようであれば、ＯＳの保守部門や、アプリケーションの開発部門に解析依頼を行う。event.log内に問題が書き込まれているようであれば、運用側の保守部門に解析を依頼する。

ＯＳ部門に解析を依頼する際には、対象マシンが保守対象であることを示す保守バンドルＩＤが必要となるため、図４（ｃ）に示すmaintenance IDを知らせて、解析を依頼する。また、運用側保守部門に解析依頼を行う際には、運用システム内のシリアル番号が必要となるため、serial numberを知らせて解析を依頼する。

上記のように、本実施形態では、障害管理サーバ１３が、障害アラーム情報を受信すると、その障害を解析するために必要なシェルを自動的に発行するので、監視サーバ１２側及びメインサーバ１１側では、ログ情報を採取するためのプログラム部分が簡素化される。また、障害ログ情報が採取された後は、障害管理サーバ１３が、その障害ログ情報を解析し、或いは、相互に対比して障害原因の解析を行うので、故障個所の特定が迅速に行われる。このため、障害からの迅速な回復が容易になる。複数の障害アラーム情報が発生した場合には、障害ログ情報を相互に比較するなどの解析を行うので、単一故障であるか、複合故障であるかの判断が迅速になり、更に故障からの復帰が容易になる。

以上、本発明をその好適な実施態様に基づいて説明したが、本発明の障害解析システム、方法、及び、プログラムは、上記実施態様の構成にのみ限定されるものではなく、上記実施態様の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。

本発明の一実施形態に係る障害解析システムを、解析対象のネットワークシステムと共に示すブロック図。 図１の障害解析システムによる処理を示すフローチャート。 監視サーバが障害管理サーバに発行する障害アラームの一例を示す表。 （ａ）〜（ｃ）はそれぞれ、障害アラーム情報、シェルの内容、及び、障害情報を例示する表。 従来の障害解析システムのブロック図。

符号の説明

１０：障害解析システム
１１：メインサーバ
１２：監視サーバ
１３：障害管理サーバ
１４：リモート保守管理サーバ
２０、２１：通信回線
３１：業務クライアント
３２：業務サーバ
３３：障害情報監視サーバ
３４：データベース
３５：通信サーバ
３６：端末装置
４０：ＬＡＮ
５０：インターネット

Claims (7)

1. ネットワークを管理するメインサーバと、前記ネットワーク及びメインサーバの状態を監視する監視サーバとを含むネットワークシステムに発生した障害情報を解析する障害管理サーバを備える障害解析システムであって、
   前記障害管理サーバは、
   ネットワークシステムの障害アラーム情報を受信すると、障害の種類とログ情報とを関連づけて記憶する記憶装置を参照して、障害解析に必要なログ情報を抽出し、前記メインサーバ及び監視サーバの少なくとも一方に、前記抽出したログ情報に関する障害ログ情報を要求するログ情報要求部を備えることを特徴とする障害解析システム。
2. 前記ログ情報要求部は、前記障害ログ情報を採取するコマンドを前記メインサーバ及び監視サーバの少なくとも一方に発行する、請求項１に記載の障害解析システム。
3. 前記障害管理サーバは、前記メインサーバ及び監視サーバの少なくとも一方から障害ログ情報を受信すると、該受信した障害ログ情報を解析する障害情報解析部を更に備える、請求項１又は２に記載の障害解析システム。
4. 前記障害情報解析部は、前記メインサーバ及び監視サーバの前記少なくとも一方から障害ログ情報を受信すると、該受信した障害ログ情報と、前記障害アラーム情報以前に受信した先の障害アラーム情報について受信した障害ログ情報とを比較し、前後の障害情報の相互関係と障害の単一性とを関連づけて記憶する記憶装置を参照して、前記障害情報と前記先の障害情報とが単一の障害に基づくものか否かを判定する、請求項３に記載の障害解析システム。
5. 前記障害情報解析部は、前記メインサーバ及び監視サーバの双方から障害ログ情報を受信すると、該双方のサーバから受信した障害ログ情報を相互に比較することによって障害情報を解析する、請求項３又は４に記載の障害解析システム。
6. ネットワークと、該ネットワークを管理するメインサーバと、前記ネットワーク及び管理サーバの状態を監視する監視サーバとを含むネットワークシステムに発生した障害情報を、障害管理サーバを用いて解析する障害解析方法であって、
   前記障害管理サーバが、ネットワークシステムの障害アラーム情報を受信すると、障害の種類とログ情報とを関連づけて記憶する記憶装置を参照して、障害解析に必要なログ情報を抽出するステップと、
   前記障害管理サーバが、前記メインサーバ及び監視サーバの少なくとも一方に、前記抽出したログ情報に関する障害ログ情報を要求するステップとを有することを特徴とする障害解析方法。
7. ネットワークと、該ネットワークを管理するメインサーバと、前記ネットワーク及びメインサーバの状態を監視する監視サーバとを含むネットワークシステムに発生した障害情報を解析する障害管理サーバのためのプログラムであって、該障害管理サーバに、
   前記障害管理サーバが、ネットワークシステムの障害アラーム情報を受信すると、障害の種類とログ情報とを関連づけて記憶する記憶装置を参照して、障害解析に必要なログ情報を抽出するステップと、
   前記障害管理サーバが、前記メインサーバ及び監視サーバの少なくとも一方に、前記抽出したログ情報に関する障害ログ情報を要求するステップとを実行させることを特徴とするプログラム。

Images