JP2005202446A

JP2005202446A - 障害監視復旧支援装置

Info

Publication number: JP2005202446A
Application number: JP2004004925A
Authority: JP
Inventors: Katsuyuki Suetsugu; 勝幸末次
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2004-01-13
Filing date: 2004-01-13
Publication date: 2005-07-28

Abstract

【課題】
複数台または1台の業務サーバ、ネットワーク機器、業務アプリケーションが存在する環境で障害の発見・障害の調査・対策を行なうには、時間と労力を要した。しかも、業務サーバ、ネットワーク機器、アプリケーションが連携をしている場合、各サーバ・ネットワーク機器へログインし、ログ情報を確認し、該当するメッセージ内容を調査して、対策情報を検討および支援装置を使用し復旧していた。
【解決手段】
本発明では、監視対象業務サーバ、ネットワーク機器、アプリケーションのログ情報を監視し、障害を検知した場合、関連する業務サーバやアプリケーションの関連するログ情報も含めて抽出可能な障害関し復旧支援装置を提供する。これらのログは初期設定時に出力形式が指定され、メッセージ内容を統一しておく。本装置では抽出した情報より対策内容を障害対策情報データベースから検索し、表示し、対策した内容は、キーワードを設定し障害対策情報データベースに登録して障害対策時間を短縮する。
【選択図】図１

Description

本発明は、複数台または1台の業務サーバ、ネットワーク機器、業務アプリケーションを使用している際の障害の検知および障害復旧への対策事例の検索・対応時の必要な情報の提供、障害対策事例の登録など障害発生時の復旧支援を行なう装置に関する。

障害検知には計算機監視方式の例があり、過去事例検索には事例ベース推論方法および事例ベース推論装置の例がある。また、障害を検知し通知するものや、障害時の過去の事例を検索する装置も存在するが、両者が連携するものは存在していない。すなわち、障害検知に関しては障害発生時にはログ情報を確認し、エラー出力している部位を特定する。他アプリケーションと連携している場合は、そのログについても調査する。過去事例についてはエラー内容はメーカーに問い合わせるか、マニュアルで確認したり、過去の同様の事例を確認し障害復旧を行ない実現していた。

特開平７−２５３９５６号公報

特開２００３−１５８７７号公報

複数台または1台の業務サーバ、ネットワーク機器、業務アプリケーションが存在する環境で障害の発見・障害の調査・対策を行なうには、時間と労力を要した。しかも、業務サーバ、ネットワーク機器、アプリケーションが連携をしている場合、各サーバ・ネットワーク機器へログインし、ログ情報を確認し、該当するメッセージ内容を調査して、対策情報を検討および支援装置を使用し復旧していた。障害を検知するものや、過去の事例を検索する装置は存在したが、両装置が連携していなかったため即時に復旧方法を取得できない問題があった。本発明の目的は、その両装置を連携させ障害発生を検知し、その障害内容から過去に発生した同種（類似）の障害であるかどうかを検索して、該当する情報があれば対策方法を掲示するし、なければ今回発生した情報を蓄積し次回同類の障害時に情報を提供し、障害の復旧を支援する装置を提供することにある。

本発明では、業務サーバ、ネットワーク機器、アプリケーションのログ情報を監視し、障害を検知した場合、ログ情報を抽出する。関連する業務サーバ、ネットワーク機器、アプリケーションが有る場合は、関連するログ情報も抽出する。抽出した情報より障害情報検索キーワードを生成し、対策内容を障害対策情報データベースから検索し、対策内容を表示し、障害対策時間を短縮する。また、過去の対策したものが無い場合は、メッセージ内容・リソース情報を提供する事により、問合せや調査に必要な情報を提供し、調査の時間を短縮する。対策した内容は、キーワードを設定し障害対策情報データベースに登録する。また、メーカの違うサーバ、ネットワーク機器、アプリケーションのログは、初期設定時にログの出力形式を指定させる事により、メッセージの内容を統一でき、障害情報を検索できる。

複数台または1台の業務サーバ、ネットワーク機器、業務アプリケーションが存在する環境で障害の発生を検知し、障害内容をログ情報より抽出し、障害対策情報を検索する事により、障害発生時の早期対策を実施することが可能となり復旧時間を短縮することが出来る。また、障害対策情報に無い場合は、調査に必要なログ情報やリソース情報を編集し提供する事により専門知識が無くても障害情報を抽出できる。障害の検知、対策掲示が連携することにより障害時の早期対策が可能となる。

各監視対象サーバ、ネットワーク機器、アプリケーションのログ情報を監視し、障害を検知した場合、ログ情報より障害情報検索キーワードを生成する。関連する業務サーバ、ネットワーク機器、アプリケーションが有る場合は、関連するログ情報から障害情報検索キーワードを生成する。抽出した障害情報検索キーワードより対策内容を障害対策情報データベースから検索し、対策内容を表示することにより以下のような実施例を生み出す事が出来るようになる。

障害を検知し障害対策情報を検索する装置を一実施例として図１において説明する。障害監視復旧支援装置（１１）は、キーワード登録機能（１１ａ）及びログ情報監視機能（１１ｂ）及び障害対策情報検索機能（１１ｃ）及び提供情報編集機能（１１ｄ）及び障害対策情報登録機能（１１ｅ）及びリソース監視機能（１１ｊ）から構成されている。障害監視復旧支援装置（１１）の監視する機器としてネットワーク（１５）により接続された監視対象業務サーバ（gyoumu1）（１２）、監視対象業務サーバ（gyoumu2）（１３）、監視対象業務サーバ（gyoumu3）（１４）、監視対象ネットワーク機器（net1）（１５）がある。障害監視復旧支援装置（１１）のログ情報・リソース情報（１１ｉ）は監視対象業務サーバ（gyoumu1）（１２）のログ情報・リソース情報（１２ａ）及び監視対象業務サーバ（gyoumu2）（１３）のログ情報・リソース情報（１３ａ）及び監視対象業務サーバ（gyoumu3）（１４）のログ情報・リソース情報（１４ａ）及び監視対象ネットワーク機器（net1）（１５）のログ情報・リソース情報（１５ａ）の情報を入手する。

キーワード登録機能（１１ａ）は、図２に示すキーワード情報（２１ａ）及び関連情報（２１ｂ）及びメッセージ情報（２１ｃ）の情報を設定する。設定内容は、監視する機器名及びログNO及びログファイル名及びキーワードとする。キーワードは、業務サーバ、ネットワーク機器のOSや業務アプリケーションで障害時に出力される文字列を設定する。キーワード情報（２１a）より監視対象業務サーバ（gyoumu1）（１２）のログNO１が障害時に必ず出力する文字列は、「ERROR」及び「WARNING」であるため、これら２つのキーワードをキーワード（１）、キーワード(２)に設定する。ログNO２は、「ERR」及び「WRN」であるため２つのキーワードを設定する。同様に監視対象業務サーバ（gyoumu2）（１３）、監視対象業務サーバ（gyoumu3）（１４）、監視対象ネットワーク機器（net1）（１５）についてもログNoとキーワードを設定する。

関連情報（２１ｂ）は、監視対象業務サーバ（gyoumu1）（１２）のログNO１と監視対象業務サーバ（gyoumu2）（１３）のログNO２が連携している場合に設定する。連携していない場合は、設定は不要。監視対象業務サーバ（gyoumu1）（１２）のログNO２は、監視対象業務サーバ（gyoumu2）（１３）のログNO２と監視対象業務サーバ（gyoumu3）（１４）のログNO２と連携しているため２つ設定している。

メッセージ情報（２１ｃ）は、ログファイルの出力される形式を指定する。監視対象業務サーバ（gyoumu1）（１２）のログNO１は「yyyy-mm-dd hh:mm:ss errono=XXX messege1 messege2 ・・・messege50」の形式でログ情報より文字列を抽出する。

ログ情報監視機能（１１ｂ）は、図３に示すフローチャートに従い入手したログ情報（１１ｉ）よりログ情報を監視する。ログ情報取得（３１）は、各監視対象業務サーバから取得したログ情報を１行読み込む。メッセージ抽出（３２）は、ログ情報取得（３１）より読み込んだ文字列をメッセージ情報（２１ｃ）で指定した形式で抽出する。キーワード確認（３３）は、メッセージ抽出（３２）より抽出された文字列中にキーワード情報（２１ａ）に設定したキーワード（１）「ERROR」及びキーワード（２）「WARNING」が存在するか確認する。存在しなければログ情報取得（３１）へ戻り監視を継続する。存在すれば関連情報確認（３４）にて関連情報（２１ｂ）の設定が有るか確認する。設定が有る場合は、関連サーバに関してもメッセージ抽出（３５）を行う。さらに、関連情報確認（３６）にて関連情報（２１ｂ）の設定が有るか確認する。障害対策情報検索用キーワード生成（３７）にて図４の障害対策情報検索用キーワード（４１）に示す形式にてキーワードを抽出する。

図４の業務サーバログ情報（出力例）（４１ａ）で示すメッセージについて行なっている。監視対象業務サーバ（gyoumu1）（１２）のログNO１「2003-01-01 01:01:00 errono=00000001 ERROR SSL handshake failed gyoumu2」と監視対象業務サーバ（gyoumu2）（１３）のログNO２「2003/01/01 01 01 00:errorno(ERR00020) ERR not running program」。図３に示すフローチャートに従い生成したものが障害対策情報検索用キーワード（４１ｂ）である。

障害対策情報検索機能（１１ｃ）は、図５に示すフローチャートに従い障害対策情報の検索を行なう。障害対策情報検索（５１）は、生成した障害対策情報検索用キーワード（４１ｂ）のキーワードについて障害対策情報（４２ａ）を検索し、該当する対策NOを取得する。取得した対策NOから対策情報（４２ｂ）を検索し対策内容を取得する。対策情報表示・通知（５２）は、取得した対策内容を画面に表示し保守担当者に通知する。設定により対策内容をメールにて行なう事も可能とする。対策が完了した事を保守担当者に入力させ、障害回数カウントアップ（５４）を実行し、同様の障害について何件発生しているか累計をとる。障害対策情報（４２ａ）を検索した結果、対策内容が見つからない場合や、対策内容に従い実施した結果、対策できなかった場合は、提供情報編集（５５）にて必要な情報を提供する。提供された情報を利用し、調査・対策を行い、新規に障害対策情報として障害対策情報登録（５７）にて登録する。実施例では、障害対策情報検索用キーワード（４１ｂ）より「対策３」及び「対策５」を表示する。

図６の業務サーバログ情報（出力例）（６１ａ）で示すメッセージについて行なっている。監視対象業務サーバ（）（１２）のログNO１「2003/01/01 00:00:00 ERROR errono=00000590 failed to bind a name to a socket」と監視対象業務サーバ（gyoumu2）（１３）のログNO２「2003/01/01 00:00:00 ERROR errono=ERR00090 User unknown」。図３に示すフローチャートに従い生成したものが障害対策情報検索用キーワード（６１ｂ）である。この出力例の場合、生成した障害対策情報検索用キーワード（６１ｂ）のキーワードについて障害対策情報（４２ａ）を検索しても該当するものが無いため、提供情報編集（１１ｄ）にて編集を行い図７に示す新規障害情報（７１）を作成する。提供する情報は、調査に必要な機器名及びOS名及びOSのバージョン及びアプリケーションのバージョン及びエラーメッセージ及びサーバのリソース。また、関連情報が有る場合は、その情報についても提供する。提供された情報を利用し、保守担当者は、調査・対策を行い、新規に障害対策情報として障害対策情報登録（１１ｅ）にて登録する。

障害対策情報登録機能（１１ｅ）は、図８に示すフローチャートに従い情報の登録を行なう。検索対象キーワードの選択（８１）は、生成した障害対策情報検索用キーワード（６１ｂ）の中から次回検索に必要とする項目を登録者に選択させ内容をキーワードとして登録する。対策内容入力（８２）は、実施した対策内容を入力し登録する。情報登録（８３）は、入力された検索対象キーワード及び対策内容を障害対策情報（８４ａ）及び対策情報（８４ｂ）へ登録を行なう。登録例（８４）の場合、検索対象キーワードの選択（８１）よって選択されたキーワードを障害対策情報検索用キーワード（６１ｂ）から取り出し、機器名：gyoumu1、ログNO：１、エラーNO：00000590、キーワード1：failed、キーワード2：bind、関連1機器名：gyoumu2、関連1エラーNO：ERR00090、対策NO：00000006と登録する。同様にgyoumu2についても登録する。入力された対策内容は、対策NO：00000006に関連付けられ対策内容：対策６、障害回数：１と登録される。対策NO：00000007についても同様に登録される。

リソース監視（１１ｊ）は、図９に示すフローチャートに従い入手したリソース情報（１１ｉ）より各サーバ・ネットワーク機器のリソース情報を監視する。取得するリソース情報は、SNMP( Simple Network Management Protocol )を利用し、監視対象サーバ及び監視対象ネットワークのMIB（Management Information Base）情報より抽出する。抽出する情報としては、CPU利用率、メモリ使用量、ディスク使用量、ネットワーク利用率。また、閾値の情報は、閾値情報（９５ａ）に示すように設定されている。閾値超過確認（９３）にて抽出された各リソースが設定された閾値情報（９５ａ）の閾値を越えていないか確認する。閾値を超えた場合は、画面に表示し保守担当者に通知する。

上記事例に示すように、新規に起きた障害に関する対策情報を蓄積していくことにより、同様の障害発生時の復旧時間を短縮する事ができる。また、対策情報に無い場合も調査に必要なログ情報やリソース情報を編集し提供する事により専門知識が無くても障害情報を抽出できる。障害の検知、対策掲示が連携することにより障害時の早期対策が可能となる。

複数台または1台の業務サーバ、ネットワーク機器、業務アプリケーションが存在する様々なシステム環境を利用する産業分野において活用することが可能である。障害の発生を検知し、障害内容をログ情報より抽出し、障害対策情報を検索する事により、障害発生時の早期対策を実施し、復旧時間を短縮することが出来、業務の中断が最小限にとどめられることになる。また、障害対策情報に無い場合は、調査に必要なログ情報やリソース情報を編集し提供する事により専門知識が無くても障害情報を抽出でき、障害の検知、対策掲示が連携することにより障害時の早期対策が可能となる。

本発明の障害監視復旧支援装置の一実施例のブロック構成図図１のキーワード情報、関連情報、メッセージ情報のテーブル図図１のログ情報監視フローチャート図図１の障害対策情報検索用キーワード生成例、障害対策情報、対策内容のテーブル図図１の障害対策情報検索フローチャート図図１の障害対策情報検索用キーワード生成例図１の提供情報編集の出力例図１の障害情報登録フローチャート図図１のリソース監視フローチャート図、閾値情報のテーブル図

符号の説明

１１障害監視復旧支援装置
１１ａキーワード登録機能
１１ｂログ情報監視機能
１１ｃ障害情報検索機能
１１ｄ提供情報編集機能
１１ｅ障害対策情報登録機能
１１ｆキーワード情報、関連情報、メッセージ情報のテーブル
１１ｇ障害対策情報検索用キーワード
１１ｈ障害対策情報
１１ｉログ情報、リソース情報
１１ｊリソース監視機能
１１ｋリソース情報
１２監視対象サーバ（gyoumu1）
１２ａ監視対象サーバ（gyoumu1）ログ情報、リソース情報
１３監視対象サーバ（gyoumu2）
１３ａ監視対象サーバ（gyoumu2）ログ情報、リソース情報
１４監視対象サーバ（gyoumu3）
１３ａ監視対象サーバ（gyoumu3）ログ情報、リソース情報
１５・・・障害監視復旧支援装置と監視対象サーバを接続するネットワーク及び監視対象ネットワーク機器（net1）
２１キーワード情報、関連情報、メッセージ情報のデータ
２１ａキーワード情報テーブル
２１ｂ関連情報テーブル
２１ｃメッセージ情報のテーブル
３１ログ情報取得処理
３２ログ抽出処理
３３キーワード確認
３４関連情報確認
３５関連サーバログ抽出処理
３６関連サーバ関連情報確認
３７障害対策情報検索用キーワード生成
４１障害対策情報検索用キーワード生成データ、
４１ａ業務サーバログ情報（出力例）、
４１ｂ障害対策情報検索用キーワード（生成例）、
４２障害対策情報、対策情報データ
４２ａ障害対策情報テーブル
４２ｂ対策情報テーブル
５１障害対策情報検索処理
５２対策情報表示処理
５３対策完了確認処理
５４障害回数カウントアップ処理
５５提供情報編集処理
５６提供情報を元に原因調査および対策
５７障害対策情報登録処理
６１障害対策情報検索用キーワード生成データ
６１ａ業務サーバログ情報（出力例）
６１ｂ障害対策情報検索用キーワード（生成例）
７１新規障害情報
８１検索対象キーワードの選択処理
８２対策内容の入力処理
８３対策情報登録処理
８４登録例
８４ａ障害対策情報テーブル登録例
８４ｂ対策情報テーブル登録例
９１リソース情報取得処理
９２リソース抽出処理
９３閾値超過確認処理
９４警告メッセージの表示、通知処理
９５閾値情報設定例

Claims

業務サーバやネットワーク機器などの監視対象機器とともにネットワーク上に接続された障害監視復旧支援装置であって、
上記監視対象機器から、OS・業務アプリケーションのログ情報、リソース情報及び障害発生時には障害情報を取得する監視部と、
障害の内容や対策情報が登録され蓄積されている障害情報データベースと、
発生した障害情報に関して上記障害情報データベースの検索結果としての対策情報を表示する表示部と、
上記発生した障害情報に対する障害対策後に、該障害対策内容を上記障害情報データベースに登録し蓄積する障害対策支援部と、
を有することを特徴とする障害監視復旧支援装置。
請求項１において、上記監視部は上記発生した障害情報が異機種・複数のアプリケーションに対応する、または、関連する業務サーバまたはネットワーク機器または業務アプリケーションが有る場合はそのログ情報も検索し必要情報を取得し、障害時のリソース状態も監視することにより障害時のサーバ状態も把握することを特徴とする障害監視復旧支援装置。
請求項１において、前記発生した障害情報をキーワードに上記障害情報データベースを検索した際に、上記検索結果としての対策情報が無い場合、調査に必要なログ情報及びリソース情報を編集して提供する、また、対策後は障害メッセージ・対策内容を障害情報データベースに登録できることを特徴とする障害監視復旧支援装置。