JP2003150407A

JP2003150407A - 障害自動復旧システム及び装置

Info

Publication number: JP2003150407A
Application number: JP2001349179A
Authority: JP
Inventors: Junji Miki; 淳司三木; Hiroshi Shiga; 博志賀; Hiromichi Aoki; 寛道青木; Kozo Katayama; 孝三片山; Hisato Ochi; 壽人越智; Motosumi Kumazaki; 基澄熊崎; Norikazu Yamagishi; 令和山岸; Takaaki Habara; 貴明羽原; Mutsuharu Takesada; 睦治武貞; Mina Imai; 美奈今井
Original assignee: Hitachi Electronics Services Co Ltd
Current assignee: Hitachi Electronics Services Co Ltd
Priority date: 2001-11-14
Filing date: 2001-11-14
Publication date: 2003-05-23

Abstract

(57)【要約】【課題】障害の発生を検出したときに、自動的にその
復旧を行うためのシステムを提供する。【解決手段】復旧指示装置３５は、個別監視装置から
ユーザシステムで生じたエラーに関する情報を取得す
る。復旧処理部３５は、原因テーブル３５３を参照して
発生しているエラーの原因を特定し、対策テーブル３５
２を参照して特定されたエラーに対する対策を決定す
る。そして、決定された対策に基づいて、修正プログラ
ム等を生成し、個別監視装置を介してユーザシステムへ
送信する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、障害を監視する技
術に関し、特に障害が発生したときに原因を解析して、
自動復旧する技術に関する。

【０００２】

【従来の技術】ネットワークに接続された装置に対して
ポーリングを行ったりして、その通信状態を監視するネ
ットワーク監視は広く行われている。このネットワーク
監視を行うことにより、システム管理者は監視対象の装
置の状態を把握することができる。

【０００３】

【発明が解決しようとする課題】ここで、従来のネット
ワーク監視システムでは、障害が検出されるとこれを管
理者へ通報していた。そして、管理者がその障害の原因
を解析し、復旧処理を行っていた。つまり、障害を自動
的に復旧させることはできなかった。

【０００４】そこで、本発明は、障害の発生を検出した
ときに、自動的にその復旧を行うためのシステムを提供
することを目的とする。

【０００５】

【課題を解決するための手段】本発明の一つの態様に従
う監視装置と復旧指示装置とを備え、監視対象装置で発
生した障害を復旧させる自動復旧システムにおいて、前
記監視装置は、前記監視対象装置から障害の発生を知ら
せる電子情報を受信する受信手段と、前記受信した電子
情報を記憶する記憶手段とを有し、復旧指示装置は、前
記監視装置の前記記憶手段を参照し、前記監視対象装置
で発生した障害の原因を解析する解析手段と、前記解析
手段による解析結果に基づいて、前記障害を回復するた
めの電子情報を生成する生成手段と、前記生成手段が生
成した前記電子情報を、前記監視対象装置へ送信する送
信手段とを有する。

【０００６】好適な実施形態では、前記障害の発生を知
らせる電子情報は、前記監視対象装置で発生した障害の
内容を示す識別情報を含み、前記復旧指示装置は、前記
識別情報と前記識別情報に対応する障害の発生原因とを
対応づけて記憶した第一の記憶手段と、障害の発生原因
とそれに対する対策とを対応づけて記憶した第二の記憶
手段とをさらに備える。そして、前記解析手段は、前記
第一の記憶手段を参照して障害の原因を解析し、前記生
成手段は、前記第二の記憶手段を参照して前記障害を復
旧させるための電子情報を生成する。

【０００７】

【発明の実施の形態】以下、本発明の実施形態につい
て、図面を用いて説明する。

【０００８】図１は、本発明を適用したリモート監視シ
ステムの全体構成を示す図である。本システムは、管理
者ネットワーク１とユーザネットワーク３とを含む。そ
して、本システムの管理者が集中監視装置１０から管理
者ネットワーク１およびユーザネットワーク３を監視す
る。本実施形態では複数のユーザネットワーク３が接続
されている。

【０００９】各ユーザネットワーク３は、いずれも、ユ
ーザシステム３１と、個別監視装置３２と、監視情報出
力装置３３とを含む。管理者ネットワーク１は、監視情
報検出装置３４と、集中監視装置１０とを含む。監視情
報検出装置３４は、図１に示すように一つのユーザネッ
トワーク３に対して一台でもよいし、複数のユーザネッ
トワーク３に対して一台でもよい。また、ユーザネット
ワーク３には、個別監視装置３２に接続された復旧指示
装置３５を含んでもよい。

【００１０】個別監視装置３２、監視情報出力装置３
３、監視情報検出装置３４および集中監視装置１０は、
いずれも例えば汎用的なコンピュータシステムにより構
成され、以下に説明する各装置３２，３３，３４，１０
内の個々の構成要素または機能は、例えば、コンピュー
タプログラムを実行することにより実現される。

【００１１】ユーザシステム３１は、各ユーザのサイト
に設置されている。個別監視装置３２、監視情報出力装
置３３、および監視情報検出装置３４は、各ユーザのサ
イトに設置してもよいし、これらの一部または全部は、
管理者のサイトに設置してもよい。集中監視装置１０は
管理者のサイトへ設置する。ユーザネットワーク３と管
理者ネットワーク１との接続形態、すなわち、インタフ
ェース装置である監視情報出力装置３３および監視情報
検出装置３４の接続の形態については後述する。

【００１２】ユーザシステム３１は、本システムでの監
視対象の一つであるユーザのシステムまたは装置であ
る。ユーザシステム３１は、例えば、複数のコンピュー
タ等で構成されたサーバ／クライアントシステムであっ
てもよいし、ネットワークに接続可能な一台の装置であ
ってもよい。

【００１３】個別監視装置３２は、ユーザシステム３１
の状態を監視する。たとえば、個別監視装置３２は、ユ
ーザシステム３１のコンピュータと通信可能であるかど
うかを確認する。具体的には、ユーザシステム３１と個
別監視装置３２とが、通信プロトコルとしてＴＣＰ／Ｉ
Ｐを用いて接続されている場合、個別監視装置３２はユ
ーザシステム３１の各コンピュータへ宛ててｐｉｎｇコ
マンドを送信し、これに対する応答の有無により、通信
可能であるかどうかを判定する。また、個別監視装置３
２は、ユーザシステム３１の各コンピュータから、各コ
ンピュータで発生した障害等のイベントを知らせる通知
（例えば、エラー、警告、アプリケーションの異常終了
等の事象の発生通知等）を受け付ける。

【００１４】個別監視装置３２は、図示しない記憶装置
を備える。そして、この記憶装置には、ここで通知され
た情報およびユーザシステム３１との通信可否を示す情
報に基づいて、ユーザシステム３１ごとにそれぞれの状
態を示す情報が記憶される。たとえば、障害が発生して
いる場合は、ユーザシステム３１ごとにエラーの種類を
示すエラーコードを記憶する。この記憶装置は、復旧指
示装置３５が参照することができる。

【００１５】個別監視装置３２は、さらに、記憶装置に
記憶された情報に基づいて、ユーザシステム３１の状態
を示すステータス情報を生成して監視情報出力装置３３
へ通知する。ステータス情報には、ユーザシステム３１
のコンピュータが正常（通信可能）であることを示す
「正常」と、エラーまたは警告等の発生を示す「異常」
とがある。ステータス情報には、ユーザシステムを識別
するための情報であるシステムＩＤを含む。

【００１６】復旧指示装置３５は、ユーザシステム３１
で発生した障害を解析し、その障害を復旧させるための
処理を行う。復旧指示装置３５は、たとえば、図２に示
すように、個別監視装置３２と通信するための通信制御
部３５１と、障害の原因の解析および復旧処理を行う復
旧処理部３５２と、原因テーブル３５３と、対策テーブ
ル３５４を備える。

【００１７】原因テーブル３５３は、たとえば、図３に
示すように、エラーコード３５３１と、原因候補３５３
２と、ポイント３５３３とが対応づけて記憶されてい
る。ポイント３５３３は、エラーコード３５３１に対し
て各原因候補３５３２がその障害の原因である可能性を
定量的に示すものであり、この数字が大きいほどその候
補が原因である可能性が高い。

【００１８】対策テーブル３５４は、原因と対策とを関
連付けて記憶している。

【００１９】復旧処理部３５２は、エラー原因の特定お
よび復旧対策の選定を行う。エラー原因の特定および復
旧対策の選定は、たとえば以下のように行ってもよい。
すなわち、復旧処理部３５２は個別監視装置３２の記憶
装置を参照して、エラーが発生しているユーザシステム
３１のエラーコードを取得する。そして、ユーザシステ
ム３１ごとに、エラーコード３５３１をキーにして原因
候補３５３２とそのポイント３５３３とを取得する。同
一のユーザシステム３１に複数のエラーが生じている場
合は、すべてエラーコード３５３１について原因候補３
５３２とそのポイント３５３３とを取得する。そして、
復旧処理部３５２は、原因候補３５３２別にそのポイン
ト３５３３を集計し、最もポイントが高いものを原因と
定め、その特定された原因をキーにして、対策テーブル
３５４を検索して対策を決定する。その対策を実行する
ために、復旧処理部３５２は修正プログラム等を生成
し、ユーザシステム３１へ送信する。この結果、ユーザ
システム３１で発生した障害を自動的に復旧させること
ができる。

【００２０】監視情報出力装置３３は、個別監視装置３
２から通知を受けたステータス情報に基づいて、所定の
監視情報を出力する。ここで、監視情報出力装置３３お
よび監視情報検出装置３４は、監視情報出力装置３３か
ら監視情報検出装置３４への一方向にのみ通信可能なプ
ロトコルで接続されている。したがって、監視情報検出
装置３４から監視情報出力装置３３へ何らかの情報を転
送することはできない。これにより、ユーザシステム３
１を含むネットワークに対して、外部のネットワーク９
からの不正浸入を防止することができる。この場合、監
視情報出力装置３３は、個別監視装置３２からユーザシ
ステム３１の状態を示すステータス情報の通知を受け
て、これを監視情報検出装置３４へ通信可能な信号にし
て送信する。

【００２１】たとえば、監視情報出力装置３３は、図４
に示すような構成を備えてもよい。すなわち、監視情報
出力装置３３は、個別監視装置３２からのステータス情
報を受信する受信部３３１と、ステータス情報を解析
し、監視情報検出装置３４へ通知するための監視情報へ
変換する変換処理部３３２と、リレー回路により構成さ
れたスイッチを複数備えるスイッチ回路３３４と、スイ
ッチ回路３３４を制御するスイッチ回路制御部３３３と
を備える。この場合、スイッチ回路３３４が出力する信
号が監視情報検出装置３４へ通知される監視情報であ
る。すなわち、監視情報はスイッチのオン／オフにより
入／切される電流による信号である。このとき、監視情
報出力装置３３と監視情報検出装置３４とは、ＲＳ―２
３２Ｃケーブルで接続してもよい。

【００２２】監視情報出力装置３３における具体的な処
理の流れを図５に示すフローチャートを用いて説明す
る。まず、受信部３３１が個別監視装置３２からステー
タス情報を受信する（Ｓ１１）。変換処理部３３２は、
ここで受信したステータス情報が「正常」であるか「異
常」であるかを解析し（Ｓ１２、Ｓ１３）、それぞれの
ステータスに対応した電流のオン・オフパターンの信号
に変換する。すなわち、ステータス情報が「正常」であ
る場合（Ｓ１２でＹｅｓ）、スイッチ回路制御部３３３
は、スイッチ回路３３４を制御して２秒間スイッチをオ
ンして電流を流す（Ｓ１５）。一方、ステータス情報が
「異常」である場合（Ｓ１３でＹｅｓ）、スイッチ回路
制御部３３３は、スイッチ回路３３４を制御して３秒間
スイッチをオンして電流を流す（Ｓ１４）。２秒または
３秒間電流を流した後は、スイッチを１秒間オフして電
流を止める（Ｓ１５）。

【００２３】管理者ネットワーク１には、監視情報検出
装置３４と集中監視装置１０とがネットワーク９を介し
て接続されている。さらに、集中監視装置１０には表示
装置１１が接続されている。

【００２４】監視情報検出装置３４は、監視情報出力装
置３３から通知された監視情報を受信し、これに基づい
て、ユーザシステム３１の状態を示す情報を集中監視装
置１０へ送信する。監視情報出力装置３３が図４に示す
ような構成を有する場合、監視情報検出装置３４は、た
とえば図６に示すような構成を備えてもよい。すなわ
ち、監視情報検出装置３４は、集中監視装置１０等、他
の装置との通信を制御する通信制御部３４１と、スイッ
チ回路３３４が出力した電流による信号を受信する信号
受信部３４３と、信号受信部３４３が受信した信号を解
析し、ステータス情報に逆変換する信号処理部３４２と
を備える。

【００２５】通信制御部３４１は、集中監視装置１０が
監視情報検出装置３４の動作状態を確認するために行う
ポーリングを受け、返信する。すなわち、通信制御部３
４１は、集中監視装置１０からポーリングの問い合わせ
を受けたときは、集中監視装置１０と通信可能な状態で
あれば、それを知らせるための情報を集中監視装置１０
へ返信する。これにより、管理者ネットワーク１に接続
されている監視情報検出装置３４も、集中監視装置１０
によって監視される。

【００２６】信号受信部３４３は、たとえば、スイッチ
回路３３４からの電流を検出する電流検出回路である。

【００２７】信号処理部３４２は、スイッチ信号受信部
３４３が受信した電流のオン・オフパターンに基づい
て、「正常」であるか、または「異常」であるかを判定
する。そして、判定結果を示すステータス情報を、通信
制御部３４１を介して集中管理装置１０へ通知する。集
中管理装置１０へ通知するステータス情報には、ユーザ
システム３１を識別するためのシステムＩＤを含む。

【００２８】監視情報検出装置３４の具体的な処理の流
れを、図７に示すフローチャートを用いて説明する。ま
ず、信号処理部３４２は、信号受信部３４３がスイッチ
回路３３４からの信号を検出したかどうかを判定する
（Ｓ２１）。信号を検出していないときは（Ｓ２１でＮ
ｏ）、通信制御部３４１がポーリングを受けたかどうか
を判定する（Ｓ２２）。ポーリングを受けていないとき
は（Ｓ２２でＮｏ）、ステップＳ２１へ戻る。ポーリン
グを受けているときは（Ｓ２２でＹｅｓ）、集中監視装
置１０へポーリングに対する応答を返信する（Ｓ２
３）。一方、ステップＳ２１で信号を検出したときは
（Ｓ２１でＹｅｓ）、信号処理部３４２は、電流を検出
した時間が２秒間であるか、３秒間であるかを判定する
（Ｓ２４，Ｓ２５）。電流を検出した時間が２秒間であ
る場合（Ｓ２４でＹｅｓ）、信号処理部３４２は、ユー
ザシステム３１の状態が「異常」であると判定し、集中
監視装置１０へ「異常」を示すステータス情報を送信す
る（Ｓ２７）。電流を検出した時間が３秒間である場合
（Ｓ２５でＹｅｓ）、信号処理部３４２は、ユーザシス
テム３１の状態が「正常」であると判定し、集中監視装
置１０へ「正常」を示すステータス情報を送信する（Ｓ
２６）。

【００２９】集中監視装置１０は、ユーザネットワーク
３および管理者ネットワーク１に接続された装置の状態
を監視する。集中監視装置１０は、たとえば、図８に示
すような構成を備えていてもよい。すなわち、集中監視
装置１０は、監視情報検出装置３４等、他の装置との通
信を制御する通信制御部１０１と、管理者ネットワーク
１に接続された装置に対してポーリングを行ったり、監
視結果に基づいた処理を行う監視処理部１０２と、表示
装置１１を制御して、監視結果等の情報を表示装置１１
に表示させる表示制御部１０３と、「正常」ステータス
が通知された時刻を記憶するユーザシステム監視テーブ
ル１０４とを備える。

【００３０】ユーザシステム監視テーブル１０４は、た
とえば図９に示すような構成であってもよい。すなわ
ち、ユーザシステム監視テーブル１０４は、ユーザシス
テムのシステムＩＤ１０４１と、最後に「正常」を示す
ステータス情報が通知された時刻１０４２とを記憶す
る。これにより、ユーザシステム３１ごとに、いつの時
点まで「正常」に動作していたかを知ることができる。

【００３１】通信制御部１０１は、各監視情報検出装置
３４から送られるユーザシステム３１のステータス情報
を受信し、このステータス情報を監視処理部１０２へ通
知する。

【００３２】監視処理部１０２は、ユーザシステムのス
テータス情報を受信し、これに基づいて警報を出力する
かどうかを判定する。具体的な処理の内容については後
述する。さらに、監視処理部１０２は、図示しないカウ
ンタを備えていて、所定の時間間隔でポーリングを行
い、各監視情報検出装置３４の状態を監視する。

【００３３】次に、集中監視装置１０での処理の流れ
を、図１０に示すフローチャートを用いて説明する。通
信制御部１０１は、いずれかの監視情報検出装置からス
テータス情報を受信したかどうかを判定する（Ｓ３０
１）。受信していない場合は（Ｓ３０１でＮｏ）、ステ
ップＳ３０５へスキップする。ステータス情報を受信し
た場合（Ｓ３０１でＹｅｓ）、監視処理部１０２は、そ
の受信したステータス情報が「正常」を示すか、「異
常」を示すかを判定する（Ｓ３０２）。「正常」を示す
場合は（Ｓ３０２でＹｅｓ）、ステータス情報に含まれ
るシステムＩＤをキーにして、ユーザシステム監視テー
ブル１０４の「正常」通知時刻１０４２を、現在の時刻
に更新する（Ｓ３０４）。ステータス情報が「異常」を
示す場合は（Ｓ３０２でＮｏ）、表示制御部１０３が表
示装置１１に対して所定の警報を表示するように指示す
る（Ｓ３０３）。これにより、集中監視装置１０がいず
れかのユーザシステムで「異常」の発生を検知したとき
は、直ちにシステム管理者へ知らせることができる。

【００３４】次に、監視処理部１０２は、ユーザシステ
ム監視テーブル１０４を参照し、すべてのユーザシステ
ムについて、「正常」通知時刻１０４２から所定時間が
経過しているかどうか（タイムアウトか）を判定する。
一定時間以上「正常」の通知がないユーザシステムは、
何らかの障害が発生したものと考えられるので、この場
合は（Ｓ３０５でＹｅｓ）、表示制御部１０３が表示装
置１１に対して所定の警報を表示するように指示する
（Ｓ３０６）。タイムアウトでない場合は（Ｓ３０５で
Ｎｏ）、監視処理部１０２は監視情報検出装置３４へポ
ーリングを行う。このとき、ポーリングは一定の時間間
隔で行うので、監視処理部１０２は、各監視情報検出装
置３４について、直前のポーリングから所定時間が経過
したかどうかを判定する（Ｓ３０７）。時間が経過して
いない場合は（Ｓ３０７でＮｏ）、ステップＳ３０１へ
戻る。時間が経過していた場合（Ｓ３０７でＹｅｓ）、
監視処理部１０２はポーリングを実行し（Ｓ３０８）、
ポーリングを行った監視状態検出装置３４からの応答の
有無を判定する（Ｓ３０９）。応答がない場合は（Ｓ３
０９でＮｏ）、表示制御部１０３が表示装置１１に対し
て所定の警報を表示するように指示する（Ｓ３１０）。

【００３５】本実施形態により、集中監視装置１０は、
ユーザネットワーク３にに接続されたユーザシステム３
１および管理者ネットワーク１に接続された監視情報検
出装置３４の状態を監視することができる。そして、監
視の結果、何らかの異常が発生した場合は、それを管理
者へ通知することができる。さらに、集中監視装置１０
は、受信したステータス情報のログを取るための記憶装
置を備えてもよい。

【００３６】上述した本発明の実施形態は、本発明の説
明のための例示であり、本発明の範囲をそれらの実施形
態にのみ限定する趣旨ではない。当業者は、本発明の要
旨を逸脱することなしに、他の様々な態様で本発明を実
施することができる。

【００３７】たとえば、上述した個別監視装置３２およ
び監視情報出力装置３３は、それをまとめて一つのコン
ピュータ装置で実現することもできるし、それぞれ一つ
のコンピュータ装置に分けて実現してもよい。また、本
実施形態では監視者へ異常を知らせるとき、表示装置１
１に表示しているが、以下の方法で異常発生を知らせて
もよい。すなわち、図示しないスピーカから音声出力
し、図示しないファクシミリ装置へ出力し、図示しない
警報ランプで表示し、または、図示しない加入者電話ま
たは携帯電話へ通報してもよい。なお、加入者電話また
は携帯電話へ通知する場合、通報前に相手の認証を行っ
てもよい。

【００３８】

【発明の効果】本発明により、ユーザシステムの障害の
発生を検出したときに、自動的にその復旧を行うことが
できる。

【図面の簡単な説明】

【図１】本発明を適用した一実施形態に係るネットワー
ク監視システムの構成を示す図である。

【図２】復旧指示装置３５の構成の例を示す図である。

【図３】原因テーブル３５４の例を示す図である。

【図４】監視情報出力装置３３の構成の例を示す図であ
る。

【図５】監視情報出力装置３３での処理手順を示すフロ
ーチャートである。

【図６】監視情報検出装置３４の構成の例を示す図であ
る。

【図７】監視情報検出装置３４での処理手順を示すフロ
ーチャートである。

【図８】集中監視装置１０の構成の例を示す図である。

【図９】ユーザシステム監視テーブル１０４の例を示す
図である。

【図１０】集中監視装置１０での処理手順を示すフロー
チャートである。

【符号の説明】

１…管理者ネットワーク、３…ユーザネットワーク、９
…ネットワーク、１０…集中監視装置、３１…ユーザシ
ステム、３２…個別監視装置、３３…監視情報出力装
置、３４…監視情報検出装置、３５…復旧指示装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者青木寛道神奈川県横浜市戸塚区品濃町504番地２日立電子サービス株式会社内 (72)発明者片山孝三神奈川県横浜市戸塚区品濃町504番地２日立電子サービス株式会社内 (72)発明者越智壽人神奈川県横浜市戸塚区品濃町504番地２日立電子サービス株式会社内 (72)発明者熊崎基澄神奈川県横浜市戸塚区品濃町504番地２日立電子サービス株式会社内 (72)発明者山岸令和神奈川県横浜市戸塚区品濃町504番地２日立電子サービス株式会社内 (72)発明者羽原貴明神奈川県横浜市戸塚区品濃町504番地２日立電子サービス株式会社内 (72)発明者武貞睦治神奈川県横浜市戸塚区品濃町504番地２日立電子サービス株式会社内 (72)発明者今井美奈神奈川県横浜市戸塚区品濃町504番地２日立電子サービス株式会社内Ｆターム(参考） 5B042 GA12 JJ03 KK15 KK17

Claims

【特許請求の範囲】

【請求項１】監視装置と復旧指示装置とを備え、監視
対象装置で発生した障害を復旧させる自動復旧システム
において、前記監視装置は、前記監視対象装置から障害の発生を知らせる電子情報を
受信する受信手段と、前記受信した電子情報を記憶する記憶手段とを有し、復旧指示装置は、前記監視装置の前記記憶手段を参照し、前記監視対象装
置で発生した障害の原因を解析する解析手段と、前記解析手段による解析結果に基づいて、前記障害を回
復するための電子情報を生成する生成手段と、前記生成手段が生成した前記電子情報を、前記監視対象
装置へ送信する送信手段とを有する障害自動復旧システ
ム。
【請求項２】監視対象装置で発生した障害に関する電
子情報を取得し、その障害の原因を解析する解析手段
と、前記解析手段による解析結果に基づいて、前記障害を復
旧させるための電子情報を生成する生成手段と、前記生成手段が生成した前記電子情報を、前記監視対象
装置へ送信する送信手段とを有する障害自動復旧装置。
【請求項３】前記障害に関する電子情報は、前記監視
対象装置で発生した障害の内容を示す識別情報を含み、前記障害自動復旧装置は、前記識別情報と前記識別情報に対応する障害の発生原因
とを対応づけて記憶した第一の記憶手段と、障害の発生原因とそれに対する対策とを対応づけて記憶
した第二の記憶手段とをさらに備え、前記解析手段は、前記第一の記憶手段を参照して障害の
原因を解析し、前記生成手段は、前記第二の記憶手段を参照して前記障
害を復旧させるための電子情報を生成する請求項２に記
載の障害自動復旧装置。