JP2005038223A - 障害復旧装置および障害復旧方法ならびにプログラム - Google Patents

障害復旧装置および障害復旧方法ならびにプログラム Download PDF

Info

Publication number
JP2005038223A
JP2005038223A JP2003275107A JP2003275107A JP2005038223A JP 2005038223 A JP2005038223 A JP 2005038223A JP 2003275107 A JP2003275107 A JP 2003275107A JP 2003275107 A JP2003275107 A JP 2003275107A JP 2005038223 A JP2005038223 A JP 2005038223A
Authority
JP
Japan
Prior art keywords
operation state
command
failure
state
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003275107A
Other languages
English (en)
Other versions
JP4728565B2 (ja
Inventor
Kiyoshi Kato
清志 加藤
Ryuichi Hiraike
龍一 平池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2003275107A priority Critical patent/JP4728565B2/ja
Priority to US10/893,443 priority patent/US7620849B2/en
Publication of JP2005038223A publication Critical patent/JP2005038223A/ja
Application granted granted Critical
Publication of JP4728565B2 publication Critical patent/JP4728565B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0793—Remedial or corrective actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766—Error or fault reporting or storing
    • G06F11/0781—Error filtering or prioritizing based on a policy defined by the user or on a policy defined by a hardware/software module, e.g. according to a severity level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Retry When Errors Occur (AREA)
  • Debugging And Monitoring (AREA)

Abstract

【課題】 管理コストを抑え、対処時間を減少させた障害復旧装置を提供する。
【解決手段】 動作状態検出手段１は、サービス実行手段１０の動作状態を検出する。ルール蓄積手段２は、サービス実行手段１０で障害が発生した場合の動作状態を判定する為の条件式とその動作状態になった場合に障害を復旧又は回避する為の対処コマンドとルールの優先度情報とを含む複数の障害対処ルールを蓄積する。対処方法検索手段３は、サービス実行手段１０の現在の動作状態に合致する条件式を持つルールを取り出し、その優先度情報に応じて順次試行すると共に、対処コマンドを実行した後に変化すると予想される動作状態の変化情報を状態レジスタ５に出力する。効果判定手段６は、状態レジスタ５に保持された動作状態の変化情報と対処コマンド実行後のサービス実行手段１０の動作状態を比較して、復旧又は回避の成否を判定し、その結果に応じて優先度情報を修正する。
【選択図】 図４

Description

本発明は、ＷＥＢサービスや業務サービスといった情報通信サービスを提供する情報処理装置に関し、特に、障害状態を検知して対処コマンドを実行する耐障害機能を有する障害復旧装置に関する。
通信網を介した情報提供や商品販売といった情報通信サービスは、時間や距離の制約をあまり受けずに業務効率化やきめ細かいユーザサービスを提供できることから、急速に利用範囲が拡大している。このような利用範囲の拡大に伴い、これらのサービスを提供するコンピュータが障害に陥った場合の影響も大きくなり、その耐障害性が大きな課題となっている。
第１の従来技術として、サービスを実行する装置の状態を検出して、予め決められた状態になった場合を障害とみなして自動的に対処コマンドを実行する障害復旧装置では、特定の障害を自動的に復旧または回避することが可能である。しかし、検知状態や対処コマンドが固定されているため、実際のサービス実行環境毎の特性の違いに対応できず、連続運用に伴って装置の状態が徐々に変化してしまう場合や、他の装置との組合せにより装置の状態が変化してしまう場合には、適切な対処が行われないという問題があった。また、このような状態の変化に対応するためには、頻繁に検出状態や対処コマンドを変更する必要があり、管理コストが増大するという問題があった。
第２の従来技術として、同じ検出状態に対する対処コマンドを複数用意し、予め決められた優先度順に順次対処コマンドを試行する障害復旧装置がある（例えば特許文献１参照）。この従来の障害復旧装置では、サービス実行環境毎の特性が違う場合でも、複数の対処コマンドを順次実行することで効果のある対処を行うことができる。しかし、対処コマンドの適用順序が固定されているため、最初から個々のサービス実行環境に適した対処が行われるわけではなく、何度か対処に失敗してから正しい対処が行われることになり、対処時間が増大するとともに、間違った対処を行ってしまうことで別の障害を引き起こす可能性があるという問題があった。また、このような問題を避けるためには、別の障害を引き起こす可能性のある対処コマンドを制限したり、個々のサービス実行環境毎に適切な優先度を設定する必要があり、障害に対する対処の幅が制限され、システムが大規模／複雑化するに従って管理コストが増大するという問題があった。
第３の従来技術として、復旧処理を行うオペレータの作業を支援するために、過去の障害の状況および対処法を記載したナレッジ情報をオペレータに提示する障害復旧装置がある（例えば特許文献２参照）、この従来の障害復旧装置では、障害時に検出された障害状態と過去の障害状態との類似度に応じて提示するナレッジ情報の優先度を変化させることによって、より適切な作業支援を行うことができる。しかし、検出された状態のみで優先度を制御するため、提示されたナレッジ情報が現在の症状に類似しているかどうかは判断できても、このナレッジ情報に従って実行された対処コマンドで障害が復旧するのかどうかは判断できず、復旧効率の向上が期待できないという問題があった。また、このような実行の成否をオペレータに入力させる機能を新たに有する従来の障害復旧装置では、対処コマンドの実行がオペレータの判断によって行われるため、提示された情報通りに実行されたのかどうかが検出できず、提示したナレッジ情報に記載されている対処コマンド自体の有効性を検証できないという問題があった。
特公平７−５４４７４号公報 特開２００２ー２５１２９５号公報
これらの従来の障害復旧装置では、以下の課題がある。
第１の課題として、第１の従来技術では、連続運用に伴って装置の状態が徐々に変化してしまう場合や、他の装置との組合せにより装置の状態が変化してしまう場合には、適切な対処が行われないという問題があった。また、頻繁に検出状態や対処コマンドを変更する必要があり、管理コストが増大するという問題があった。
第２の課題として、第２の従来技術では、何度か対処に失敗してから正しい対処が行われることによって対処時間が増大するとともに、間違った対処を行ってしまうことで別の障害を引き起こす可能性があるという問題があった。また、障害に対する対処の幅が制限され、システムが大規模／複雑化するに従って管理コストが増大するという問題があった。
第３の課題として、第３の従来技術では、検出された状態のみで優先度を制御するため、復旧効率の向上が期待できないという問題があった。また、対処コマンドの実行がオペレータの判断によって行われるため、提示したナレッジ情報に記載されている対処コマンド自体の有効性を検証できないという問題があった。
本発明は、これらの従来の課題を解決する障害復旧装置を提供することを目的とする。また本発明の別の目的は、管理コストを増大させることなく、対処時間を減少させ、広い範囲の障害に対してきめ細かな障害対策が可能な障害復旧装置を提供することにある。
本発明の第１の障害復旧装置は、サービス実行手段の動作状態を検出する動作状態検出手段と、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式とその動作状態になった場合に障害を復旧または回避するための対処コマンドとルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段と、前記ルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を持つルールを取り出し、その優先度情報に応じて順次試行するとともに、前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報を状態レジスタに出力する対処方法検索手段と、前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して、対処コマンドによる復旧または回避の成否を判定し、その結果に応じて前記優先度情報を修正する効果判定手段と、を含んで構成される。
本発明の第２の障害復旧装置は、サービス実行手段の動作状態を検出する動作状態検出手段と、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の１または複数の状態変数とその閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段と、前記ルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを取り出して試行するとともに、前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力する対処方法検索手段と、前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正する効果判定手段と、を含んで構成される。
本発明の第３の障害復旧装置は、サービス実行手段の動作状態を検出する動作状態検出手段と、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の１または複数の状態変数とその閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報と、ルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段と、前記ルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを優先度情報による優先度順に取り出して試行するとともに、前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報および前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力する対処方法検索手段と、前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して対処コマンドによる復旧または回避の正否を判定し、その結果に応じて前記優先度情報を修正するとともに、前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正する効果判定手段と、を含んで構成される。
本発明の第４の障害復旧装置は、第１ないし第３の障害復旧装置において、前記動作状態検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、同じ条件式を有するルール群から優先度または実績値に応じて対処コマンドを１つづつ選択して対処コマンド群を生成した後、その対処コマンド群に含まれる対処コマンドを優先度または実績値の高い順に試行する。
本発明の第５の障害復旧装置は、第１ないし第４の障害復旧装置において、前記動作状態検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、その異なる条件式に共通する対処コマンドが存在する場合には、共通する対処コマンドを優先的に試行する。
本発明の第１の障害復旧方法は、ａ）動作状態検出手段が、サービス実行手段の動作状態を検出するステップ、ｂ）対処方法検索手段が、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式とその動作状態になった場合に障害を復旧または回避するための対処コマンドとルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を持つルールを取り出し、その優先度情報に応じて順次試行するとともに、前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報を状態レジスタに出力するステップ、ｃ）前記動作状態検出手段が、前記対処コマンド実行後の前記サービス実行手段の動作状態を検出するステップ、ｄ）効果判定手段が、前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して、対処コマンドによる復旧または回避の成否を判定し、その結果に応じて前記優先度情報を修正するステップ、を含んで構成される。
本発明の第２の障害復旧方法は、ａ）動作状態検出手段が、サービス実行手段の動作状態を検出するステップ、ｂ）対処方法検索手段が、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の１または複数の状態変数とその閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを取り出して試行するとともに、前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力するステップ、ｃ）前記動作状態検出手段が、前記対処コマンド実行後の前記サービス実行手段の動作状態を検出するステップ、ｄ）効果判定手段が、前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正するステップ、を含んで構成される。
本発明の第３の障害復旧方法は、ａ）動作状態検出手段が、サービス実行手段の動作状態を検出するステップ、ｂ）対処方法検索手段が、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の１または複数の状態変数とその閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報と、ルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを優先度情報による優先度順に取り出して試行するとともに、前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報および前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力するステップ、ｃ）前記動作状態検出手段が、前記対処コマンド実行後の前記サービス実行手段の動作状態を検出するステップ、ｄ）効果判定手段が、前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して対処コマンドによる復旧または回避の正否を判定し、その結果に応じて前記優先度情報を修正するとともに、前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正するステップ、を含んで構成される。
本発明の第４の障害復旧方法は、第１ないし第３の障害復旧方法において、前記動作状態検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、同じ条件式を有するルール群から優先度または実績値に応じて対処コマンドを１つづつ選択して対処コマンド群を生成した後、その対処コマンド群に含まれる対処コマンドを優先度または実績値の高い順に試行する。
本発明の第５の障害復旧方法は、第１ないし第４の障害復旧方法において、前記動作状態検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、その異なる条件式に共通する対処コマンドが存在する場合には、共通する対処コマンドを優先的に試行する。
本発明の第１の障害復旧装置および方法にあっては、対処方法検索手段によって対処方法が同じ条件式に対する複数の対処コマンドを優先度情報に応じて順次試行する。さらに、この対処コマンドを実行した後に変化すると予想される動作状態の変化情報を出力することで、効果判定手段が現在の動作状態がこの変化と合致しているか否かによって対処コマンドの成否を判定し、その成否に応じて優先度情報を修正する。これにより、個々のサービス実行環境に適した対処コマンドを探し出して実行することができるため、第１の課題を解決する。
また、成功した対処コマンドの優先度を上昇させることで、予め個々のサービス実行環境の特性に合わせた優先度を提供できない場合でも、障害への対処が継続されるに従って自動的に適切な優先度へと修正されるため、対処時間が短縮され、誤った対処によって別の障害を引き起こす確率を低下させることができる。さらに、与えられた対処コマンドに適切なものが含まれていれば、失敗によって優先度の低下した対処コマンドが実行される前に障害への対処が完了することになることから、サービス実行環境の特性によっては別の障害を引き起こす可能性の高い危険な対処コマンドを混在させた障害対処ルール群を用いた場合にも、悪影響を抑えた適切な障害対策が可能となり、第２の課題を解決する。
さらに、これらの優先度制御は、実際に実行された対処コマンドの成否を判定することによって行われるため、成功率の高い対処コマンドを優先的に実行することができる。また、自動実行によって検証されるため、オペレータの主観に依らず、ルールの有効性を統一した基準で正確に判定することが可能となり、第３の課題を解決する。
本発明の第２の障害復旧装置および方法にあっては、対処方法検索手段によって対処方法が同じ条件式に対する複数の対処コマンドのうち、サービス実行手段の現在の動作状態とルールの実績値情報とから推測される対処コマンド実行後の動作状態が前記条件式を満たさなくなるルールを選択して試行する。さらに、この対処コマンドを実行する前の状態変数の値を保存しておき、その対処コマンド実行後のサービス実行手段の動作状態における状態変数の値と比較して、前記実績値情報を修正する。これにより、個々のサービス実行環境に適した対処コマンドを探し出して実行することができるため、第１の課題を解決する。
また、サービス実行手段の現在の動作状態とルールの実績値情報とから推測される対処コマンド実行後の動作状態が条件式を満たさなくなるルールを選択して実行するため、対処時間が短縮され、誤った対処によって別の障害を引き起こす確率を低下させることができる。さらに、実行しても条件式を満たさなくできないルールの実行を防止できるため、サービス実行環境の特性によっては別の障害を引き起こす可能性の高い危険な対処コマンドを混在させた障害対処ルール群を用いた場合にも、悪影響を抑えた適切な障害対策が可能となり、第２の課題を解決する。
さらに、これらの実績値情報の更新は、実際に実行された対処コマンドの結果に基づいて機械的に実行されるため、オペレータの主観に依らず、ルールの有効性を統一した基準で正確に判定することが可能となり、第３の課題を解決する。
本発明の第３の障害復旧装置および方法にあっては、第１および第２の障害復旧装置および方法の効果をあわせ持つことにより、第１ないし第３の課題を解決する。
本発明の第１の障害復旧装置および方法では、対処方法検索手段によって対処方法が同じ条件式に対する複数の対処コマンドを優先度情報に応じて順次試行する。さらに、この対処コマンドを実行した後に変化すると予想される動作状態の変化情報を出力することで、効果判定手段が現在の動作状態がこの変化と合致しているか否かによって対処コマンドの成否を判定し、その成否に応じて優先度情報を修正する。これにより、個々のサービス実行環境に適した対処コマンドを探し出して実行することができる。また、成功した対処コマンドの優先度を上昇させることで、予め個々のサービス実行環境の特性に合わせた優先度を提供できない場合でも、障害への対処が継続されるに従って自動的に適切な優先度へと修正されるため、対処時間が短縮され、誤った対処によって別の障害を引き起こす確率を低下させるという効果がある。さらに、与えられた対処コマンドに適切なものが含まれていれば、失敗によって優先度の低下した対処コマンドが実行される前に障害への対処が完了することになることため、サービス実行環境の特性によっては別の障害を引き起こす可能性の高い危険な対処コマンドを混在させた障害対処ルール群を用いた場合にも、悪影響を抑えた適切な障害対策が可能となるという効果がある。
本発明の第２の障害復旧装置および方法では、対処方法検索手段によって対処方法が同じ条件式に対する複数の対処コマンドのうち、サービス実行手段の現在の動作状態とルールの実績値情報とから推測される対処コマンド実行後の動作状態が前記条件式を満たさなくなるルールを選択して試行する。さらに、この対処コマンドを実行する前の状態変数の値を保存しておき、その対処コマンド実行後のサービス実行手段の動作状態における状態変数の値と比較して、前記実績値情報を修正する。これにより、個々のサービス実行環境に適した対処コマンドを探し出して実行することができる。また、サービス実行手段の現在の動作状態とルールの実績値情報とから推測される対処コマンド実行後の動作状態が条件式を満たさなくなるルールを選択して実行するため、対処時間が短縮され、誤った対処によって別の障害を引き起こす確率を低下させることができる。さらに、実行しても条件式を満たさなくできないルールの実行を防止できるため、サービス実行環境の特性によっては別の障害を引き起こす可能性の高い危険な対処コマンドを混在させた障害対処ルール群を用いた場合にも、悪影響を抑えた適切な障害対策が可能となるとういう効果がある。
本発明の第３の障害復旧装置および方法では、第１および第２の障害復旧装置および方法の効果をあわせ奏することが可能となる。
本発明の第４の障害復旧装置および方法では、複数の障害が同時発生した場合にも、対処コマンドの成否に応じて関連するルールの優先度、実績値が適切に修正されるという効果を得ることができる。
本発明の第５の障害復旧装置および方法では、共通する対処コマンドが存在する場合には、対処方法検索手段が共通する対処コマンドを優先的に試行することで、復旧時間を短縮しつつ着実に障害復旧できるという効果がある。
本発明の実施の形態を説明する前に、図１、図２、図３を用いて本発明の前提となる障害復旧装置について説明する。
図１を参照すると、本発明の前提となる障害復旧装置は、サービス実行手段１０に接続された動作状態検出手段１およびコマンド実行手段４と、ルール蓄積手段２と、これらに接続された対処方法検索手段３とを含んで構成される。
サービス実行手段１０は、ＷＥＢサービスや業務サービスといった情報通信サービスを提供する。ルール蓄積手段２は、障害対処ルールを蓄積する。図２に障害対処ルールの例を示す。障害対処ルールは、障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、同じ条件式に対する対処コマンドの適用順序を示す優先度で構成される。図２の番号１および２のルールは、サービス実行手段１０のメモリ残量の数値が２０以下となった状態を障害とみなすための条件式と、その状態で実行すべき対処コマンドとしてアプリケーション（ＡＰ）再起動コマンドおよびオペレーティングシステム（ＯＳ）再起動コマンドがそれぞれ優先度８０、５０として定義されている。同様に、番号３〜５のルールは、ＡＰの出力が異常の場合に、ＡＰ再起動、ＯＳ再起動、ディスク切り替えがそれぞれ優先度８０、４０、３０で定義されている。
図３は、図１の障害復旧装置における動作のフローチャートを示す。動作状態検出手段１は、サービス実行手段１０の動作状態を検出する（図３のステップ１０１）。動作状態は、障害対処ルールの条件式に沿った形で検出される。図２の例では、メモリ残量やＡＰ出力の正常／異常等が検出される。対処方法探索手段３は、動作状態検出手段１から現在の動作状態を受け取り、ルール蓄積手段２に蓄積されている障害対処ルールの条件式に合致するものがあるかどうかを探索する（ステップ１０２）。合致する条件式が無い場合は、障害が発生していないものとして、ステップ１０１に戻る。合致する条件があった場合は、障害発生とみなして対応する対処コマンド探索する。例えば、検出された動作状態のうち、メモリ残量が２０未満であった場合は、図２の番号１および番号２の条件式に合致するため、対処コマンドとしてＡＰ再起動とＯＳ再起動が候補となるが、ＡＰ再起動の優先度の方が高いため、対処コマンドとしてＡＰ再起動を選択して出力する。この対処コマンドをコマンド実行手段４が受け取り、サービス実行手段１０にその実行を指示することで、サービス実行環境上のアプリケーションが再起動される（ステップ１０３）。この後、ステップ１０１に戻って動作状態検出手段１が、対処コマンド実行後の動作状態を検出する。ここで、メモリ残量が２０未満のままであれば（ステップ１０２）、次の対処コマンドとしてＯＳ再起動が実行される（ステップ１０３）。メモリ残量が２０以上になっていれば、合致する条件式がなくなり、障害への対処が完了する。
このように、図１に示す障害復旧装置では、予め決められた条件で対処コマンドを自動的に実行するため、障害対処ルールに記述された障害に関してはサービス実行手段１０の障害を自動的に復旧または回避することができる。この場合、優先度として予め決められた順序で対処コマンドが実行されることになり、一般的に成功する可能性の高い対処コマンドに高い優先度をつけることで、対処の効率を制御することができる。しかし、対処コマンドのうちどれが有効であるかは、サービス実行手段１０のハードウェア構成や実行ソフトウェアの種類の他、提供するサービスの内容や、運用継続によって変化する内部状態にも依存するものであり、常に効率的な優先度を定義することは困難である。このため、例えば図２の例でＡＰ再起動が常に失敗するようなサービス実行手段１０では、ＯＳ再起動の実行前に常にＡＰ再起動が失敗するのを待つ必要があり、対処にかかる時間が増大してしまう。また、ＡＰ再起動が失敗する理由によっては別の障害を引き起こす場合があり、対処自体ができなくなる可能性もある。
次に、本発明の実施の形態について図面を参照して詳細に説明する。
（第１の実施の形態）
先ず、図４、図５、図６、図７を用いて、本発明の第１の実施の形態について説明する。
図４は、本発明の第１の実施の形態の構成を示すブロック図である。この実施の形態の障害復旧装置では、図１の構成に加えて、対処コマンドを実行した後に変化すると予想される動作状態の変化情報を保持する状態レジスタ５と、この動作状態の変化情報と動作状態検出手段１の出力である動作状態を比較して、対処コマンドによる復旧または回避の成否を判定し、その結果に応じて優先度を修正する効果判定手段６を新たに有する。また、対処方法検索手段３は、現在の状態値に合致した対処コマンドを出力する際に、その対処コマンドを実行した後に変化すると予想される動作状態の変化情報を出力する機能を新たに有する。
動作状態検出手段１、対処方法検索手段３、コマンド実行手段４および効果判定手段６の各機能手段は、例えばコンピュータと障害復旧プログラムとで実現することができる。障害復旧プログラムは、磁気ディスク等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、コンピュータの動作を制御することにより、そのコンピュータ上に動作状態検出手段１、対処方法検索手段３、コマンド実行手段４および効果判定手段６の各機能手段を実現する。また、ルール蓄積手段２および状態レジスタ５は、コンピュータに備わる主記憶や外部記憶装置で実現可能である。
図５は、図４に示した障害復旧装置の動作のフローチャートを示す。図６、図７は、本実施の形態における障害対処ルールの優先度の変化例を示した図である。まず、初期状態として図２のような優先度である場合を例に本実施の形態の動作を説明する。
動作状態検出手段１は、サービス実行手段１０の動作状態を検出する（図５のステップ２０１）。次に、効果判定手段６が状態レジスタ５を参照し、既に実行された対処コマンドがあるかどうかを判定する（ステップ２０２）。実行された対処コマンドが無い場合には効果判定手段６は何もしない。対処方法探索手段３は、動作状態検出手段１から現在の動作状態を受け取り、ルール蓄積手段２に蓄積されている障害対処ルールの条件式に合致するものがあるかどうかを探索する（ステップ２０５）。例えば、メモリ残量が２０未満であった場合、図２の番号１および番号２の条件式に合致し、優先度の高いＡＰ再起動が選択される。この時、対処方法探索手段３は対処コマンドの出力と同時に、この対処コマンドを実行した後に変化すると予想される動作状態の変化情報を状態レジスタにセットする。この場合、対処コマンドの実行によってルール内の条件式で示される障害状態が回避されること、つまり、動作状態の１つであるメモリ残量が条件式に示される閾値である２０を超えることが予想されることから、実行する対処コマンドと対処が成功した場合の条件として「メモリ残量が２０以上」という条件を状態レジスタ５にセットする（ステップ２０６）。対処コマンドは、コマンド実行手段４を介してサービス実行手段１０上で実行される（ステップ２０７）。
この後、ステップ２０１に戻って動作状態検出手段１が、対処コマンド実行後のサービス実行手段１０の動作状態を検出する。効果判定手段６は、対処コマンドが実行されていることを検知して（ステップ２０２）、現在の動作状態と状態レジスタ５の「メモリ残量が２０以上」という条件を比較して効果を判定し（ステップ２０３）、対応する番号１のルールの優先度を修正する（ステップ２０４）。図６のルール群３０１は、ＡＰ再起動による復旧に失敗し、ＯＳ再起動による復旧に成功した場合の変化を示す。図６では、優先度の修正方法の一例として、成功した場合に優先度を１０増やし、失敗した場合に１０減らす例を示す。この場合、ＡＰ再起動後のステップ２０３で条件が満たされない（メモリ残量が閾値である２０未満であり障害状態が継続している）ことを判定して、番号１の優先度を８０から１０減らした７０とする。続いて、ステップ２０５からステップ２０７を経てＯＳ再起動を実行し、その後のステップ２０３で条件が満たされた（メモリ残量が閾値である２０を超え障害状態が回避された）ことを判定して、番号２の優先度を５０から１０増やした６０とする。
同様に、図６のルール群３０２では、同じメモリ残量の障害が発生し、ＡＰ再起動、ＯＳ再起動共に復旧に失敗した場合の優先度の変化を示す。番号１のルールの優先度は、さらに１０減った６０になり、番号２の優先度は、１０減った５０に戻っている。この時点では、まだ番号１のルールの方が優先度が高いため、新たな障害が発生した場合は、ＡＰ再起動が先に実行されることになる。次に、再度同じ障害が発生し、ＡＰ再起動による復旧が失敗、ＯＳ再起動による復旧が成功した場合を図６のルール群３０３に示す。この場合、番号１のルールはさらに１０減った５０になり、番号２のルールは１０増えて６０となる。ここで、２回成功した番号２のルールの優先度は、３回とも失敗した番号１よりも高くなり、次回同じ障害が発生した場合は、ＯＳ再起動が先に実行されることになる。
図７は、同様にしてＡＰ出力異常の障害が発生した場合の優先度の変化を示す。ルール群３０４は、図６のルール群３０３の状態で、ＡＰ出力が異常であることを検出し、番号３、４、５のルールが順に実行された例を示す。この場合、番号３、４の対処コマンドであるＡＰ再起動、ＯＳ再起動は共に復旧に失敗したため、優先度が１０づつ減っており、番号５のディスク切り替えによる復旧に成功したため、優先度が１０増えている。この時点で、番号４と番号５の優先度は逆転しており、次に、同じＡＰ出力異常が発生した場合、まず番号３のルールが適用されＡＰ再起動が行われるが、ＡＰ再起動による復旧に失敗した場合は、ディスク切り替えが実行される。ディスク切り替えによる復旧に成功した場合には、ここで対処が完了するため、番号４のＯＳ再起動が実行されることはない。このようにして、番号３の優先度が１０減り、番号５の優先度が１０増えると、図７のルール３０５のようになる。次に同じ障害で、またディスク切り替えによる復旧に成功する場合を考えると、やはり、ＡＰ再起動が試されて、次にディスク切り替えによる復旧が成功する。その後は、ルール群３０６に示すように、ディスク切り替えの優先度が最も高くなるため、同じ障害に対してはディスク切り替えが最初に実行されることになり、これが成功した場合には、他の対処コマンドが実行されることはなくなるため、不要な処理によって別の障害が引き起こされることを防止できる。
以上述べたように、第１の実施の形態にかかる障害復旧装置では、対処コマンドによる復旧または回避の成否を判定し、その結果に応じて優先度を修正する効果判定手段６を有することにより、特性の異なるサービス実行手段１０に同じルール群を適用した場合にも効率的な運用が可能になるという効果を得ることができる。
例えば図６は、継続運用でメモリ残量が減るような障害にＡＰプログラムのバグによるメモリリークが原因であるものが多いため、ＡＰ再起動の優先度を高くしておくといった運用効率化の例である。しかし、サービス実行手段１０の特性によっては、通常は問題とならないＯＳのバグが何らかの状態で発現している場合もあり、このような状況では、ＡＰ再起動の優先度が高いことが運用効率の低下を招く可能性もある。本実施の形態では、前述した通り、実際のサービス実行手段１０の特性に応じて優先度が自動的に最適化されることから、同じルール群を適用していても個々のサービス実行手段１０に適した障害対策を実現することができる。図７は、ＡＰ出力の異常がディスクにより引き起こされるような例である。ＡＰ出力の異常がＡＰ再起動で復旧できていたサービス実行手段１０であっても、例えばディスク交換等の修理を行った後に特性が変わってしまうといったように、新たなルールを適用しなければ効率的な運用が出来ない場合がある。従来の障害復旧装置では、このような状況をオペレータが把握し、その都度ルールを修正する必要があったが、本実施の形態では、このような場合でも適切な優先度に修正されるため、管理コストを増大させることなく、対処時間を減少させ、広い範囲の障害に対して決め細かな障害対策を行うことができる。
尚、本実施の形態で例に挙げた動作状態や対処コマンドについては、この例に限定されるものではなく、本発明の構成に従ってサービス実行手段１０で検出できる動作状態や実行可能な対処コマンドであれば同様の効果が得られるものである。また、優先度の数値や計算方法についても、対処コマンドの実行結果に従った修正を行うものであれば、対処コマンドを効率的に実行することができる。
（第２の実施の形態）
本実施の形態では、第１の実施の形態で説明した構成および動作に加えて、図８を用いて複数の障害が同時に発生した場合の動作の例を示す。対処方法検索手段３は、第１の実施の形態の機能に加えて、同じ条件式を有するルール群から優先度に応じて対処コマンドを１つづつ選択して対処コマンド群を生成した後、その対処コマンド群に含まれる対処コマンドを優先度の高い順に試行する機能を有する。
図８のルール群３０７は、図７のルール群３０６の状態からＡＰ出力異常が発生して番号５のルールによる復旧が成功し優先度が７０となった例を示す。この状態で、メモリ残量不足とＡＰ出力異常が同時に発生した場合、番号１ないし５の条件式がすべて有効となり、対処コマンドとして最大の優先度を持つ番号５のルールが適用され、対処コマンドとしてディスク切り替えが実行される。ルール群３０８は、ディスク切り替えによる復旧が失敗した場合の例を示し、番号５の優先度が１０減っている。この場合、障害は継続しているため、次の対処コマンドを探索することになり、候補として優先度が６０である番号２と番号５のルールが挙げられる。ここで、番号順に対処コマンドを実行するとすると、番号２のルールが適用され、ＯＳ再起動が実行される。ルール群３０９は、ＯＳ再起動による復旧が成功した場合の例を示し、番号２の優先度が１０増加している。
一般に、複数の障害が発生している場合、ある障害が派生して別の障害が併発した後に状態が検出されることが多い。このような状態から復旧するためには、それらの障害の根本原因となる障害に対処することが必要となる。図８のルール群３０７において、ディスク切り替えはＡＰ出力異常特有の対処コマンドであり、複合障害の場合にこのような対処コマンドを選択することは最適とは言えず、このような対処コマンドを実行している間にさらに状態を悪化させることもあり得る。本実施の形態では、このような対処コマンドを実行して失敗した場合、ルール群３０８、ルール群３０９に示すように、失敗したルールの優先度が低下し、結果的に条件式の異なるＯＳ再起動が実行されることになる。この結果、同時発生する障害に対応する条件式を持つ複数のルールの間で、同時発生時に優先すべきルールの優先度が相対的に増加し、次回以降同じ障害が発生した場合に効果の高いルールが先に選択されることになる。
さらに、対処方法検索手段３は、異なる条件式に共通する対処コマンドが存在する場合には、共通する対処コマンドを優先的に試行する機能を有することができる。図９、図１０を用いてこの例の障害復旧装置の動作を説明する。
図１０のルール群３２０は、図８のルール群３０７に相当する状態を示す。この時、動作状態検出手段１がサービス実行手段１０の動作状態からメモリ残量不足とＡＰ出力異常の両方が発生していることを検出する（ステップ２１１）。対処方法検索手段３は、ルール群３２０に示す番号１ないし５のルールの条件式に合致していることを知り（ステップ２１５）、異なる条件式を持つルールのうち共通する対処コマンドを有するルールを探索する（ステップ２１６）。ルール群３２０では、番号１と２のルールは同じ条件式を持ち、対処コマンドはＡＰ再起動とＯＳ再起動となる。同様に、番号３ないし５のルールの対処コマンドはＡＰ再起動、ＯＳ再起動、ディスク切り替えとなる。番号１と２のルール群、番号３ないし５のルール群に共通する対処コマンドはＯＳ再起動であり、対処方法検索手段３は、「メモリ残量が２０以上」と「ＡＰ出力が正常」という状態を予測して状態レジスタをセットし（ステップ２１７）、ＯＳ再起動を実行する（ステップ２１８）。
この後、ステップ２１１の状態検出を経て対処コマンドの終了を検出すると（ステップ２１２）、効果が判定され（ステップ２１３）、ルールの優先度が修正される（ステップ２１４）。ルール群３２１は、メモリ残量とＡＰ出力の両方が改善された場合の例を示し、対処コマンドがＯＳ再起動である番号２と４のルールの優先度が上昇する。ルール群３２２は、メモリ残量のみが改善された場合の例を示し、番号２のルールの優先度は上昇するが、番号４のルールの優先度は低下する。この場合、ＡＰ出力異常は継続しているため、さらに次の対処コマンドとして番号３ないし５のルールから優先度の高い番号５のルールが選択され、ディスク切り替えが行われることになる。このように、対処方法検索手段３が同時に状態を改善できる対処コマンドを優先的に実行することにより、複数の障害が同時に発生した場合でも短時間で復旧できる確率が増加し、さらに、継続して次の対処を行うことで着実に状態を改善することができる。
以上述べたように、本実施の形態の障害復旧装置では、複数の障害が同時に発生した場合にも、対処コマンドの成否に応じて、関連するルールの優先度が適切に修正されるという効果を得ることができる。また、共通する対処コマンドが存在する場合には、共通する対処コマンドを優先的に試行することで、復旧時間を短縮しつつ着実に障害復旧できる。
（第３の実施の形態）
本実施の形態では、第１の実施の形態で説明した優先度に変えて、過去の対処コマンド実行の結果として得られた状態変数の変化量を表す実績値を用いてルールの探索を行う例を示す。図１１のルール群４００は、本発明の前提例における図２のルール群３００において優先度が実績値に、番号３、４、５の条件式が変数とその閾値で構成される「ＣＰＵ使用率が５０より大きい」に置き換わったものを示す。つまり、本実施の形態においては、ルール蓄積手段２に蓄積されている障害対処ルールの条件式は、１または複数の状態変数とその閾値を規定する条件式となっている。以下、対処実行前後の状態変数の値の変化を実績値とした場合を例に、図１２、図１３、図１４を用いて本実施の形態の動作を説明する。
図１３は、図１１のルール群４００の状態において、メモリ残量不足が発生した場合の実績値の変化を示す。動作状態検出手段１がサービス実行手段１０の動作状態からメモリ残量不足を検出すると（ステップ５０１）、対処方法検索手段３が番号１と２のルールが条件に合致することを知り（ステップ５０４）、現在のメモリ残量に各々のルールの実績値を加えて条件式を満たさなくなるルールを探索する（ステップ５０５）。図１１のルール群４００は、対処コマンドを実行した実績がない状態であり、実績値は不明であるため番号の小さいルールとして番号１を選択する。さらに、現在のメモリ量が１８であった場合、「現在のメモリ残量が１８」および対処が成功した場合の条件として「メモリ残量が２０以上」という条件をルール番号１と共に状態レジスタ５にセットし（ステップ５０６）、ＡＰ再起動を実行する（ステップ５０７）。その後、ステップ５０１を経て、効果判定手段６が対処コマンドの終了を検知し（ステップ５０２）、現在状態から実績値が算出される（ステップ５０３）。図１３のルール群４０１では、メモリ残量が１８から２５に増えた例であり、番号１のルールの実績値として７が設定される。この場合、メモリ残量が２５であれば条件式を満たさなくなるため（ステップ５０４）、障害復旧が成功したものとして次の障害状態検出に戻る（ステップ５０１）。
同様に、ルール群４０２は、新たにメモリ残量が１５となった場合を示す。ステップ５０５において、番号１のルールの実績値６と現在のメモリ量１５を加えると条件式を満たさなくなることを知り、番号１のルールが実行される。この後、メモリ残量が２１になったことを検知すると（ステップ５０１）、対処コマンド実行前後の差分から実績値が６に変更される。ルール群４０３は、さらにメモリ残量が１２となった場合を示す。この場合、ステップ５０５において番号１のルールの実績値である６では障害を回避できないことを判断し、実績値が不明な番号２のルールが選択され、ＯＳ再起動が実行される。この後、メモリ残量が５０になった場合、番号２のルールの実績値として３８が設定される。
同様に、図１４は、メモリ残量不足が何度か発生した例を示す。ルール群４０４は、メモリ残量が１８となった場合であり、番号１のルールの実績値である７で障害復旧できることから番号１のルールが実行され、実績値が修正される。さらに、ルール群４０５では、メモリ残量が８となった場合を示し、番号１と番号２のルールの実績値から、障害を回避できるルールとして番号２のルールが選択される。ルール群４０６では、メモリ残量が１５であり、番号１のルールが選択される。このように、対処コマンドを実行した結果によって変化するメモリの増加量を実績値として保持することにより、障害時に条件式の閾値からどれだけ離れているかに応じて適用するルールを変化させることができる。
尚、本実施の形態では、適用したルールの実績値のみを修正する例で説明したが、これに限定されるものではなく、同じ対処コマンドを持つルールの実績値を同時に修正することもできる。例えば、図１３では、番号１のルールを選択してＡＰ再起動を実行する場合に、コマンド実行前後のＣＰＵ使用量を検出することで、同じ対処コマンドを持つ番号３のルールの実績値を算出することができる。この場合、同じ対処コマンドを持つルールを探索する処理は増加するが、効率的な実績値の算出が可能となる。
以上説明したように、本実施の形態によれば、実際のサービス運用の結果に応じて対処方法検索手段が各々の対処コマンドの実績値を算出することにより、同じ条件式に合致するルールであっても効果のあるルールを優先的に選択することができ、復旧時間が短縮し確実性が向上する。
以上、単一の障害が発生した場合の動作を説明したが、複数の障害が同時に発生した場合には、対処方法検索手段３は、同じ条件式を有するルール群から実績値に応じて対処コマンドを１つづつ選択して対処コマンド群を生成した後、その対処コマンド群に含まれる対処コマンドを、例えば実績値の高い順に試行する。また、対処方法検索手段３は、異なる条件式に共通する対処コマンドが存在する場合には、共通する対処コマンドを優先的に試行する。
（第４の実施の形態）
本実施の形態は、第１の実施の形態で説明した優先度と第３の実施の形態で説明した実績値とを用いてルールの探索を行う例を示す。図１５のルール群６００は、第３の実施の形態における図１４のルール群４０６に優先度を追加したものを示す。図１６は本実施の形態の動作のフローチャートを示す。
第１の実施の形態と同様に、動作状態検出手段１はサービス実行手段１０の動作状態を検出し（ステップ７０１）、効果判定手段６は状態レジスタ５を参照し、既に実行された対処コマンドがあるかどうかを判定する（ステップ７０２）。実行された対処コマンドが無い場合には効果判定手段６は何もしない。対処方法探索手段３は、動作状態検出手段１から現在の動作状態を受け取り、ルール蓄積手段２に蓄積されている障害対処ルールの条件式に合致するものがあるかどうかを探索する（ステップ７０５）。
例えば、メモリ残量が１０であった場合、図１５の番号１および番号２の条件式に合致する。第１の実施の形態では、優先度の高い番号１のルールのＡＰ再起動を選択し、第３の実施の形態では、現在のメモリ残量１０に各々のルールの実績値を加えると条件式を満たさなくなるルールを選択した。これに対し本実施の形態では、優先度および実績値の双方を考慮し、より優先度が高く且つ条件式を満たさなくなる実績値を持つルールを選択する（ステップ７０６）。図１５の場合、番号１のルールは、その優先度は８０で、番号２のルールの優先度５０より高いが、実績値が８であるため、現在のメモリ残量１０に８を足してもメモリ残量２０未満の条件が依然として成立するため、第１候補から除外され、メモリ残量２０未満という条件を満たさなくなる実績値４０を持つ番号２のルールが選択される。他方、現在のメモリ残量が１５であった場合、番号１のルールが、より優先度が高く且つ条件式を満たさなくなる実績値を持つルールとして選択される。各ルールの優先度の修正は第１の実施の形態と同様に効果判定手段６で行われ、各ルールの実績値の算出は第３の実施の形態と同様に効果判定手段６で行われる（ステップ７０３、７０４）。
以上述べたように、第４の実施の形態にかかる障害復旧装置では、対処コマンドによる復旧または回避の成否を判定し、その結果に応じて優先度を修正することにより、特性の異なるサービス実行手段１０に同じルール群を適用した場合にも効率的な運用が可能となるという効果と、実際のサービス運用の結果に応じて対処方法検索手段３が各々の対処コマンドの実績値を算出することにより、同じ条件式に合致するルールであっても効果のあるルールを優先的に選択することができ、復旧時間が短縮し確実性が向上するという効果とを得ることができる。
以上、単一の障害が発生した場合の動作を説明したが、複数の障害が同時に発生した場合には、対処方法検索手段３は、同じ条件式を有するルール群から優先度および実績値に応じて対処コマンドを１つづつ選択して対処コマンド群を生成した後、その対処コマンド群に含まれる対処コマンドを、例えば優先度の高い順に試行する。また、対処方法検索手段３は、異なる条件式に共通する対処コマンドが存在する場合には、共通する対処コマンドを優先的に試行する。
本発明の前提となる障害復旧装置の構成例を示すブロック図である。 ルール蓄積手段に蓄積される障害対処ルールの一例を示す図である。 本発明の前提となる障害復旧装置の動作を示すフローチャートである。 本発明の第１の実施の形態の構成例を示すブロック図である。 本発明の第１の実施の形態の動作を示すフローチャートである。 本発明の第１の実施の形態における障害対処ルールにおける優先度の変化の一例を示す図である。 本発明の第１の実施の形態における障害対処ルールにおける優先度の変化の別の例を示す図である。 本発明の第２の実施の形態における障害対処ルールにおける優先度の変化の別の例を示す図である。 本発明の第２の実施の形態の動作を示すフローチャートである。 本発明の第２の実施の形態における障害対処ルールにおける優先度の変化の別の例を示す図である。 本発明の第３の実施の形態におけるルール蓄積手段に蓄積される障害対処ルールの例を示す図である。 本発明の第３の実施の形態の動作の例を示すフローチャートである。 本発明の第３の実施の形態の障害対処ルールにおける実績値の変化例を示す図である。 本発明の第３の実施の形態の障害対処ルールにおける実績値の別の変化例を示す図である。 本発明の第４の実施の形態におけるルール蓄積手段に蓄積される障害対処ルールの例を示す図である。 本発明の第４の実施の形態の動作の例を示すフローチャートである。
符号の説明
１ 動作状態検出手段
２ ルール蓄積手段
３ 対処方法検索手段
４ コマンド実行手段
５ 状態レジスタ
６ 効果判定手段
１０ サービス実行手段

Claims (17)

  1. サービス実行手段の動作状態を検出する動作状態検出手段と、
    前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式とその動作状態になった場合に障害を復旧または回避するための対処コマンドとルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段と、
    前記ルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を持つルールを取り出し、その優先度情報に応じて順次試行するとともに、前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報を状態レジスタに出力する対処方法検索手段と、
    前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して、対処コマンドによる復旧または回避の成否を判定し、その結果に応じて前記優先度情報を修正する効果判定手段と、
    を含むことを特徴とする障害復旧装置。
  2. 前記動作状態検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、同じ条件式を有するルール群から優先度に応じて対処コマンドを１つづつ選択して対処コマンド群を生成した後、その対処コマンド群に含まれる対処コマンドを優先度の高い順に試行することを特徴とする請求項１記載の障害復旧装置。
  3. サービス実行手段の動作状態を検出する動作状態検出手段と、
    前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の１または複数の状態変数とその閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段と、
    前記ルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを取り出して試行するとともに、前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力する対処方法検索手段と、
    前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正する効果判定手段と、
    を含むことを特徴とする障害復旧装置。
  4. 前記動作状態検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、同じ条件式を有するルール群から実績値情報に応じて対処コマンドを１つづつ選択して対処コマンド群を生成した後、その対処コマンド群に含まれる対処コマンドを実績値の高い順に試行することを特徴とする請求項３記載の障害復旧装置。
  5. サービス実行手段の動作状態を検出する動作状態検出手段と、
    前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の１または複数の状態変数とその閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報と、ルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段と、
    前記ルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを優先度情報による優先度順に取り出して試行するとともに、前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報および前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力する対処方法検索手段と、
    前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して対処コマンドによる復旧または回避の正否を判定し、その結果に応じて前記優先度情報を修正するとともに、前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正する効果判定手段と、
    を含むことを特徴とする障害復旧装置。
  6. 前記動作状態検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、同じ条件式を有するルール群から優先度および実績値に応じて対処コマンドを１つづつ選択して対処コマンド群を生成した後、その対処コマンド群に含まれる対処コマンドを優先度の高い順に試行することを特徴とする請求項５記載の障害復旧装置。
  7. 前記動作状態検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、その異なる条件式に共通する対処コマンドが存在する場合には、共通する対処コマンドを優先的に試行することを特徴とする請求項１ないし６の何れか１項に記載の障害復旧装置。
  8. ａ）動作状態検出手段が、サービス実行手段の動作状態を検出するステップ
    ｂ）対処方法検索手段が、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式とその動作状態になった場合に障害を復旧または回避するための対処コマンドとルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を持つルールを取り出し、その優先度情報に応じて順次試行するとともに、前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報を状態レジスタに出力するステップ
    ｃ）前記動作状態検出手段が、前記対処コマンド実行後の前記サービス実行手段の動作状態を検出するステップ
    ｄ）効果判定手段が、前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して、対処コマンドによる復旧または回避の成否を判定し、その結果に応じて前記優先度情報を修正するステップ
    を含むことを特徴とする障害復旧方法。
  9. 前記動作状態検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、同じ条件式を有するルール群から優先度に応じて対処コマンドを１つづつ選択して対処コマンド群を生成した後、その対処コマンド群に含まれる対処コマンドを優先度の高い順に試行することを特徴とする請求項８記載の障害復旧方法。
  10. ａ）動作状態検出手段が、サービス実行手段の動作状態を検出するステップ
    ｂ）対処方法検索手段が、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の１または複数の状態変数とその閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを取り出して試行するとともに、前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力するステップ
    ｃ）前記動作状態検出手段が、前記対処コマンド実行後の前記サービス実行手段の動作状態を検出するステップ
    ｄ）効果判定手段が、前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正するステップ
    を含むことを特徴とする障害復旧方法。
  11. 前記動作状態検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、同じ条件式を有するルール群から実績値情報に応じて対処コマンドを１つづつ選択して対処コマンド群を生成した後、その対処コマンド群に含まれる対処コマンドを実績値の高い順に試行することを特徴とする請求項１０記載の障害復旧方法。
  12. ａ）動作状態検出手段が、サービス実行手段の動作状態を検出するステップ
    ｂ）対処方法検索手段が、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の１または複数の状態変数とその閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報と、ルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを優先度情報による優先度順に取り出して試行するとともに、前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報および前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力するステップ
    ｃ）前記動作状態検出手段が、前記対処コマンド実行後の前記サービス実行手段の動作状態を検出するステップ
    ｄ）効果判定手段が、前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して対処コマンドによる復旧または回避の正否を判定し、その結果に応じて前記優先度情報を修正するとともに、前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正するステップ
    を含むことを特徴とする障害復旧方法。
  13. 前記動作状態検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、同じ条件式を有するルール群から優先度および実績値に応じて対処コマンドを１つづつ選択して対処コマンド群を生成した後、その対処コマンド群に含まれる対処コマンドを優先度の高い順に試行することを特徴とする請求項１２記載の障害復旧方法。
  14. 前記動作状態検出手段の出力である前記サービス実行手段の動作状態が前記障害対処ルールに含まれる条件式のうち複数の異なる条件式と合致する場合、前記対処方法検索手段は、その異なる条件式に共通する対処コマンドが存在する場合には、共通する対処コマンドを優先的に試行することを特徴とする請求項８ないし１３の何れか１項に記載の障害復旧方法。
  15. コンピュータを、サービス実行手段の動作状態を検出する動作状態検出手段、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式とその動作状態になった場合に障害を復旧または回避するための対処コマンドとルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を持つルールを取り出し、その優先度情報に応じて順次試行するとともに、前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報を状態レジスタに出力する対処方法検索手段、前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して、対処コマンドによる復旧または回避の成否を判定し、その結果に応じて前記優先度情報を修正する効果判定手段、として機能させるプログラム。
  16. コンピュータを、サービス実行手段の動作状態を検出する動作状態検出手段、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の１または複数の状態変数に対する閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを取り出して試行するとともに、前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力する対処方法検索手段、前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正する効果判定手段、として機能させるプログラム。
  17. コンピュータを、サービス実行手段の動作状態を検出する動作状態検出手段、前記サービス実行手段で障害が発生した場合の動作状態または障害の前兆と推測される動作状態を判定するための条件式であって、前記動作状態の１または複数の状態変数に対する閾値を規定する条件式と、その動作状態になった場合に障害を復旧または回避するための対処コマンドと、この対処コマンドの実行によって変化する前記状態変数の値を示す実績値情報と、ルール間の適用順序の優先度情報とを含む複数の障害対処ルールを蓄積するルール蓄積手段から、前記動作状態検出手段で検出された前記サービス実行手段の現在の動作状態に合致する条件式を有し且つ現在の動作状態と前記実績値情報とから推測される対処コマンド実行後の動作状態が前記合致した条件式を満たさなくなるルールを優先度情報による優先度順に取り出して試行するとともに、前記対処コマンドを実行した後に変化すると予想される動作状態の変化情報および前記対処コマンドを実行する前の前記状態変数の値を状態レジスタに出力する対処方法検索手段、前記状態レジスタに保持された動作状態の変化情報と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態を比較して対処コマンドによる復旧または回避の正否を判定し、その結果に応じて前記優先度情報を修正するとともに、前記状態レジスタに保持された前記対処コマンドを実行する前の前記状態変数の値と前記動作状態検出手段の出力である前記対処コマンド実行後の前記サービス実行手段の動作状態における前記状態変数の値を比較して、前記実績値情報を修正する効果判定手段、として機能させるプログラム。
JP2003275107A 2003-07-16 2003-07-16 障害復旧装置および障害復旧方法ならびにプログラム Expired - Fee Related JP4728565B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003275107A JP4728565B2 (ja) 2003-07-16 2003-07-16 障害復旧装置および障害復旧方法ならびにプログラム
US10/893,443 US7620849B2 (en) 2003-07-16 2004-07-16 Fault recovery system and method for adaptively updating order of command executions according to past results

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003275107A JP4728565B2 (ja) 2003-07-16 2003-07-16 障害復旧装置および障害復旧方法ならびにプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008325500A Division JP4998455B2 (ja) 2008-12-22 2008-12-22 障害復旧装置および障害復旧方法ならびにプログラム

Publications (2)

Publication Number Publication Date
JP2005038223A true JP2005038223A (ja) 2005-02-10
JP4728565B2 JP4728565B2 (ja) 2011-07-20

Family

ID=34056114

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003275107A Expired - Fee Related JP4728565B2 (ja) 2003-07-16 2003-07-16 障害復旧装置および障害復旧方法ならびにプログラム

Country Status (2)

Country Link
US (1) US7620849B2 (ja)
JP (1) JP4728565B2 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007013527A1 (ja) * 2005-07-27 2007-02-01 Nec Corporation 管理支援システム、管理支援方法、および管理支援プログラム
JP2007026391A (ja) * 2005-07-21 2007-02-01 Nec Corp 運用管理ルール流用装置、運用管理ルール流用方法およびプログラム
JP2007172131A (ja) * 2005-12-20 2007-07-05 Nec Fielding Ltd 障害予測システム、障害予測方法、障害予測プログラム
JP2007304837A (ja) * 2006-05-11 2007-11-22 Nec Fielding Ltd 情報処理装置及び監視方法並びにプログラム
JP2008015596A (ja) * 2006-07-03 2008-01-24 Nec Fielding Ltd 管理サーバ及び修復プログラム送信方法
US7542877B2 (en) 2006-06-30 2009-06-02 Hitachi, Ltd. Computer system and method for controlling computer system
JP2009151456A (ja) * 2007-12-19 2009-07-09 Nec Corp 監視システム、ネットワーク監視装置及びサービス実行環境監視方法
JP2009181441A (ja) * 2008-01-31 2009-08-13 Nomura Research Institute Ltd 自動修復システム及び方法
JP2011186944A (ja) * 2010-03-10 2011-09-22 Nec Corp 物理装置制御システム
JP2012079212A (ja) * 2010-10-05 2012-04-19 Hitachi Systems Ltd 情報処理装置、および障害復旧方法
JP2013527957A (ja) * 2010-04-21 2013-07-04 マイクロソフト コーポレーション 複雑な分散アプリケーションにおける自動化されたリカバリ及びエスカレーション
JP2014124735A (ja) * 2012-12-27 2014-07-07 Seiko Epson Corp ロボット制御方法、ロボット制御装置、プログラム、及びロボット
JP2014184531A (ja) * 2013-03-25 2014-10-02 Seiko Epson Corp ロボット制御方法、ロボット制御装置、ロボット及びロボット制御プログラム
JP2019057139A (ja) * 2017-09-21 2019-04-11 日本電気株式会社 運用管理システム、監視サーバ、方法およびプログラム
JP2020149638A (ja) * 2019-03-15 2020-09-17 株式会社リコー 起動制御装置、画像形成装置、起動制御方法、およびプログラム
JPWO2021059396A1 (ja) * 2019-09-25 2021-04-01
JPWO2021172435A1 (ja) * 2020-02-28 2021-09-02
WO2023282024A1 (ja) * 2021-07-05 2023-01-12 三菱電機株式会社 システム設計支援装置、システム設計支援方法及びシステム設計支援システム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7464294B2 (en) * 2004-09-20 2008-12-09 International Business Machines Corporation Monitoring method with trusted corrective actions
WO2006111010A1 (en) * 2005-04-18 2006-10-26 Research In Motion Limited Centralized memory management in wireless terminal devices
US7702780B2 (en) * 2005-06-22 2010-04-20 International Business Machines Corporation Monitoring method, system, and computer program based on severity and persistence of problems
US8341260B2 (en) * 2006-08-16 2012-12-25 Oracle America, Inc. Method and system for identification of decisive action state of server components via telemetric condition tracking
US7788534B2 (en) * 2007-12-11 2010-08-31 International Business Machines Corporation Method for monitoring and managing a client device in a distributed autonomic computing environment
JP5141762B2 (ja) * 2008-03-31 2013-02-13 富士通株式会社 トラブル対処システム、方法およびそのためのプログラム
WO2009144825A1 (ja) * 2008-05-30 2009-12-03 富士通株式会社 復旧方法管理プログラム、復旧方法管理装置及び復旧方法管理方法
JP5453883B2 (ja) * 2009-03-31 2014-03-26 富士通株式会社 運用管理システム、プロセス解析装置、プロセス解析プログラムおよびプロセス解析方法
JP2012027869A (ja) * 2010-07-28 2012-02-09 Pfu Ltd 管理サーバ、情報処理装置、方法およびプログラム
US20140164851A1 (en) * 2011-11-04 2014-06-12 Simon Pelly Fault Processing in a System
US10289446B1 (en) 2015-09-15 2019-05-14 Amazon Technologies, Inc. Preserving web browser child processes by substituting a parent process with a stub process
US10101910B1 (en) * 2015-09-15 2018-10-16 Amazon Technologies, Inc. Adaptive maximum limit for out-of-memory-protected web browser processes on systems using a low memory manager
US10248321B1 (en) * 2015-09-15 2019-04-02 Amazon Technologies, Inc. Simulating multiple lower importance levels by actively feeding processes to a low-memory manager
US10474532B1 (en) * 2017-07-28 2019-11-12 EMC IP Holding Company LLC Automatic fault tolerance in a computing system providing concurrent access to shared computing resource objects

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02137035A (ja) 1988-11-18 1990-05-25 Hitachi Ltd 計算機システム故障診断装置
JPH02194437A (ja) 1989-01-24 1990-08-01 Nippondenso Co Ltd 知識ベースを用いた推論装置
JPH03144831A (ja) 1989-10-31 1991-06-20 Matsushita Electric Ind Co Ltd システム復旧方法
DE69228986T2 (de) * 1991-02-05 1999-08-12 Storage Technology Corp., Louisville, Col. Durch hierarchisch verteilte wissenbasierte maschine ausgelöste wartungs-vorrichtung und -verfahren
JPH0754474A (ja) 1993-08-13 1995-02-28 Matsushita Electric Works Ltd 断熱材の取り付け構造
US6182059B1 (en) * 1997-04-03 2001-01-30 Brightware, Inc. Automatic electronic message interpretation and routing system
US6145096A (en) * 1998-05-06 2000-11-07 Motive Communications, Inc. Method, system and computer program product for iterative distributed problem solving
US6742141B1 (en) * 1999-05-10 2004-05-25 Handsfree Networks, Inc. System for automated problem detection, diagnosis, and resolution in a software driven system
US6658598B1 (en) * 2000-02-17 2003-12-02 Motive Communications, Inc. Technical support chain automation with guided self-help capability using active content assertions
US6738928B1 (en) * 2000-06-19 2004-05-18 Hewlett-Packard Development Company, L.P. Method and expert system for analysis of crash dumps
US6877115B2 (en) * 2000-06-30 2005-04-05 Sinapse Graphic International Interactive on-line diagnostics for printing
US6681344B1 (en) * 2000-09-14 2004-01-20 Microsoft Corporation System and method for automatically diagnosing a computer problem
JP2002251295A (ja) 2000-12-18 2002-09-06 Fujitsu Ltd 情報処理装置、プログラムの障害対処方法、媒体、およびプログラム
JP2002342184A (ja) 2001-05-16 2002-11-29 Matsushita Electric Ind Co Ltd リトライ処理装置およびリトライ処理プログラム
US7194445B2 (en) 2002-09-20 2007-03-20 Lenovo (Singapore) Pte. Ltd. Adaptive problem determination and recovery in a computer system
US7089450B2 (en) 2003-04-24 2006-08-08 International Business Machines Corporation Apparatus and method for process recovery in an embedded processor system
US7209860B2 (en) * 2003-07-07 2007-04-24 Snap-On Incorporated Distributed expert diagnostic service and system
US7130770B2 (en) * 2004-09-09 2006-10-31 International Business Machines Corporation Monitoring method and system with corrective actions having dynamic intensities

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007026391A (ja) * 2005-07-21 2007-02-01 Nec Corp 運用管理ルール流用装置、運用管理ルール流用方法およびプログラム
WO2007013527A1 (ja) * 2005-07-27 2007-02-01 Nec Corporation 管理支援システム、管理支援方法、および管理支援プログラム
US7949906B2 (en) 2005-07-27 2011-05-24 Nec Corporation Management supporting system, management supporting method, and management supporting program
JP2007172131A (ja) * 2005-12-20 2007-07-05 Nec Fielding Ltd 障害予測システム、障害予測方法、障害予測プログラム
JP2007304837A (ja) * 2006-05-11 2007-11-22 Nec Fielding Ltd 情報処理装置及び監視方法並びにプログラム
US7542877B2 (en) 2006-06-30 2009-06-02 Hitachi, Ltd. Computer system and method for controlling computer system
JP2008015596A (ja) * 2006-07-03 2008-01-24 Nec Fielding Ltd 管理サーバ及び修復プログラム送信方法
JP2009151456A (ja) * 2007-12-19 2009-07-09 Nec Corp 監視システム、ネットワーク監視装置及びサービス実行環境監視方法
JP2009181441A (ja) * 2008-01-31 2009-08-13 Nomura Research Institute Ltd 自動修復システム及び方法
JP2011186944A (ja) * 2010-03-10 2011-09-22 Nec Corp 物理装置制御システム
JP2013527957A (ja) * 2010-04-21 2013-07-04 マイクロソフト コーポレーション 複雑な分散アプリケーションにおける自動化されたリカバリ及びエスカレーション
JP2012079212A (ja) * 2010-10-05 2012-04-19 Hitachi Systems Ltd 情報処理装置、および障害復旧方法
JP2014124735A (ja) * 2012-12-27 2014-07-07 Seiko Epson Corp ロボット制御方法、ロボット制御装置、プログラム、及びロボット
JP2014184531A (ja) * 2013-03-25 2014-10-02 Seiko Epson Corp ロボット制御方法、ロボット制御装置、ロボット及びロボット制御プログラム
JP2019057139A (ja) * 2017-09-21 2019-04-11 日本電気株式会社 運用管理システム、監視サーバ、方法およびプログラム
JP2020149638A (ja) * 2019-03-15 2020-09-17 株式会社リコー 起動制御装置、画像形成装置、起動制御方法、およびプログラム
JP7183885B2 (ja) 2019-03-15 2022-12-06 株式会社リコー 起動制御装置、画像形成装置、起動制御方法、およびプログラム
JPWO2021059396A1 (ja) * 2019-09-25 2021-04-01
WO2021059396A1 (ja) * 2019-09-25 2021-04-01 日本電信電話株式会社 異常対処支援装置、方法およびプログラム
JP7327493B2 (ja) 2019-09-25 2023-08-16 日本電信電話株式会社 異常対処支援装置、方法およびプログラム
JPWO2021172435A1 (ja) * 2020-02-28 2021-09-02
WO2021172435A1 (ja) * 2020-02-28 2021-09-02 日本電気株式会社 障害対処装置及びシステム、ルールリスト生成方法並びに非一時的なコンピュータ可読媒体
JP7380830B2 (ja) 2020-02-28 2023-11-15 日本電気株式会社 障害対処装置及びシステム、ルールリスト生成方法並びにプログラム
US11907053B2 (en) 2020-02-28 2024-02-20 Nec Corporation Failure handling apparatus and system, rule list generation method, and non-transitory computer-readable medium
WO2023282024A1 (ja) * 2021-07-05 2023-01-12 三菱電機株式会社 システム設計支援装置、システム設計支援方法及びシステム設計支援システム

Also Published As

Publication number Publication date
US7620849B2 (en) 2009-11-17
US20050015665A1 (en) 2005-01-20
JP4728565B2 (ja) 2011-07-20

Similar Documents

Publication Publication Date Title
JP4728565B2 (ja) 障害復旧装置および障害復旧方法ならびにプログラム
JP3826940B2 (ja) 障害復旧装置および障害復旧方法、マネージャ装置並びにプログラム
JP4313823B2 (ja) 障害対応システム及び障害対応方法
US8789045B2 (en) Rejuvenation processing device, rejuvenation processing system, computer program, and data processing method
CN103116532B (zh) 从嵌入式软件系统中的堆栈损坏故障中恢复
JP5093259B2 (ja) Ｂｉｏｓとｂｍｃとの間の通信パス強化方法、その装置及びそのプログラム
JP4239989B2 (ja) 障害復旧システム、障害復旧装置、ルール作成方法、および障害復旧プログラム
CN108255576B (zh) 虚拟机热迁移异常处理方法、装置和存储介质
JP7387469B2 (ja) 通信装置、監視サーバ及びログ収集方法
CN105335244B (zh) 用于应用程序恢复的方法
JP4998455B2 (ja) 障害復旧装置および障害復旧方法ならびにプログラム
CN112650624B (zh) 一种集群升级方法、装置、设备及计算机可读存储介质
JP6016128B2 (ja) 可用性モデル生成支援装置、可用性モデル生成支援方法、およびプログラム
JP2007249663A (ja) トランザクション装置、遅延障害検出装置及び方法、並びにプログラム
CN114490193B (zh) 一种面向异构冗余系统的恢复方法及装置
US11595244B2 (en) Recovery support apparatus, recovery support method and program
JP7327493B2 (ja) 異常対処支援装置、方法およびプログラム
CN109859755B (zh) 一种语音识别方法、存储介质及终端
JP7000797B2 (ja) 起動管理装置、起動管理システム、起動管理方法、および、起動管理プログラム
JP5018140B2 (ja) マルチプロセッサシステム、タスクスケジューリング方法およびタスクスケジューリングプログラム
JP7331935B2 (ja) 異常対処支援装置、方法及びプログラム
WO2024135322A1 (ja) 障害対処装置、システム、方法、及び、プログラム
WO2012056611A1 (ja) 可用性モデル生成装置
JP2001005693A (ja) 障害自動復旧システム、障害自動復旧方法および障害自動復旧用プログラムを記録した記録媒体
WO2007075128A3 (en) Gorbadey's method for ensuring the reliable operation of the program computing means

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080129

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081021

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20081120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20081121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081222

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20081226

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20090130

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20090508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110415

R150 Certificate of patent or registration of utility model

Ref document number: 4728565

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140422

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees