JP2011203911A - 障害情報収集システムと方法およびプログラム - Google Patents

Abstract

【課題】発生した障害の早急な復旧や根本原因解明のため、障害発生時の情報収集および情報の整理作業、原因箇所の特定作業の効率を上げる。
【解決手段】システム障害情報収集システム１０は、ログ収集機能１０２により、複数の監視対象機器１ａ〜１ｄ（情報処理機器）において障害発生時に生成されるログ情報から、予め定められた障害メッセージに合致する情報を含むログ情報を特定して収集すると共に、各監視対象機器１ａ〜１ｄにおいて障害発生時に生成されるログ情報から、予め定められた検索用語を含むログ情報を特定して収集し、ログ表示機能１０３により、ログ収集機能１０２が収集したログ情報をログ表示画面１０６に表示する。
【選択図】図１

Description

本発明は、コンピュータ装置からなる情報処理システムにおける障害発生時の障害原因の追求技術に係り、特に、障害原因の追求に必要なログ情報を効率的に収集するのに好適な技術に関するものである。

情報処理システムにおける障害が発生すると、その度に、原因追求のため様々なログを収集し、時系列等で並べる作業が必要となる。また、ログから障害に関するキーワードを検索する際に、別の文言で記載されている類似のキーワードも１つ１つ検索する必要がある。

このような情報を効率的に収集することを可能とする従来技術として、例えば、特許文献１に記載の技術がある。この特許文献１においては、障害メッセージを階層インデックスに基づいて階層表示する技術が記載されている。これによって、発生した障害に関連するコンポーネントを容易に特定することができ、必要な情報を収集する作業の効率化を図ることができる。

しかしながら、この技術においては、必要なログは手動で収集する必要があるため、収集には時間を要する。さらに、収集した情報の整理やログの検索において、類似のキーワードも検索することができず、原因の特定作業にも時間を要するという問題が残る。

特開２００１−２５６０３２号公報

解決しようとする問題点は、従来の技術では、コンピュータ処理システムにおける障害発生時の障害の原因分析において、必要な情報を収集して整理する作業を全て手動で行っている点、および、類似用語の検索を１つ１つ行っている点である。

本発明の目的は、これら従来技術の課題を解決し、発生した障害の早急な復旧や根本原因解明のため、障害発生時の情報収集および情報の整理作業、原因箇所の特定作業の効率を上げることを実現することが可能である。

上記目的を達成するため、本発明においては、コンピュータ処理を実行する情報処理システムにおいて発生した障害の原因究明に必要となるログ情報を、障害メッセージの内容に基づいて自動的に収集し、時系列および構成機器のアドレス別等で整理して表示し、さらに、整理して表示した各ログに対して構成情報等の類似用語を含めて検索を行うことを特徴とする。

本発明によれば、障害メッセージの内容から自動でログを収集・整理すること、および、類似用語の検索を自動で行うことが可能となり、障害の原因追及における情報収集および情報整理、原因特定作業の効率を向上させることができ、障害からの復旧や根本原因の解明に要する時間を短縮することが可能となる。

本発明に係るシステム障害情報収集システムの構成例を示すブロック図である。 図１におけるシステム障害情報収集システムの本発明に係る第１の処理動作例を示すフローチャートである。 図１におけるシステム障害情報収集システムの本発明に係る第２の処理動作例を示すフローチャートである。 図１におけるシステム障害情報収集システムの本発明に係る第３の処理動作例を示すフローチャートである。 図１におけるシステム障害情報収集システムの本発明に係る第４の処理動作例を示すフローチャートである。 図１における事例ＤＢのテーブル構成例を示す説明図である。 図１における検索ＤＢのテーブル構成例を示す説明図である。 図１におけるログＤＢのテーブル構成例を示す説明図である。 図１における構成ＤＢのテーブル構成例を示す説明図である。

以下、図を用いて本発明を実施するための形態例を説明する。図１において、１ａ〜１ｄは監視対象機器、２はデータベースサーバ（図中および以降「ＤＢサーバ」と記載）、３は利用者端末（図中「本ツール利用者」と記載）、１０は本発明に係るシステム障害情報収集システム（図中「ログ収集システム」と記載）であり、このシステム障害情報収集システム１０は、ＬＡＮ等のネットワークを介して監視対象機器１ａ〜１ｄに接続されている。

図１における監視対象機器１ａ〜１ｄとＤＢサーバ２、利用者端末３およびシステム障害情報収集システム１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や主メモリ、表示装置、入力装置、外部記憶装置からなるコンピュータ構成からなり、光ディスク駆動装置等を介してＣＤ−ＲＯＭ等の記憶媒体に記録されたプログラムやデータを外部記憶装置内にインストールした後、この外部記憶装置から主メモリに読み込みＣＰＵで処理することにより、各処理部の機能を実行する。

例えば、システム障害情報収集システム１０は、プログラムされたコンピュータ処理を実行する手段として、監視機能１０１、ログ収集機能１０２、ログ表示機能１０３、構成機器別表示機能１０４、キーワード検索機能１０５を有する。

ＤＢサーバ２は、利用者端末３から入力される設定情報を、事例ＤＢ１５１、検索ＤＢ１５２、ログＤＢ１５３、構成ＤＢ１５４として記憶管理する。

図６においては、事例ＤＢ１５１の事例定義テーブル６０の項目を示しており、この事例定義テーブル６０は、障害メッセージの内容と収集するログとの関連を定義するテーブルである。障害メッセージの項目名がerror_message６０２であり、収集するログの項目名がcollect_logs６０３であり、また、各関連付けを一意に表すcase_id６０１と説明を記載するcomment６０４を管理する。

図７においては、検索ＤＢ１５２の検索用語定義テーブル７０の項目を示しており、この検索用語定義テーブル７０は、収集するログを取捨選択する為に用いる検索用語を定義するテーブルである。検索用語を定義する項目名がsearch_words７０２であり、検索用語を一意に表すsearch_id７０１を管理する。

図８は、ログＤＢ１５３のログ定義テーブル８０の項目を示しており、このログ定義テーブル８０は、ログを時系列に表示する為に、各ログの時刻フィールドを定義するテーブルである。収集したログがどのレコードに合致するかを判定する為に定義するログファイル名の項目名がlog_file_name８０２であり、ログの区切り形式（カンマやタブ等）を定義する項目名がend_point_kind８０３であり、時刻が記載されているフィールドを示す項目名がtime_field８０４である。また、これらの各定義のレコードを一意に表すlog_id８０１を管理する。

図９は、構成ＤＢ１５４の構成定義テーブル９０の項目を示しており、構成定義テーブル９０は、ログ表示画面のキーワード検索において、入力値に類似した用語も含めて検索する為に、類似用語や構成情報を定義するテーブルである。類似の単語を定義する項目名がsimilar_words９０２であり、類似用語を一意に表すconf_id９０１を管理する。

これらの事例ＤＢ１５１、検索ＤＢ１５２、ログＤＢ１５３、構成ＤＢ１５４で記憶管理している各情報を用いて、図１に示す構成からなるシステム障害情報収集システム１０は、監視対象機器１ａ〜１ｄにおいて発生した障害の原因究明に必要となるログ情報を、障害メッセージの内容に基づいて自動的に収集し、時系列および構成機器のアドレス別等で整理して表示し、さらに、整理して表示した各ログに対して構成情報等の類似用語を含めて検索を行う。

すなわち、システム障害情報収集システム１０は、ログ収集機能１０２により、複数の監視対象機器１ａ〜１ｄ（情報処理機器）において障害発生時に生成されるログ情報から、予め定められた障害メッセージに合致する情報を含むログ情報を特定して収集すると共に、各監視対象機器１ａ〜１ｄにおいて障害発生時に生成されるログ情報から、予め定められた検索用語を含むログ情報を特定して収集し、ログ表示機能１０３により、ログ収集機能１０２が収集したログ情報をログ表示画面１０６に表示する。

また、ログ収集機能１０２は、障害発生したアプリケーションのフォルダを検索して、当該障害の発生時刻から予め定められた時間内に更新されたログ情報を抽出し、この抽出したログ情報から、予め定められた検索用語を含むログ情報を特定して収集する。

また、ログ表示機能１０３は、収集されたログ情報を、各ログ情報の発生時刻に基づき時系列に並べてログ表示画面１０６に表示する。

また、システム障害情報収集システム１０は、構成機器別表示機能１０４により、操作者からの指示があれば、画面表示した全てのログ情報の生成元の各情報処理機器を特定し、特定した各情報処理機器の識別情報をログ表示画面１０６に表示する。

また、システム障害情報収集システム１０は、キーワード検索機能１０５により、ログ表示画面１０６に表示したログ情報から、操作者から入力された検索キーワードを含むログ情報を特定し、特定したログ情報をログ表示画面１０６において強調表示すると共に、
ログ表示画面１０６に画面表示したログ情報から、操作者から入力された検索キーワードの類似用語を含むログ情報を特定し、特定したログ情報をログ表示画面１０６において強調表示する。

以下、このようなシステム障害情報収集システム１０の本発明に係る処理動作の詳細を説明する。

システム障害情報収集システム１０は、監視機能１０１により、監視対象機器１ａ〜１ｄにおける指定のログの発生を常時監視し、ログにメッセージが書きこまれた場合、ログ収集機能１０２を呼び出す。

ログ収集機能１０２は、障害メッセージおよび収集するログが定義されている事例ＤＢ１５１を参照し、発生した障害メッセージの内容が事例ＤＢ１５１に定義されているか否かを判断する。

定義されている場合、指定のログを監視対象機器１から収集し、ログ表示機能１０３へ渡す。定義されていない場合は、収集するログを絞り込む為の検索用語が定義されている検索ＤＢ１５２を参照し、収集するログの絞り込みを行った上で監視対象機器１ａ〜１ｄからログを収集し、ログ表示機能１０３へ渡す。

ログ表示機能１０３は、各ログの時刻の記述場所（フィールド）が定義されているログＤＢ１５３を参照し、受信したログを時系列に並べて、ログ表示画面１０６に表示する。

構成機器別表示機能１０４は、各ログの出力ホスト名が定義されているログＤＢ１５３を参照し、表示しているログを、構成機器のアドレス別に時系列で、ログ表示画面１０６に表示する。

キーワード検索機能１０５は、入力されたキーワードを元に類似用語が定義されている構成ＤＢ１５４を参照し、シソーラスとして定義した類似用語を含めて、ログ表示画面１０６に反転表示する。

図２を用いて、ログ収集機能１０２の処理動作を説明する。

図１の監視機能１０１からエラー発生通知を受信した場合、事例検索（ステップ２０１）の処理において、障害メッセージと収集するログが定義されている事例ＤＢ２５１におけるテーブル２５１ａを参照し、発生した障害メッセージが定義されているか否かを判定する。

定義されていた場合、指定ログ収集（ステップ２０２）の処理において、合致した事例に定義したログを収集し、図１のログ表示機能１０３へ渡す。定義されていない場合は、収集するログを絞り込む為に、APフォルダ検索（ステップ２０３）の処理において、エラーが発生したAPのフォルダを検索する。無ければ表示しない。

有れば、ログファイル検索（ステップ２０４）の処理において、ステップ２０３のAPフォルダ検索処理において該当したAPフォルダ下のエラー発生時刻から１時間以内に更新されたログを抽出する。１つも無ければ表示しない。

あれば、検索ＤＢの全レコードを比較する処理（ステップ２０５〜２０５ａ）処理を繰り返す。この繰り返し処理では、障害内容と検索ＤＢ（ステップ２０６）の処理において、検索ＤＢ２５２におけるテーブル２５２ａの検索用語を参照し、障害メッセージの内容に各検索用語レコードに定義した複数の用語のうち、何れかの単語が含まれているか否かを判定し、含まれていた場合、該当したレコードの番号を保持する（ステップ２０７）。

ステップ２０５〜２０５ａでの繰り返し処理の後、ステップ２０４の処理で抽出した全てのログに対して（ステップ２０８〜２０８ａ）、および、ステップ２０７の処理で保持した検索ＤＢの全レコードに対して（ステップ２０９〜２０９ａ）、ログ内容と検索ＤＢ２５２におけるテーブル２５２ａの検索用語を照合し、合致するログが存在するか否かを判別し（ステップ２１０）、あれば、当該ログを収集対象ログとする（ステップ２１１）。

すなわち、ステップ２１０での処理においては、先ほど抽出した各ログの内容に対して障害メッセージに含まれていた検索用語レコードの何れかの単語が記載されているか否かを検索し、記載されていた場合は、ステップ２１１での処理で、収集対象ログとして図１のログ表示機能１０３へ渡す。ログ表示機能１０３では、図３に示す処理により、収集対象のログを時系列で表示する。

このログ表示機能１０３の処理動作を、図３を用いて説明する。

ログ表示機能１０３は、図１のログ収集機能１０２から収集したログを受信すると、受信した全てのログに対しての以下の検索処理を繰り返し実行する（ステップ３０１〜３０１ａ）。まず、ログＤＢ検索（ステップ３０２）の処理において、各ログにおける時刻のフィールドが記載されているログＤＢ３５１におけるテーブル３５１ａを参照し、ログファイル名を基に、合致するレコードを検索する。

そして、ログの全行に対しての時刻検索を繰り返（ステップ３０３〜３０３ａ）し、まず、時刻抽出（ステップ３０４）の処理において、ログの各行に対してログＤＢ検索３０２にて合致したレコード内の時刻フィールドの項目を元に時刻を抽出し、次に、時系列表示（ステップ３０５）の処理において、抽出した時刻を元に昇順（時系列）に並べる。このように、時系列状に並んだログ一覧を表示させる。

次に、図４を用いて、構成機器別表示機能１０４の処理動作を説明する。

構成機器別表示機能１０４は、利用者が、ログ表示画面１０６において、図示していない構成機器別表示ボタンを押下すると、表示している全てのログに対して検索を行い以下の処理を繰り返し実行する（ステップ４０１〜４０１ａ）。

まず、ログＤＢ検索（ステップ４０２）の処理において、各ログにおける時刻のフィールドと各ログの出力ホスト名が記載されているログＤＢ４５１におけるテーブル４５１ａを参照し、ログファイル名を元に合致するレコードを検索し、次に、出力ホスト抽出（ステップ４０３）の処理において、ステップ４０２でのログＤＢ検索処理の結果で合致したレコード内のホスト名の項目を抽出する。

そして、ログの全行に対して時刻の検索を行い、以下の処理を繰り返し実行する（ステップ４０４〜４０４ａ）。まず、時刻抽出（ステップ４０５）の処理において、ログの各行に対して、ステップ４０２のログＤＢ検索処理で合致したレコード内の時刻フィールドの項目を基に時刻を抽出し、次に、時系列表示（ステップ４０６）の処理において、ステップ４０５での時刻抽出処理で抽出した時刻を、ステップ４０３での出力ホスト抽出処理で抽出した各ホスト毎に昇順（時系列）に並べる。このようにして、時系列状に並んだログ一覧を表示させる。

次に、図５を用いて、キーワード検索機能１０５の処理動作を説明する。

キーワード検索機能１０５は、利用者が、ログ表示画面１０６においてキーワード項目に値を入力して図示していない表示ボタンを押下すると、構成ＤＢにおける全レコードを比較して以下の処理を繰り返し実行する（ステップ５０１〜５０１ａ）。

まず、入力値と構成ＤＢ（ステップ５０２）の処理において、類似用語が定義されている構成ＤＢ５５１におけるテーブル５５１ａを参照し、入力値と合致するレコードの有無を判別し、合致したレコードの番号を保持する（ステップ５０３）。

ステップ５０１〜５０１ａの処理の繰り返しの結果、ステップ５０３の処理で保持したレコードが存在するか否かを判別する（ステップ５０４）。その結果、存在しない場合、すなわち、入力値が定義されていなかった場合には、表示しているログに対して入力値のみを検索し、該当行のみを反転表示させ、また、存在する場合、すなわち、入力値が構成ＤＢ５５１におけるテーブル５５１ａに定義されていた場合には、ログに対して類似用語を含めて検索を行い、用語が存在する行を反転表示する。

以上、図１〜図９を用いて説明したように、本例のシステム障害情報収集システム１０では、コンピュータ処理を実行する情報処理システムである監視対象機器１ａ〜１ｄにおいて発生した障害の原因究明に必要となるログ情報を、障害メッセージの内容に基づいて自動的に収集し、時系列および構成機器のアドレス別等で整理して表示し、さらに、整理して表示した各ログに対して構成情報等の類似用語を含めて検索を行う。

すなわち、ネットワークで接続された複数のコンピュータ装置である監視対象機器１ａ〜１ｄから発生した障害メッセージの内容を基に、障害原因の分析に必要な追加情報を特定し、自動収集する。

また、自動収集した複数の追加情報を時系列に並び替えて表示すると共に、構成機器のアドレスでメッセージを収集。表示する。また、構成機器のアドレス情報または同様の意味を指す類似用語をシソーラスとして定義することで、検索時にシソーラスとして定義した用語を含めて検索する。

このように、本例のシステム障害情報収集システム１０によれば、障害メッセージの内容から自動でログを収集・整理すること、および、類似用語の検索を、自動で行うことが可能となり、障害の原因追及における情報収集および情報整理、原因特定作業の効率を向上させることができ、障害からの復旧や根本原因の解明に要する時間を短縮することが可能となる。

尚、本発明は、図１〜図９を用いて説明した例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能である。例えば、本例のシステムは、各種業務運用処理サービスを提供するサーバシステムを運用・管理するデータセンタ等の障害復旧作業に利用することができる。

また、本例のコンピュータ構成に関しても、キーボードや光ディスクの駆動装置の無いコンピュータ構成としても良い。また、本例では、光ディスクを記録媒体として用いているが、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）等を記録媒体として用いることでも良い。また、プログラムのインストールに関しても、通信装置を介してネットワーク経由でプログラムをダウンロードしてインストールすることでも良い。

１ａ〜１ｄ：監視対象機器、２：ＤＢサーバ、３：利用者端末、１０：システム障害情報収集システム、６０：事例定義テーブル、６０１： case_id（各関連付けを一意に表す識別情報）、６０２：error_message（障害メッセージの項目名）、６０３：collect_logs（収集するログの項目名）、６０４：comment（説明を記載する項目）、７０：検索用語定義テーブル、７０１：search_words（検索用語を定義する項目名）、７０２：search_id（検索用語を一意に表す識別情報）、８０：ログ定義テーブル、８０１：log_id（定義のレコードを一意に表す識別情報）、８０２：log_file_name（定義ログファイル名の項目名）、８０３：end_point_kind（ログの区切り形式定義項目名）、８０４：time_field（時刻フィールド項目名）、９０：構成定義テーブル、９０１：conf_id（類似用語を一意に表す識別情報）、９０２：similar_words（類似単語定義項目名）、１０１：監視機能、１０２：ログ収集機能、１０３：ログ表示機能、１０４：構成機器別表示機能、１０５：キーワード検索機能、１０６：ログ表示画面、１５１：事例ＤＢ、１５２：検索ＤＢ、１５３：ログＤＢ、１５４：構成ＤＢ、２５１：事例ＤＢ、２５１ａ：事例ＤＢのテーブル、２５２：検索ＤＢ、２５２ａ：検索ＤＢのテーブル、３５１，４５１：ログＤＢ、３５１ａ，４５１ａ：ログＤＢのテーブル、５５１：構成ＤＢ、５５１ａ：構成ＤＢのテーブル。

Claims (11)

1. 複数の情報処理機器において生成されるログ情報を、コンピュータ処理により収集する障害情報収集システムであって、
   プログラムされたコンピュータ処理を実行する手段として、
   上記複数の情報処理機器において障害発生時に生成されるログ情報から、予め定められた障害メッセージに合致する情報を含むログ情報を特定して収集する第１の手段と、
   上記複数の情報処理機器において障害発生時に生成されるログ情報から、
   予め定められた検索用語を含むログ情報を特定して収集する第２の手段と、
   収集したログ情報を画面表示する第３の手段と
   を有することを特徴とする障害情報収集システム。
2. 請求項１に記載の障害情報収集システムであって、
   プログラムされたコンピュータ処理を実行する手段として、
   障害発生したアプリケーションのフォルダを検索して、当該障害の発生時刻から予め定められた時間内に更新されたログ情報を抽出し、
   該抽出したログ情報から、上記予め定められた検索用語を含むログ情報を特定して収集する第４の手段
   を有することを特徴とする障害情報収集システム。
3. 請求項１もしくは請求項２のいずれかに記載の障害情報収集システムであって、
   上記第３の手段は、収集されたログ情報を、各ログ情報の発生時刻に基づき時系列に並べて画面表示することを特徴とする障害情報収集システム。
4. 請求項１から請求項３のいずれかに記載の障害情報収集システムであって、
   プログラムされたコンピュータ処理を実行する手段として、
   操作者からの指示があれば、上記画面表示した全てのログ情報の生成元の各情報処理機器を特定し、特定した各情報処理機器の識別情報を画面表示する第５の手段を有することを特徴とする障害情報収集システム。
5. 請求項１から請求項４のいずれかに記載の障害情報収集システムであって、
   プログラムされたコンピュータ処理を実行する手段として、
   上記画面表示したログ情報から、操作者から入力された検索キーワードを含むログ情報を特定し、特定したログ情報を強調表示する第６の手段と、
   上記画面表示したログ情報から、操作者から入力された検索キーワードの類似用語を含むログ情報を特定し、特定したログ情報を強調表示する第７の手段と
   を有することを特徴とする障害情報収集システム。
6. コンピュータを、請求項１から請求項５のいずれかに記載の障害情報収集システムにおける各手段として機能させるためのプログラム。
7. 複数の情報処理機器において生成されるログ情報を、コンピュータ処理により収集するシステムの障害情報収集方法であって、
   プログラムされたコンピュータ処理を実行する手段として、第１の手段と第２の手段および第３の手段を具備し、
   上記第１の手段は、
   上記複数の情報処理機器において障害発生時に生成されるログ情報から、予め定められた障害メッセージに合致する情報を含むログ情報を特定して収集する処理を実行し、
   上記第２の手段は、
   上記複数の情報処理機器において障害発生時に生成されるログ情報から、予め定められた検索用語を含むログ情報を特定して収集する処理を実行し、
   上記第３の手段は、収集したログ情報を画面表示する処理を実行する
   ことを特徴とする障害情報収集方法。
8. 請求項７に記載の障害情報収集方法であって、
   プログラムされたコンピュータ処理を実行する手段として、第４の手段を具備し、
   該第４の手段は、
   障害発生したアプリケーションのフォルダを検索して、当該障害の発生時刻から予め定められた時間内に更新されたログ情報を抽出し、
   該抽出したログ情報から、上記予め定められた検索用語を含むログ情報を特定して収集する処理を実行する
   ことを特徴とする障害情報収集方法。
9. 請求項７もしくは請求項８のいずれかに記載の障害情報収集方法であって、
   上記第３の手段は、収集されたログ情報を、各ログ情報の発生時刻に基づき時系列に並べて画面表示する処理を実行することを特徴とする障害情報収集方法。
10. 請求項７から請求項９のいずれかに記載の障害情報収集方法であって、
    プログラムされたコンピュータ処理を実行する手段として、第５の手段を具備し、
    該第５の手段は、
    操作者からの指示があれば、上記画面表示した全てのログ情報の生成元の各情報処理機器を特定し、特定した各情報処理機器の識別情報を画面表示する処理を実行することを特徴とする障害情報収集方法。
11. 請求項７から請求項１０のいずれかに記載の障害情報収集方法であって、
    プログラムされたコンピュータ処理を実行する手段として、第６の手段と第７の手段を具備し、
    上記第６の手段は、
    上記画面表示したログ情報から、操作者から入力された検索キーワードを含むログ情報を特定し、特定したログ情報を強調表示する処理を実行し、
    上記第７の手段は、
    上記画面表示したログ情報から、操作者から入力された検索キーワードの類似用語を含むログ情報を特定し、特定したログ情報を強調表示する処理を実行する
    ことを特徴とする障害情報収集方法。

Images