JP2011128781A - サーバ監視装置およびそのサーバ障害判定方法 - Google Patents

Abstract

【課題】サーバ装置の障害を運用者の能力や経験に依存することなく定量的かつ正確に判定できるサーバ監視装置およびそのサーバ障害判定方法を提供する。
【解決手段】サーバ監視装置２の監視部２１は、監視対象のサーバ装置１に向けて所定の周期で擬似サービス要求を繰り返し送信し、各擬似サービス要求に対してサーバ装置１から擬似サービス応答が返信されるまでの応答時間を繰り返し計測する。ログファイル記憶部２２には、応答時間の計測結果がログファイルとして蓄積される。統計解析部２３は、前記ログファイル記憶部２２からログファイルを読み出し、応答時間の測定結果から応答時間分布の分散を推定し、応答時間分布の分散の時間変化が、予め設定された閾値を越えると、監視対象のサーバ装置１に障害が発生したと判定する。
【選択図】図２

Description

本発明は、サーバ監視装置およびそのサーバ障害判定方法に係り、特に、サーバ監視装置から監視対象のサーバ装置へ向けて擬似サービス要求を送信し、その応答時間に基づいてサーバ装置の障害を判定する技術に関する。

ネットワーク上でサーバ監視装置からサーバ装置に向けてサービス要求を送出し、その応答時間を監視することによってサーバ装置の障害あるいは監視装置とサーバ装置との間の障害を検出する技術が特許文献１，２に開示されている。

特開２００２−２５９２４３号公報 特開２００４−１７１４９５号公報

上記の先行技術では、サービス要求に対する応答時間の監視に関して、一時的なトランザクション輻輳やサーバ装置環境の変化に起因する応答時間の変動と、サーバ障害に起因する応答時間の変化との判別が運用者の経験に委ねられていたため、正確な障害判定が困難であった。

すなわち、サービス要求に対する応答時間は、監視装置とサーバ装置とを結ぶ経路の輻輳状態や、サーバ装置の能力・運用形態等にも依存し、サーバ装置が正常に稼働中であってもサービス要求に対する応答時間にはばらつきが生じ得る。さらに、監視装置とサーバ装置との間では経路変更がしばしば起こり、これにより平均的な応答時間が変化する。
したがって、サーバ装置の障害を応答時間に基づいて判定するためには、運用者に高度な専門知識や豊富な経験が要求され、それでもなお、運用者によって障害判定の結果に違いが生じることがあった。

本発明の目的は、上記した従来技術の課題を解決し、サーバ装置の状態を定量的に把握することにより、サーバ装置の障害を運用者の能力や経験に依存することなく画一的かつ正確に判定できるサーバ監視装置およびそのサーバ障害判定方法を提供することにある。

上記の目的を達成するために、本発明は、サーバ装置へ送信した擬似サービス要求に対する応答時間に基づいて前記サーバ装置の障害を判定するサーバ監視装置において、以下のような手段を講じた点に特徴がある。

(1)サーバ装置へ擬似サービス要求を周期的に送信し、その応答時間を計測する手段と、応答時間の分散を推定する手段と、応答時間の分散の時間変化に基づいてサーバ障害を判定する手段とを具備した。

(2)サーバ障害を判定する手段は、応答時間の分散の時間変化を有意差検定により算出することを特徴とする。

(3)サーバ装置の障害情報を記録する手段と、サーバ障害の判定結果と障害情報とを照合する手段と、サーバ障害の判定結果と障害情報とが不一致であると、前記障害情報と同一の障害判定が下されるように有意差検定の有意水準値を更新する手段とを具備した。

本発明によれば、以下のような効果が達成される。

(1)サービス要求に対する応答時間の特性を、単純な遅延ではなく分散で代表し、応答時間の分散の時間変化に基づいてサーバ障害を判定するので、サーバ障害に起因する応答時間変動を、ネットワークの一時的な輻輳、サーバ装置の環境変化あるいは経路変更といった他の要因に起因する応答時間変動と区別して定量的かつ画一的に識別できるようになる。したがって、サービス要求に対する応答時間に基づいてサーバ障害を正確に判定できるようになる。

(2)サーバ障害を判定する手段は、応答時間の分散の時間変化を有意差検定により定量的に評価するので、サーバ障害を運用者の能力や経験とは無関係に画一的に判定できるようになる。

(3)サーバ障害の判定結果と障害情報と照合し、両者が不一致であると障害情報と同一の障害判定が下されるように有意差検定の有意水準値が更新されるので、この学習効果によりサーバ障害をさらに正確に判定できるようになる。

本発明が適用されるネットワークの構成を示したブロック図である。 本発明の第１実施形態に係るサーバ監視装置のブロック図である。 障害判定の方法を模式的に表現した図である。 障害判定の手順を示したフローチャートである。 本発明の第２実施形態に係るサーバ監視装置のブロック図である。 第２実施形態の動作を示したフローチャートである。 有意水準値αの更新方法を、χ2検定を例にして示した図である。

以下、図面を参照して本発明の実施形態について詳細に説明する。図１は、本発明が適用されるネットワークの構成を示したブロック図であり、障害判定の対象となるサーバ装置１と、このサーバ装置１に対して擬似サービス要求のメッセージを送信し、当該サーバ装置１から返信されるサービス応答のメッセージに基づいてサーバ装置１の障害を判定するサーバ監視装置２とから構成される。

図２は、本発明の第１実施形態に係る前記サーバ監視装置２の主要部の構成を示したブロック図である。監視部２１は、サーバ装置１に向けて所定の周期で擬似サービス要求を繰り返し送信し、各擬似サービス要求に対してサーバ装置１から擬似サービス応答が返信されるまでの応答時間を繰り返し計測する。前記擬似サービス要求の送信周期は、その予測される応答時間よりも十分に長い周期に設定されている。

ログファイル記憶部２２には、前記応答時間の計測結果がログファイルとして蓄積される。統計解析部２３は、前記ログファイル記憶部２２からログファイルを読み出し、各応答時間サンプルを統計的に解析して障害判定を行う。本実施形態では、後に詳述するように、応答時間の測定結果から応答時間分布の分散を推定し、その時間変化が予め設定された閾値を越えた場合に、監視対象のサーバ装置１に障害が発生したと判定される。

図３は、前記統計解析部２３による障害判定の方法を模式的に表現した図である。本実施形態では、現在時刻を終端とする第１のスライド時間窓w1、および当該第１のスライド時間窓w1よりも以前の第２のスライド時間窓w2に含まれる各応答時間サンプルがログファイル記憶部２２から読み出され、これら２つの時間窓w1，w2に含まれる応答時間サンプルから推定される２つの応答時間分布の分散σw1² ，σw2²に関して、統計学的な有意差検定が行われる。そして、有意差があれば監視対象のサーバ装置１に障害が発生したと判定される。

図４は、前記障害判定の手順を示したフローチャートであり、前記統計解析部２３により、擬似サービス要求に対する応答時間よりも十分に長い周期で、たとえば当該擬似サービス要求の送信周期と同一の周期で繰り返し実行される。

ステップＳ１では、第１のスライド時間窓w1に含まれる複数の応答時間サンプルがログファイル記憶部２２から読み出される。ステップＳ２では、第２のスライド時間窓w2に含まれる複数の応答時間サンプルがログファイル記憶部２２から読み出される。ステップＳ３では、各スライド時間窓w1，w2における応答時間サンプルの分散σw1² ，σw2²が推定される。ステップＳ４では、前記各スライド時間窓w1，w2の分散σw1² ，σw2²に関して有意差検定が行われる。上記のような２つの応答時間分布の分散に対する統計学的な有意差検定としては、(a)χ²（カイ二乗）検定、(b)F検定、および(c)t検定が有効である。

(a)χ²検定では、第１のスライド時間窓w1に含まれる応答時間サンプルから推定される応答時間分布の分散をσw1² 、第２のスライド時間窓w2に含まれる応答時間サンプルから推定される応答時間分布の分散をσw2²、第１のスライド時間窓w1に含まれる応答時間サンプル数をn、予め決められた有意水準値をαとし、次式(1)が成り立てば、ステップＳ５において、各分散σw1² ，σw2²に有意差が有ると判定される。

(b)F検定では、第１のスライド時間窓w1に含まれる応答時間サンプルから推定される応答時間分布の分散をσw1² 、第２のスライド時間窓w2に含まれる応答時間サンプルから推定される応答時間分布の分散をσw2²、第１のスライド時間窓w1に含まれる応答時間サンプル数をm、第２のスライド時間窓w2に含まれる応答時間サンプル数をn、予め決められた有意水準値をαとし、次式(2)が成り立てば、ステップＳ５において、各分散σw1² ，σw2²に有意差が有ると判定される。

(c)t検定では、第１のスライド時間窓w1に含まれる応答時間サンプルから推定される応答時間分布の平均および標準偏差をそれぞれμw1，σw1、第２のスライド時間窓w2に含まれる応答時間サンプルから推定される応答時間分布の平均をμw2、第１のスライド時間窓w1に含まれる応答時間サンプル数をn、予め決められた有意水準値をαとし、次式(3)が成り立てば、ステップＳ５において、各応答時間分布に有意差が有ると判定される。

前記ステップＳ５において有意差ありと判定されると、ステップＳ６では、監視対象のサーバ装置１に障害が発生したと判定される。ステップＳ７では、第１のスライド時間窓w1に含まれる最新の応答時間サンプルが前記ログファイル記憶部２２から破棄される。すなわち、前回の監視周期で障害判定がなされておらず、今回の監視周期で障害判定がなされていれば、今回の監視周期で新たに追加された最新の応答時間サンプルの応答遅延が原因で障害判定を下された可能性が高い。
そこで、本実施形態では障害判定の原因となったと推定される最新の応答時間サンプルが、後に第２のスライド時間窓w2における応答時間サンプルとして利用されないようにするために、当該最新の応答時間サンプルが破棄される。

図５は、本発明の第２実施形態に係る前記サーバ監視装置２の主要部の構成を示したブロック図であり、前記と同一の符号は同一または同等部分を表している。

上記の第１実施形態では、有意差検定における有意水準値αが予め固定的に定められていたが、本実施形態では、有意差検定に基づく判定結果と実際の障害情報の記録との相関に基づいて前記有意水準値αが適応的に更新されるようにした点に特徴がある。

障害判定データベース２４には、前記統計解析部２３による障害判定の結果が、その時刻情報と共に蓄積される。障害データベース２５には、監視対象のサーバ装置１に関して別途に検知された障害情報、あるいはユーザや管理者から報告された障害情報が、その時刻情報と共に記録されている。

有意水準学習部２６は、前記障害判定データベース２４に蓄積されている障害判定結果と前記障害データベース２５に記録されている障害情報とを照合する照合部２６ａと、この照合結果に基づいて前記統計解析部２３における有意差検定の有意水準値αを適応的に更新する更新部２６ｂとを含む。

図６は、前記有意水準学習部２６の動作を示したフローチャートである。ステップＳ２１では、前記障害判定データベース２４から、前記有意差検定に基づく障害判定結果の一つが取得される。ステップＳ２２では、この障害判定結果が参照され、障害発生の判定が下されていればステップＳ２３へ進む。ステップＳ２３では、前記障害データベース２５から障害情報が取得される。ステップＳ２４では、この障害情報に基づいて、対応する時間帯に障害が発生していたか否かが判定される。障害が実際に発生していれば前記ステップＳ２１へ戻り、参照する障害判定結果を切り替えて上記の処理が繰り返される。

これに対して、前記ステップＳ２４において実際には障害が発生していないと判定されるとステップＳ２５へ進み、今後は同じ状況下で障害判定が下されることがないように、前記障害判定を下した有意差検定の有意水準値αが減ぜられる。すなわち、障害情報と同一の障害判定が下されるように有意差検定の有意水準値αが更新される。

図７は、前記有意水準値αの更新方法を、χ2検定を例にして模式的に示した図であり、同図(a)は更新前の有意水準値αを示している。ここで、上記のように有意差検定に基づいて障害発生の判定が下されているにもかかわらず実際には障害が発生していなければ、同図(b)に示したように有意水準値αが減ぜられる。ステップＳ２６では、前記有意水準値αの更新結果が統計解析部２３へ通知されて以降の有意差検定に用いられる。

一方、前記ステップＳ２２において、今回の判定結果において障害発生の判定が下されていなければステップＳ２７へ進む。ステップＳ２７では、前記障害データベース２５から障害情報が取得される。ステップＳ２８では、この障害情報に基づいて、対応する時間帯に障害が発生していたか否かが判定され、実際にも障害が発生していなければ前記ステップＳ２１へ戻り、参照する障害判定結果を切り替えて上記の処理が繰り返される。

これに対して、前記ステップＳ２８において、実際には障害が発生していたと判定されるとステップＳ２９へ進み、今後は障害発生が見逃されることなく確実に判定されるように、前記障害判定を下した有意差検定の有意水準値αが増される。すなわち、図７(c)に示したように、障害情報と同一の障害判定が下されるように有意水準値αが更新される。ステップＳ２６では、前記有意水準値αの更新結果が統計解析部２３へ通知されて以降の有意差検定に用いられる。

なお、前記有意水準学習部２６は、上記のような有意水準値αの更新処理を予め複数の有意差検定手法（本実施形態では、χ²検定、F検定およびt検定）に対して実施し、更新後の有意水準値αが所定の上下限値から外れてしまうような検定手法や、サーバ障害を正確に判定できる適正値に有意水準値αが収束しないような検定手法を学習し、これらの検定手法を実際の運用時には利用しないようにしても良い。

さらに、前記有意水準学習部２６は、上記のような有意水準値αの更新処理を、検定手法ごとにスライド時間窓の長さや時間間隔を異ならせて実施することにより、これらの組み合わせに関して、より適正な解を学習できるようになる。

上記の各実施形態では、１台の監視装置２で１台のサーバ装置１を監視するものとして説明したが、本発明はこれのみに限定されるものではなく、例えば、１台の監視装置２から複数台のサーバ装置１へ擬似サービス要求を送信して擬似サービス応答を受信するようにしてもよい。そして、第２のスライド時間窓w2に関しては、全てのサーバ装置１の応答時間サンプルに基づいて応答時間分布およびその分散σw2²を推定する一方、第１のスライド時間窓w1に関しては、サーバ装置ごとに応答時間分布およびその分散σw1²を推定し、両者の有意差検定を行うようにしても良い。
このようにすれば、第２のスライド時間窓w2の応答時間サンプル数を増やすことができ、その結果、応答時間分布の推定精度を向上させることができるので、より正確な障害判定が可能になる。

また、上記の各実施形態では、監視装置２とサーバ装置１とがネットワーク経由で接続されるものとして説明したが、本発明はこれのみに限定されるものではなく、ネットワークを経由させずに直接接続されるようにしても良い。このようにすれば、ネットワークの輻輳を意識することなくサーバ障害に起因した応答時間の分散のみを得られるようになる。

１…サーバ装置，２…サーバ監視装置，２１…監視部，２２…ログファイル記憶部，２３…統計解析部，２４…障害判定データベース，２５…障害データベース，２６…有意水準学習部

Claims (7)

1. サーバ装置へ送信した擬似サービス要求に対する応答時間に基づいて前記サーバ装置の障害を判定するサーバ監視装置において、
   サーバ装置へ擬似サービス要求を周期的に送信し、その応答時間を計測する手段と、
   前記応答時間の分散を推定する手段と、
   前記応答時間の分散の時間変化に基づいてサーバ障害を判定する手段とを具備したことを特徴とするサーバ監視装置。
2. 前記応答時間の分散を推定する手段は、第１のスライド時間窓に含まれる応答時間の分布および当該第１のスライド時間窓よりも前の第２のスライド時間窓に含まれる応答時間の分布を推定し、
   前記サーバ障害を判定する手段は、第１のスライド時間窓における応答時間分布の分散と第２のスライド時間窓における応答時間分布の分散との変化量に基づいてサーバ障害の有無を判定することを特徴とする請求項１に記載のサーバ監視装置。
3. 前記サーバ障害を判定する手段は、前記第１のスライド時間窓における応答時間の分散と第２のスライド時間窓における応答時間の分散との有意差検定の結果に基づいてサーバ障害の有無を判定することを特徴とする請求項２に記載のサーバ監視装置。
4. 前記有意差検定が、χ²検定、F検定およびt検定のいずれかであることを特徴とする請求項３に記載のサーバ監視装置。
5. 前記サーバ装置の障害情報を記録する手段と、
   前記サーバ障害の判定結果と前記障害情報とを照合する手段と、
   前記サーバ障害の判定結果と前記障害情報とが不一致であると、前記障害情報と同一の障害判定が下されるように前記有意差検定の有意水準値を更新する手段とを具備したことを特徴とする請求項３または４に記載のサーバ監視装置。
6. 複数のサーバ装置へ擬似サービス要求を送信し、その応答時間に基づいて各サーバ装置の障害を判定することを特徴とする請求項１ないし５のいずれかに記載のサーバ監視装置。
7. サーバ監視装置からサーバ装置へ送信した擬似サービス要求に対する応答時間に基づいて前記サーバ装置の障害を判定するサーバ障害判定方法において、
   サーバ装置へ擬似サービス要求を周期的に送信し、その応答時間を計測する手順と、
   前記応答時間の分散を推定する手順と、
   前記応答時間の分散の時間変化に基づいてサーバ障害を判定する手順とを含むことを特徴とするサーバ障害判定方法。

Images