JP2017123048A - 並列処理装置、ジョブ監視方法及びジョブ監視プログラム - Google Patents

Abstract

【課題】計算ノードに異常が発生した場合に、ジョブの無駄な再実行を防ぐこと。
【解決手段】モデル作成部２１ｆが、過去のデータに基づいて重度評価モデルを作成し、重度評価モデルに関する情報をモデル情報記憶部２１ｄに格納する。そして、異常重度判定部２１ｅが、異常なサービス４１が動作する計算ノード４から異常なサービス４１の状態を取得する。また、異常重度判定部２１ｅは、異常なサービス４１が動作する計算ノード４で実行されているジョブ４２の規模及び実行時間をジョブスケジューラ３２から取得する。そして、異常重度判定部２１ｅは、異常なサービス４１の状態、実行ジョブ４２の規模及び実行時間と重度評価モデルとを用いて実行ジョブ４２の継続可否を判定する。
【選択図】図３

Description

本発明は、並列処理装置、ジョブ監視方法及びジョブ監視プログラムに関する。

ＨＰＣ（High Performance Computing）システム等の並列処理システムは、複数の計算ノードを管理し並列に動作させることで、システム全体の性能を高めており、システム全体の性能を向上させるためには、大量の計算ノードが必要になる。ここで、計算ノードとは、情報処理を行う情報処理装置である。

計算ノードの台数が増加すると、計算ノードの台数に比例して計算ノードの故障率や計算ノード内のソフトウェアの異常発生率が大きくなる。このため、並列処理システムは、異常が発生していない計算ノードにジョブを割り当てるために、計算ノードの稼働状況や計算ノードで動作しているサービスの状態を監視するシステム監視機構を有する。ここで、サービスとは、計算ノードで動作するプロセスである。

システム監視機構により計算ノードの異常が検知された場合、計算ノード上で実行中のジョブは、ジョブ管理機構により停止され、ジョブ属性に応じて再キューイングされる。

なお、異常処理については、複数の異常処理プログラムから１つを選択させ、選択された異常処理プログラムを異常時に実行することで、システムの利便性を向上させる技術がある。また、ジョブの障害影響度と実行サーバの障害リスク度を評価し、障害影響度の高いジョブを障害リスク度の低い実行サーバで実行することで、障害影響度の高いジョブの正常終了確率を向上させる技術がある。

特開２００１−２７３１５３号公報 特開２０１１−２１５６６１号公報

しかしながら、異常が発生した計算ノード上で実行中のジョブを常に停止させると、異常発生までのジョブの実行が無駄になるという問題がある。計算ノードの異常には、ハードウェアの異常、ユーザサービスの異常等様々な異常があり、異常の種類によってはジョブの継続が可能な場合がある。また、計算資源を多く使用し、ほぼ完走の状態にあり、異常の影響を受けない大規模ジョブを最初から再度実行することは、計算資源を無駄に使うことになる。

本発明は、１つの側面では、計算ノードに異常が発生した場合に、ジョブの継続可否を判定し、継続可能なときは、ジョブの実行を継続することで、ジョブの無駄な再実行を防ぐことを目的とする。

１つの態様では、並列処理装置は、ジョブを並列に処理する複数の情報処理装置と該複数の情報処理装置を監視する監視装置とジョブの実行を管理するジョブ管理装置とを有する。前記監視装置は、作成部と、第１取得部と、第２取得部と、判定部とを有する。前記作成部は、過去に発生したサービスの異常について該サービスの状態、異常発生時に該サービスが動作する情報処理装置で実行されていたジョブの規模及び該ジョブの実行時間と該ジョブの継続の可否とを学習することによって継続判定モデルを作成する。前記第１取得部は、サービスに異常が発生すると、該異常が発生したサービスを実行する情報処理装置から該サービスの状態を含む異常情報を取得する。前記第２取得部は、前記異常が発生したサービスが動作する情報処理装置で実行されている実行ジョブの規模及び該実行ジョブの実行時間を含む実行ジョブ情報を前記ジョブ管理装置から取得する。前記判定部は、前記作成部により作成された継続判定モデルと前記第１取得部が取得した異常情報及び前記第２取得部が取得した実行ジョブ情報とを用いて前記実行ジョブの継続の可否を判定する。

１つの側面では、ジョブの無駄な再実行を防ぐことができる。

図１は、実施例に係るＨＰＣシステムの構成を示す図である。 図２は、ＨＰＣシステムのサービス監視を説明するための図である。 図３は、各ノードの機能構成を示す図である。 図４は、重度評価モデルで使用される値の一例を示す図である。 図５は、モデル情報記憶部が記憶する情報の一例を示す図である。 図６は、サービス異常検出時のシーケンスを示す図である。 図７は、異常重度判定部の機能構成を示す図である。 図８は、異常重度判定処理のフローを示すフローチャートである。 図９は、実施例に係るジョブ監視プログラムを実行するコンピュータのハードウェア構成を示す図である。

以下に、本願の開示する並列処理装置、ジョブ監視方法及びジョブ監視プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。

まず、実施例に係るＨＰＣシステムの構成について説明する。図１は、実施例に係るＨＰＣシステムの構成を示す図である。図１に示すように、実施例に係るＨＰＣシステム１は、監視マスタノード２と、２台の監視サブノード３と、４台の計算ノード４を有する。監視マスタノード２、２台の監視サブノード３及び４台の計算ノード４は、ネットワークで接続され、相互に通信することができる。なお、ここでは説明の便宜上、４台の計算ノード４及び２台の監視サブノード３のみを示したが、ＨＰＣシステム１はより多くの計算ノード４及び監視サブノード３を有する。

監視マスタノード２は、ＨＰＣシステム１を監視する装置である。監視サブノード３は、計算ノード４から監視情報を受信して監視マスタノード２に送信する中継装置である。計算ノード４は、他の計算ノード４と連携してジョブを並列に処理する情報処理装置である。

次に、ＨＰＣシステム１のサービス監視について説明する。図２は、ＨＰＣシステム１のサービス監視を説明するための図である。図２に示すように、計算ノード４では、ジョブ依存サービス４ａ、非ジョブ依存サービス４ｂ及びサービス監視デーモン４ｃが動作する。なお、ここでは説明の便宜上、１つのジョブ依存サービス４ａ及び非ジョブ依存サービス４ｂのみを示したが、計算ノード４では、より多くのジョブ依存サービス４ａ及び非ジョブ依存サービス４ｂが動作する。

ジョブ依存サービス４ａは、ジョブ実行のために必要なサービスである。例えば、ジョブ依存サービス４ａは、ジョブの計算ノード４への割り当て、ジョブ実行結果の関連ノードへの通知等を行う。

非ジョブ依存サービス４ｂは、利用者が投入したジョブに関係なく、ジョブ運用に必要なサービスである。例えば、非ジョブ依存サービス４ｂには、ＯＳ（Operating System）が動作するためのサービス、ＨＰＣシステム１の管理者が実行させるサービス等がある。

サービス監視デーモン４ｃは、ジョブ依存サービス４ａ及び非ジョブ依存サービス４ｂを定期的に監視し、異常が発生すると、対応する監視サブノード３に異常が発生したサービスすなわち異常サービスと異常サービスの状態を通知する。

監視サブノード３は、分担して計算ノード４を監視する。ジョブ管理ノード３ａは、ＨＰＣシステム１で実行されるジョブを管理する装置であり、監視サブノード３としての機能を有する。監視サブノード３は、配下の計算ノード４を監視し、異常が発生すると、異常サービスと異常サービスの状態を異常が発生した計算ノード４から受け取って監視マスタノード２に通知する。

監視マスタノード２は、異常が発生した計算ノード４で実行されるジョブの情報をジョブ管理ノード３ａから取得し、取得したジョブ情報と異常サービスの状態に基づいて当該ジョブの継続可否を判定する。そして、監視マスタノード２は、当該ジョブの継続が不可であると判定すると、当該ジョブの停止をジョブ管理ノード３ａに指示し、当該ジョブの継続が可であると判定すると、新規ジョブの割り当てを抑止する。

次に、各ノードの機能構成について説明する。図３は、各ノードの機能構成を示す図である。図３に示すように、ジョブ４２の実行に関連するサービス４１が計算ノード４で実行されることにより、ジョブ４２が実行される。計算ノード４は、計算ノード４の監視を行うシステム監視部４３を有する。

システム監視部４３は、ノード監視部４３ａとサービス監視部４３ｂとを有する。ノード監視部４３ａは、自装置で実行されるサービス４１の監視結果を監視サブノード３又は監視サブノード３の機能を有するジョブ管理ノード３ａに通知する。図３は、ジョブ管理ノード３ａにノード監視部４３ａが通知する場合を示す。

また、ノード監視部４３ａは、サービス４１に異常が発生すると、監視サブノード３を介した監視マスタノード２からの要求に基づいて、異常サービス４１の状態を監視サブノード３を介して監視マスタノード２に通知する。

サービス監視部４３ｂは、サービス４１が停止していないかあるいはスローダウンしていないか等、サービス４１の監視を行う。サービス監視部４３ｂは、サービス４１に監視用のメッセージを送信し、サービス４１からの応答の有無あるいは応答を受信するまでの時間に基づいてサービス４１の停止あるいはサービス４１のスローダウンを監視する。

サービス監視部４３ｂは、サービス４１の監視結果をノード監視部４３ａに渡す。なお、図３では、説明の便宜上、１つのサービス４１のみを示したが、サービス監視部４３ｂは、より多くのサービス４１を監視する。また、サービス監視部４３ｂは、図２に示したサービス監視デーモン４ｃに対応する。

ジョブ管理ノード３ａは、システム監視部３１とジョブスケジューラ３２とを有する。システム監視部３１は、監視サブノード３の機能としてＨＰＣシステム１の監視を行う。システム監視部３１は、ノード監視部３１ａと、サービス監視部３１ｂと、ジョブ連携依頼部３１ｃとを有する。

ノード監視部３１ａは、配下の計算ノード４から監視に関して通知された情報を監視マスタノード２に通知する。また、ノード監視部３１ａは、自装置で実行されるサービス４１の監視結果を監視マスタノード２に通知する。サービス監視部３１ｂは、自装置で実行されるサービスの監視を行い、監視結果をノード監視部３１ａに渡す。

ジョブ連携依頼部３１ｃは、監視マスタノード２からジョブ４２の停止依頼を受信すると、ジョブスケジューラ３２にジョブ４２の停止を指示する。また、ジョブ連携依頼部３１ｃは、監視マスタノード２から新規ジョブ４２の割り当て抑止依頼を受信すると、ジョブスケジューラ３２に新規ジョブ４２の割り当て抑止を指示する。

ジョブスケジューラ３２は、ＨＰＣシステム１で実行されるジョブ４２のスケジューリングを行う。ジョブスケジューラ３２は、ジョブ管理ノード３ａが有するジョブ管理機能の１つである。

監視マスタノード２は、ＨＰＣシステム１の監視を行うシステム監視部２１を有する。システム監視部２１は、ノード監視部２１ａと、サービス監視部２１ｂと、ジョブ連携依頼部２１ｃと、モデル情報記憶部２１ｄと、異常重度判定部２１ｅと、モデル作成部２１ｆとを有する。

ノード監視部２１ａは、ジョブ管理ノード３ａ及び監視サブノード３から計算ノード４の監視情報を受け取る。また、ノード監視部２１ａは、異常サービス４１の状態に関する情報を異常が発生した計算ノード４からジョブ管理ノード３ａ又は監視サブノード３を介して取得し、取得した情報を異常重度判定部２１ｅに渡す。また、ノード監視部２１ａは、異常重度判定部２１ｅからジョブ４２の停止指示を受け取ると、ジョブ４２の停止指示をジョブ連携依頼部２１ｃに渡す。

サービス監視部２１ｂは、自装置で実行されるサービスの監視を行い、監視結果をノード監視部２１ａに渡す。ジョブ連携依頼部２１ｃは、異常重度判定部２１ｅからジョブ４２の停止指示をノード監視部２１ａを介して受け取ると、ジョブ管理ノード３ａにジョブ４２の停止依頼を送る。また、ジョブ連携依頼部２１ｃは、異常重度判定部２１ｅから新規ジョブ４２の割り当て抑止指示をノード監視部２１ａを介して受け取ると、ジョブ管理ノード３ａに新規ジョブ４２の割り当て抑止依頼を送る。

モデル情報記憶部２１ｄは、異常重度判定部２１ｅが異常重度の判定に用いる重度評価モデルに関する情報を記憶する。異常重度判定部２１ｅは、計算ノード４で実行されているサービス４１に異常が発生した場合に、異常が発生した計算ノード４で実行されているジョブ４２を継続実行するか否かを重度評価モデルを用いて判定する。モデル作成部２１ｆは、過去のデータに基づいて重度評価モデルを作成し、重度評価モデルに関する情報をモデル情報記憶部２１ｄに格納する。

モデル作成部２１ｆは、重回帰分析を用いて重度評価モデルを作成する。図４は、重度評価モデルで使用される値の一例を示す図である。図４に示すように、重度評価モデルでは、独立変数として、異常サービス４１の状態（ｘ₁）と、異常が発生した計算ノード４で実行されているジョブの規模（ｘ₂）と、そのジョブの実行時間（ｘ₃）とが用いるれる。

例えば、異常サービス４１がジョブ依存サービス４ａであって停止の状態である場合には、ｘ₁＝１である。異常サービス４１がジョブ依存サービス４ａであってスローダウンの状態である場合には、ｘ₁＝０．５である。

異常が発生した計算ノード４で実行されているジョブの規模がＨＰＣシステム１の全ＣＰＵ（Central Processing Unit）のうち８割以上である場合には、ｘ₂＝１である。ここで、ＣＰＵは計算ノード４が有する演算処理装置であり、計算ノード４は１以上のＣＰＵを有する。また、異常が発生した計算ノード４で実行されているジョブの実行時間が経過時間制限の８割経過している場合には、ｘ₃＝１である。

また、重度評価モデルでは、従属変数としてジョブ継続可否の実績（ｙ）が用いられる。例えば、ジョブ継続が可能であった場合には、ｙ＝０であり、ジョブ継続が不可であった場合には、ｙ＝２である。

図５は、モデル情報記憶部２１ｄが記憶する情報の一例を示す図である。図５に示すように、モデル情報記憶部２１ｄは、過去の実績に関する情報と、重回帰式の係数の値を記憶する。過去の実績に関する情報には、異常サービス４１の状態（ｘ₁）と、異常が発生した計算ノード４で実行されているジョブの規模（ｘ₂）と、そのジョブの実行時間（ｘ₃）と、ジョブ継続可否実績（ｙ）が含まれる。重回帰式の係数（ａ₁，ａ₂，ａ₃，ｂ）の値は、過去の実績に関する情報から重回帰分析を用いてモデル作成部２１ｆにより計算される。

異常重度判定部２１ｅは、異常サービス４１に関してｘ₁〜ｘ₃の値を図４を参照して取得し、取得したｘ₁〜ｘ₃の値を重回帰式ｙ＝ａ₁ｘ₁＋ａ₂ｘ₂＋ａ₃ｘ₃＋ｂに代入することによって、ｙの値を計算する。そして、異常重度判定部２１ｅは、例えば、ｙ＞１であればジョブの継続を不可と判定し、ｙ≦１であればジョブの継続を可能と判定する。

このように、異常重度判定部２１ｅは、過去の実績データに基づいてジョブ継続可否を判定することで、ジョブ継続可否を適切に判定することができる。なお、ここでは、重回帰分析を用いて重度評価モデルを作成する場合について説明したが、重度評価モデルとしては、ニューラルネットワークに基づくモデル等過去の実績データを学習することによって作成される他のモデルを用いてもよい。

次に、サービス異常検出時のシーケンスについて説明する。図６は、サービス異常検出時のシーケンスを示す図である。図６に示すように、計算ノード４のシステム監視部４３は、異常を検出する（ｔ１）と、監視サブノード３に異常を通知する（ｔ２）。そして、監視サブノード３のシステム監視部３１は、通知された異常を監視マスタノード２に通知する（ｔ３）。

そして、監視マスタノード２の異常重度判定部２１ｅがジョブ刈り取り可否を判断する（ｔ４）。ここで、ジョブ刈り取りとは、ジョブ４２の停止である。そして、異常重度判定部２１ｅは、ジョブ刈り取り可と判断した場合には、ジョブ管理ノード３ａのジョブスケジューラ３２にジョブ４２の刈り取りを依頼し（ｔ５）、ジョブスケジューラ３２がジョブ４２の刈り取りを行う（ｔ６）。

一方、ジョブ刈り取り不可と判断した場合には、異常重度判定部２１ｅは、ジョブスケジューラ３２に異常が発生した計算ノード４への新規ジョブ４２の割り当て抑止を依頼し（ｔ７）、ジョブスケジューラ３２が新規ジョブ４２の割り当て抑止を行う（ｔ８）。

このように、監視マスタノード２の異常重度判定部２１ｅがジョブ刈り取り可否を判断することで、不要なジョブ刈り取りを防ぐことができる。

次に、異常重度判定部２１ｅの機能構成について説明する。図７は、異常重度判定部２１ｅの機能構成を示す図である。図７に示すように、異常重度判定部２１ｅは、監視情報取得部２２と、ジョブ情報取得部２３と、モデル情報読込部２４と、継続可否判定部２５とを有する。

監視情報取得部２２は、異常サービス４１が動作する計算ノード４から異常サービス４１の状態を取得する。ジョブ情報取得部２３は、異常サービス４１が動作する計算ノード４で実行されているジョブ４２の情報すなわち実行ジョブ４２の規模及び実行時間をジョブ管理ノード３ａのジョブスケジューラ３２から取得する。

モデル情報読込部２４は、モデル情報記憶部２１ｄが記憶する重度評価モデルを読み込む。具体的には、モデル情報読込部２４は、モデル情報記憶部２１ｄから重回帰式の係数ａ₁〜ａ₃及びｂを読み込む。

継続可否判定部２５は、異常サービス４１の状態、実行ジョブ４２の規模及び実行時間と重回帰式ｙ＝ａ₁ｘ₁＋ａ₂ｘ₂＋ａ₃ｘ₃＋ｂとを用いて実行ジョブ４２の継続可否を判定する。

具体的には、継続可否判定部２５は、異常サービス４１の状態に対応する値をｘ₁の値とし、実行ジョブ４２の規模に対応する値をｘ₂の値とし、実行ジョブ４２の実行時間に対応する値をｘ₃の値として、重回帰式からｙの値を計算する。そして、継続可否判定部２５は、ｙが１より大きければ実行ジョブ４２を停止すると判定し、ｙが１以下であれば実行ジョブ４２を継続すると判定する。

そして、継続可否判定部２５は、実行ジョブ４２を停止すると判定した場合に、ジョブ連携依頼部２１ｃに実行ジョブ４２の停止を依頼する。また、継続可否判定部２５は、実行ジョブ４２を継続すると判定した場合に、ジョブ連携依頼部２１ｃに新規ジョブ４２の割り当て抑止を依頼する。

次に、異常サービス４１の異常重度を判定する異常重度判定処理のフローについて説明する。図８は、異常重度判定処理のフローを示すフローチャートである。図８に示すように、異常重度判定部２１ｅは、異常サービス４１が動作する計算ノード４から異常サービス４１の状態を取得する（ステップＳ１）。

そして、異常重度判定部２１ｅは、ジョブ管理ノード３ａのジョブスケジューラ３２から、異常サービス４１が動作する計算ノード４で実行されている実行ジョブ４２の規模及び実行時間を取得する（ステップＳ２）。そして、異常重度判定部２１ｅは、モデル情報記憶部２１ｄから重度評価モデルを読み込む（ステップＳ３）。

そして、異常重度判定部２１ｅは、異常サービス４１の状態、実行ジョブ４２の規模及び実行時間と重度評価モデルを用いて、ジョブ継続が可能か否か、すなわち、重回帰式のｙが１以下か否かを判定する（ステップＳ４）。その結果、ｙが１より大きい場合には、異常重度判定部２１ｅは、ジョブスケジューラ３２にジョブ停止を依頼する（ステップＳ５）。

一方、ｙが１以下である場合には、異常重度判定部２１ｅは、ジョブスケジューラ３２に異常が発生した計算ノード４への新規ジョブ４２の割り当て抑止を依頼する（ステップＳ６）。

このように、異常重度判定部２１ｅは、重回帰式を用いて実行ジョブ４２の継続可否を判定することで、実行ジョブ４２の不要な停止を防ぐことができる。

上述してきたように、実施例では、モデル作成部２１ｆが、過去のデータに基づいて重度評価モデルを作成し、重度評価モデルに関する情報をモデル情報記憶部２１ｄに格納する。そして、監視情報取得部２２が、異常サービス４１が動作する計算ノード４から異常サービス４１の状態を取得する。また、ジョブ情報取得部２３が、異常サービス４１が動作する計算ノード４で実行されている実行ジョブ４２の規模及び実行時間をジョブスケジューラ３２から取得する。そして、継続可否判定部２５が、異常サービス４１の状態、実行ジョブ４２の規模及び実行時間と重度評価モデルとを用いて実行ジョブ４２の継続可否を判定する。したがって、監視マスタノード２は、異常重度が低く異常の影響を受けない実行ジョブ４２を継続して実行させることができ、実行ジョブ４２の不要な停止を防ぐことができる。

また、実施例では、継続可否判定部２５が、ジョブ依存サービス４ａと非ジョブ依存サービス４ｂを区別して異常重度を評価することで、実行ジョブ４２の継続可否を正確に判定することができる。

また、実施例では、継続可否判定部２５が、サービス４１の停止とスローダウンを区別して異常重度を評価することで、実行ジョブ４２の継続可否を正確に判定することができる。

なお、実施例では、監視マスタノード２のシステム監視部２１について説明したが、システム監視部２１の構成をソフトウェアによって実現することで、同様の機能を有するジョブ監視プログラムを得ることができる。そこで、ジョブ監視プログラムを実行するコンピュータについて説明する。

図９は、実施例に係るジョブ監視プログラムを実行するコンピュータのハードウェア構成を示す図である。図９に示すように、コンピュータ５０は、メインメモリ５１と、ＣＰＵ５２と、ＬＡＮ（Local Area Network）インタフェース５３と、ＨＤＤ（Hard Disk Drive）５４とを有する。また、コンピュータ５０は、スーパーＩＯ（Input Output）５５と、ＤＶＩ（Digital Visual Interface）５６と、ＯＤＤ（Optical Disk Drive）５７とを有する。

メインメモリ５１は、プログラムやプログラムの実行途中結果などを記憶するメモリである。ＣＰＵ５２は、メインメモリ５１からプログラムを読み出して実行する中央処理装置である。ＣＰＵ５２は、メモリコントローラを有するチップセットを含む。

ＬＡＮインタフェース５３は、コンピュータ５０をＬＡＮ経由で他のコンピュータに接続するためのインタフェースである。ＨＤＤ５４は、プログラムやデータを格納するディスク装置であり、スーパーＩＯ５５は、マウスやキーボードなどの入力装置を接続するためのインタフェースである。ＤＶＩ５６は、液晶表示装置を接続するインタフェースであり、ＯＤＤ５７は、ＤＶＤの読み書きを行う装置である。

ＬＡＮインタフェース５３は、ＰＣＩエクスプレス（ＰＣＩｅ）によりＣＰＵ５２に接続され、ＨＤＤ５４及びＯＤＤ５７は、ＳＡＴＡ（Serial Advanced Technology Attachment）によりＣＰＵ５２に接続される。スーパーＩＯ５５は、ＬＰＣ（Low Pin Count）によりＣＰＵ５２に接続される。

そして、コンピュータ５０において実行されるジョブ監視プログラムは、ＤＶＤに記憶され、ＯＤＤ５７によってＤＶＤから読み出されてコンピュータ５０にインストールされる。あるいは、ジョブ監視プログラムは、ＬＡＮインタフェース５３を介して接続された他のコンピュータシステムのデータベースなどに記憶され、これらのデータベースから読み出されてコンピュータ５０にインストールされる。そして、インストールされたジョブ監視プログラムは、ＨＤＤ５４に記憶され、メインメモリ５１に読み出されてＣＰＵ５２によって実行される。

また、実施例では、ＨＰＣシステム１について説明したが、本発明はこれに限定されるものではなく、複数の情報処理装置が並列処理を行う任意の並列処理装置にも同様に適用することができる。

１ ＨＰＣシステム
２ 監視マスタノード
３ 監視サブノード
３ａ ジョブ管理ノード
４ 計算ノード
４ａ ジョブ依存サービス
４ｂ 非ジョブ依存サービス
４ｃ サービス監視デーモン
２１ システム監視部
２１ａ ノード監視部
２１ｂ サービス監視部
２１ｃ ジョブ連携依頼部
２１ｄ モデル情報記憶部
２１ｅ 異常重度判定部
２１ｆ モデル作成部
２２ 監視情報取得部
２３ ジョブ情報取得部
２４ モデル情報読込部
２５ 継続可否判定部
３１ システム監視部
３１ａ ノード監視部
３１ｂ サービス監視部
３１ｃ ジョブ連携依頼部
３２ ジョブスケジューラ
４１ サービス
４２ ジョブ
４３ システム監視部
４３ａ ノード監視部
４３ｂ サービス監視部
５０ コンピュータ
５１ メインメモリ
５２ ＣＰＵ
５３ ＬＡＮインタフェース
５４ ＨＤＤ
５５ スーパーＩＯ
５６ ＤＶＩ
５７ ＯＤＤ

Claims (6)

1. ジョブを並列に処理する複数の情報処理装置と該複数の情報処理装置を監視する監視装置とジョブの実行を管理するジョブ管理装置とを有する並列処理装置において、
   前記監視装置は、
   過去に発生したサービスの異常について該サービスの状態、異常発生時に該サービスが動作する情報処理装置で実行されていたジョブの規模及び該ジョブの実行時間と該ジョブの継続の可否とを学習することによって継続判定モデルを作成する作成部と、
   サービスに異常が発生すると、該異常が発生したサービスを実行する情報処理装置から該サービスの状態を含む異常情報を取得する第１取得部と、
   前記異常が発生したサービスが動作する情報処理装置で実行されている実行ジョブの規模及び該実行ジョブの実行時間を含む実行ジョブ情報を前記ジョブ管理装置から取得する第２取得部と、
   前記作成部により作成された継続判定モデルと前記第１取得部が取得した異常情報及び前記第２取得部が取得した実行ジョブ情報とを用いて前記実行ジョブの継続の可否を判定する判定部と
   を有することを特徴とする並列処理装置。
2. 前記判定部は、前記実行ジョブの継続不可と判定した場合には、前記実行ジョブの停止を前記ジョブ管理装置に依頼し、前記実行ジョブの継続可と判定した場合には、異常が発生したサービスを実行する情報処理装置への新規ジョブの割り当ての抑止を前記ジョブ管理装置に依頼することを特徴とする請求項１に記載の並列処理装置。
3. 前記サービスは、ジョブの実行のために必要なサービスとジョブの運用に必要なサービスを含むことを特徴とする請求項１又は２に記載の並列処理装置。
4. 前記サービスの状態は、サービスの停止及びサービスのスローダウンを含むことを特徴とする請求項１、２又は３に記載の並列処理装置。
5. ジョブを並列に処理する複数の情報処理装置とジョブの実行を管理するジョブ管理装置とともに並列処理装置を構築し、前記複数の情報処理装置を監視する監視装置によるジョブ監視方法において、
   過去に発生したサービスの異常について該サービスの状態、異常発生時に該サービスが動作する情報処理装置で実行されていたジョブの規模及び該ジョブの実行時間と該ジョブの継続の可否とを学習することによって継続判定モデルを作成し、
   サービスに異常が発生すると、該異常が発生したサービスを実行する情報処理装置から該サービスの状態を含む異常情報を取得し、
   前記異常が発生したサービスが動作する情報処理装置で実行されている実行ジョブの規模及び該実行ジョブの実行時間を含む実行ジョブ情報を前記ジョブ管理装置から取得し、
   作成した継続判定モデルと取得した異常情報及び実行ジョブ情報とを用いて前記実行ジョブの継続の可否を判定する
   ことを特徴とするジョブ監視方法。
6. ジョブを並列に処理する複数の情報処理装置とジョブの実行を管理するジョブ管理装置とともに並列処理装置を構築し、前記複数の情報処理装置を監視する監視装置が有するコンピュータで実行されるジョブ監視プログラムにおいて、
   過去に発生したサービスの異常について該サービスの状態、異常発生時に該サービスが動作する情報処理装置で実行されていたジョブの規模及び該ジョブの実行時間と該ジョブの継続の可否とを学習することによって継続判定モデルを作成し、
   サービスに異常が発生すると、該異常が発生したサービスを実行する情報処理装置から該サービスの状態を含む異常情報を取得し、
   前記異常が発生したサービスが動作する情報処理装置で実行されている実行ジョブの規模及び該実行ジョブの実行時間を含む実行ジョブ情報を前記ジョブ管理装置から取得し、
   作成した継続判定モデルと取得した異常情報及び実行ジョブ情報とを用いて前記実行ジョブの継続の可否を判定する
   処理を前記コンピュータに実行させることを特徴とするジョブ監視プログラム。

Images