JP2012128770A - バッチジョブ管理サーバ、バッチジョブ処理システム及びバッチジョブ実行方法 - Google Patents
バッチジョブ管理サーバ、バッチジョブ処理システム及びバッチジョブ実行方法 Download PDFInfo
- Publication number
- JP2012128770A JP2012128770A JP2010281394A JP2010281394A JP2012128770A JP 2012128770 A JP2012128770 A JP 2012128770A JP 2010281394 A JP2010281394 A JP 2010281394A JP 2010281394 A JP2010281394 A JP 2010281394A JP 2012128770 A JP2012128770 A JP 2012128770A
- Authority
- JP
- Japan
- Prior art keywords
- job
- file
- processing time
- arrangement pattern
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】所定の時刻までに完了させなければならないバッチジョブを、バッチ処理で扱われるデータ量が変動した場合や、バッチ処理システムにおいて障害が発生した場合でも、バッチジョブを所定の時刻に完了させる。
【解決手段】ジョブネット、通常時要求処理時間、障害時要求処理時間、入力データ量に基づいて、各ジョブにおけるファイル格納媒体の配置パターンを生成し、ファイル格納媒体の配置パターンに対する通常時処理時間および障害時処理時間を予測し、要求処理時間を満たす配置パターンが存在する場合は、優先ポリシーに基づいて配置パターンを出力する。
【選択図】図4
【解決手段】ジョブネット、通常時要求処理時間、障害時要求処理時間、入力データ量に基づいて、各ジョブにおけるファイル格納媒体の配置パターンを生成し、ファイル格納媒体の配置パターンに対する通常時処理時間および障害時処理時間を予測し、要求処理時間を満たす配置パターンが存在する場合は、優先ポリシーに基づいて配置パターンを出力する。
【選択図】図4
Description
本発明は、計算機システムにおけるバッチジョブ管理サーバ、バッチジョブ処理システム及びバッチジョブの実行方法に関する。
金融機関を始めとする様々な企業情報システムでは、大量のデータを一括して処理するバッチ処理システムが広く利用されている。近年では、システムコスト削減のために、多数の安価なサーバを用いて並列にバッチジョブを実行するバッチ処理システムが構築されるようになってきている。バッチジョブの実行にはローカルディスクが使用されるが、多数のジョブ実行サーバを利用するバッチ処理システムでは、ジョブ実行サーバ間でデータの受け渡しが必要になるため、データを共有するための共有ファイルサーバも使用される。
特許文献1には、過去のジョブ実行履歴を用いて、ジョブの所要時間改善率を仮定することにより、バッチジョブの所要時間を予測する方法について開示されている。
特許文献2には、バッチジョブの実行において障害が発生した場合に、所定の完了時間までの残り時間を考慮して当該ジョブの再実行もしくは代替ジョブ実行を行う方法が開示されている。
バッチ処理により行われる業務の中には、前日の営業時間に蓄積されたデータを翌日の営業開始時刻までにバッチ処理するなど、所定の時刻までに完了させなければならない業務が存在する。しかし、バッチ処理で扱われるデータ量は変動する場合があり、データ量に応じてバッチジョブの実行に要する時間が変動する。また、バッチ処理システムにおいて障害が発生した場合、一般的にはジョブの再実行により回復処理が行われるが、これによりバッチジョブの完了時刻が遅延する。このような状況においても、バッチジョブを所定の時刻に完了させなければならない。
特許文献1には、バッチジョブの所要時間を予測する方法は開示されているが、バッチジョブの実行において障害が発生した場合の実行時間の予測方法については開示されていない。
特許文献2には、バッチジョブの実行において障害が発生した場合に、当該ジョブの再実行もしくは代替ジョブ実行を行う方法が開示されているが、残り時間が不足する場合には、当該ジョブのスキップもしくは簡易的な代替ジョブを実行するため、後続のバッチジョブや業務に影響を及ぼす可能性がある。
上記の通り、先行技術文献には、データ量が変動した場合、および障害が発生した場合においても、所定の完了時刻までにバッチジョブを正常に完了させる方法については開示されていない。
本発明の目的は、データ量が変動した場合、および障害が発生した場合においても、所定の完了時刻までにバッチジョブを正常に完了させるバッチジョブ処理システム及びバッチジョブ実行方法を提供することにある。
本発明の代表的なものを示せば、次のとおりである。バッチジョブ処理システムにおけるバッチジョブの実行を管理するバッチジョブ管理サーバであって、該バッチジョブ管理サーバには、ファイル格納媒体を備えた1台以上のバッチジョブ実行サーバと、ファイル格納媒体を有し前記バッチジョブ実行サーバからのファイルアクセス要求を処理する共有ファイルサーバとが、ネットワークを介して接続されるものにおいて、一連のジョブの纏まりであるジョブネット及び要求処理時間の設定を受け付ける機能と、前記ジョブネット内の前記各ジョブ単位で、前記バッチジョブ実行サーバおよび前記共有ファイルサーバの前記各ファイル格納媒体を使い分けてファイルを配置する複数のファイル配置パターンを決定する機能と、前記複数のファイル配置パターンの中から、前記要求処理時間を満たして前記バッチジョブを実行する最適ファイル配置パターンを生成する機能と、前記最適ファイル配置パターンに基づき、前記バッチジョブ実行サーバにおける前記バッチジョブの実行を制御するジョブ実行制御機能とを備えていることを特徴とする。
本発明によれば、バッチジョブの実行において、障害が発生した場合においても、所定の完了時間を満たしつつバッチジョブを実行するバッチジョブ処理システム及びバッチジョブ実行方法を提供することができる。
本発明の対象としているバッチ処理システムは、多数のジョブ実行サーバを利用するものであり、ジョブ実行サーバ間でデータの受け渡しが必要になるため、データを共有するための共有ファイルサーバを備えている。各ジョブ実行サーバが備えるローカルディスクは安価であるが、信頼性が低く、サーバ障害時に他のサーバへデータを引き継ぐことができない。一方、共有ファイルサーバは一般的に高信頼であるが、高価である。また、ジョブ実行サーバ台数が増えるにつれて共有ファイルサーバへのアクセスが集中し、ボトルネックとなりやすい。
バッチジョブの実行にローカルディスクのみを用いた場合、サーバ障害発生時に当該サーバのバッチジョブ実行結果にアクセスできないため、他のサーバにおいてバッチジョブ全体を再実行する必要があり、ジョブ再実行時間が長時間となる。
一方、共有ファイルサーバのみを用いてバッチジョブを実行した場合、サーバ障害発生時には他サーバがジョブ実行を引き継ぐことが可能だが、多数のジョブ実行サーバからのアクセスが共有ファイルサーバに集中するため、ファイルアクセス速度が低下し、通常のバッチジョブ実行時間が長時間となる可能性がある。
そのため、本発明では、バッチジョブ内のジョブ単位で、ファイル格納媒体としてローカルディスクおよび共有ファイルサーバを使い分け、所定の完了時間を満たすファイル配置パターンを生成し、バッチジョブを実行する。
一般的に、バッチジョブは依存関係を持つ複数のジョブから構成される。ある業務処理は一連のジョブの流れとして実現され、この一連のジョブの纏まりをジョブネットと呼ぶ。
本発明では、ジョブネットの処理に際して、共有ファイルサーバを使用しつつ、ジョブの処理時間が実質的に延びない範囲で適度にローカルディスクも使用する。そのため、共有ファイルサーバへのアクセスが集中するのを緩和でき、障害が発生した場合においても、所定の完了時間を満たしつつバッチジョブを実行することができる。
以下、本発明の実施形態を添付図面に基づいて説明する。
以下、本発明の実施形態を添付図面に基づいて説明する。
本発明の第1の実施例になる、バッチジョブ処理システム及びバッチジョブ実行方法について、図1乃至図14を参照しながら説明する。
図1は、本発明の第1の実施例になる、バッチジョブを実行する計算機システム、すなわちバッチジョブ処理システムのハードウェア構成を示すブロック図である。
図1において、ネットワーク101には、バッチジョブを実行するバッチジョブ実行サーバ110と、ジョブ実行サーバ間でファイルを共有するための共有ファイルサーバ120と、バッチジョブの実行を管理するバッチジョブ管理サーバ140が接続されている。
図1において、ネットワーク101には、バッチジョブを実行するバッチジョブ実行サーバ110と、ジョブ実行サーバ間でファイルを共有するための共有ファイルサーバ120と、バッチジョブの実行を管理するバッチジョブ管理サーバ140が接続されている。
ジョブ実行サーバ110は、演算処理を行うCPU114と、プログラムやデータを格納するメモリ113と、ネットワーク7を介して他のサーバと通信を行う通信インターフェース115と、ファイルを格納するファイル格納媒体としてのローカルディスク111と、ローカルディスクを制御するためのディスクコントローラ112を備える。
ジョブ実行サーバ110のメモリ113には、ジョブの処理を行うジョブプログラム116と、ジョブの実行を制御するジョブ実行制御部117と、ジョブプログラムのファイルアクセスを制御するファイルアクセス制御部118が、プログラムとして存在する。
共有ファイルサーバ120は、演算処理を行うCPU122と、プログラムやデータを格納するメモリ123と、ネットワーク7を介して他のサーバと通信を行う通信インターフェース121と、ストレージネットワーク102を介してストレージシステム130へアクセスするためのストレージインターフェース125を備える。
共有ファイルサーバ120のメモリ123には、ジョブ実行サーバ110のファイルアクセス制御部118からの要求によりストレージシステム130のファイル格納媒体としてのハードディスク131のファイル132を読み書きするファイルサーバ制御部124が、プログラムとして存在する。
ストレージシステム130は、ストレージネットワーク102を介して共有ファイルサーバ120のストレージインターフェース125と接続され、冗長化されたハードディスク131を備える。
バッチジョブ管理サーバ140は、演算処理を行うCPU142と、プログラムやデータを格納するメモリ143と、ネットワーク101を介して他のサーバと通信を行う通信インターフェース141と、ファイルを格納するローカルディスク150と、ローカルディスクを制御するためのディスクコントローラ149を備える。
バッチジョブ管理サーバ140のメモリ143には、最適配置パターン生成部157と、バッチジョブの実行履歴を管理する実行履歴管理部147と、ジョブ実行サーバにおけるバッチジョブ実行を制御するジョブ実行制御部148が、プログラムとして存在する。バッチジョブ処理システムの各部は、メモリやファイルのデータを用い、メモリにロードされた各種のプログラムをCPUにて実行することにより、それらの処理機能が実現される。最適配置パターン生成部157は、プログラムを実行することにより次のような機能が実現される。すなわち、最適配置パターン生成部157には、バッチジョブの実行条件を設定するためのパラメタを入力するためのパラメタ入力部158と、ファイル配置パターンの決定を行う配置パターン決定部144と、ファイル配置パターンの算出を行う配置パターン算出部145と、バッチジョブの処理時間を予測する処理時間予測部146とが存在する。配置パターン算出部145は、入力されたパラメタに従って、バッチジョブ処理システムの中で利用可能なファイル格納媒体を組み合わせた1つあるいは複数のファイル配置パターン(候補)を算出する。これらのファイル配置パターン(候補)の中から、配置パターン決定部144において、最適ファイル配置パターンの決定を行う。最適ファイル配置パターンの決定に際しては、処理時間予測部146によるバッチジョブの処理時間の予測結果が利用される。
また、ローカルディスク150には、バッチジョブのジョブ情報を格納するジョブ情報テーブル151と、バッチジョブの実行条件の情報を記憶するパラメタテーブル152と、ファイル格納媒体の特性情報を記憶するファイル格納媒体テーブル153と、過去のバッチジョブの実行履歴を記憶するジョブ実行履歴テーブル154と、バッチジョブの処理時間の算出に使用する実行時間予測テーブル155と、決定したファイルの最適配置パターンを記憶する最適配置パターン出力テーブル156が格納される。
上記の構成において、ジョブ実行サーバ110のジョブ実行制御部117は、バッチジョブ管理サーバ140のジョブ実行制御部148の指示により、ジョブプログラム116を起動し、最適ファイル配置パターンに基づいてジョブの実行を行う。ジョブプログラム116は、ファイルアクセス制御部118を介して、ローカルディスク111に格納されたファイル119の読み取りまたは書き込みを行い、業務処理を行う。もしくは、ジョブプログラム116は、ファイルアクセス制御部118および共有ファイルサーバ120のファイルサーバ制御部124を介して、ストレージシステム130に格納されたファイル132の読み取りおよび書き込みを行い、業務処理を行う。
なお、図1において、ジョブ実行サーバおよび共有ファイルサーバは各2台のみ図示しているが、これに限定されるものではなく、任意の台数のジョブ実行サーバおよび共有ファイルサーバに本発明を適用可能である。
ある業務処理は一連のジョブの流れとして実現され、この一連のジョブの纏まりをジョブネットと呼ぶ。ジョブネットの先頭の入力ファイルを開始入力ファイルと呼び、終端の出力ファイルを結果出力ファイルと呼ぶ。ジョブ間でデータの受け渡しに使用されるファイルは中間ファイルと呼ぶ。
図2は、ジョブネットの一例を表すジョブネット図である。
図2では、入力データとなる入力ファイルをジョブAが読み込んでデータの加工や集計などの業務処理を行い、結果をファイルへ出力する様子が表されている。さらに、ジョブAが出力したファイルをジョブBおよびジョブDが読み込んで処理を行い、それぞれ結果をファイルを出力する様子が表されている。同様に、ジョブFはジョブCおよびジョブEの出力結果ファイルを読み込んで処理を行い、結果を出力する。このように、各ジョブは1つ以上の入力ファイルを読み込んで処理を行い、1つ以上の出力ファイルを書きだす。
図2では、入力データとなる入力ファイルをジョブAが読み込んでデータの加工や集計などの業務処理を行い、結果をファイルへ出力する様子が表されている。さらに、ジョブAが出力したファイルをジョブBおよびジョブDが読み込んで処理を行い、それぞれ結果をファイルを出力する様子が表されている。同様に、ジョブFはジョブCおよびジョブEの出力結果ファイルを読み込んで処理を行い、結果を出力する。このように、各ジョブは1つ以上の入力ファイルを読み込んで処理を行い、1つ以上の出力ファイルを書きだす。
ここで、ジョブAの入力ファイルはジョブ実行サーバ110の台数に応じて分割され、複数台のジョブ実行サーバ110上でそれぞれ異なる入力ファイルを用いてジョブAが並列に実行される。同様にジョブBからジョブFについても、複数台のジョブ実行サーバ110上で並列に実行される。入力ファイルの分割の一例として、金融機関における決済処理においては、口座番号や地域番号をキーにしてデータを分割し、ジョブ実行サーバへ処理を割り当てる。このデータを分割するキーを、入力データの分割属性と呼ぶ。分割属性は、各ジョブの業務処理内容により決定される。
図3は、図2のジョブネットに関する情報をテーブルで表現したジョブ情報テーブル151の例である。複数のジョブがある場合に、各ジョブに名前(A〜F)が付与される。
ジョブ情報テーブル151では、各ジョブネット名、ここではジョブネットAに対し、そのジョブネットが含むジョブ名、各ジョブの先行ジョブ名、後続ジョブ名、入力データの分割属性名を含んでいる。JOB_Aの場合、ジョブネットの最初のジョブであるため先行ジョブは無く、JOB_Aの出力ファイルをJOB_BおよびJOB_Dが使用するため後続ジョブ名は「JOB_B,JOB_D」となっている。またJOB_Fの場合、JOB_CおよびJOB_Eの出力ファイルをJ使用するため先行ジョブは「JOB_C,JOB_E」となっており、後続ジョブ名についてはジョブネットの最後のジョブであるため無しとなっている。
図4にバッチジョブ実行方法におけるファイル配置の最適パターン算出の処理フローを示す。まず、ステップS402において、システム運用管理者がジョブネットおよび入力パラメタを設定する。これらは、ジョブ情報テーブル151および入力パラメタテーブル152に格納される。次に、ステップS403において、ジョブネット中の各ジョブに対するファイルの配置パターンを生成し、実行時間予測テーブル155に格納する。そして、ステップS404において、生成されたファイルの配置パターンから、各パターンの通常時予想処理時間および障害時予想処理時間を算出し、実行時間予測テーブル155を更新する。ステップS405において、要求処理時間を満たす配置パターンが存在するか確認し、配置パターンが存在すればステップS406、ステップS407を、存在しなければステップS408を実行する。ステップS406で要求処理時間を満たす配置パターンを抽出し、ステップS407では、抽出された要求処理時間を満たす配置パターンの中から、優先ポリシーに基づいて「パターン」を選択し、最適配置パターン出力テーブル156へ出力する。ステップS408では「パターン無し」を出力する。
本発明では、上記の手順により各ジョブの入力ファイルおよび出力ファイルの格納媒体を決定し、バッチジョブを実行する。通常時に加えて、障害発生時の要求処理時間も満たすファイル配置パターンを算出することにより、障害が発生してジョブの再実行(リラン)を行った場合でも、要求処理時間を満たすことができる。
図5に、入力パラメタテーブル152の一例を示す。
入力パラメタテーブル152は、通常時要求処理時間、障害時要求処理時間、優先ポリシー、入力ファイルサイズ、ジョブ実行サーバ数からなる。
入力パラメタテーブル152は、通常時要求処理時間、障害時要求処理時間、優先ポリシー、入力ファイルサイズ、ジョブ実行サーバ数からなる。
通常時要求処理時間は、バッチジョブ実行中に障害が発生しなかった場合にバッチジョブが完了すべき処理時間を表す。障害時要求処理時間は、バッチジョブ実行中に障害が発生した場合でもバッチジョブが完了すべき処理時間を表す。優先ポリシーは、通常時要求処理時間および障害時要求処理時間を満たすファイル配置パターンが複数存在する場合に、通常時処理時間または障害時処理時間のどちらを優先してファイル配置パターンを選択するかを表す。ここでは、通常時処理時間が選択されている。
入力ファイルサイズは、バッチジョブに対する開始入力ファイルのサイズを表す。ジョブ実行サーバ数は、バッチジョブの実行に使用するジョブ実行サーバ数を表す。
図6にファイル格納媒体テーブル153の一例を示す。
ファイル格納媒体テーブル153は、媒体名称、種別、性能(スループット)、ジョブ実行サーバ1台あたり性能(スループット)、サーバ障害時引継ぎ可否からなる。
ファイル格納媒体テーブル153は、媒体名称、種別、性能(スループット)、ジョブ実行サーバ1台あたり性能(スループット)、サーバ障害時引継ぎ可否からなる。
媒体名称は、例えば「ローカルディスク」や「共有ファイルサーバ」等である。以下、「ローカルディスク」を「ローカル」、「共有ファイルサーバ」を「共有FS」と略記する。種別は、ファイル格納媒体の種別を表す。
種別がローカルの場合は、1つのジョブ実行サーバのみが格納されたファイルにアクセス可能なことを表す。種別が共有の場合は、任意のジョブ実行サーバが格納されたファイルにアクセス可能なことを表す。
種別がローカルの場合は、1つのジョブ実行サーバのみが格納されたファイルにアクセス可能なことを表す。種別が共有の場合は、任意のジョブ実行サーバが格納されたファイルにアクセス可能なことを表す。
媒体性能は、ファイル格納媒体のリード速度およびライト速度(スループット)を表す。種別が共有の場合は、全てのジョブ実行サーバからアクセスされた場合の合計のスループットである。
ジョブ実行サーバ1台あたり性能は、ジョブ実行サーバ1台あたりのリード速度およびライト速度(スループット)である。種別がローカルの場合は媒体性能と同一となるが、種別が共有の場合は、媒体性能をジョブ実行サーバ数で割った値となる。
サーバ障害時引継ぎ可否は、あるジョブ実行サーバで障害発生した場合に、他のジョブ実行サーバへファイルを引き継ぎ可能であるか否かを表す。ローカルの場合は各ジョブ実行サーバがファイルを保持しているため、他のジョブ実行サーバへファイルを引き継ぐことはできず、引き継ぎは「不可」となる。共有FSの場合は別のジョブ実行サーバでもファイルにアクセスすることが可能なため、引き継ぎは「可」となる。
本実施例では種別がローカルであるファイル格納媒体としてローカルディスクのみを示しているが、SSD(Solid State Drive)やメモリファイルシステムを用いてもよい。
図7に、ジョブ実行履歴テーブル154の一例を示す。
ジョブ実行履歴テーブルは、各ジョブに関して、実行開始日時、ジョブ名、入力ファイルおよび出力ファイルのファイル格納媒体、ジョブの処理時間、入力ファイルサイズからなり、過去に実行されたジョブの情報が記録される。
ジョブ実行履歴テーブルは、各ジョブに関して、実行開始日時、ジョブ名、入力ファイルおよび出力ファイルのファイル格納媒体、ジョブの処理時間、入力ファイルサイズからなり、過去に実行されたジョブの情報が記録される。
実行開始日時は、当該ジョブの実行が開始された日時である。入力ファイルおよび出力ファイルのファイル格納媒体は、当該ジョブが実行された際に、入力ファイルおよび出力ファイルが格納されたファイル記憶媒体である。入力ファイルサイズは、当該ジョブが実行された際の入力ファイルのサイズである。処理時間は、当該ジョブの実行に要した時間である。
本実施例の最適配置パターン生成部157では、任意のジョブネット、例えば図3のジョブネットAに対して、バッチジョブ内のジョブ単位(ジョブA〜ジョブF)で、ファイル格納媒体として複数のジョブ実行サーバの各ローカルディスクおよび共有ファイルサーバを使い分け、ファイル配置パターン (JOB−A〜JOB−F)を生成し、各ファイル配置パターンに一意にパターンIDを付与する。そして、各ファイル配置パターンの実行時間を予測し、実行時間予測テーブル155に記録する。
図8に、実行時間予測テーブル155の一例を示す。
実行時間予測テーブル155は、任意のジョブネット、例えば図3のジョブネットAに対する複数の出力ファイル配置パターンの、各パターンID毎の、出力ファイル配置パターン、及び予想処理時間の情報を与えるテーブルである。パターンIDは、ジョブネットの各ファイル配置パターンに一意に付与されるIDである。したがって、出力ファイル配置パターンは、ジョブネットの各パターンID(=1〜8)における各ジョブA〜Fの出力ファイル配置パターンを示している。また、予想処理時間は、各パターンIDにおける各ジョブの予想処理時間、バッチジョブの通常時予想処理時間、障害時の最大リラン時間、障害時予想処理時間からなる。なお、各出力ファイル配置パターンには、ジョブネットの中間ファイルの配置パターンも含まれる(図示略)。
実行時間予測テーブル155は、任意のジョブネット、例えば図3のジョブネットAに対する複数の出力ファイル配置パターンの、各パターンID毎の、出力ファイル配置パターン、及び予想処理時間の情報を与えるテーブルである。パターンIDは、ジョブネットの各ファイル配置パターンに一意に付与されるIDである。したがって、出力ファイル配置パターンは、ジョブネットの各パターンID(=1〜8)における各ジョブA〜Fの出力ファイル配置パターンを示している。また、予想処理時間は、各パターンIDにおける各ジョブの予想処理時間、バッチジョブの通常時予想処理時間、障害時の最大リラン時間、障害時予想処理時間からなる。なお、各出力ファイル配置パターンには、ジョブネットの中間ファイルの配置パターンも含まれる(図示略)。
各ジョブの出力ファイル格納媒体は、配置パターン算出部145によって、図10に示すフローチャートに従って設定される。各ジョブの入力ファイル格納媒体は、各ジョブの先行ジョブの出力ファイル格納媒体と同一であるため、このテーブルには格納不要である。
各ジョブの予想処理時間は、処理時間予測部146によって、図11に示すフローチャートに従って設定される。
通常時予想処理時間は、バッチジョブ実行中に障害が発生しなかった場合にバッチジョブの完了に要する予想処理時間を表す。通常時予想処理時間は、各ジョブの予想処理時間を合計することにより算出される。
障害時の最大リラン時間は、バッチジョブ実行中に障害が発生した場合に、再実行(リラン)を要するジョブの実行時間の合計の最大値を表す。障害時の最大リラン時間は、処理時間予測部146によって、図12に示すフローチャートに従って算出される。
障害時予想処理時間は、バッチジョブ実行中に障害が発生した場合にバッチジョブの完了に要する予想処理時間を表す。通常時予想処理時間に障害時の最大リラン時間を加えた値が設定される。
図9に、最適配置パターン出力テーブル156の一例を示す。
最適配置パターン出力テーブルは、ジョブネット名、ジョブ実行情報、通常時予想処理時間、障害時最大リラン時間、障害時予想処理時間、ジョブ実行サーバ数からなる。ジョブ実行情報は、ジョブネットを構成する各ジョブの出力ファイル格納媒体および予想処理時間を含む。ジョブ実行情報、通常予想時処理時間、障害時最大リラン時間、障害時予想処理時間には、実行時間予測テーブル155から選択されたファイル格納パターンの情報が転記される。
最適配置パターン出力テーブルは、ジョブネット名、ジョブ実行情報、通常時予想処理時間、障害時最大リラン時間、障害時予想処理時間、ジョブ実行サーバ数からなる。ジョブ実行情報は、ジョブネットを構成する各ジョブの出力ファイル格納媒体および予想処理時間を含む。ジョブ実行情報、通常予想時処理時間、障害時最大リラン時間、障害時予想処理時間には、実行時間予測テーブル155から選択されたファイル格納パターンの情報が転記される。
この例では、図8の実行時間予測テーブル155において、ジョブネットAに対する複数の出力ファイル配置パターン(パターンID=1〜8)の中から、入力パラメタテーブル152のパラメタ値を満たすパターンID=2,3が選択され、これらの中で、優先ポリシーに従って、障害時予想処理時間の短いパターンID=3の出力ファイル配置パターンが、図9の最適配置パターン出力テーブル156において、最適配置パターンとして出力されている。
ジョブ実行サーバ数には、実施例1においては、入力パラメタテーブル152のジョブ実行サーバ数の値が転記される。
図10に、図4のステップS403の、ジョブに対するファイルの配置パターンの生成フローを示す。ステップS1001において、ジョブ情報テーブル15から1つのジョブネットのジョブ情報を取得する。ステップS1002において、ジョブネット中の複数のジョブ(A〜F)から、未選択のジョブを選択する。ステップS1003において、ステップS1002で選択されたジョブに後続ジョブが存在するかを確認し、後続ジョブが存在すればステップS1004を、存在しなければステップS1006を実行する。ステップS1004において、ステップS1002で選択されたジョブと、その全ての後続ジョブの分割属性が同一かどうかを、ジョブ情報テーブル151を参照して判定し、分割属性が同一であればステップS1005を、異なればステップS1006を実行する。ステップS1005では、図6に示したファイル格納テーブルに存在する全てのファイル格納媒体を選択し、ステップS1006では、ファイル格納テーブルに存在する種別が共有のファイル格納媒体を選択する。ステップS1007において、選択したファイル格納媒体についてファイル配置パターンを追加する。そして、ステップS1008において、未選択のジョブが存在するか確認し、存在すればステップS1002からの処理を繰り返す。未選択のジョブが存在しなければ本処理を終了する。
ステップS1005およびステップS1006により共有のファイル格納媒体のみを選択しているのは、ジョブ間で分割属性が異なる場合はジョブ実行サーバ間で中間ファイルを再配置する必要があるためである。また、先頭ジョブの入力ファイルおよび終端ジョブの出力ファイルは、他システムとの連携及びデータ保護の観点から共有ファイルサーバに格納するものとする。
図11に、図4のステップS404で通常時予想処理時間を算出するための、単一のジョブの処理時間を予測する処理フローを示す。ステップS1101で、複数のジョブ(A〜F)からいずれかのジョブXを選択したものとする。ステップS1102において、図7に示したジョブ実行履歴テーブル154から、ジョブXおよびジョブ名、入力媒体、出力媒体が同じジョブ実行履歴を検索し、そのような履歴が存在すればステップS1104を、存在しなければステップS1105を実行する。ステップS1104では、ステップS1102で検索されたジョブ実行履歴の入力ファイルと、入力パラメタ中の入力ファイルサイズとの比率から処理時間を算出する。ステップS1105では、入力パラメタ中の入力ファイルサイズおよびファイル格納テーブルのジョブ実行サーバ1台あたりの性能を用いて処理時間を算出する。
図12に、図4のステップS404の障害時予想処理時間を算出するために必要な、障害時最大リラン時間を算出する処理フローを示す。ステップS1202において、最大リラン時間、リラン時間を0に初期化し、対象としているジョブネットの開始ジョブを選択する。次に、ステップS1203において、現在のリラン時間に選択中のジョブの処理時間を加える。そして、ステップS1204において、現在選択中のジョブの出力ファイルが引き継ぎ可能かどうか判定し、引き継ぎ可能であればステップS1205を、そうでなければステップS1207を実行する。選択中のジョブの出力ファイルが引き継ぎ可能な場合、ステップS1205において、リラン時間が最大リラン時間より大きいかどうかを判定する。リラン時間が最大リラン時間より大きければ、ステップS1206において、現在のリラン時間を最大リラン時間に代入した後にリラン時間を0に初期化する。その後、ステップS1207において、現在選択中のジョブが最終ジョブかどうかを判定し、最終ジョブであればステップS1209で最大リラン時間を出力し、本処理を終了する。選択中のジョブが最終ジョブでなければ、ステップS1208で現在選択中のジョブの終端ジョブを選択し、ステップS1203からの処理を繰り返す。
本手順により、障害時の最大リラン時間として、引継ぎ不可ジョブが連続する最大の実行時間を求めることができる。
図13に、図4中ステップS407の優先ポリシーに基づくパターン選択の処理フローを示す。優先ポリシーの設定値が通常であればステップS1303を実行し、障害であればステップS1304を実行する。ステップS1303では、通常時予想処理時間が最も小さいパターンを選択する。もし複数のパターンが選択された場合には、さらに、ステップS1305で障害時予想処理時間が最も小さいパターンを抽出する。ステップS1304では障害時予想処理時間が最も小さいパターンを選択する。もし複数のパターンが選択された場合には、さらに、ステップS1306で通常時予想処理時間が最も小さいパターンを抽出する。
図14により、本実施例の効果を説明する。
本実施例では、ジョブネットを構成する各バッチジョブの実行に、ローカルディスクと共有ファイルサーバの双方もしくはいずれかを用いる。すなわち、ジョブネットを構成するジョブ単位(A〜F)で、ファイル格納媒体としてジョブ実行サーバ1、2の各ローカルディスクおよび共有ファイルサーバを使い分け、パターンIDの付与された複数のファイル配置パターン (JOB−A〜JOB−F)を算出生成する。さらに、これらの複数のファイル配置パターンの中から所定の完了時間を満たす最適ファイル配置パターンを生成し、この最適ファイル配置パターンに基づいて、バッチジョブを実行する。これにより、サーバ障害発生時に当該サーバのバッチジョブ実行結果にアクセスできるため、ジョブ再実行時間が短縮される。また、ローカルディスクおよび共有ファイルサーバの双方を用いて各バッチジョブを実行するので、複数のジョブ実行サーバからのアクセスが共有ファイルサーバに集中してファイルアクセス速度が低下することも抑制され、所定の完了時間を満たすことができる。
本実施例では、ジョブネットを構成する各バッチジョブの実行に、ローカルディスクと共有ファイルサーバの双方もしくはいずれかを用いる。すなわち、ジョブネットを構成するジョブ単位(A〜F)で、ファイル格納媒体としてジョブ実行サーバ1、2の各ローカルディスクおよび共有ファイルサーバを使い分け、パターンIDの付与された複数のファイル配置パターン (JOB−A〜JOB−F)を算出生成する。さらに、これらの複数のファイル配置パターンの中から所定の完了時間を満たす最適ファイル配置パターンを生成し、この最適ファイル配置パターンに基づいて、バッチジョブを実行する。これにより、サーバ障害発生時に当該サーバのバッチジョブ実行結果にアクセスできるため、ジョブ再実行時間が短縮される。また、ローカルディスクおよび共有ファイルサーバの双方を用いて各バッチジョブを実行するので、複数のジョブ実行サーバからのアクセスが共有ファイルサーバに集中してファイルアクセス速度が低下することも抑制され、所定の完了時間を満たすことができる。
このように、本実施例によれば、バッチジョブの実行において、障害が発生した場合においても、所定の完了時間を満たしつつバッチジョブを実行することができる。
実施例1においては、ジョブ実行サーバ数を固定していた。このようなシステムでは、要求処理時間に対してジョブ実行サーバ数が少ない場合は、実行可能なパターン無しとなる場合が生じ得る。また、バッチジョブにおいて処理すべきデータ量が増加した場合にも、同様に、実行可能なパターン無しとなる場合が生じ得る。一方、要求処理時間に対してジョブ実行サーバ数が多い場合は、不必要な計算リソースを消費し、大幅に早くバッチジョブが完了してしまう場合も生じ得る。本実施例では、このような不具合を解消し、要求処理時間に対して最適なリソース量(ジョブ実行サーバ台数)を求める方法を示す。
本発明の第2の実施例を、図15、図16を参照しながら説明する。図15は本発明の第2の実施例になる、計算機システムのハードウェア構成の要部を示すブロック図である。図16は、第2の実施例におけるファイル配置の最適パターン算出の処理フローチャートである。
図15に示したように、本実施例のバッチジョブ処理システムは、メモリ143にプログラムとして保持された割当てリソース管理部160を有し、テーブルとして割当てリソース管理テーブル161を有している。この割当てリソース管理部160は、例えば配置パターン決定部144によって起動され、バッチジョブ処理におけるリソース、例えば、ネットワーク101で接続されたシステム内のバッチジョブ実行サーバの台数や、共有ファイルサーバの台数など、システム内において利用可能なリソースの割当てを制御し、その情報を割当てリソース管理テーブル161に記録する機能を有する。
図16は、実施例1の図4に相当する、最適配置パターン生成部157の動作を示すフローチャートである。割当てリソース管理部160は、配置パターン決定部144により起動される。まず、ステップS1402において、システム運用管理者がジョブネット、入力パラメタを設定し、さらに、必要に応じてリソースを設定する。これらは、ジョブ情報テーブル151、入力パラメタテーブル152及びリソース管理テーブル161に格納される。次に、ステップS403において、リソース管理テーブル161を参照してジョブネット中の各ジョブに対するファイルの配置パターンを生成し、実行時間予測テーブル155に格納する。これらの点を除けば、ステップS1402からステップS1405は、図4におけるステップS402からステップS405における処理と同一である。
ステップS1405においては、要求処理時間を満たす配置パターンが存在するか確認し、存在すればステップS1406を、存在しなければステップS1410を実行する。ステップS1406では、要求処理時間を満たす配置パターンおよびリソース量を各テーブルに記憶する。その後、ステップS1407では、バッチジョブの実行に割り当てられたリソース量を減少させる。そしてステップS1408において、減少したリソース量に基づいて各パターンの通常時予想処理時間および障害時予想処理時間を算出する。ステップS1409において、要求処理時間を満たす配置パターンが存在するか確認し、存在すればステップS1406からの処理を繰り返し、存在しなければステップS1414を実行する。
ステップS1410では、バッチジョブの実行に割り当てられたリソース量を増加させる。その後、ステップS1411では、そしてステップS1408において、増加したリソース量に基づいて各パターンの通常時予想処理時間および障害時予想処理時間を算出する。
ステップS1412において、要求処理時間を満たす配置パターンが存在するか確認し、存在しなければステップS1410からの処理を繰り返し、存在すればステップS1413を実行する。ステップS1413では、要求処理時間を満たす配置パターンおよびリソース量を記憶する。
ステップS1414では、ステップS1406またはステップS1413で記憶した配置パターンに対して、優先ポリシーに基づいてパターンを選択し、最適配置パターン出力テーブル156へ出力する。
ここで、ステップS1407およびステップS1410における割当てリソースとは、例えばバッチジョブ実行サーバの台数である。もしくは、共有ファイルサーバの台数などであってもよい。
以上の手順により、要求処理時間やバッチジョブにおいて処理すべきデータ量が変化する場合でも、その要求処理時間を満たす最小限のリソース量を求めることが可能となる。
本実施例でも、バッチジョブの実行において、障害が発生した場合においても、所定の完了時間を満たしつつバッチジョブを実行することができる。また、システムのリソース量を可変とすることで、要求処理時間に応じて最適なリソース量(ジョブ実行サーバ台数等)を提供できる。
次に、本発明の第3の実施例を、図17を参照しながら説明する。図17は、実施例3における、ファイル配置決定部におけるジョブ実行時のファイル配置パターン変更処理を表すフローチャートである。
実施例1および2は、ファイルの配置パターンを決定しバッチジョブの実行を開始した後は、ファイル配置パターンやリソース割り当て量を変更していない。しかし、バッチジョブの実行開始後に、再度、最適実行パターンの算出を行うことが出来れば、バッチジョブ完了時間予測の高精度化やリソース割り当て量の削減が可能となる。本実施例は、実施例1または実施例2とは異なり、最適配置パターン生成部157が、バッチジョブの実行開始後に、再度、最適実行パターンの算出を行う機能を備えている。
図17は、配置パターン決定部144おいてジョブ実行時にファイル配置パターン変更を行うフローチャートである。
ステップS1502において、任意のジョブの実行完了を契機として、ステップS1503において、図16における最適実行パターンの算出処理を実行する。このとき、ステップS1403におけるファイルの配置パターン生成においては、既に実行が完了したジョブについては出力ファイル格納媒体を変更しない。
既に実行が完了したジョブについては、実行履歴管理部147によりそのジョブ実行履歴がジョブ実行履歴テーブル154に追加される。そのため、既に実行が完了したジョブについては、実際の処理時間が実行時間予測テーブルに155に設定されることとなる。
ステップS1502において、任意のジョブの実行完了を契機として、ステップS1503において、図16における最適実行パターンの算出処理を実行する。このとき、ステップS1403におけるファイルの配置パターン生成においては、既に実行が完了したジョブについては出力ファイル格納媒体を変更しない。
既に実行が完了したジョブについては、実行履歴管理部147によりそのジョブ実行履歴がジョブ実行履歴テーブル154に追加される。そのため、既に実行が完了したジョブについては、実際の処理時間が実行時間予測テーブルに155に設定されることとなる。
ステップS1504において、現在のリソース割当て量とステップS1503において算出されたリソース割当て量を比較し、それらが等しい場合はステップS1507に進む。現在のリソース割当て量がステップS1503において算出されたリソース割当て量より大きい場合は、ステップS1505において割当てリソース量を減少させる。現在のリソース割当て量がステップS1503において算出されたリソース割当て量より小さい場合は、ステップS1506において割当てリソース量を増加させる。
ステップS1507においては、ステップS1503において算出したファイル配置パターンを実行中のバッチジョブへ反映し、ステップS1508において後続ジョブの実行を開始してバッチジョブの実行を再開する。
本実施例でも、バッチジョブの実行において、障害が発生した場合においても、所定の完了時間を満たしつつバッチジョブを実行することができる。また、バッチジョブの実行開始後に、再度、最適実行パターンの算出を行うので、バッチジョブ完了時間予測の高精度化やリソース割り当て量の削減が可能となる。
101…ネットワーク、102…ストレージネットワーク、110…ジョブ実行サーバ、111…ローカルディスク、112…ディスクコントローラ、113…メモリ、114…CPU、115…通信インターフェース、116…ジョブプログラム、117…ジョブ実行制御部、118…ファイルアクセス制御部、119…ファイル、120…共有ファイルサーバ、121…通信インターフェース、122…CPU、123…メモリ、124…ファイルサーバ制御部、125…ストレージインターフェース、130…ストレージシステム、140…バッチジョブ管理サーバ、142…CPU、143…メモリ、144…配置パターン決定部、145…配置パターン算出部、146…処理時間予測部、147…実行履歴管理部、148…ジョブ実行制御部、149…ディスクコントローラ、150…ローカルディスク、151…ジョブ情報テーブル、152…パラメタテーブル、153…ファイル格納媒体テーブル、154…ジョブ実行履歴テーブル、155…実行時間予測テーブル、156…最適配置パターン出力テーブル、157…最適配置パターン生成部、158…パラメタ入力部、160…割当てリソース管理部、161…割当てリソース管理テーブル。
Claims (20)
- バッチジョブ処理システムにおけるバッチジョブの実行を管理するバッチジョブ管理サーバであって、
該バッチジョブ管理サーバには、ファイル格納媒体を備えた1台以上のバッチジョブ実行サーバと、ファイル格納媒体を有し前記バッチジョブ実行サーバからのファイルアクセス要求を処理する共有ファイルサーバとが、ネットワークを介して接続されるものにおいて、
一連のジョブの纏まりであるジョブネット及び要求処理時間の設定を受け付ける機能と、
前記ジョブネット内の前記各ジョブ単位で、前記バッチジョブ実行サーバおよび前記共有ファイルサーバの前記各ファイル格納媒体を使い分けてファイルを配置する複数のファイル配置パターンを生成する機能と、
前記複数のファイル配置パターンの中から、前記要求処理時間を満たして前記バッチジョブを実行する最適ファイル配置パターンを決定する機能と、
前記最適ファイル配置パターンに基づき、前記バッチジョブ実行サーバにおける前記バッチジョブの実行を制御するジョブ実行制御機能とを備えている
ことを特徴とするバッチジョブ管理サーバ。 - 請求項1において、
前記ジョブネット、前記要求処理時間、及び入力データ量を設定する入力パラメタ設定手段と、
前記各ファイル格納媒体を用いて、前記ジョブネットの前記各ジョブにおける前記ファイル配置パターンを生成する配置パターン算出部と、
前記ファイル配置パターンに対する前記処理時間を予測する処理時間予測部と、
前記要求処理時間を満たすファイル配置パターンが存在する場合に、該ファイル配置パターンを前記最適ファイル配置パターンとして決定する最適配置パターン決定部とを有する
ことを特徴とするバッチジョブ管理サーバ。 - 請求項2において、
前記要求処理時間は、通常時要求処理時間と障害時要求処理時間とを含み、
前記処理時間予測部は、前記ファイル格納媒体の配置パターンに対する通常時処理時間と、前記ファイル格納媒体の配置パターンに対する障害時処理時間とを予測する機能を有し、
前記配置パターン決定部は、前記通常時要求処理時間と障害時要求処理時間を満たすファイル配置パターンを前記最適配置パターンとして出力する機能を有する
ことを特徴とするバッチジョブ管理サーバ。 - 請求項2において、
前記各ジョブにおける前記ファイル格納媒体の配置パターンを生成する前記配置パターン算出部は、
当該ジョブに対する後続ジョブが存在しない場合は、前記ファイル格納媒体として前記共有ファイルサーバの共有可能なファイル格納媒体を選択する機能と、
当該ジョブに対する後続ジョブが存在し、当該ジョブに対する後続ジョブの分割属性が当該ジョブと異なる場合は、前記ファイル格納媒体として前記共有ファイルサーバの共有可能なファイル格納媒体を選択する機能と、
当該ジョブに対する後続ジョブが存在し、当該ジョブに対する後続ジョブの分割属性が当該ジョブと同一である場合は、前記ファイル格納媒体として全ての前記ファイル格納媒体を選択する機能と、
選択した前記ファイル格納媒体について、当該ジョブのファイル配置パターンに追加する機能とを有する
ことを特徴とするバッチジョブ管理サーバ。 - 請求項2において、
前記処理時間予測部は、
前記ファイル格納媒体の配置パターンに対する障害時処理時間の予測において、
最大リラン時間およびリラン時間を初期化する機能と、
対象としている前記ジョブネットの開始ジョブを選択する機能と、
現在のリラン時間に選択中のジョブの処理時間を加える機能と、
現在選択中のジョブの出力ファイルが他のバッチジョブ実行サーバへ引き継ぎ可能、かつ、前記現在のリラン時間が前記最大リラン時間より大きいかどうか判定する機能と、
前記判定するステップが真である場合に、前記最大リラン時間に前記現在のリラン時間を設定し、前記現在のリラン時間を初期化する機能と、
前記選択中のジョブが終端ジョブである場合は前記最大リラン時間を出力する機能と、
前記選択中のジョブが終端ジョブでない場合は、前記現在のリラン時間に前記選択中のジョブの処理時間を加える機能とを含む
ことを特徴とするバッチジョブ管理サーバ。 - 請求項2において、
前記入力パラメタ設定手段は、要求処理時間の優先ポリシーを設定する機能を含み、
前記最適配置パターン決定部は、
前記優先ポリシーの設定値が前記通常時要求処理時間である場合は、前記要求処理時間を満たす配置パターンから前記通常時処理時間が最も小さいパターンを選択して出力する機能と、
前記優先ポリシーの設定値が前記障害時要求処理時間である場合は、前記要求処理時間を満たす配置パターンから前記障害時処理時間が最も小さいパターンを選択して出力する機能とを含む
ことを特徴とするバッチジョブ管理サーバ。 - 請求項2において、
前記出力ファイル配置パターンは、前記複数のファイル格納媒体上における前記ジョブネットを構成する各ジョブのファイル配置パターンを示す複数のファイル配置パターンと、前記各ファイル配置パターンに一意に付与されたパターンIDとを含む
ことを特徴とするバッチジョブ管理サーバ。 - 請求項2において、
前記最適配置パターンには、ジョブネットの名、ジョブ実行情報、通常時予想処理時間、障害時最大リラン時間、障害時予想処理時間の情報が含まれ、
前記ジョブ実行情報は、前記ジョブネットを構成する各ジョブの前記出力ファイル格納媒体を含む
ことを特徴とするバッチジョブ管理サーバ。 - 請求項2において、
前記バッチジョブ処理システムにおいて利用可能なリソースの割当てを制御し、その情報を割当てリソース管理テーブルに記録する機能を有する割当てリソース管理部を備え、
前記割当てリソース管理部は、前記要求処理時間と前記ジョブ実行サーバ数の情報から、前記要求処理時間に対して最適なリソース量を割り当てる
ことを特徴とするバッチジョブ管理サーバ。 - 請求項9において、
前記バッチジョブの実行時において各ジョブの完了を検出する機能と、
予測された前記リソース量が現在の割当てリソース量より小さい場合には割当てリソース量を減少させ、前記予測されたリソース量が前記現在の割当てリソース量より大きい場合には割当てリソース量を増加させる機能と、
前記割当てリソース量の変更に伴って新たに算出された前記バッチジョブのファイル配置パターンに従って前記最適ファイル配置パターンを変更する機能とを備えた
ことを特徴とするバッチジョブ管理サーバ。 - ファイル格納媒体を備えた1台以上のバッチジョブ実行サーバと、ファイル格納媒体を有し前記バッチジョブ実行サーバからのファイルアクセス要求を処理する共有ファイルサーバとが、ネットワークを介してバッチジョブ管理サーバに接続されたバッチジョブ処理システムにおいて、
前記バッチジョブ管理サーバは、
一連のジョブの纏まりであるジョブネット及び要求処理時間の設定を受け付ける機能と、
前記ジョブネット内の前記各ジョブ単位で、前記バッチジョブ実行サーバおよび前記共有ファイルサーバの前記各ファイル格納媒体を使い分けてファイルを配置する複数のファイル配置パターンを生成する機能と、
前記複数のファイル配置パターンの中から、前記要求処理時間を満たして前記バッチジョブを実行する最適ファイル配置パターンを決定する機能と、
前記最適ファイル配置パターンに基づき、前記バッチジョブ実行サーバにおける前記バッチジョブの実行を制御するジョブ実行制御機能とを備えている
ことを特徴とするバッチジョブ処理システム。 - 請求項11において、
前記バッチジョブ管理サーバは、
システム内でバッチジョブ処理に利用可能なリソースの割当てを制御する機能と、
前記要求処理時間と前記バッチジョブ実行サーバの数の情報から、前記要求処理時間に対して最適なリソース量を割り当てる機能とを有する
ことを特徴とするバッチジョブ処理システム。 - バッチジョブ処理システムによりバッチジョブを実行する方法であって、
前記バッチジョブ処理システムは、
ファイル格納媒体を備えた1台以上のバッチジョブ実行サーバと、ファイル格納媒体を有し前記バッチジョブ実行サーバからのファイルアクセス要求を処理する共有ファイルサーバとが、ネットワークを介してバッチジョブ管理サーバに接続されるものにおいて、
一連のジョブの纏まりであるジョブネット及び要求処理時間の設定を受け付けるステップと、
前記バッチジョブ内のジョブ単位で、前記バッチジョブ実行サーバおよび前記共有ファイルサーバの前記各ファイル格納媒体を使い分けてファイルを配置する複数のファイル配置パターンを算出するステップと、
前記複数のファイル配置パターンの中から前記要求処理時間を満たして前記バッチジョブを実行する最適ファイル配置パターンを決定するステップと、
前記最適ファイル配置パターンに基づき、前記バッチジョブ実行サーバにおける前記バッチジョブの実行を制御するステップ
を含むことを特徴とするバッチジョブ実行方法。 - 請求項13において、
前記ジョブネット、通常時要求処理時間、障害時要求処理時間、及び入力データ量を設定する入力パラメタ設定ステップと、
前記各ジョブにおける前記ファイル格納媒体の配置パターンを生成するステップと、
前記ファイル格納媒体の配置パターンに対する通常時処理時間を予測するステップと、
前記ファイル格納媒体の配置パターンに対する障害時処理時間を予測するステップと、
前記要求処理時間を満たす配置パターンが存在する場合は、当該配置パターンを出力するステップとを含む
ことを特徴とするバッチジョブ実行方法。 - 請求項14において、
前記各ジョブにおけるファイル格納媒体の配置パターンを生成するステップは、
当該ジョブに対する後続ジョブが存在しない場合は、前記ファイル格納媒体として共有可能なファイル格納媒体を選択するステップと、
当該ジョブに対する後続ジョブが存在し、当該ジョブに対する後続ジョブの分割属性が当該ジョブと異なる場合は、前記ファイル格納媒体として共有可能なファイル格納媒体を選択するステップと、
当該ジョブに対する後続ジョブが存在し、当該ジョブに対する後続ジョブの分割属性が当該ジョブと同一である場合は、前記ファイル格納媒体として全てのファイル格納媒体を選択するステップと、
選択した前記ファイル格納媒体について、当該ジョブのファイル配置パターンに追加するステップ
を含むことを特徴とするバッチジョブ実行方法。 - 請求項15において、
前記ファイル格納媒体の配置パターンに対する障害時処理時間を予測するステップは、
最大リラン時間およびリラン時間を初期化し、対象としている前記ジョブネットの開始ジョブを選択するステップと、
現在のリラン時間に選択中のジョブの処理時間を加えるステップと、
前記現在選択中のジョブの出力ファイルが他のバッチジョブ実行サーバへ引き継ぎ可能、かつ、前記現在のリラン時間が最大リラン時間より大きいかどうか判定するステップと、
前記判定するステップが真である場合に、前記最大リラン時間に前記現在のリラン時間を設定し、前記現在のリラン時間を初期化するステップと、
選択中のジョブが終端ジョブである場合は前記最大リラン時間を出力するステップと、
前記選択中のジョブが前記終端ジョブでない場合は、前記現在のリラン時間に前記選択中のジョブの処理時間を加えるステップから繰り返すステップ
を含むことを特徴とするバッチジョブ実行方法。 - 請求項16において、
前記入力パラメタ設定ステップは、
前記要求処理時間の優先ポリシーを設定するステップを含み、
前記配置パターンを出力するステップは、
前記優先ポリシーの設定値が前記通常時要求処理時間である場合は、前記要求処理時間を満たす配置パターンから前記通常時処理時間が最も小さいパターンを選択して出力するステップと、
前記優先ポリシーの設定値が前記障害時要求処理時間である場合は、前記要求処理時間を満たす配置パターンから前記障害時処理時間が最も小さいパターンを選択して出力するステップ
を含むことを特徴とするバッチジョブ実行方法。 - 請求項15において、
前記バッチジョブ管理サーバは、最適配置パターン算出部とリソース管理部とを有しており、
前記バッチジョブ内のジョブ単位で、利用可能なリソースとして割り当てられた前記バッチジョブ実行サーバおよび前記共有ファイルサーバの前記各ファイル格納媒体を使い分けてファイルを配置する複数のファイル配置パターンを決定するステップと、
前記複数のファイル配置パターンの中から所定の完了時間を満たして前記バッチジョブを実行する最適ファイル配置パターンを生成するステップ
を含むことを特徴とするバッチジョブ実行方法。 - 請求項18において、
前記要求処理時間を満たす配置パターンが存在する場合には、その配置パターンを出力するステップと、
前記要求処理時間を満たす配置パターンが存在するか判定するステップと、
前記配置パターンが存在する場合には、その配置パターンおよびリソース量を記憶するステップと、
前記割り当てリソース量を減少させるステップと、
前記ファイル格納媒体の配置パターンに対する通常時処理時間を予測するステップと、
前記ファイル格納媒体の配置パターンに対する障害時処理時間を予測するステップと、
前記要求処理時間を満たす配置パターンが存在する場合には、前記配置パターンおよび前記リソース量を記憶するステップから再実行するステップと、
前記判定のステップで配置パターンが存在しない場合には、前記割り当てリソース量を増加させるステップと、
前記ファイル格納媒体の配置パターンに対する前記通常時処理時間を予測するステップと、
前記ファイル格納媒体の配置パターンに対する前記障害時処理時間を予測するステップと、
前記要求処理時間を満たす配置パターンが存在しない場合には、前記割り当てリソース量を増加させるステップから再実行するステップと、
前記要求処理時間を満たす配置パターンが存在する場合には、該配置パターンおよび前記リソース量を記憶するステップと、
前記優先ポリシーに基づいて前記配置パターンを選択し出力するステップと
を含むことを特徴とするバッチジョブ実行方法。 - 請求項19において、
前記バッチジョブの実行時において前記各ジョブの完了を検出するステップと、
前記予測されたリソース量が前記現在の割り当てリソース量より小さい場合には前記割り当てリソース量を減少させるステップと、
前記予測されたリソース量が前記現在の割り当てリソース量より大きい場合には前記割当てリソース量を増加させるステップと、
算出された前記ファイル配置パターンに従って前記バッチジョブのファイル配置パターンを変更するステップと、
当該ジョブの後続ジョブから前記バッチジョブの実行を再開するステップと
を含むことを特徴とするバッチジョブ実行方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010281394A JP2012128770A (ja) | 2010-12-17 | 2010-12-17 | バッチジョブ管理サーバ、バッチジョブ処理システム及びバッチジョブ実行方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010281394A JP2012128770A (ja) | 2010-12-17 | 2010-12-17 | バッチジョブ管理サーバ、バッチジョブ処理システム及びバッチジョブ実行方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012128770A true JP2012128770A (ja) | 2012-07-05 |
Family
ID=46645692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010281394A Pending JP2012128770A (ja) | 2010-12-17 | 2010-12-17 | バッチジョブ管理サーバ、バッチジョブ処理システム及びバッチジョブ実行方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012128770A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9715409B2 (en) | 2013-07-25 | 2017-07-25 | Fujitsu Limited | Job delay detection method and information processing apparatus |
US9880765B2 (en) | 2014-11-07 | 2018-01-30 | Hitachi, Ltd. | Copy processing management system and copy processing management method |
CN109983441A (zh) * | 2016-11-23 | 2019-07-05 | 亚马逊科技公司 | 用于批作业的资源管理 |
US10459831B2 (en) | 2016-07-28 | 2019-10-29 | Fujitsu Limited | Non-transitory computer-readable storage medium, data specification method, and data specification device |
-
2010
- 2010-12-17 JP JP2010281394A patent/JP2012128770A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9715409B2 (en) | 2013-07-25 | 2017-07-25 | Fujitsu Limited | Job delay detection method and information processing apparatus |
US9880765B2 (en) | 2014-11-07 | 2018-01-30 | Hitachi, Ltd. | Copy processing management system and copy processing management method |
US10459831B2 (en) | 2016-07-28 | 2019-10-29 | Fujitsu Limited | Non-transitory computer-readable storage medium, data specification method, and data specification device |
CN109983441A (zh) * | 2016-11-23 | 2019-07-05 | 亚马逊科技公司 | 用于批作业的资源管理 |
CN109983441B (zh) * | 2016-11-23 | 2023-08-29 | 亚马逊科技公司 | 用于批作业的资源管理 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5448032B2 (ja) | リソース管理装置、リソース管理プログラム、およびリソース管理方法 | |
JP5332065B2 (ja) | クラスタ構成管理方法、管理装置及びプログラム | |
US20130339956A1 (en) | Computer system and optimal arrangement method of virtual machine in computer system | |
US9432300B2 (en) | Allocation of storage resources in a networked computing environment based on energy utilization | |
US11144414B2 (en) | Method and apparatus for managing storage system | |
WO2012056494A2 (en) | Storage system and its operation method | |
CN104285206A (zh) | 信息存储系统和控制信息存储系统的方法 | |
US20210240575A1 (en) | Dynamic backup management | |
US8458710B2 (en) | Scheduling jobs for execution on a computer system | |
US9164885B2 (en) | Storage control device, storage control method, and recording medium | |
JP6115575B2 (ja) | データセット多重度変更装置、サーバ、データセット多重度変更方法、およびコンピュータ・プログラム | |
JP2012128770A (ja) | バッチジョブ管理サーバ、バッチジョブ処理システム及びバッチジョブ実行方法 | |
CN102576294B (zh) | 含有多个存储装置的存储系统和方法 | |
US8832273B1 (en) | Automated optimal workload balancing during failover in share-nothing database systems | |
US11080092B1 (en) | Correlated volume placement in a distributed block storage service | |
CN116932156A (zh) | 一种任务处理方法、装置及系统 | |
JP7304239B2 (ja) | リソース構成変更計画立案システムおよびリソース構成変更計画立案方法 | |
JP2022038919A (ja) | リソース構成見積もりシステムおよびリソース構成見積もり方法 | |
US20140122817A1 (en) | System and method for an optimized distributed storage system | |
US20200348975A1 (en) | Determine a load balancing mechanism for shared resources in a storage system by training a machine learning module | |
JP6524733B2 (ja) | 並列演算装置、並列演算システム、およびジョブ制御プログラム | |
US12026383B2 (en) | Method of managing jobs in an information system and associated system | |
US20230004314A1 (en) | Method of managing jobs in an information system and associated system | |
CN114168306B (zh) | 调度方法及调度装置 | |
US11048554B1 (en) | Correlated volume placement in a distributed block storage service |