JP2000148451A - バッチジョブ負荷分散方法および負荷分散システム - Google Patents

バッチジョブ負荷分散方法および負荷分散システム

Info

Publication number
JP2000148451A
JP2000148451A JP10327843A JP32784398A JP2000148451A JP 2000148451 A JP2000148451 A JP 2000148451A JP 10327843 A JP10327843 A JP 10327843A JP 32784398 A JP32784398 A JP 32784398A JP 2000148451 A JP2000148451 A JP 2000148451A
Authority
JP
Japan
Prior art keywords
job
divided
data
convergence
batch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10327843A
Other languages
English (en)
Inventor
Tomonori Fukumorita
共則 福盛田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP10327843A priority Critical patent/JP2000148451A/ja
Publication of JP2000148451A publication Critical patent/JP2000148451A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Stored Programmes (AREA)

Abstract

(57)【要約】 【課題】 複数の分割ジョブの分担によって、データ処
理を自動的に効率よく実行することができるが、ジョブ
の実行が完了したか否かは、ジョブ結果管理テーブルを
見ないとわからない。 【解決手段】 分割ジョブ生成部61は、ジョブの処理
時間を短縮するために、チェック結果ファイル31に格
納された情報を入力してジョブをどのくらいの多重度で
走行させればよいのか判断し、雛形JCLから分割ジョ
ブ71,72の生成を行う。収束ジョブ生成処理部62
は、すべての分割ジョブ71,72が終了したときに走
行するような収束ジョブ8を生成する。そして、ジョブ
起動処理部63は、ファイル分割処理部4による分割デ
ータ生成と、分割ジョブ生成部61および収束ジョブ生
成処理部62によるジョブ生成とが完了したら、分割ジ
ョブ71,72と収束ジョブ8の起動を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、計算機システムで
実行されるバッチジョブを効率的に走行させるためのバ
ッチジョブ負荷分散方法および負荷分散システムに関す
る。
【0002】
【従来の技術】大規模計算機システムにおいて、バッチ
ジョブに大量のデ−タが投入されると処理時間が長くか
かり、翌日の業務開始時間を遅らせてしまう等の問題が
生ずる。そのような問題を回避するために、ジョブを分
割し、各分割ジョブを並列走行させる方法がとられる。
【0003】例えば、特開平4−312131号公報に
は、データ量に応じてジョブを自動的に分割し各分割ジ
ョブを自動走行させる方式が記載されている。そして、
各分割ジョブの処理結果は、ジョブ結果判定部で監視さ
れ、ジョブ結果管理テーブルに記載される。
【0004】
【発明が解決しようとする課題】このような方式によれ
ば、複数の分割ジョブの分担によって、データ処理を自
動的に効率よく実行することが可能になる。しかし、ジ
ョブの実行が完了したか否かは、ジョブ結果管理テーブ
ルを見ないとわからない。すなわち、ジョブの分割およ
び分割ジョブの実行は自動的に遂行されるものの、実行
結果の確認まで自動化されているわけではない。特に、
特開平4−312131号公報に記載された方式では、
ジョブ実行エラー確認を行うために、オペレータがチェ
ックを行うためのジョブ結果管理テーブルが必ず設けら
れていなければならない。
【0005】本発明は、データ量に応じてジョブを自動
的に分割し、複数の分割ジョブでデータ処理を行うこと
によって処理の効率化を図れるとともに、すべての分割
ジョブが実行完了したか否か直ちに認識することがで
き、より効率的なデータ処理を行うことができるバッチ
ジョブ負荷分散方法および負荷分散システムを提供する
ことを目的とする。
【0006】
【課題を解決するための手段】本発明によるバッチジョ
ブ負荷分散方法は、入力データのデータ量を調べ、デー
タ量に応じて入力ファイルを分割し、データ量に応じて
ジョブを分割し、作成された各分割ジョブを多重走行さ
せるバッチジョブ負荷分散方法であって、すべての分割
ジョブが終了したら走行開始する収束ジョブを自動生成
することを特徴とする。
【0007】バッチジョブ負荷分散方法は、収束ジョブ
のジョブ制御言語(JCL)に、ジョブ分割数に応じた
保留回数を設定し、各分割ジョブのJCLに、収束ジョ
ブの保留解除操作を行うステップを含めるように構成さ
れていてもよい。
【0008】バッチジョブ負荷分散方法は、分割ジョブ
および収束ジョブのJCLを、雛形JCLから生成する
ように構成されていてもよい。
【0009】本発明によるバッチジョブ負荷分散システ
ムは、入力データのデータ量を調べる入力データチェッ
ク手段と、データ量に応じて入力ファイルを分割するフ
ァイル分割手段と、データ量に応じてジョブを分割して
起動するジョブ分割手段と、作成された各分割ジョブを
多重走行させるジョブ起動手段とを備え、すべての分割
ジョブが終了したら走行する収束ジョブを自動生成する
収束ジョブ生成手段を備えたことを特徴とする。
【0010】収束ジョブ生成手段は、収束ジョブのJC
Lに、ジョブ分割数に応じた数値であってその数値分だ
け保留解除操作が行われると走行可能状態となる数値で
ある保留回数を設定し、ジョブ分割手段は、各分割ジョ
ブのJCLに、収束ジョブの保留解除操作を設定するよ
うに構成されていてもよい。
【0011】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図1は、本発明によるバッチジョ
ブ負荷分散システムを示すブロック図である。図1にお
いて、入力データチェック処理部2は、入力データ10
0のデータ件数をカウントしてカウント結果をチェック
結果ファイル31に格納する。ファイル分割処理部4
は、チェック結果ファイル31に格納された情報を用い
て分割ジョブの入力/出力ファイルをアロケートする。
また、入力データを分割して分割データ51,52を生
成し分割ジョブの入力ファイルに出力する。
【0012】ジョブ分割処理部6は、分割ジョブ生成部
61、収束ジョブ生成処理部62およびジョブ起動処理
部63を備える。分割ジョブ生成部61は、ジョブの処
理時間を短縮するために、チェック結果ファイル31に
格納された情報を入力してジョブをどのくらいの多重度
で走行させればよいのか判断し、雛形JCLから分割ジ
ョブ71,72の生成を行う。なお、各分割ジョブは、
対象データは異なるものの、同一の処理を行うジョブで
ある。
【0013】収束ジョブ生成処理部62は、すべての分
割ジョブ71,72が終了したときに走行するような収
束ジョブ8を生成する。そして、ジョブ起動処理部63
は、ファイル分割処理部4による分割データ生成と、分
割ジョブ生成部61および収束ジョブ生成処理部62に
よるジョブ生成とが完了したら、分割ジョブ71,72
と収束ジョブ8の起動を行う。
【0014】次に動作について説明する。入力データチ
ェック処理部2は、入力データ100を入力し、データ
を読み飛ばしてデータ件数をカウントする。そして、カ
ウント結果をチェック結果ファイル31に格納する。フ
ァイル分割処理部4は、チェック結果ファイル31に格
納されているデータ件数に応じて、入力データ100を
いくつに分割すればよいか判断する。例えば、あらかじ
めしきい値Nを設定しておき、(データ件数/N)の商
の値を分割数と決定する。
【0015】そして、ファイル分割処理部4は、決定さ
れた分割数分のファイルをサイズ計算してアロケートし
出力する。作成された分割データ51,52は、ジョブ
分割処理部6で起動される分割ジョブ71,72の入力
となる。また、ファイル分割処理部4は、各分割ジョブ
71,72の出力ファイルもアロケートする。
【0016】例えば、入力ファイル100におけるデー
タ件数が2200万件であって、しきい値として500
万件が設定されている場合には、 分割ファイル#1:500万件 分割ファイル#2:500万件 分割ファイル#3:500万件 分割ファイル#4:500万件 分割ファイル#5:200万件 の5個の分割データが作成される。
【0017】次に、図2の説明図を参照してジョブ分割
処理部6の動作を説明する。ジョブ分割処理部6におい
て、まず、分割ジョブ生成処理部61が、ファイル分割
処理部4と同様に、チェック結果ファイル31に格納さ
れているデータ件数に応じて、ジョブをどのくらい分割
すればよいのか判断する。例えば、(データ/しきい値
N)の商の値を分割数nと決定する。そして、JCL雛
形格納ファイル32から雛形JCLを入力し、それを用
いて分割JCL(#1)641〜分割JCL(#n)6
4nを作成し、JCL格納ファイル64に格納する。さ
らに、各分割JCL#1〜#nの最後のステップに、収
束ジョブの保留解除を行う処理を追加指定する。
【0018】雛形JCLは、システム生成時等にあらか
じめ作成されて保存されている。例えば、変数域が設け
られた形式のJCLであって、変数域に数値を設定すれ
ば、直ちに分割JCLが得られるように構成されてい
る。つまり、数値「1」を変数域に設定すれば分割JC
L#1ができ、数値「n」を変数域に設定すれば分割J
CL#nができるような構造とされる。
【0019】この実施の形態では、各分割ジョブは、同
一の業務処理を行う。ただし、各分割ジョブは、処理対
象とするデータが異なる。従って、1つの雛形JCLか
ら、各分割JCL#1〜#nが容易に生成される。この
ように、大量の入力データ100が投入されたときに
は、同一業務処理を行う各分割ジョブが入力データ10
0を分担して処理することによって、その業務処理時間
が短縮される。なお、雛形JCLは各業務に応じて定義
されている。
【0020】収束ジョブ生成処理部62は、チェック結
果ファイル31に格納されている情報と、JCL雛形格
納ファイル32に格納されている収束ジョブ用の雛形J
CLを入力し、それらにもとづいて収束ジョブを生成す
る。そして、収束ジョブをJCL格納ファイル64に格
納する。収束ジョブには、例えば保留回数nが記述され
ている。すなわち、n回の保留解除が行われれば収束ジ
ョブの走行が開始されるような構造である。なお、収束
ジョブ用の雛形JCLは、保留回数の欄が変数であっ
て、収束ジョブ生成処理部62は、その欄に分割ジョブ
数に応じた値を設定することによって収束JCLを生成
する。
【0021】ジョブ起動処理部63は、ファイル分割処
理部4によるファイル分割、およびJCL格納ファイル
64への分割JCLと収束JCLとの格納が完了したこ
とを確認したら、各ジョブを起動する。各分割ジョブ#
1〜#nは多重走行することによって、入力データ処理
処理時間の短縮がはかられる。
【0022】それぞれの分割ジョブ#1〜#nのJCL
の最後には保留解除処理を指定するステップが含まれて
いるので、各分割ジョブ#1〜#nが終了すると、収束
ジョブに対する保留解除処理が行われる。
【0023】ジョブの多重走行中に収束ジョブもスケジ
ューリングされるが、収束ジョブは、保留解除回数がn
回に達していないと走行を開始しない。上述したよう
に、各分割ジョブ#1〜#nが終了するとそれぞれ保留
解除処理を行うので、結局、すべての分割ジョブが終了
したときに、保留解除回数はnに達する。すなわち、す
べての分割ジョブが終了したときに、収束ジョブは走行
を開始する。従って、オペレータは、収束ジョブが走行
したことをもって、すべての分割ジョブ#1〜#nの終
了、すなわち入力データ100の処理の終了を直ちに確
認することができる。
【0024】以上のように、この実施の形態では、人手
によるマニュアル作業を介さずに、ジョブ分割、ファイ
ル分割およびジョブ起動が自動的に実行されるので、大
量のデータが入力されても、短時間で処理を終了させる
ことができ、また、人手を介さないので作業ミスが生ず
るということもない。さらに、多重起動された分割ジョ
ブがすべて終了したときに走行する収束ジョブが自動生
成されるので、ジョブの完了確認を容易に行うことがで
き、確認もれが生ずるということもない。
【0025】なお、この実施の形態では、ジョブの処理
時間を短縮するために、入力データチェック処理部2が
入力データ100のデータ件数をカウントして、ファイ
ル分割処理部4や分割ジョブ生成処理部61がデータ件
数にもとづいてファイル分割およびジョブ分割を行うよ
うに構成されている。しかし、処理時間に影響を与える
他の要因にもとづいて、あるいは他の要因も考慮してフ
ァイル分割およびジョブ分割を行うように構成してもよ
い。例えば、入力データチェック処理部2が、データ件
数をカウントするとともに、データ種類の判断も行う。
そして、処理時間を要しそうなデータについて重み付け
を行って、そのようなデータを含む分割ファイルについ
てはデータ件数を少なくしておくようにしてもよい。
【0026】
【発明の効果】以上のように、本発明によれば、バッチ
ジョブ負荷分散方法および負荷分散システムが、入力デ
ータ量に応じて入力ファイルを分割し、入力データ量に
応じて複数個のジョブを生成し、すべての分割ジョブが
終了したら走行開始する収束ジョブを自動生成するよう
に構成したので、複数の分割ジョブでデータ処理を行う
ことによって処理の効率化を図れる上に、すべての分割
ジョブが実行完了したか否か直ちに認識することができ
る効果がある。
【0027】収束ジョブのJCLにジョブ分割数に応じ
た保留回数を設定し、各分割ジョブのJCLに、収束ジ
ョブの保留解除操作を行うステップを含めるように構成
されている場合には、設定された保留回数に等しい回数
だけ保留解除操作が行われたら、すなわち、すべての分
割ジョブが終了したら収束ジョブが走行開始するので、
収束ジョブの走行を確認するだけでジョブが終了したか
否か容易に判定することができる。
【0028】分割ジョブおよび収束ジョブのJCLを、
雛形JCLから生成するように構成されている場合に
は、分割ジョブおよび収束ジョブの生成も容易に行うこ
とができる。
【図面の簡単な説明】
【図1】 本発明によるバッチジョブ負荷分散システム
を示すブロック図である。
【図2】 本発明によるバッチジョブ負荷分散方法の処
理を示す説明図である。
【符号の説明】
2 入力データチェック処理部 4 ファイル分割処理部 6 ジョブ分割処理部 8 収束ジョブ 31 チェック結果ファイル 51,52 分割データ 61 分割ジョブ生成処理部 62 収束ジョブ生成処理部 63 ジョブ起動処理部 71,72 分割ジョブ 100 入力データ

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 入力データのデータ量を調べ、 データ量に応じて入力ファイルを分割し、 データ量に応じてジョブを分割し、 作成された各分割ジョブを多重走行させるバッチジョブ
    負荷分散方法であって、 すべての分割ジョブが終了したら走行する収束ジョブを
    自動生成することを特徴とするバッチジョブ負荷分散方
    法。
  2. 【請求項2】 収束ジョブのジョブ制御言語に、ジョブ
    分割数に応じた保留回数を設定し、 各分割ジョブのジョブ制御言語に、収束ジョブの保留解
    除操作を行うステップを含める請求項1記載のバッチジ
    ョブ負荷分散方法。
  3. 【請求項3】 分割ジョブおよび収束ジョブのジョブ制
    御言語を、雛形ジョブ制御言語から生成する請求項1ま
    たは請求項2記載のバッチジョブ負荷分散方法。
  4. 【請求項4】 入力データのデータ量を調べる入力デー
    タチェック手段と、 データ量に応じて入力ファイルを分割するファイル分割
    手段と、 データ量に応じてジョブを分割して起動するジョブ分割
    手段と、 作成された各分割ジョブを多重走行させるジョブ起動手
    段とを備えたバッチジョブ負荷分散システムであって、 すべての分割ジョブが終了したら走行する収束ジョブを
    自動生成する収束ジョブ生成手段を備えたことを特徴と
    するバッチジョブ負荷分散システム。
  5. 【請求項5】 収束ジョブ生成手段は、収束ジョブのジ
    ョブ制御言語に、ジョブ分割数に応じた保留回数を設定
    し、 ジョブ分割手段は、各分割ジョブのジョブ制御言語に、
    収束ジョブの保留解除操作を設定する請求項4記載のバ
    ッチジョブ負荷分散システム。
JP10327843A 1998-11-18 1998-11-18 バッチジョブ負荷分散方法および負荷分散システム Pending JP2000148451A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10327843A JP2000148451A (ja) 1998-11-18 1998-11-18 バッチジョブ負荷分散方法および負荷分散システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10327843A JP2000148451A (ja) 1998-11-18 1998-11-18 バッチジョブ負荷分散方法および負荷分散システム

Publications (1)

Publication Number Publication Date
JP2000148451A true JP2000148451A (ja) 2000-05-30

Family

ID=18203613

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10327843A Pending JP2000148451A (ja) 1998-11-18 1998-11-18 バッチジョブ負荷分散方法および負荷分散システム

Country Status (1)

Country Link
JP (1) JP2000148451A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007156863A (ja) * 2005-12-06 2007-06-21 Fuji Xerox Co Ltd 情報処理方法及びシステム及びプログラム
JP2011100263A (ja) * 2009-11-05 2011-05-19 Nec Corp 仮想コンピュータシステム、仮想コンピュータ管理方法および管理プログラム
WO2014049803A1 (ja) * 2012-09-28 2014-04-03 株式会社日立製作所 計算機、バッチジョブ生成方法及び記録媒体
JP2018036885A (ja) * 2016-08-31 2018-03-08 ヤフー株式会社 情報処理装置、情報処理システム、情報処理プログラムおよび情報処理方法
JP2020101972A (ja) * 2018-12-21 2020-07-02 キヤノン株式会社 情報処理装置、管理システム、情報処理装置の制御方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63288328A (ja) * 1987-05-20 1988-11-25 Nec Corp Jcl簡易作成装置
JPH02101563A (ja) * 1988-10-11 1990-04-13 Fujitsu Ltd バッチジョブ選択・変更方式
JPH04155524A (ja) * 1990-10-19 1992-05-28 Fujitsu Ltd 遠隔ジョブ制御装置
JPH07168704A (ja) * 1993-12-15 1995-07-04 Hitachi Inf Syst Ltd ジョブ実行制御方式
JPH08286932A (ja) * 1995-04-11 1996-11-01 Hitachi Ltd ジョブの並列実行制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63288328A (ja) * 1987-05-20 1988-11-25 Nec Corp Jcl簡易作成装置
JPH02101563A (ja) * 1988-10-11 1990-04-13 Fujitsu Ltd バッチジョブ選択・変更方式
JPH04155524A (ja) * 1990-10-19 1992-05-28 Fujitsu Ltd 遠隔ジョブ制御装置
JPH07168704A (ja) * 1993-12-15 1995-07-04 Hitachi Inf Syst Ltd ジョブ実行制御方式
JPH08286932A (ja) * 1995-04-11 1996-11-01 Hitachi Ltd ジョブの並列実行制御方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007156863A (ja) * 2005-12-06 2007-06-21 Fuji Xerox Co Ltd 情報処理方法及びシステム及びプログラム
JP2011100263A (ja) * 2009-11-05 2011-05-19 Nec Corp 仮想コンピュータシステム、仮想コンピュータ管理方法および管理プログラム
WO2014049803A1 (ja) * 2012-09-28 2014-04-03 株式会社日立製作所 計算機、バッチジョブ生成方法及び記録媒体
JP2018036885A (ja) * 2016-08-31 2018-03-08 ヤフー株式会社 情報処理装置、情報処理システム、情報処理プログラムおよび情報処理方法
JP2020101972A (ja) * 2018-12-21 2020-07-02 キヤノン株式会社 情報処理装置、管理システム、情報処理装置の制御方法及びプログラム
JP7271164B2 (ja) 2018-12-21 2023-05-11 キヤノン株式会社 情報処理装置、管理システム、情報処理装置の制御方法及びプログラム

Similar Documents

Publication Publication Date Title
CN109615138B (zh) 一种作业流程调优方法及装置
US6334137B1 (en) Method and system for controlling parallel execution of jobs
JPH04178833A (ja) ソフトウェア再利用支援方法
JP2000148451A (ja) バッチジョブ負荷分散方法および負荷分散システム
CN113010276A (zh) 一种任务调度方法、装置、终端设备及存储介质
JP2007086951A (ja) ファイル分割処理方法及びファイル分割プログラム
CN111736967B (zh) 多分支流程管控装置、流程模板生成方法及存储介质
US5568381A (en) Combinatorial optimization system that extracts an undersirable relationship from a present solution
CN113034048A (zh) 任务处理方法、装置、服务器及存储介质
JP3012448B2 (ja) 作業管理システム
CN105653552B (zh) 一种结构化文档处理方法、装置及设备
EP3988224A1 (en) Processing order determination method and processing order determination device
WO2024042907A1 (ja) ネスティング装置、加工スケジュール情報作成方法、及び加工スケジュール情報作成プログラム
JPH04312131A (ja) ジョブ実行管理方式
JP2004272718A (ja) 制御プログラム作成装置および制御プログラム作成方法
JP2002304504A (ja) 配賦装置及び配賦方法
law Gawiejnowicz Scheduling tasks and vehicles in a flexible manufacturing system subject to mean flow time minimization
JPH0594291A (ja) ジヨブネツトワーク図作成装置
JP2001166816A (ja) 生産管理のスケジュール作成方法、スケジュール作成装置及び記憶媒体
CN114610489A (zh) 批量文件处理方法及装置
CN114363401A (zh) 一种网络服务流程实例生命周期管理的方法及系统
JPH0581339A (ja) データ処理装置
JPH03171330A (ja) プロダクションシステムの推論機構
JPS63181004A (ja) 部品挿入機用ncデ−タ作成方法
JPH08286900A (ja) 改造項目管理装置