JP2003271405A - ジョブスケジューラのジョブ実行計算機決定方法 - Google Patents

ジョブスケジューラのジョブ実行計算機決定方法

Info

Publication number
JP2003271405A
JP2003271405A JP2002067880A JP2002067880A JP2003271405A JP 2003271405 A JP2003271405 A JP 2003271405A JP 2002067880 A JP2002067880 A JP 2002067880A JP 2002067880 A JP2002067880 A JP 2002067880A JP 2003271405 A JP2003271405 A JP 2003271405A
Authority
JP
Japan
Prior art keywords
computer
job
target program
program
executed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002067880A
Other languages
English (en)
Inventor
Atsushi Murakami
敦 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2002067880A priority Critical patent/JP2003271405A/ja
Publication of JP2003271405A publication Critical patent/JP2003271405A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Multi Processors (AREA)

Abstract

(57)【要約】 【課題】 複数の異機種の計算機からなるシステムにお
いて、ジョブを実行するのに最適な計算機を決定するこ
とにある。 【解決手段】 ジョブ受付部2は入力されたジョブ情報1
を管理し、ソースプログラム解析部3(以下、解析部3)に
渡し、解析部3はソースプログラム101を解析して目的プ
ログラムの特性パラメータを抽出し、特性パラメータ
と、ジョブ情報1と、ソースプログラムを中間言語に翻
訳した翻訳情報を計算機評価部5に渡す。評価部5は、特
性パラメータに従って計算機特性表4に登録された計算
機における目的プログラムの実行時間を推定し、また、
各計算機の混雑状況等をジョブ管理部7より取得し、推
定結果と混雑状況等により実行計算機を選択し、選択結
果とジョブ情報1をジョブ管理部7に渡し、オブジェクト
生成部6は前記翻訳情報から選択した計算機用の目的プ
ログラムを生成し、ジョブ管理部7に渡す。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数計算機をネッ
トワークにより接続したシステムにおいて、任意のユー
ザジョブを投入する場合のジョブ実行計算機の決定方法
に関する。
【0002】
【従来の技術】複数計算機をネットワークにより接続し
たシステムにおけるジョブ実行計算機の決定方法とし
て、同一機種の計算機からなるシステム(ホモジーニア
ス(homogeneous)なシステム)では、システム全体を単
一の分散コンピュータシステムと見なすことによって、
A.S.タネンバウム著「分散オペレーティングシステム」
(プレンティスホール出版,1996年発行)(ISBN4-931356-2
1-4)の第199頁から第201頁に記載されているように、従
来より並列計算機で用いられているタスクスケジューリ
ング手法を用いることが可能である。すなわち、同一機
種の計算機からなるシステムでは単一のジョブ管理機構
によってユーザジョブを各計算機に割り当てることが可
能である。しかし、異機種の計算機からなるシステム
(ヘテロジーニアス(heterogeneous)なシステム)にお
いては、ユーザジョブの目的プログラムをソースプログ
ラムからの翻訳によって生成する際に、目的プログラム
を実行する計算機をあらかじめ決定しておく必要がある
ため、統一的なジョブ管理機構によってジョブを計算機
に割り当てることができない。そのため、ユーザ自身が
ジョブを実行する計算機を決定する必要がある。
【0003】
【発明が解決しようとする課題】ジョブを実行する計算
機をユーザ自身が決定する場合、ユーザは必ずしも計算
機の能力および使用時にかかるコスト等の諸条件、およ
びジョブの性質について正確な情報を有していないた
め、ジョブの実行に必要とされる能力が不足している計
算機もしくはジョブの内容に比して過剰に性能の高い計
算機を選択する事例や、メモリ使用量や並列度やループ
長等プログラムの特性を示すパラメータから推定される
ジョブの性質に対して、必ずしも適当でない計算機を選
択する事例がしばしば発生する。このような事例が頻発
した場合、計算機資源全体の有効利用が阻害される問題
が発生する。そこで、本発明は、ユーザジョブの実行時
間および必要とされる性能に関する性質と、該ジョブを
実行可能な各計算機の性能および現在状況とから、該ジ
ョブの実行に最適な計算機を選択することにより、異機
種の計算機からなるシステムにおける計算機資源全体の
有効利用を図ることを目的とする。
【0004】
【課題を解決するための手段】上記目的を達成するた
め、本発明は、ジョブスケジューラを備える計算機と複
数の異機種の計算機をネットワークにより接続したシス
テムおいて、実行する目的プログラムを有するジョブを
実行する計算機を前記複数の異機種の計算機の中から決
定する該ジョブスケジューラのジョブ実行計算機決定方
法であり、前記目的プログラムを解析して特性パラメー
タを抽出し、該抽出した特性パラメータと各異機種の計
算機の計算機特性表に基づき該各計算機による目的プロ
グラムの実行時間推定値を算出し、各異機種の計算機か
ら該各計算機における実行待ちジョブ数を取得し、該算
出した目的プログラムの実行時間推定値と、該取得した
実行待ちジョブ数に基づき実行する目的プログラムを有
するジョブを実行する計算機を決定する。
【0005】
【発明の実施の形態】次に本発明の実施の形態の例につ
いて図面を参照して詳細に説明する。図1は本発明の第
1の実施例のシステム構成図である。同図において、1
はジョブ情報、101は該ジョブにおいて実行する目的プ
ログラムのソースプログラムである。10はジョブスケジ
ューラ、8はネットワーク、9は計算機であり、ジョブス
ケジューラ10はネットワーク8によって複数の計算機9に
接続されている。また、ジョブスケジューラ10はネット
ワーク8に接続された計算機上に備えられており、この
計算機は図1における計算機A〜Dとは別の計算機であ
る。なお、この計算機を計算機A〜Dのいずれかの計算機
としてもよい。
【0006】次に、ジョブスケジューラ10の構成を詳細
に説明する。2はジョブ受付部、ジョブ受付部2はジョブ
情報1および該ジョブにおいて実行する目的プログラム
のソースプログラム101とを保持し、その情報を必要に
応じてシステムの各構成要素に伝達するシステム構成要
素である。3はソースプログラム解析部、4は計算機特性
表、5は計算機評価部、6はオブジェクト生成部である。
ソースプログラム解析部3は、ジョブ受付部2より伝達さ
れたソースプログラム101を解析し、ループの一試行の
ステップ数、ループ回数、ループの各試行間の並列性
等、プログラムの特性を示す特性パラメータを抽出して
計算機評価部5に伝達し、また目的プログラム生成時に
用いるための、ソースプログラムを中間言語に翻訳して
この翻訳情報を計算機評価部5に伝達するシステム構成
要素である。計算機評価部5はソースプログラム解析部3
から伝達された目的プログラムの特性パラメータと計算
機特性表4とに基づいて目的プログラム生成の対象とす
る計算機を決定し、オブジェクト生成部6に目的プログ
ラムの生成を指示するシステム構成要素である。7はジ
ョブ管理部であり、ネットワークに接続された単数また
は複数の計算機にジョブを投入する機能、および投入さ
れたジョブの実行結果を取得する機能とを有するシステ
ム構成要素である。なお、図1における二重線の矢印は
ジョブ情報の流れ、単線の矢印はそれ以外の情報の流れ
を示している。
【0007】次に、図1におけるジョブスケジューラ10
の動作について説明する。ジョブスケジューラ10は実行
を依頼されたジョブを、同ジョブで実行される目的プロ
グラムの特性とジョブ投入可能な計算機の特性および現
在状況に応じて、特定の計算機に投入する機能を有し、
ソースプログラム101を含むジョブ情報1が投入されるこ
とによってそのジョブの処理を開始する。ジョブ受付部
2は入力されたジョブ情報1を管理し、ソースプログラム
解析部3に引き渡す。本実施例では、ソースプログラム
解析部3は入力されたジョブにおいて実行される目的プ
ログラムのソースプログラム101を解析して同目的プロ
グラムの特性を示す特性パラメータを抽出する。このパ
ラメータの一例としては、目的プログラムの実行時間に
密接に関与する要素として、目的プログラムに含まれる
各ループについて、ループの一試行のステップ数、ルー
プ回数、ループの各試行間の並列性を抽出する方法があ
る。ソースプログラム解析部3は、これら目的プログラ
ムの特性パラメータをジョブ情報1とともに計算機評価
部5に引き渡す。また、ソースプログラム解析部3は、ソ
ースプログラムを中間言語に翻訳し、この翻訳情報を計
算機評価部5に引き渡す。
【0008】計算機評価部5は、ソースプログラム解析
部3から受け取った目的プログラムの特性パラメータに
従って計算機特性表4に登録されている計算機における
目的プログラムの実行時間を推定し、各計算機の混雑状
況等の現在状況をジョブ管理部7より取得した後、実行
時間の推定値および混雑状況に基づいて目的プログラム
を実行する計算機を選択し、この計算機選択情報とジョ
ブ情報1をジョブ管理部7に引き渡す。また、選択した計
算機を対象として目的プログラムを生成するようオブジ
ェクト生成部6に指示し、ソースプログラムを中間言語
に翻訳した翻訳情報を引き渡す。ジョブ情報1を引き渡
す。オブジェクト生成部6は、ジョブ情報1に含まれるソ
ースプログラム101を翻訳して選択された計算機を対象
とする目的プログラムを生成し、ジョブ管理部7に引き
渡す。ジョブ管理部7は、計算機選択情報によりジョブ
を処理する計算機を指定し、ジョブ情報1に基づいて目
的プログラムを指定した計算機に投入する。
【0009】前述計算機特性表4は、図2に示すように
計算機名、各計算機の並列に使用可能なプロセッサ数、
各プロセッサの動作速度、キャッシュサイズ、キャッシ
ュ動作速度、メモリサイズ、メモリ動作速度等の、計算
機の特性を示すパラメータとからなるあらかじめ作成さ
れた表である。前述計算機評価部5における計算機選択
処理の例のフローチャートを図3に示す。同図に示すよ
うに、計算機評価部5は、まず計算機特性表4の複製Tと
目的プログラムの特性パラメータを取得する(S01)。次
に、ソースプログラム解析部3より引き渡された目的プ
ログラムの特性パラメータと、計算機特性表4の複製Tに
登録されている計算機の特性パラメータとから目的プロ
グラムの実行時間の推定値を算出し(S02)、複製Tに登録
されている計算機のうち目的プログラムの実行時間の推
定値が最小でない計算機を複製Tより除外する(S03)。次
にジョブ管理部7より、複製Tに登録されている計算機に
既に投入されており未だ完了していないジョブ数を取得
する(S04)。最後に、複製Tに登録されている計算機のう
ち、既に投入されているジョブ数が最も小さい計算機を
選択する(S05)。この選択した計算機に対する目的プロ
グラムをソースプログラム101より生成するようオブジ
ェクト生成部6に指示する(S06)。
【0010】図4は本発明の第2の実施例のシステム構
成図である。同図のジョブスケジューラ10において、11
はジョブ実行実績管理部であり、1101はジョブ実行実績
表である。ジョブ受付部2、ソースプログラム解析部
3、オブジェクト生成部6、ジョブ管理部7の処理は前記
第1の実施例と同様である。本実施例においては、計算
機評価部5は、ソースプログラム解析部3から引き渡され
る情報である目的プログラムの特性パラメータと、計算
機特性表4と、ジョブ実行実績管理部11より引き渡され
るジョブの実行実績に関する情報に基づいてジョブを実
行する計算機を決定する。ジョブ実行実績表1101は図6
に示すように、ジョブ1、ジョブ2、ジョブ3、……の各
ジョブについて、各計算機上での過去における実行時間
の推定値(計算機評価部5で推定した実行時間の推定
値)、実行回数、実行時間の合計を登録した表である。
【0011】計算機評価部5におけるジョブを実行する
計算機の決定処理の例のフローチャートを図5に示す。
同図に示されるように、計算機評価部5は第一の実施例
と同様に、計算機特性表4の複製Tと目的プログラムの特
性パラメータを取得する(S11)。次に、ソースプログラ
ム解析部3より引き渡された目的プログラムの特性パラ
メータと、計算機特性表4の複製Tに登録されている計算
機の特性パラメータとから目的プログラムの実行時間の
推定値を算出する(S12)。次にジョブ実行実績管理部11
よりジョブ実行実績表1101の複製Rを取得し(13)、ジョ
ブ情報1と同一のジョブを実行した各計算機における過
去の実行時間の推定値、実行回数、実行時間の累計をR
より取得する(S14)。ただし本実施例では、ジョブの同
一性を識別する方法の例として、各計算機に毎に得られ
るジョブの目的プログラムの実行時間の推定値が、複製
Rに登録されている対応する各計算機の推定実行時間と
同一であるジョブを同一のジョブと見なすものとする。
【0012】次に該実行回数が、ユーザによってあらか
じめ規定された有意回数に満たない計算機の有無を調べ
(S15)、実行回数が有意回数に満たない計算機が複製Tに
含まれている場合、有意回数に達している計算機をTよ
り除外する(S16)。実行回数が有意回数に満たない計算
機がTに含まれていない場合、複製Rを参照して目的プロ
グラムの実行時間の平均値(合計時間/実行回数)が最
小でない計算機を複製Tより除外する(S17)。以下、第1
の実施例のS04〜S06と同様に、既に投入されており未だ
完了していないジョブ数が最も少ない計算機を複製Tよ
り選択し(S18〜S19)、選択した計算機に対する目的プロ
グラムをソースプログラム11より生成するようオブジェ
クト生成部6に指示する(S20)。
【0013】
【発明の効果】本発明のジョブ実行計算機の決定方法に
よれば、複数の異機種の計算機をネットワークにより接
続したシステムにおいて、任意のユーザジョブを投入す
る場合に、ユーザジョブの実行時間および必要とされる
性能に関する性質と、該ジョブを実行可能な各計算機の
性能および現在状況とから、該ジョブの実行に最適な計
算機を選択することにより、複数の異機種の計算機から
なるシステムにおいて計算機資源全体の有効利用を図る
ことができる。
【図面の簡単な説明】
【図1】本発明のジョブ実行計算機の決定方法を適用し
た第1の実施例に関するシステム構成を示すブロック図
である。
【図2】図1における計算機特性表の構成を示す図であ
る。
【図3】図1における計算機評価部におけるジョブ実行
計算機の選択処理の1例のフローチャートを示す図であ
る。
【図4】本発明のジョブ実行計算機の決定方法を適用し
た第2の実施例に関するシステム構成を示すブロック図
である。
【図5】図4における計算機評価部におけるジョブ実行
計算機の決定処理の1例のフローチャートを示す図であ
る。
【図6】図4におけるジョブ実行実績表の構成を示す図
である。
【符号の説明】
1 投入ジョブ情報 2 ジョブ受付部 3 ソースプログラム解析部 4 計算機特性表 5 計算機評価部 6 オブジェクト生成部 7 ジョブ管理部 8 ネットワーク 9 計算機 10 ジョブスケジューラ 11 ジョブ実行実績管理部 101 ソースプログラム 1101 ジョブ実行実績表

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 ジョブスケジューラを備える計算機と複
    数の異機種の計算機をネットワークにより接続したシス
    テムおいて、実行する目的プログラムを有するジョブを
    実行する計算機を前記複数の異機種の計算機の中から決
    定する該ジョブスケジューラのジョブ実行計算機決定方
    法であって、 前記目的プログラムを解析して特性パラメータを抽出
    し、 該抽出した特性パラメータと各異機種の計算機の計算機
    特性表に基づき該各計算機による目的プログラムの実行
    時間推定値を算出し、 各異機種の計算機から該各計算機における実行待ちジョ
    ブ数を取得し、 該算出した目的プログラムの実行時間推定値と、該取得
    した実行待ちジョブ数に基づき実行する目的プログラム
    を有するジョブを実行する計算機を決定することを特徴
    とするジョブスケジューラのジョブ実行計算機決定方
    法。
  2. 【請求項2】 請求項1記載のジョブスケジューラのジ
    ョブ実行計算機決定方法において、 前記決定した計算機による前記ジョブの実行の履歴をそ
    れぞれ記録し、 前記実行する目的プログラムを有するジョブを実行する
    計算機の決定を、前記算出した目的プログラムの実行時
    間推定値と、前記取得した実行待ちジョブ数と、前記記
    録されたジョブの実行の履歴とに基づき行うことを特徴
    とするジョブスケジューラのジョブ実行計算機決定方
    法。
  3. 【請求項3】 実行する目的プログラムを有するジョブ
    の該目的プログラムを解析して特性パラメータを抽出す
    る手順と、 該抽出した特性パラメータと複数の異機種の計算機のそ
    れぞれの計算機特性表に基づき該各計算機による目的プ
    ログラムの実行時間推定値を算出する手順と、 各異機種の計算機から該各計算機における実行待ちジョ
    ブ数を取得する手順と、 該算出した目的プログラムの実行時間推定値と、該取得
    した実行待ちジョブ数に基づき実行する目的プログラム
    を有するジョブを実行する計算機を決定する手順をコン
    ピュータに実行させるためのプログラム。
  4. 【請求項4】 実行する目的プログラムを有するジョブ
    の該目的プログラムを解析して特性パラメータを抽出す
    る手順と、 該抽出した特性パラメータと複数の異機種の計算機のそ
    れぞれの計算機特性表に基づき該各計算機による目的プ
    ログラムの実行時間推定値を算出する手順と、 各異機種の計算機から該各計算機における実行待ちジョ
    ブ数を取得する手順と、 該算出した目的プログラムの実行時間推定値と、該取得
    した実行待ちジョブ数と、各異機種の計算機の過去にお
    ける前記ジョブの実行履歴に基づき実行する目的プログ
    ラムを有するジョブを実行する計算機を決定する手順を
    コンピュータに実行させるためのプログラム。
JP2002067880A 2002-03-13 2002-03-13 ジョブスケジューラのジョブ実行計算機決定方法 Pending JP2003271405A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002067880A JP2003271405A (ja) 2002-03-13 2002-03-13 ジョブスケジューラのジョブ実行計算機決定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002067880A JP2003271405A (ja) 2002-03-13 2002-03-13 ジョブスケジューラのジョブ実行計算機決定方法

Publications (1)

Publication Number Publication Date
JP2003271405A true JP2003271405A (ja) 2003-09-26

Family

ID=29199120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002067880A Pending JP2003271405A (ja) 2002-03-13 2002-03-13 ジョブスケジューラのジョブ実行計算機決定方法

Country Status (1)

Country Link
JP (1) JP2003271405A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328415A (ja) * 2006-06-06 2007-12-20 Univ Waseda ヘテロジニアス・マルチプロセッサシステムの制御方法及びマルチグレイン並列化コンパイラ
JP2009075827A (ja) * 2007-09-20 2009-04-09 Panasonic Corp プログラム実行装置
JP2021039666A (ja) * 2019-09-05 2021-03-11 日立オートモティブシステムズ株式会社 コア割当装置及びコア割当方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328415A (ja) * 2006-06-06 2007-12-20 Univ Waseda ヘテロジニアス・マルチプロセッサシステムの制御方法及びマルチグレイン並列化コンパイラ
JP2009075827A (ja) * 2007-09-20 2009-04-09 Panasonic Corp プログラム実行装置
JP2021039666A (ja) * 2019-09-05 2021-03-11 日立オートモティブシステムズ株式会社 コア割当装置及びコア割当方法
WO2021044810A1 (ja) * 2019-09-05 2021-03-11 日立オートモティブシステムズ株式会社 コア割当装置及びコア割当方法

Similar Documents

Publication Publication Date Title
US9369521B2 (en) Naming of distributed business transactions
JP4421637B2 (ja) サブタスク・プロセッサの分散スケジューリング
CN103902646B (zh) 一种分布式任务管理系统与方法
US8326971B2 (en) Method for using dynamically scheduled synthetic transactions to monitor performance and availability of E-business systems
WO2021159638A1 (zh) 集群队列资源的调度方法、装置、设备及存储介质
US20130339079A1 (en) Configurable resource policies
EP1672495B1 (en) Grid parallel execution
JP2012099107A (ja) 知的且つ動的なロードバランシングによる、分散コンピューティング環境におけるソフトウェアの解析の効率的な並列化の手法
KR20190081306A (ko) 빅데이터 분석 소프트웨어에 대한 자원 할당 방법, 상기 방법을 이용하는 가상화 자원 할당 장치
JP6972796B2 (ja) ソフトウェアサービス実行装置、システム、及び方法
KR20130134569A (ko) 분석 작업 실행 이력을 이용한 가상 클러스터 구축 시스템 및 방법
CN112965803A (zh) Ai模型生成方法及电子设备
Klinaku et al. The applicability of palladio for assessing the quality of cloud-based microservice architectures
JP2003271405A (ja) ジョブスケジューラのジョブ実行計算機決定方法
EP3828703A1 (en) System, device, method and datastack for managing applications that manage operation of assets
Yang et al. A grid resource broker with network bandwidth-aware job scheduling for computational grids
Turner et al. Application response measurement of distributed web services
CN115373829A (zh) Cpu资源的调度方法、装置及系统
Rao et al. CoSL: A coordinated statistical learning approach to measuring the capacity of multi-tier websites
JP2003084989A (ja) プライオリティ動的制御方式、プライオリティ動的制御方法およびプライオリティ動的制御用プログラム
KR102662496B1 (ko) 멀티 gpu를 사용한 다수의 딥러닝 모델 기반 추론 응답 생성을 위한 배치 스케줄링 방법
US20100228723A1 (en) Method and apparatus for unstructured data mining and distributed processing
CN111736992B (zh) 机器学习平台的gpu资源的管理方法及装置
Monge et al. Logos: Enabling local resource managers for the efficient support of data-intensive workflows within grid sites
CN116232940B (zh) 基于quic协议的性能测试系统、方法及装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20040318