JP2002024194A - ジョブ分散処理方法および分散処理システム - Google Patents

ジョブ分散処理方法および分散処理システム

Info

Publication number
JP2002024194A
JP2002024194A JP2000203907A JP2000203907A JP2002024194A JP 2002024194 A JP2002024194 A JP 2002024194A JP 2000203907 A JP2000203907 A JP 2000203907A JP 2000203907 A JP2000203907 A JP 2000203907A JP 2002024194 A JP2002024194 A JP 2002024194A
Authority
JP
Japan
Prior art keywords
job
computer
execution
server
executed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000203907A
Other languages
English (en)
Inventor
Katsuyoshi Tanaka
克佳 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2000203907A priority Critical patent/JP2002024194A/ja
Priority to US09/898,771 priority patent/US20020004814A1/en
Priority to EP01116112A priority patent/EP1170663A3/en
Publication of JP2002024194A publication Critical patent/JP2002024194A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5033—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering data affinity

Abstract

(57)【要約】 【課題】 過去のジョブ実行履歴を考慮したジョブ配分
方法を実現する。 【解決手段】 ジョブキューイングサーバ３が、過去に
実行された複数のジョブのジョブ実行履歴をそれぞれ保
持するジョブ履歴保存機能１０４と、実行対象ジョブと
類似する過去に実行されたジョブをジョブ実行履歴から
選択し、該実行対象ジョブが実行時に必要とする資源量
を予測するジョブ履歴参照機能１０１と、各計算機が保
有する総資源量および各計算機で使用された使用済み資
源量をサーバ資源管理表の形式で管理し、予測された実
行対象ジョブの資源量と前記サーバ資源管理表を参照し
て得られる使用済み資源量との和が前記計算機が保有す
る総資源量を超えない計算機のリストを作成するサーバ
資源管理機能１０２と、前記リストから負荷が最低とな
る計算機を選択して配分するジョブ配分機能１０３と、
を備える。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ネットワークを介
して相互に接続された複数の計算機を用いて、ジョブを
分散させて実行するジョブ分散処理方法及び分散処理シ
ステムに関する。
【０００２】
【従来の技術】今日の高度情報化社会において、さまざ
まな企業活動などで発生する業務を計算機システムを用
いて処理している。さらに１９９０年代後半からのイン
ターネットの爆発的な普及により、計算機システムで取
り扱う処理の複雑化、大規模化、高速化が求められてお
り、特に、さまざまなジョブを短期間で処理をすること
が重要になってきている。
【０００３】これらの要求に対処するため、企業ではネ
ットワークで接続された自部門および他部門における複
数のサーバを利用した分散処理システムを構築して処理
するケースが増加している。
【０００４】この分散処理システムの運用において、大
きく２つの課題がある。第１の課題は、この分散処理シ
ステムで処理するジョブ、プロセス、またはタスクと呼
ばれるサーバにおける作業単位を実行するときに、各サ
ーバ資源（ハードウェアおよびソフトウェア）を有効に
活用して高速処理をするために、各サーバ資源の状態を
把握し、ジョブを最適に配分しなければならないことで
ある。
【０００５】従来、分散処理システムにおけるジョブの
配分方法として、（１）特開平１０−１１４０６号公報
に開示されているように、ジョブ起動時に各サーバの資
源消費状態からジョブを配分する方法、（２）特開平１
０−１９８６４号公報に開示されているように、実行す
るジョブが消費するサーバ資源の量をあらかじめ予測
し、ジョブが使用するサーバ資源の総和がサーバの保有
する総資源量を超えないようにジョブを配分する方法、
（３）あらかじめ定められたポリシーに基いてジョブを
配分する方法が知られている。
【０００６】第２の課題は、この分散処理システムを構
成する各サーバは非常に高価であるため、企業全体で共
通に使用できるように各部門のサーバをネットワークを
介して相互に接続し、前述のジョブ配分方法を用いて各
計算機を有効に活用する場合に、サーバ資源使用実績に
基いて、各部門間の課金処理を行わなければならないこ
とである。従来、各サーバ資源の使用部門、使用者、使
用時間などについて、ジョブ実行履歴を保存し、集計す
る方法などが知られている。
【０００７】また、サーバ資源が不足すると、企業活動
そのものに大きな影響を及ぼすため、サーバ資源使用実
績などの分析により、サーバ資源増強のタイムリな判断
が要求される。
【０００８】
【発明が解決しようとする課題】上記従来技術によれ
ば、第１の課題である分散処理システムにおけるジョブ
の配分方法は、（１）ジョブ起動時に各サーバ資源の使
用状況からジョブの配分方法を決定する。しかし、時刻
の経過とともにサーバ資源は刻々と変わるため、ジョブ
起動時にはサーバに十分な資源があった場合でも、ジョ
ブ実行中にはサーバの資源不足が発生し、ジョブを異常
終了させる事態が発生する。
【０００９】また、（２）ジョブのライフタイム（ジョ
ブの起動から停止までの時間）にわたって使用するサー
バ資源量が既知のジョブを実行する場合には、ジョブの
配分時にサーバが保有する資源と他ジョブの状況から最
適なサーバを選択することが可能である。しかし、今日
の企業活動では短時間で終了するジョブやジョブが終了
するまで数日間かかるような、さまざまなジョブを処理
する必要があり、１つのジョブの処理に数日間を要する
ような大規模ジョブについては、あらかじめジョブのラ
イフタイムにおけるサーバ資源量を調査しておくことが
困難な場合があり、このジョブ配分方法を使用すること
は不可能である。
【００１０】これらジョブの配分方法は、ジョブ起動時
点の状態や、ジョブの特徴が既知の事実である場合な
ど、一定の規則や既知の事実だけに基づいてジョブを配
分しているところに問題がある。
【００１１】これを解決するには、従来の技術をベース
にして、さらに、ジョブ要求者の判断を加えることで、
ジョブを最適配分することが必要である。ジョブ要求者
の判断とは、過去に実行したジョブの履歴から、今回要
求しているジョブの処理内容や処理内容が多少異なって
いても処理データ規模が同一であるジョブからの類推に
より、ジョブの実行に必要資源量を判断できることを意
味する。
【００１２】このように、過去に実行した類似のジョブ
履歴をジョブ要求時に指定することにより、この処理内
容を参照してジョブ配分を決定することで、あらゆる規
模のジョブが実行可能になる。
【００１３】また、第２の課題である分散処理システム
の課金では、従来、各サーバ上で処理されたジョブの使
用実績（使用部門、使用者、使用時間など）を１箇所に
まとめた後、集計している。この集計データを課金処理
や新規サーバの増強などの資料として利用している。
【００１４】しかし、分散処理システムでは、サーバ能
力やサーバ資源搭載量などの異なる複数のサーバがある
にも拘わらず、各サーバ能力などの特徴を踏まえた使用
実績の集計を行っていない。これは、各計算機の使用実
績を集計し、単純に積算しているところに問題があり、
これを解決するためには、サーバ能力を課金データに反
映させるために、一定の基準値に基いた集計処理を実施
する必要がある。
【００１５】本発明の目的は、上記従来の問題点を解決
するためになされたもので、過去のジョブ実行履歴を考
慮したジョブ配分方法を実現するジョブ分散処理方法お
よび分散処理システムを提供することである。また、本
発明の他の目的は、各サーバ能力を考慮した課金処理方
法を実現するジョブ分散処理方法および分散処理システ
ムを提供することである。
【００１６】
【課題を解決するための手段】本発明は、従来のジョブ
の配分方法の問題点である、ジョブ起動時点の状態や、
ジョブの特徴が既知の事実である場合など、一定の規則
や既知の事実だけに基づいてジョブを配分していること
に着目したものである。すなわち、従来の問題を解決す
るには、従来の技術をベースにして、さらに、ジョブ要
求者の判断を加えることで、ジョブを最適配分すること
が必要である。ジョブ要求者の判断とは、過去に実行し
たジョブの履歴から、今回要求しているジョブの処理内
容や処理内容が多少異なっていても処理データ規模が同
一であるジョブからの類推により、ジョブの実行に必要
資源量を判断できることを意味する。このように、過去
に実行した類似のジョブ履歴をジョブ要求時に指定する
ことにより、この処理内容を参照してジョブ配分を決定
することで、あらゆる規模のジョブが実行可能になる。
【００１７】本発明の目的を達成するために請求項１に
記載のジョブ分散処理方法は、それぞれ所定の資源量を
有する複数の計算機をネットワークを介して相互に接続
し、投入されたジョブを何れかの計算機に配分して実行
させるジョブ分散処理方法において、過去に実行された
複数のジョブのジョブ実行履歴をそれぞれ保持し、前記
ジョブ実行履歴を参照し、実行対象ジョブを実行させた
ときに前記計算機が保有する資源量を超えない計算機を
選択して配分する、ことを特徴とする。
【００１８】請求項２に記載のジョブ分散処理方法は、
前記対象ジョブと類似する過去に実行されたジョブを前
記ジョブ実行履歴から選択するジョブ選択方法を実施し
て、前記実行対象ジョブが実行時に必要とする資源量を
予測し（図３：Ｓ２１）、各計算機が保有する総資源量
および各計算機で使用された使用済み資源量をサーバ資
源管理表の形式で管理し、予測された実行対象ジョブの
資源量と前記サーバ資源管理表を参照して得られる使用
済み資源量との和が前記計算機が保有する総資源量を超
えず、かつ負荷が最低となる計算機を選択して配分する
（図３：Ｓ２３、Ｓ２４）、ことを特徴とする。
【００１９】請求項３に記載のジョブ分散処理方法は、
前記ジョブ選択方法は、ジョブの名前、ジョブ実行要求
者名、ジョブ実行要求日、およびジョブの特徴を記載し
たコメントの各項目を参照して前記実行対象ジョブと類
似する過去に実行されたジョブを選択する、ことを特徴
とする。
【００２０】請求項４に記載のジョブ分散処理方法は、
前記実行対象ジョブと類似する過去に実行されたジョブ
が存在しないときは、前記計算機が保有する総資源量に
対する使用済み資源量の比が最小、かつ負荷が最低とな
る計算機を選択して配分する、ことを特徴とする。
【００２１】請求項５に記載のジョブ分散処理方法は、
特定の計算機能力を基準として各計算機能力をそれぞれ
正規化し（図８：Ｓ３０）、正規化された計算機能力に
基づいて前記ジョブ実行履歴から正規化された使用実績
データを集計処理し（図８：Ｓ３１）、前記使用実績デ
ータに基づいて各計算機の利用者に対して課金処理する
（図８：Ｓ３２）、ことを特徴とする。
【００２２】請求項６に記載のジョブ分散処理方法は、
各計算機の導入時、運用時に発生した総費用と、各ジョ
ブが使用したＣＰＵ時間および実メモリ量とに基づい
て、各計算機の利用者に対して課金処理する。
【００２３】請求項９に記載の分散処理システムは、そ
れぞれ所定の資源量を有する複数の計算機（クライアン
ト２、ファイルサーバ４１、サーバ５１、５２、５３）
をネットワークを介して相互に接続し、投入されたジョ
ブを何れかの計算機に配分して実行させるジョブキュー
イングサーバ（ジョブキューイングサーバ３）を有する
分散処理システムにおいて、前記ジョブキューイングサ
ーバが、過去に実行された複数のジョブのジョブ実行履
歴をそれぞれ保持し、前記ジョブ実行履歴を参照し、前
記実行対象ジョブを実行させたときに前記計算機が保有
する資源量を超えない計算機を選択して配分することを
特徴とする。
【００２４】請求項１０に記載の分散処理システムは、
前記ジョブキューイングサーバが、過去に実行された複
数のジョブのジョブ実行履歴をそれぞれ保持する履歴保
持手段（ジョブ履歴保存機能１０４）と、前記実行対象
ジョブと類似する過去に実行されたジョブを前記ジョブ
実行履歴から選択するジョブ選択方法を実施して、前記
実行対象ジョブが実行時に必要とする資源量を予測する
履歴参照手段（ジョブ履歴参照機能１０１）と、各計算
機が保有する総資源量および各計算機で使用された使用
済み資源量をサーバ資源管理表の形式で管理し、予測さ
れた実行対象ジョブの資源量と前記サーバ資源管理表を
参照して得られる使用済み資源量との和が前記計算機が
保有する総資源量を超えない計算機のリストを作成する
資源管理手段（サーバ資源管理機能１０２）と、前記リ
ストから負荷が最低となる計算機を選択して配分する配
分手段（ジョブ配分機能１０３）と、を具備したことを
特徴とする。
【００２５】請求項１１に記載の分散処理システムは、
前記ジョブ選択方法は、ジョブの名前、ジョブ実行要求
者名、ジョブ実行要求日、およびジョブの特徴を記載し
たコメントの各項目を参照して前記実行対象ジョブと類
似する過去に実行されたジョブを選択する、ことを特徴
とする。
【００２６】請求項１２に記載の分散処理システムは、
前記ジョブ配分手段が、前記実行対象ジョブと類似する
過去に実行されたジョブが存在しないときは、前記計算
機が保有する総資源量に対する使用済み資源量の比が最
小、かつ負荷が最低となる計算機を選択して配分する、
ことを特徴とする。
【００２７】請求項１３に記載の分散処理システムは、
特定の計算機能力を基準として各計算機能力をそれぞれ
正規化し、正規化された計算機能力に基づいて前記ジョ
ブ実行履歴から正規化された使用実績データを集計処理
し、前記使用実績データに基づいて各計算機の利用者に
対して課金処理する課金処理手段（課金集計サーバ６）
を備えることを特徴とする。
【００２８】請求項１４に記載の分散処理システムは、
さらに、前記課金処理手段が、各計算機の導入時、運用
時に発生した総費用と、各ジョブが使用したＣＰＵ時間
および実メモリ量とに基づいて、各計算機の利用者に対
して課金処理する。
【００２９】本発明のジョブ分散処理方法および分散処
理システムによれば、保持されたジョブ実行履歴を参照
し（請求項１、９）、あるいは実行対象ジョブと類似す
る過去に実行されたジョブの実行履歴を参照して実行対
象ジョブの必要資源量を予測することで（請求項２、１
０）、実行対象ジョブを実行させたときに計算機の保有
する資源量を超えない計算機を選択して配分することが
できる（請求項１、９）。さらに、実行対象ジョブが将
来消費する実メモリ容量、仮想メモリ容量などのサーバ
資源量とサーバ資源管理表により管理されている各サー
バの使用済み資源量の和が各計算機が保有する総資源量
を超えず、かつ、実行対象ジョブを実行したときに負荷
が最低になると予測された計算機にジョブが配分される
（請求項２、１０）。これにより、サーバ資源の不足に
よりジョブが異常終了することを防ぎ、処理時間を短縮
することが可能となる。
【００３０】また、請求項５に記載のジョブ分散処理方
法および請求項１３に記載の分散処理システムによれ
ば、特定の計算機能力を基準にした正規化使用実績デー
タを集計することで、計算機使用者に対して公平な課金
請求が可能になると同時に、計算機能力の増強の必要性
を判断する基準として利用することができる。
【００３１】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。 （実施の形態１）図１は、本発明の実施の形態１におけ
る分散処理システムの構成を示す図である。図１におい
て、クライアント２はジョブを投入する計算機であり、
ジョブキューイングサーバ３はジョブを最適に実行でき
るサーバを探してジョブを配分する計算機であり、ファ
イルサーバ４１はジョブで使用する入力ファイルおよび
アプリケーションプログラムを格納している計算機であ
り、サーバ５１、５２、５３はジョブを実行する計算機
であり、課金集計サーバ６はジョブ実行履歴から課金処
理を行う計算機であり、これら計算機はネットワーク１
０、１１および１２を介して相互に接続されている。サ
ーバ３、４１、５１、５２、５３、６、およびクライア
ント２は、パソコン、ワークステーションを含む電子計
算機である。ジョブファイル、入力ファイル、アプリケ
ーションファイルはサーバ４１に接続された記憶装置上
に格納されている。
【００３２】図２は、ジョブキューイングサーバ３の機
能を示すブロック図である。ジョブキューイングサーバ
３は、利用者が過去のジョブ実行履歴を参照するジョブ
履歴参照機能１０１、利用者がジョブ実行要求時に指定
した類似ジョブ実行履歴情報を参照してジョブの実行が
可能なサーバリストを作成するサーバ資源管理機能１０
２、作成されたサーバリストから最適なサーバを選択
し、そのサーバへジョブを配分するジョブ配分機能１０
３、およびジョブがサーバ上で実行された際のジョブ実
行履歴を保存するジョブ履歴保存機能１０４を備えてい
る。
【００３３】以上のように構成された分散処理システム
について、その動作を図３のフローチャートを参照して
説明する。まず、クライアント２の利用者は、ジョブを
実行したいときに、ジョブキューイングサーバ３が保有
するジョブ実行履歴参照機能を利用し、ジョブ実行履歴
（図４参照）に基づいて、実行対象ジョブと類似する過
去に実行したジョブのジョブ識別番号を選択する。ま
た、類似したジョブが存在しない場合はジョブ識別番号
として数字の“０”を選択する（ステップＳ２１）。
【００３４】図４は、ジョブ実行履歴の表示形式を示し
ており、利用者がジョブ実行履歴に記載されているジョ
ブ名、ジョブ依頼者、ジョブ依頼日、ジョブの特徴を表
記したコメントを参照して実行対象ジョブと類似したジ
ョブをジョブ識別番号で特定する。次に、利用者はジョ
ブの実行要求をするために、ジョブ名、入力ファイル
名、ユーザ名などジョブに関する情報をジョブ識別番号
を付与した形式（図５参照）でジョブキューイングサー
バに送信する（ステップＳ２２）。
【００３５】次に、ジョブキューイングサーバ３は、サ
ーバ５１、５２、５３のサーバ資源管理表（図６参照）
から、この実行対象ジョブが実行可能なサーバのリスト
を作成する。図６は、サーバ資源管理表の表示形式を示
しており、サーバ名、搭載実メモリ量Ｍｆ、搭載仮想メ
モリ量Ｍｙ、使用予定の実メモリ量Ｒｆ、使用予定の仮
想メモリ量Ｒｖの情報を有する。サーバ５１、５２、５
３は、サーバ資源管理表の情報を用いてサーバ資源の使
用比率Ｒｆ／ＭｆおよびＲｖ／Ｍｖが低く、かつ、この
実行対象ジョブの資源使用予測量を現在の使用済み資源
量Ｒｆ、Ｒｖに加えた後の値が、搭載資源量Ｍｆ、Ｍｖ
を超えないサーバのリストを作成する（ステップＳ２
３）。
【００３６】なお、類似ジョブの識別番号に数字の
“０”が指定されている場合は、前記サーバ資源の使用
比率が低いサーバのリストを作成する。たとえば、サー
バ資源の使用比率が低い順に一定数のサーバを選び出し
てリストを作成する。
【００３７】次に、前記サーバリストから実行対象ジョ
ブを実行した場合の負荷が最低になる計算機にジョブを
配分する（ステップＳ２４）。サーバの負荷は、例え
ば、次の計算式によって計算される。
【００３８】ＳＰＥＣ＝（１分間のＣＰＵ使用率＋１５
分間のＣＰＵ使用率）／計算機能力 ＭＥＭ＝メモリ使用率／計算機能力 ＳＴＲＧ＝記憶装置使用率／計算機能力 負荷＝ＳＥＰＣ＊ＭＥＭ＊ＳＴＲＧ
【００３９】１分間のＣＰＵ使用率、１５分間のＣＰＵ
使用率、メモリ使用率、記憶装置使用率は、最新の測定
値を使用する。サーバの計算機能力は、サーバ５１、５
２、５３の相対的な能力であり、一般的に能力を示す値
として公表されているＳＰＥＣＩＮＴ９２などを使用す
る。この値が大きいほど能力は高くなる。
【００４０】次に、この実行対象ジョブが使用を予定し
ている実メモリ量、仮想メモリ量を実行サーバのＲｆ、
Ｒｖに加算する（ステップＳ２５）。次に、この実行対
象ジョブの入力ファイルをジョブ実行を割り当てられた
サーバへ転送し、ジョブの実行を開始する（ステップＳ
２６）。ジョブ終了後は、ステップＳ２５にて加算した
値をサーバ資源管理表から減算する（ステップＳ２
７）。次に、ジョブ実行に関する情報であるジョブ投入
時刻、利用者名、ジョブ番号、ＣＰＵ使用時間などのジ
ョブの実行履歴を保存する（ステップＳ２８）。図７
は、ジョブ実行履歴を保存する情報の１セット、１レコ
ード形式を示す図である。
【００４１】以上のように本実施の形態１によれば、ジ
ョブ要求者が過去に実行したジョブの実行履歴から、今
回実行する実行対象ジョブに類似するジョブを指定する
ことで、あらかじめ各ジョブが使用するサーバ資源量を
予測することが可能となり、各サーバに対してサーバ資
源不足を発生させることなく、ジョブを正常に終了させ
ることができる。
【００４２】（実施の形態２）本発明の実施の形態２に
ついて、図面を参照して説明する。図１及び図２は、課
金処理に係わる本発明の実施の形態２を示す分散処理シ
ステムを示しており、図３のステップＳ２８で保存した
ジョブ実行履歴から、特定のサーバ能力を基準とした課
金集計情報を作成する機能と、計算機利用者への課金処
理を行う機能とを備えている。
【００４３】以上の構成において、以下、図８のフロー
チャートを参照して動作を説明する。まず、ジョブ実行
履歴の保存情報である図７に示す形式のデータと、サー
バ名およびＣＰＵ能力、例えば、ＳＰＥＣＩＮＴ９２な
どの値が記載された図９に示す形式のデータを読み込
み、特定のサーバを基準として課金情報を正規化する
（ステップＳ３０）。ここで、課金情報の正規化は、基
準サーバの能力をＫとし、正規化されるサーバ能力をＰ
ｂとして、正規化後のサーバ能力ＰａをＰｂ／Ｋとす
る。
【００４４】次に、正規化された課金情報に対して、出
力フォーマットを指定してレポートを出力する（ステッ
プＳ３１）。例えば、出力フォーマットは、サーバ別Ｃ
ＰＵ時間使用実績レポート（図１０）、部門別サーバ使
用時間実績レポート（図１１）などである。
【００４５】次に、出力フォーマットにて計算された部
門別サーバ使用時間実績レポートのデータについて、各
サーバの使用時間と図９に記載されたサーバ導入時の費
用から算出するサーバ使用基本料金（サーバ導入時費
用）、サーバ運用のために発生する費用から算出するサ
ーバ運用費用（時間単価）、サーバ購入価格中に占める
メモリ価格の割合から算出するメモリコスト比率などを
使用してサーバ使用金額を含む費用請求課金レポート
（図１２参照）を作成する。サーバ使用金額の計算は、
下記のように計算される。
【００４６】ＣＣＯＳＴ＝サーバ運用費用＊（１−メモ
リコスト比率） ＭＣＯＳＴ＝サーバ運用費用＊メモリコスト比率 サーバ使用金額＝サーバ使用基本料金＋ＣＣＯＳＴ＋Ｍ
ＣＯＳＴ
【００４７】以上のように本実施形態によれば、ジョブ
実行履歴から特定のサーバ能力を基準にした正規化され
た使用実績データを集計し、サーバ使用者に対して公平
な課金請求が可能となると同時に、サーバ能力の増強の
判断基準として利用することが可能になる。
【００４８】
【発明の効果】以上説明したように、本発明によれば、
ジョブ要求者が過去に実行したジョブの履歴から、実行
対象ジョブと類似する過去に実行したジョブを特定する
ことにより、あらかじめ各ジョブが使用する計算機資源
量を予測することができるため、各計算機に対して資源
不足を発生させることなく、最適な計算機でジョブを実
行することができる。
【００４９】さらに、本発明によれば、ジョブ実行履歴
から特定の計算機能力を基準にして正規化された使用実
績データを集計することにより、計算機使用者に対して
公平な課金請求が可能になると同時に、計算機能力の増
強の判断基準として利用することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１、２に係わる分散処理シ
ステムの構成を示す図。
【図２】図１に示したジョブキューイングサーバの機能
を示すブロック図。
【図３】実施の形態１に係わるジョブ実行の流れを示す
フローチャート。
【図４】ジョブ実行履歴の情報を示す図。
【図５】クライアントからジョブキューイングサーバに
ジョブを転送する情報を示す図。
【図６】サーバ資源管理表を示す図。
【図７】ジョブ実行履歴を保存するデータ形式を示す
図。
【図８】本発明の実施の形態２に係わる課金集計情報を
出力するまでの流れを示すフローチャート。
【図９】課金集計処理に使用するジョブ実行サーバの属
性情報を示す図。
【図１０】課金集計処理により出力されるサーバ別ＣＰ
Ｕ時間使用実績レポートを示す図。
【図１１】課金集計処理により出力される部門別サーバ
使用時間実績レポートを示す図。
【図１２】課金集計処理により出力される費用請求課金
レポートを示す図。
【符号の説明】
２ クライアント ３ ジョブキューイングサーバ ４１ ファイルサーバ ５１、５２、５３ サーバ ６ 課金集計サーバ １０、１２ ローカルネットワーク １１ 広域ネットワーク １０１ ジョブ履歴参照機能 １０２ サーバ資源管理機能 １０３ ジョブ配分機能 １０４ ジョブ履歴保存機能

Claims (14)

    【特許請求の範囲】
  1. 【請求項１】 それぞれ所定の資源量を有する複数の計
    算機をネットワークを介して相互に接続し、投入された
    ジョブを何れかの計算機に配分して実行させるジョブ分
    散処理方法において、 過去に実行された複数のジョブのジョブ実行履歴をそれ
    ぞれ保持し、 前記ジョブ実行履歴を参照し、実行対象ジョブを実行さ
    せたときに前記計算機が保有する資源量を超えない計算
    機を選択して配分する、ことを特徴とするジョブ分散処
    理方法。
  2. 【請求項２】 前記実行対象ジョブと類似する過去に
    実行されたジョブを前記ジョブ実行履歴から選択するジ
    ョブ選択方法を実施して、前記実行対象ジョブが実行時
    に必要とする資源量を予測し、 各計算機が保有する総資源量および各計算機で使用され
    た使用済み資源量をサーバ資源管理表の形式で管理し、
    予測された実行対象ジョブの資源量と前記サーバ資源管
    理表を参照して得られる使用済み資源量との和が前記計
    算機が保有する総資源量を超えず、かつ負荷が最低とな
    る計算機を選択して配分する、ことを特徴とする請求項
    １記載のジョブ分散処理方法。
  3. 【請求項３】 前記ジョブ選択方法は、ジョブの名前、
    ジョブ実行要求者名、ジョブ実行要求日、およびジョブ
    の特徴を記載したコメントの各項目を参照して前記実行
    対象ジョブと類似する過去に実行されたジョブを選択す
    る、ことを特徴とする請求項２記載のジョブ分散処理方
    法。
  4. 【請求項４】 前記実行対象ジョブと類似する過去に実
    行されたジョブが存在しないときは、前記計算機が保有
    する総資源量に対する使用済み資源量の比が最小、かつ
    負荷が最低となる計算機を選択して配分する、ことを特
    徴とする請求項１又は２記載のジョブ分散処理方法。
  5. 【請求項５】 特定の計算機能力を基準として各計算機
    能力をそれぞれ正規化し、正規化された計算機能力に基
    づいて前記ジョブ実行履歴から正規化された使用実績デ
    ータを集計処理し、 前記使用実績データに基づいて各計算機の利用者に対し
    て課金処理する、ことを特徴とする請求項１記載のジョ
    ブ分散処理方法。
  6. 【請求項６】 各計算機の導入時、運用時に発生した総
    費用と、各ジョブが使用したＣＰＵ時間および実メモリ
    量とに基づいて、各計算機の利用者に対して課金処理す
    る、請求項５記載のジョブ分散処理方法。
  7. 【請求項７】 請求項５記載の使用者実績データの集計
    処理および利用者に対する課金処理を実行するプログラ
    ムを格納した記録媒体。
  8. 【請求項８】 さらに、請求項６記載の課金処理を実行
    するプログラムを格納した請求項７記載の記録媒体。
  9. 【請求項９】 それぞれ所定の資源量を有する複数の計
    算機をネットワークを介して相互に接続し、投入された
    ジョブを何れかの計算機に配分して実行させるジョブキ
    ューイングサーバを有する分散処理システムにおいて、
    前記ジョブキューイングサーバが、 過去に実行された複数のジョブのジョブ実行履歴をそれ
    ぞれ保持し、 前記ジョブ実行履歴を参照し、前記実行対象ジョブを実
    行させたときに前記計算機が保有する資源量を超えない
    計算機を選択して配分することを特徴とする分散処理シ
    ステム。
  10. 【請求項１０】 前記ジョブキューイングサーバが、 過去に実行された複数のジョブのジョブ実行履歴をそれ
    ぞれ保持する履歴保持手段と、 前記対象ジョブと類似する過去に実行されたジョブを前
    記ジョブ実行履歴から選択するジョブ選択方法を実施し
    て、前記実行対象ジョブが実行時に必要とする資源量を
    予測する履歴参照手段と、 各計算機が保有する総資源量および各計算機で使用され
    た使用済み資源量をサーバ資源管理表の形式で管理し、
    予測された実行対象ジョブの資源量と前記サーバ資源管
    理表を参照して得られる使用済み資源量との和が前記計
    算機が保有する総資源量を超えない計算機のリストを作
    成する資源管理手段と、 前記リストから負荷が最低となる計算機を選択して配分
    する配分手段と、を具備したことを特徴とする請求項９
    記載の分散処理システム。
  11. 【請求項１１】 前記ジョブ選択方法は、ジョブの名
    前、ジョブ実行要求者名、ジョブ実行要求日、およびジ
    ョブの特徴を記載したコメントの各項目を参照して前記
    実行対象ジョブと類似する過去に実行されたジョブを選
    択する、ことを特徴とする請求項１０記載の分散処理シ
    ステム。
  12. 【請求項１２】 前記ジョブ配分手段が、前記実行対象
    ジョブと類似する過去に実行されたジョブが存在しない
    ときは、前記計算機が保有する総資源量に対する使用済
    み資源量の比が最小、かつ負荷が最低となる計算機を選
    択して配分する、ことを特徴とする請求項９又は１０記
    載の分散処理システム。
  13. 【請求項１３】 特定の計算機能力を基準として各計算
    機能力をそれぞれ正規化し、正規化された計算機能力に
    基づいて前記ジョブ実行履歴から正規化された使用実績
    データを集計処理し、前記使用実績データに基づいて各
    計算機の利用者に対して課金処理する課金処理手段を備
    えることを特徴とする請求項９記載の分散処理システ
    ム。
  14. 【請求項１４】 さらに、前記課金処理手段が、各計算
    機の導入時、運用時に発生した総費用と、各ジョブが使
    用したＣＰＵ時間および実メモリ量とに基づいて、各計
    算機の利用者に対して課金処理する、請求項１３記載の
    分散処理システム。
JP2000203907A 2000-07-05 2000-07-05 ジョブ分散処理方法および分散処理システム Pending JP2002024194A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2000203907A JP2002024194A (ja) 2000-07-05 2000-07-05 ジョブ分散処理方法および分散処理システム
US09/898,771 US20020004814A1 (en) 2000-07-05 2001-07-02 Job distributed processing method and distributed processing system
EP01116112A EP1170663A3 (en) 2000-07-05 2001-07-03 Job distributed processing method and distributed processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000203907A JP2002024194A (ja) 2000-07-05 2000-07-05 ジョブ分散処理方法および分散処理システム

Publications (1)

Publication Number Publication Date
JP2002024194A true JP2002024194A (ja) 2002-01-25

Family

ID=18701250

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000203907A Pending JP2002024194A (ja) 2000-07-05 2000-07-05 ジョブ分散処理方法および分散処理システム

Country Status (3)

Country Link
US (1) US20020004814A1 (ja)
EP (1) EP1170663A3 (ja)
JP (1) JP2002024194A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006082262A (ja) * 2004-09-14 2006-03-30 Canon Inc 画像処理装置およびジョブ処理方法およびコンピュータが読み取り可能なプログラムを格納した記憶媒体およびプログラム
JP2007524889A (ja) * 2003-03-19 2007-08-30 ユニシス　コーポレイシヨン サーバ統合のデータモデル
JP2007249491A (ja) * 2006-03-15 2007-09-27 Fujitsu Ltd マルチサーバ環境においてバッチジョブを分散させるプログラム、装置、および方法
JP2009237859A (ja) * 2008-03-27 2009-10-15 Nec Corp 仮想マシン管理システム
US7730488B2 (en) 2005-02-10 2010-06-01 Hitachi, Ltd. Computer resource management method in distributed processing system
JP2012252505A (ja) * 2011-06-02 2012-12-20 Toshiba Corp 負荷分散装置、負荷分散方法及び負荷分散プログラム
JP2013182509A (ja) * 2012-03-02 2013-09-12 Nec Corp 仮想化システム、負荷分散装置、負荷分散方法、及び負荷分散プログラム
JP2016018302A (ja) * 2014-07-07 2016-02-01 公立大学法人会津大学 再生可能エネルギーを利用した情報処理システム
JP2020087060A (ja) * 2018-11-28 2020-06-04 日本電気株式会社 ジョブスケジューリング装置、管理システム、及びスケジューリング方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003108344A (ja) * 2001-09-28 2003-04-11 Canon Inc 診断装置及び診断システム及び診断方法及びプログラム並びに媒体
JP2003256222A (ja) * 2002-03-04 2003-09-10 Matsushita Electric Ind Co Ltd 分散処理システム、ジョブ分散処理方法およびプログラム
JP2003288285A (ja) * 2002-03-28 2003-10-10 Fujitsu Ltd サービス要求代行方法、サービス要求代行サーバ、及び、サービス要求代行システム
WO2005062176A1 (ja) * 2003-12-18 2005-07-07 Club It Corporation サーバ・クライアント・システム、負荷分散装置、負荷分散方法および負荷分散プログラム
US20060155555A1 (en) * 2004-12-30 2006-07-13 International Business Machines Corporation Utility computing method and apparatus
US8156501B2 (en) * 2006-10-27 2012-04-10 International Business Machines Corporation Implementing dynamic authority to perform tasks on a resource
US8904003B2 (en) * 2008-06-30 2014-12-02 Oracle America, Inc. Method and system for delegated job control across a network
JP2011123817A (ja) * 2009-12-14 2011-06-23 Fujitsu Ltd ジョブ振分装置、ジョブ振分プログラム及びジョブ振分方法
JP4952821B2 (ja) * 2010-05-17 2012-06-13 コニカミノルタビジネステクノロジーズ株式会社 画像形成システム、画像形成装置、画像形成方法および画像形成プログラム
US9552478B2 (en) 2010-05-18 2017-01-24 AO Kaspersky Lab Team security for portable information devices
RU2494453C2 (ru) 2011-11-24 2013-09-27 Закрытое акционерное общество "Лаборатория Касперского" Способ распределенного выполнения задач компьютерной безопасности

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69031233T2 (de) * 1989-02-24 1997-12-04 At & T Corp Adaptive Arbeitsfolgeplanung für Mehrfachverarbeitungssysteme
US5303369A (en) * 1990-08-31 1994-04-12 Texas Instruments Incorporated Scheduling system for multiprocessor operating system
IL99923A0 (en) * 1991-10-31 1992-08-18 Ibm Israel Method of operating a computer in a network
JP3658420B2 (ja) * 1994-04-14 2005-06-08 株式会社日立製作所 分散処理システム
JPH0830471A (ja) * 1994-07-14 1996-02-02 Hitachi Ltd ジョブの実行プロセサ変更方式
US6128646A (en) * 1997-12-24 2000-10-03 Genesys Telecommunications Laboratories Inc. System for routing electronic mail to best qualified person based on content analysis
SE9702239L (sv) * 1997-06-12 1998-07-06 Telia Ab Arrangemang för lastbalansering i datornät
US6587436B1 (en) * 1997-11-24 2003-07-01 Cisco Technology, Inc. Method and apparatus for allocation of available bandwidth
US6744878B1 (en) * 1999-03-02 2004-06-01 Aspect Communications Corporation Real-time transaction routing augmented with forecast data and agent schedules
JP3546764B2 (ja) * 1999-07-02 2004-07-28 日本電気株式会社 ネットワークに備えられた負荷分散サーバ及び負荷分散サーバを備えるノード
US6766348B1 (en) * 1999-08-03 2004-07-20 Worldcom, Inc. Method and system for load-balanced data exchange in distributed network-based resource allocation
US6748413B1 (en) * 1999-11-15 2004-06-08 International Business Machines Corporation Method and apparatus for load balancing of parallel servers in a network environment
US6658473B1 (en) * 2000-02-25 2003-12-02 Sun Microsystems, Inc. Method and apparatus for distributing load in a computer environment

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007524889A (ja) * 2003-03-19 2007-08-30 ユニシス　コーポレイシヨン サーバ統合のデータモデル
JP2006082262A (ja) * 2004-09-14 2006-03-30 Canon Inc 画像処理装置およびジョブ処理方法およびコンピュータが読み取り可能なプログラムを格納した記憶媒体およびプログラム
US7730488B2 (en) 2005-02-10 2010-06-01 Hitachi, Ltd. Computer resource management method in distributed processing system
JP2007249491A (ja) * 2006-03-15 2007-09-27 Fujitsu Ltd マルチサーバ環境においてバッチジョブを分散させるプログラム、装置、および方法
JP2009237859A (ja) * 2008-03-27 2009-10-15 Nec Corp 仮想マシン管理システム
JP2012252505A (ja) * 2011-06-02 2012-12-20 Toshiba Corp 負荷分散装置、負荷分散方法及び負荷分散プログラム
JP2013182509A (ja) * 2012-03-02 2013-09-12 Nec Corp 仮想化システム、負荷分散装置、負荷分散方法、及び負荷分散プログラム
JP2016018302A (ja) * 2014-07-07 2016-02-01 公立大学法人会津大学 再生可能エネルギーを利用した情報処理システム
JP2020087060A (ja) * 2018-11-28 2020-06-04 日本電気株式会社 ジョブスケジューリング装置、管理システム、及びスケジューリング方法
JP7259288B2 (ja) 2018-11-28 2023-04-18 日本電気株式会社 ジョブスケジューリング装置、管理システム、及びスケジューリング方法

Also Published As

Publication number Publication date
EP1170663A3 (en) 2004-09-15
US20020004814A1 (en) 2002-01-10
EP1170663A2 (en) 2002-01-09

Similar Documents

Publication Publication Date Title
JP2002024194A (ja) ジョブ分散処理方法および分散処理システム
US7941427B2 (en) Dynamically managing computer resources based on valuations of work items being processed
AuYoung et al. Service contracts and aggregate utility functions
US8606919B2 (en) Resource management tool
US6480861B1 (en) Distributed adaptive computing
US7379884B2 (en) Power on demand tiered response time pricing
CN103761147B (zh) 一种云平台中计算实例的管理方法及系统
US20130346227A1 (en) Performance-Based Pricing for Cloud Computing
EP3014804B1 (en) Burst mode control
JP2003029989A (ja) 分散処理システムおよびジョブ分散処理方法
US20080249757A1 (en) Method and Apparatus for Grid Project Modeling Language
JP2003256222A (ja) 分散処理システム、ジョブ分散処理方法およびプログラム
JP2007148469A (ja) ビジネスプロセス定義を用いた事前リソース割り当て方法
JP2003091424A (ja) 分散処理システムおよびジョブ分散処理方法
US7716431B2 (en) Analysis technique of execution states in computer system
Venugopal et al. A deadline and budget constrained scheduling algorithm for eScience applications on data grids
Kim et al. Min-max exclusive virtual machine placement in cloud computing for scientific data environment
JP5997269B2 (ja) データベースを修正するためにデータを処理するための方法およびシステム
Barbosa et al. Impact of pay-as-you-go cloud platforms on software pricing and development: a review and case study
Hellerstein et al. An on-line, business-oriented optimization of performance and availability for utility computing
JP2009140079A (ja) リソースの運用管理方法、運用管理プログラム、および、運用管理装置
Sandholm et al. A statistical approach to risk mitigation in computational markets
Muraña et al. Multi-objective Analysis of Power Consumption and Quality of Service in Datacenters for Effective Demand Response
Popkov et al. Using simulation modeling for IT cost analysis
JP2005266845A (ja) 計算機使用料金算出装置及び計算機演算処理分割方法