JP2008077281A - スーパースケジューラ、処理依頼方法、およびスーパースケジューラプログラム - Google Patents

スーパースケジューラ、処理依頼方法、およびスーパースケジューラプログラム Download PDF

Info

Publication number
JP2008077281A
JP2008077281A JP2006253965A JP2006253965A JP2008077281A JP 2008077281 A JP2008077281 A JP 2008077281A JP 2006253965 A JP2006253965 A JP 2006253965A JP 2006253965 A JP2006253965 A JP 2006253965A JP 2008077281 A JP2008077281 A JP 2008077281A
Authority
JP
Japan
Prior art keywords
execution
job
request destination
request
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006253965A
Other languages
English (en)
Other versions
JP4887999B2 (ja
Inventor
Hidehiro Fujio
秀洋 藤尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2006253965A priority Critical patent/JP4887999B2/ja
Publication of JP2008077281A publication Critical patent/JP2008077281A/ja
Application granted granted Critical
Publication of JP4887999B2 publication Critical patent/JP4887999B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Computer And Data Communications (AREA)

Abstract

【課題】適切な資源にジョブの実行を依頼するスーパースケジューラを提供する。
【解決手段】スーパースケジュール装置101が、各資源ユニットから受信した資源情報と、ユーザ側装置10から受信したジョブ情報とにもとづいて、ジョブの実行を依頼する候補の資源ユニットを選択する。そして、スーパースケジュール装置101が、資源情報とジョブ情報とにもとづいて、候補の資源ユニットを絞り込み、順位付けをおこなう。スーパースケジュール装置101は、順位が上位から所定の順位までの資源ユニットに、入力ファイルを転送する。
【選択図】図1

Description

本発明は、グリッドコンピューティングにおいて実行する処理を各装置に割り当てるスーパースケジューラ、処理依頼方法、およびスーパースケジューラプログラムに関する。
グリッドコンピューティングとは、通信ネットワークで接続され、地理的に離れた複数の演算装置や記憶装置が、仮想的な1つのコンピュータとして処理を実行するサービスを提供する仕組みをいう。
そして、スーパースケジューラ(スーパースケジュール装置)が、それらの演算装置や記憶装置(以下、資源という。)にジョブを割り当てる。なお、ジョブとは、コンピュータ(例えば、資源を構成する演算装置)が実行する処理をいう。
スーパースケジュール装置は、通信ネットワークの帯域などを適切に利用するようにジョブを各資源に割り当てて、ジョブを実行する演算時間の最小化や、演算に対する料金の最小化、資源の稼働率の最大化などを図る。
特許文献1には、ジョブを分割し、分割したジョブの数よりもクライアント装置の数が多い場合に、分割したジョブをそれぞれ複数のクライアント装置に割り当て、いずれかのクライアント装置がジョブの実行を終了した場合に、当該ジョブを実行している他のクライアント装置にジョブの実行を中止させるシステムが記載されている。
特開2005−352697号公報(段落0049〜0054、図1)
従来のグリッドコンピューティングの第1の問題点は、ジョブを適切な資源に割り当てることが困難なことである。その理由は、ジョブの実行に用いる入力ファイルが蓄積されている記憶装置と、ジョブの割り当て先の候補の資源との間の通信ネットワークの状態によっては、どの資源に最も早く入力ファイルを転送することが可能であるのかの予測が困難なためである。
また、従来のグリッドコンピューティングの第2の問題点は、資源に入力ファイルを転送し、入力ファイルの転送が完了した資源にジョブの実行を予約しても、ターンアラウンドタイム等のジョブ実行のSLA(Service Level Agreement:サービスレベルアグリーメント)を満たすとは限らないことである。
そこで、本発明は、グリッドコンピューティングにおいて、適切な資源にジョブの実行を依頼するスーパースケジューラ、処理依頼方法、およびスーパースケジューラプログラムを提供することを目的とする。
また、本発明は、SLAを満たすように資源にジョブの実行を依頼するスーパースケジューラ、処理依頼方法、およびスーパースケジューラプログラムを提供することも目的とする。
また、本発明は、ジョブを実行している資源に障害が発生した場合に、他の資源が受信した入力ファイルを有効に活用するスーパースケジューラ、処理依頼方法、およびスーパースケジューラプログラムを提供することも目的とする。
本発明によるスーパースケジューラは、処理を実行する処理実行装置に、通信ネットワークを介して処理の実行を依頼するスーパースケジューラであって、複数の処理実行装置から処理の実行の依頼先を選択する依頼先選択手段と、依頼先選択手段が選択した依頼先の処理実行装置に、通信ネットワークを介して処理の実行に用いるファイルを送信する通信手段とを備え、依頼先選択手段は、所定の条件を満たす処理実行装置を複数選択することを特徴とする。
通信手段は、処理の依頼元のコンピュータである依頼元端末から、処理の実行に用いるファイルと、SLAを含み処理の実行条件を示すジョブ情報とを通信ネットワークを介して受信し、処理実行装置の内容を示す資源情報を通信ネットワークを介して受信し、依頼先選択手段は、通信手段が受信したジョブ情報と資源情報とにもとづいて、処理の実行の依頼先を選択してもよい。
通信手段は、一定量のファイルを通信ネットワークを介して処理実行装置に送信してネットワーク帯域を測定させ、処理実行装置から測定結果を受信し、依頼先選択手段は、測定結果にもとづいて、処理の実行の依頼先を選択してもよい。
依頼先選択手段は、通信手段が受信したジョブ情報、またはジョブ情報と資源情報とにもとづいて処理実行装置を順位付けし、順位が上位から所定の順位までの処理実行装置を選択してもよい。
通信手段は、ファイルの送信先の処理実行装置から、ファイルの転送状況を示す情報を受信してもよい。
通信手段は、ファイルの送信が終了した処理実行装置に、処理の実行開始を依頼する実行依頼通知を通信ネットワークを介して送信してもよい。
通信手段は、処理実行装置から処理の実行が終了したことを通知された場合に、実行依頼通知を送信した処理実行装置に、処理の実行開始の依頼を取り消す取消し通知を通信ネットワークを介して送信してもよい。
依頼先選択手段は、同一のファイルを用いた処理の実行を2回目以降に依頼する場合に、通信手段が前回以前にファイルを送信した処理実行装置から依頼先を選択してもよい。
本発明による処理依頼方法は、処理を実行する処理実行装置に、通信ネットワークを介して処理の実行を依頼する処理依頼方法であって、通信手段が、処理の依頼元のコンピュータである依頼元端末から、処理の実行に用いるファイルと、SLAを含み処理の実行条件を示すジョブ情報とを通信ネットワークを介して受信し、処理実行装置の内容を示す資源情報を通信ネットワークを介して受信する受信ステップと、依頼先選択手段が、複数の処理実行装置から処理の実行の依頼先を選択する依頼先選択ステップと、通信手段が、依頼先選択ステップで依頼先選択手段が選択した依頼先の処理実行装置に、通信ネットワークを介して処理の実行に用いるファイルを送信する送信ステップとを備え、依頼先選択手段は、依頼先選択ステップで、受信ステップで受信したジョブ情報と資源情報とにもとづいて、処理の実行の依頼先を複数選択することを特徴とする。
本発明によるスーパースケジューラプログラムは、ジョブを実行するジョブ実行装置に、通信ネットワークを介してジョブの実行を依頼するコンピュータに搭載されるスーパースケジューラプログラムであって、コンピュータに、ジョブの依頼元のコンピュータである依頼元端末から、ジョブの実行に用いるファイルと、SLAを含みジョブの実行条件を示すジョブ情報とを通信ネットワークを介して受信し、ジョブ実行装置の内容を示す資源情報を通信ネットワークを介して受信する受信処理と、複数のジョブ実行装置からジョブの実行の依頼先を選択する依頼先選択処理と、依頼先選択処理で選択した依頼先のジョブ実行装置に、通信ネットワークを介してジョブの実行に用いるファイルを送信する送信処理とを実行させ、依頼先選択処理で、受信処理で受信したジョブ情報と資源情報とにもとづいて、ジョブの実行の依頼先を複数選択させることを特徴とする。
本発明によれば、依頼先選択手段が所定の条件を満たす処理実行装置を選択するので、適切な処理実行装置にジョブの実行を依頼することができる。
依頼先選択手段が、ジョブ情報と資源情報とにもとづいて、処理の実行の依頼先の処理実行装置を選択するように構成されている場合には、SLAを満たすように処理実行装置にジョブの実行を依頼することができる。
依頼先選択手段が、ジョブ情報、またはジョブ情報と資源情報とにもとづいて処理実行装置を順位付けし、順位が上位から所定の順位までの処理実行装置を選択するように構成されている場合には、より適切な処理実行装置にジョブの実行を依頼することができる。
依頼先選択手段が、同一のファイルを用いた処理の実行を2回目以降に依頼する場合に、前回以前にファイルを送信した処理実行装置から依頼先を選択するように構成されている場合には、ジョブを実行している処理実行装置に障害が発生した場合に、他の処理実行装置が受信したファイルを有効に活用することができる。
本発明の実施の形態について、図面を参照して説明する。図1は、本発明によるスーパースケジューラ(スーパースケジュールユニット)100を含むグリッドコンピューティングシステムの一構成例を示す説明図である。
図1に示すグリッドコンピューティングシステムは、スーパースケジュールユニット100、ユーザ側処理装置(依頼元端末)10、ユーザ側記憶装置11、資源ユニット(処理実行装置、ジョブ実行装置)200a〜200x、および通信ネットワーク1を含む。
通信ネットワーク1は、例えば、インターネットや、大学内LAN(Local Area Network)、企業内LAN等の通信回線網である。各ユニットおよび各装置は、通信ネットワーク1に接続され、互いに情報を送受信する。
スーパースケジュールユニット100は、スーパースケジュール装置(依頼先選択手段)101と情報サービス装置102とを含む。なお、通信手段は、スーパースケジュール装置101および情報サービス装置102によって実現される。スーパースケジュール装置101および情報サービス装置102は、1つのコンピュータであってもよいし、それぞれ独立したコンピュータであってもよい。つまり、スーパースケジュールユニット100は、ソフトウェア制御に従って処理を実行する1つまたは複数のコンピュータである。
スーパースケジュール装置101は、通信ネットワーク1を介して、ユーザ側処理装置10から、ジョブを実行するための入力ファイル(例えば、ジョブを実行するために必要なデータが記載されているデータファイル)とジョブ情報とを受信する。なお、スーパースケジュール装置101は、入力ファイルおよびジョブ情報とともに、ジョブを実行するために必要な実行用バイナリファイルをユーザ側処理装置10から受信してもよい。そして、スーパースケジュール装置101は、実行用バイナリファイルを受信した場合に、入力ファイルとともに資源ユニットへ送信等する。
ジョブ情報は、ジョブを実行する資源ユニットの条件とSLAとを含み、ジョブを実行するための条件を示す情報である。ジョブ情報は、例えば、ユーザID、ジョブを実行することができるCPUアーキテクチャ、ジョブを実行するために必要なCPUの数、ジョブを実行するために必要なメモリの容量、ジョブを実行するためのアプリケーションソフトウェア名、入力ファイルの大きさ、およびジョブの実行過程でデータを保存する容量の大きさを示す情報を含む。
図2は、ジョブ情報の一例を示す説明図である。図2には、ユーザを識別するユーザIDがGD24978であり、ジョブを実行することができるCPUアーキテクチャがIA32 EM64Tであり、ジョブを実行するために必要なCPUの数が24個であることが例示されている。また、図2には、ジョブを実行するために必要なメモリサイズが3GByteであり、ジョブを実行するためのアプリケーションソフトウェア名がLS−DYNAであり、入力ファイルの大きさが120MByteであり、ジョブの実行過程でデータを保存する容量(必要スクラッチディスク容量)が3.6GByteであることが例示されている。
また、図2には、クロック周波数が3.2GHzのインテル社製のXeonでジョブを実行した場合の予測処理時間が120分であり、ジョブの実行を終了しなければならない時刻であるジョブ終了時刻が日本時間の2006年12月12日の13時30分であることが例示されている。また、図2には、ユーザが当該ジョブの実行に対する料金を78000円まで支払うことを保証し、ジョブの実行終了後に入力ファイルを48時間保持することが例示されている。また、図2には、入力ファイルを識別するID(入力ファイル識別ID)が「FJOH19961511748」であり、プライオリティが「TurnAroundTime」であることが例示されている。
なお、図2には、ジョブを実行するためのアプリケーションソフトウェア名がLS−DYNAであることが例示されているが、ジョブを実行するためのアプリケーションソフトウェア名と、当該アプリケーションソフトウェアのバージョン名とが示されていてもよいし、アプリケーションソフトウェアの実行用バイナリファイル名が直接示されていてもよい。
また、図2のジョブ終了時刻の欄には、ジョブの実行を日本時間の2006年12月12日の13時30分までに終了しなければならないことが例示されているが、ジョブ終了時刻が示されていない場合には、ジョブの終了時刻に制限がないとする。
スーパースケジュール装置101は、受信した入力ファイルの転送先の資源ユニットを選択して、選択した資源ユニットに入力ファイルを転送する。
情報サービス装置102は、各資源ユニットから各資源の内容を示す資源情報を受信して記憶する。図3は、資源情報の一例を示す説明図である。
図3には、資源のCPUがインテル社製のXeon 3.4GHzであり、CPUアーキテクチャがIA32 EM64Tであり、実行の順番を待っているジョブ数が120であり、ジョブを実行するために割り当てることができるメモリの大きさが3GByteであり、搭載しているアプリケーションソフトウェアがLS−DYNAと、ParmCRASHと、NASTRANとであることが例示されている。また、図3には、資源がジョブの実行を開始するまでの推定待ち時間が74分であり、スクラッチディスクの容量が3.6GByteであり、プロセッサの数が512個であり、スーパースケジュール装置101との間のデータ転送帯域が10Mbit/sであり、搭載しているOS(Operating System)が、SuSe Linux(登録商標) 10.5であることが例示されている。
資源ユニット200aは、資源201aと、資源監視手段202aと、データ管理手段203aとを含む。資源201aは、ジョブを実行する演算部204aと情報を記憶する記憶装置205aとを含む。
記憶装置205aは、入力ファイルを記憶する。演算部204aは、入力ファイルを用いてジョブを実行する。具体的には、例えば、アメダスデータの入力ファイルを用いて気象計算を行ったり、自動車の車体のメッシュデータの入力ファイルを用いて構造解析を行ったり、化合物データの入力ファイルを用いて医薬品の解析を行ったりする。
資源監視手段202aは、資源201aを監視して資源201a(資源ユニット200aでもよい)の内容を示す資源情報を生成する。なお、資源監視手段202aは、生成した資源情報を通信ネットワーク1を介して定期的にスーパースケジュールユニット100に送信してもよい。
データ管理手段203aは、通信ネットワーク1を介してスーパースケジュールユニット100から転送された入力ファイルの転送状況を監視し、転送状況を示す情報を通信ネットワーク1を介してスーパースケジュールユニット100に送信する。
資源201aは、例えば、パーソナルコンピュータや、パーソナルコンピュータの集合、クラスタシステム、スーパーコンピュータである。そして、演算部204aは、例えば、コンピュータのCPUである。従って、資源201aが地理的に離れた複数のコンピュータによって構成され、1つのコンピュータに仮想化されている場合に、演算部204aは、各コンピュータのCPU(つまり、複数のCPU)を含む。また、記憶装置205aは、例えば、コンピュータが内蔵するハードディスクや、コンピュータに接続されたファイルサーバ、NAS(Network Attached Storage)である。なお、資源監視手段202aおよびデータ管理手段203aは、それぞれ独立したコンピュータであってもよいし、ソフトウェア制御に従って処理を実行する資源201aを実現するコンピュータであってもよい。
なお、資源ユニット200b〜200xは、資源ユニット200aと同様な構成のため、説明を省略する。
スーパースケジュールユニット100は、ジョブを実行する資源ユニットに、通信ネットワークを介してジョブの実行を依頼するコンピュータに搭載されるスーパースケジューラプログラムであって、コンピュータに、ユーザ側装置10から、ジョブの実行に用いる入力ファイルと、ジョブ情報とを通信ネットワーク1を介して受信し、資源ユニットの内容を示す資源情報を通信ネットワーク1を介して受信する受信処理と、複数の資源ユニットからジョブの実行の依頼先を選択する依頼先選択処理と、依頼先選択処理で選択した依頼先の資源ユニットに、通信ネットワーク1を介してジョブの実行に用いる入力ファイルを送信する送信処理とを実行させ、依頼先選択処理で、受信処理で受信したジョブ情報と資源情報とにもとづいて、ジョブの実行の依頼先を複数選択させることを特徴とするスーパースケジューラプログラムを搭載している。
次に、グリッドコンピューティングシステムの動作について、図面を参照して説明する。図4は、グリッドコンピューティングシステムの動作を説明するフローチャートである。
スーパースケジュールユニット100の情報サービス装置102は、各資源ユニットの各資源監視手段から資源情報を受信する(ステップS101)。情報サービス装置102は、受信した資源情報を蓄積する。
スーパースケジュール装置101は、ユーザ側処理装置10からジョブ情報と入力ファイルとを受信した場合に(ステップS102)、受信したジョブ情報と、情報サービス装置102が蓄積している資源情報とにもとづいて、ジョブを実行させる(ジョブの実行を依頼する)資源ユニットを選択する(ステップS103)。
スーパースケジュール装置101が、ジョブを実行させる資源ユニットを選択する動作について説明する。図5は、スーパースケジュール装置101が、ジョブを実行させる資源ユニットを選択する動作を説明するフローチャートである。
スーパースケジュール装置101は、ユーザ側処理装置10から受信したジョブ情報と、情報サービス装置102が蓄積している資源情報とにもとづいて、ジョブの実行が可能な資源ユニットの候補リストを生成する(ステップS201)。
具体的には、例えば、スーパースケジュール装置101が、自装置を示すIDと、各資源ユニットを識別するIDとを対応づけるマッピングファイルを予め記憶しており、当該マッピングファイルで自装置のIDに対応づけられているIDの資源ユニットのリストを候補リストとして生成する。
次に、スーパースケジュール装置101は、候補リストの各資源ユニットの資源監視手段から受信した資源情報とユーザ側処理装置10から受信したジョブ情報とを参照して、ジョブ情報で指定されたCPUアーキテクチャに合致しないCPUアーキテクチャの資源ユニットを候補リストから消去する。以下、ある資源ユニットの資源監視手段から受信した資源情報をその資源ユニットの資源情報と記す。
また、スーパースケジュール装置101は、候補リストの各資源ユニットの資源情報とジョブ情報とを参照して、ジョブ情報が示す必要CPU数が2以上である場合、つまり並列処理が要求されている場合、CPU数の条件を満たさない資源ユニットを候補リストから消去する。また、スーパースケジュール装置101は、候補リストの各資源ユニットの資源情報とジョブ情報とを参照して、ジョブ情報で指定されているアプリケーションソフトウェアが搭載されていない資源ユニットを候補リストから消去する。
スーパースケジュール装置101は、ジョブの実行が終了する時刻を算出し、算出した時刻にもとづいて、候補リストが含む資源ユニットを絞り込む(ステップS202)。具体的には、スーパースケジュール装置101は、候補リストの各資源ユニットの資源情報の推定ジョブ開始待ち時間にジョブ情報が示す予測処理時間を加えた時間と現在時刻とにもとづいて、ジョブを実行させた場合の終了時刻を資源ユニット毎にそれぞれ算出する。そして、ジョブ情報がジョブ終了時刻を含む場合に、算出した終了時刻がジョブ情報が示すジョブ終了時刻より遅い資源ユニットを候補リストから消去する。
スーパースケジュール装置101は、候補リストの各資源ユニットにジョブを実行させた場合の料金を計算し、計算結果にもとづいて候補リストが含む資源ユニットを絞り込む(ステップS203)。具体的には、例えば、スーパースケジュール装置101が、資源ユニットにジョブを実行させた場合の料金を算出するための課金情報を各資源ユニット毎にそれぞれ記憶しておき、記憶している課金情報にもとづいて、ジョブを実行させた場合の料金を算出して、算出した料金にもとづいて候補リストから資源ユニットを消去する。
課金情報は、例えば、単位時間あたりの従量制課金であることを示している場合や、アプリケーションソフトウェア利用の固定料金制課金であって、アプリケーションソフトウェアごとの料金を示している場合がある。課金情報が単位時間あたりの従量制課金であることを示している場合に、スーパースケジュール装置101は、ジョブ実行に必要なCPUの数、および予測処理時間にもとづいて料金を算出する。なお、スーパースケジュール装置101は、それぞれの資源監視装置から単位時間あたりのCPU使用料金情報を取得して料金を算出してもよい。
また、課金情報がアプリケーションソフトウェア利用の固定料金制課金であることを示している場合に、スーパースケジュール装置101は、ジョブの実行に使用するアプリケーションソフトウェアの料金を参照する。そして、スーパースケジュール装置101は、算出した料金がジョブ情報の許容計算料金を満たさない資源ユニットを候補リストから消去する。
ステップS203の処理で、候補リストに資源ユニットが存在しなくなった場合(ステップS204のN)、スーパースケジュール装置101は、ユーザー側処理装置10にエラーを通知してすべての処理を終了する(ステップS208)。
スーパースケジュール装置101は、候補リストに資源ユニットが存在している場合(ステップS204のY)、ジョブの入力ファイルの予測転送時間を算出する(ステップS205)。なお、ジョブ情報に入力ファイル保持期間が示されている場合に、スーパースケジュール装置101は、候補リストの各資源ユニットのデータ管理手段に、ジョブ情報の入力ファイル識別IDと合致する入力ファイル識別IDの入力ファイルが記憶装置に保持されているか否かを問い合わせる。そして、スーパースケジュール装置101は、ジョブ情報の入力ファイル識別IDと合致する入力ファイル識別IDの入力ファイルが記憶装置に保持されていた場合に、その資源ユニットへの入力ファイルの予測転送時間は0であるとする。
また、スーパースケジュール装置101は、ジョブ情報の入力ファイル識別IDと合致する入力ファイル識別IDの入力ファイルが記憶装置に保持されていない場合に、以下の処理を実行する。
スーパースケジュール装置101は、候補リストの各資源ユニットに、一定量のファイルを送信する。資源監視装置は、そのファイルの送信完了時間(受信完了時間でもよい)を計測して、その資源ユニットとの間のネットワーク帯域(データ転送帯域ともいう。)を測定する。資源監視手段は、測定したネットワーク帯域を示す情報(データ転送帯域情報)を資源情報のデータ転送帯域情報として情報サービス装置102に送信して、蓄積させる。
なお、スーパースケジュール装置101は、各資源ユニットに、定期的(例えば、1時間毎)に、一定量のファイルを送信して、資源監視装置にネットワーク帯域を測定させてもよい。そして、ネットワーク帯域を測定した資源監視装置は、測定したネットワーク帯域を示す情報を含む資源情報を生成する。図2に示す例では、資源監視装置は、ネットワーク帯域(データ転送帯域)の測定結果が10Mbit/sであることを示す資源情報を生成している。
そして、スーパースケジュール装置101は、情報サービス装置102が蓄積しているデータ転送帯域情報と、ジョブ情報が示す入力ファイルサイズとにもとづいて、入力ファイルを各資源ユニットに転送した場合の予測転送時間をそれぞれ算出する。
ここで、算出した予測転送時間が資源情報の推定ジョブ開始待ち時間よりも長い場合に、スーパースケジュール装置101は、現在時刻に予測転送時間と予測処理時間とを加算して、ジョブの終了時刻を算出する。つまり、ステップS202では、ジョブの終了時刻の算出に推定ジョブ開始待ち時間を用いたが、計算した予測転送時間が資源情報の推定ジョブ開始待ち時間よりも長い場合には、ジョブの終了時刻の算出に、推定ジョブ開始待ち時間に代えて予測転送時間を用いる。
スーパースケジュール装置101は、ジョブ情報のプライオリティ指定に従って、候補リストの各資源ユニットに順位付けを行う(ステップS206)。具体的には、例えば、ジョブ情報のプライオリティ指定がStartTimeである場合に、スーパースケジュール装置101は、ジョブの実行の開始時刻が早い順に順位付けを行う。スーパースケジュール装置101は、開始時刻を、例えば、資源情報の推定ジョブ開始待ち時間と予測転送時間とのうちの長いほうの時間と、現在時刻とにもとづいて算出する。プライオリティ指定がTurnAroundTimeの場合に、スーパースケジュール装置101は、ジョブの予測実行終了時刻を算出して、算出した時刻が早い順に順位付けを行う。また、プライオリティ指定がCHEAPである場合に、スーパースケジュール装置101は、ステップS203で算出した料金が安い順に順位付けを行う。プライオリティ指定がない場合に、スーパースケジュール装置101は、TurnAroundTimeが指定されたとして、順位付けを行う。なお、図2に示す例では、TurnAroundTimeが指定されている。
そして、スーパースケジュール装置101は、順位付けした資源ユニットの順位が上位から所定の順位(例えば第3位)までの資源ユニットを選択する(ステップS207)。ステップS207で選択された資源ユニットが、入力ファイルの送信先の資源ユニットである。
スーパースケジュール装置101は、ステップS207で選択した資源ユニットに、ユーザ側処理装置10から受信した入力ファイルを通信ネットワーク1を介してそれぞれ送信(転送)する(ステップS104)。
入力ファイルが転送された各資源ユニットのデータ管理手段は、転送状況を示す情報を通信ネットワーク1を介して情報サービス装置102に送信する。具体的には、各データ管理手段は、例えば、受信したデータ量を示す情報を通信ネットワーク1を介して情報サービス装置102に送信する。
入力ファイルの転送が終了した資源ユニット(つまり、入力ファイルの受信が完了した資源ユニット)のデータ管理手段は、入力ファイルの受信が完了したことを示すジョブ転送終了通知を通信ネットワーク1を介してスーパースケジュール装置101に送信する。
スーパースケジュール装置101は、ジョブ転送終了通知を受信した場合に、ジョブ転送終了通知を送信したデータ管理手段の資源ユニットに、通信ネットワーク1を介してジョブの実行開始を依頼する実行依頼通知を送信する(ステップS105)。スーパースケジュール装置101は、ジョブ転送終了通知を送信したデータ管理手段の資源ユニットに、通信ネットワーク1を介して順次実行依頼通知を送信する。なお、入力ファイルの転送が終了し、スーパースケジュール装置101が資源ユニットに実行依頼通知を送信しても、すぐにジョブが実行されるとは限らない。
実行依頼通知を受信した資源の演算部(例えば、資源201aの演算部204a)は、ジョブの実行を開始した場合に、ジョブの実行を開始したことを示すジョブ実行開始通知を通信ネットワーク1を介して情報サービス装置102に送信する。スーパースケジュール装置101は、情報サービス装置102がジョブ実行開始通知を受信した場合に、ジョブ実行開始通知の送信元の資源(例えば、資源201a)が、ジョブの実行を開始したことを認識する。
スーパースケジュール装置101は、情報サービス装置102がジョブ実行開始通知を受信した場合に、入力ファイルを転送した資源ユニットであって、ジョブ実行開始通知の送信元以外の資源ユニットに、入力ファイルを保持させ、ジョブの実行依頼を取り消すことを要求する取消し通知を通信ネットワーク1を介して送信する。
資源ユニットの演算部は、ジョブの実行が終了した場合に、通信ネットワーク1を介してスーパースケジュール装置101に、ジョブの実行が終了したことを示すジョブ終了通知を送信する。
スーパースケジュール装置101は、ジョブ終了通知を受信した場合に、入力ファイルを送信した全ての資源ユニットに、ジョブの実行が終了したことを通知する。ジョブの実行が終了したことを通知された資源ユニットのデータ管理手段は、ジョブ情報で入力ファイルの保持期間が指定されていればその保持期間が経過した時に入力ファイルを消去し、保持期間が指定されていなければ、ジョブの実行が終了したことを通知された時に入力ファイルを消去する。
なお、スーパースケジュール装置101は、ジョブ実行開始通知の送信元の資源ユニットから、例えば、異常終了等してジョブの実行を中断したことを通信ネットワーク1と情報サービス装置102とを介して通知された場合に、他の資源ユニットであって、入力ファイルの転送が終了した資源ユニット、または入力ファイルを転送中の資源ユニットに、通信ネットワーク1を介して実行依頼通知を送信する。
また、スーパースケジュール装置101は、同一の入力ファイル識別IDの入力ファイルを用いたジョブが複数回実行される場合に、ジョブ情報が示す入力ファイル保持期間内であれば、入力ファイルの送信先の資源ユニットに、通信ネットワーク1を介して実行依頼通知を送信する。
本実施の形態では、スーパースケジュール装置101が、ネットワーク帯域などを考慮して選択した複数の資源ユニットに入力ファイルを転送するので、予め転送時間が分からない入力ファイルの転送であっても、最初に転送が完了した資源ユニットにジョブの実行を依頼し、ジョブ実行の開始時刻を早くすることができる。
また、本実施の形態では、スーパースケジュール装置101が、ジョブの入力ファイルを複数の資源ユニットに転送し、転送が終了した資源ユニットに実行依頼通知を送信するので、転送先の資源の状況によって入力ファイルが最初に転送された資源でのジョブの実行開始が遅れても他の資源でジョブが実行開始され、ジョブ実行の開始時刻を早めることができる。
また、本実施の形態では、スーパースケジュール装置101が、ジョブの入力ファイルを複数の資源ユニットに転送し、転送が終了した資源ユニットに実行依頼通知を送信するので、ジョブの実行を開始した資源に何らかの障害が発生してジョブの実行が中断しても、再度入力ファイルの転送処理を行うことなく、他の資源にジョブを実行させることができる。
また、本実施の形態では、スーパースケジュール装置101が転送した入力ファイルが資源ユニットのデータ管理手段に所定の期間保持されるので、再度入力ファイルの転送処理が行われることなく、同じ入力ファイルを利用するジョブの実行を早期に開始させることができる。
以上、本発明の実施の形態について説明したが、本発明は、以上に述べた実施の形態に限定されるものではなく、構成要素の付加および変更が可能である。例えば、以上に述べた実施の形態では、ユーザがSLAを指定したが、各資源に対するSLAの兼ね合いに応じて、ジョブの実行のターンアラウンドタイムの短縮や、ジョブ実行料金の最適化を図ることを目的として、ジョブ実行要求の送信先を判断(決定)するアルゴリズムを追加してもよい。
本発明は、グリッドコンピューティングにおけるスーパースケジューラに適用することができる。
スーパースケジュールユニットを含むグリッドコンピューティングシステムの一構成例を示す説明図である。 ジョブ情報の一例を示す説明図である。 資源情報の一例を示す説明図である。 グリッドコンピューティングシステムの動作を説明するフローチャートである。 スーパースケジュール装置が、ジョブを実行させる資源ユニットを選択する動作を説明するフローチャートである。
符号の説明
1 通信ネットワーク
10 ユーザ側処理装置
11 ユーザ側記憶装置
100 スーパースケジュールユニット
101 スーパースケジュール装置
102 情報サービス装置
200a〜200x 資源ユニット
201a 資源
202a 資源監視手段
203a データ管理手段
204a 演算部
205a 記憶装置

Claims (10)

  1. 処理を実行する処理実行装置に、通信ネットワークを介して処理の実行を依頼するスーパースケジューラにおいて、
    複数の処理実行装置から処理の実行の依頼先を選択する依頼先選択手段と、
    前記依頼先選択手段が選択した依頼先の処理実行装置に、前記通信ネットワークを介して前記処理の実行に用いるファイルを送信する通信手段とを備え、
    前記依頼先選択手段は、所定の条件を満たす処理実行装置を複数選択する
    ことを特徴とするスーパースケジューラ。
  2. 通信手段は、処理の依頼元のコンピュータである依頼元端末から、前記処理の実行に用いるファイルと、SLAを含み前記処理の実行条件を示すジョブ情報とを通信ネットワークを介して受信し、処理実行装置の内容を示す資源情報を通信ネットワークを介して受信し、
    依頼先選択手段は、前記通信手段が受信したジョブ情報と資源情報とにもとづいて、前記処理の実行の依頼先を選択する
    請求項1記載のスーパースケジューラ。
  3. 通信手段は、一定量のファイルを通信ネットワークを介して処理実行装置に送信してネットワーク帯域を測定させ、前記処理実行装置から測定結果を受信し、
    依頼先選択手段は、前記測定結果にもとづいて、処理の実行の依頼先を選択する
    請求項2記載のスーパースケジューラ。
  4. 依頼先選択手段は、通信手段が受信したジョブ情報、または前記ジョブ情報と資源情報とにもとづいて処理実行装置を順位付けし、順位が上位から所定の順位までの処理実行装置を選択する
    請求項2または請求項3記載のスーパースケジューラ。
  5. 通信手段は、ファイルの送信先の処理実行装置から、ファイルの転送状況を示す情報を受信する
    請求項1から請求項4のうちいずれか1項記載のスーパースケジューラ。
  6. 通信手段は、ファイルの送信が終了した処理実行装置に、処理の実行開始を依頼する実行依頼通知を通信ネットワークを介して送信する
    請求項1から請求項5のうちいずれか1項記載のスーパースケジューラ。
  7. 通信手段は、処理実行装置から処理の実行が終了したことを通知された場合に、実行依頼通知を送信した処理実行装置に、処理の実行開始の依頼を取り消す取消し通知を通信ネットワークを介して送信する
    請求項6記載のスーパースケジューラ。
  8. 依頼先選択手段は、同一のファイルを用いた処理の実行を2回目以降に依頼する場合に、通信手段が前回以前にファイルを送信した処理実行装置から依頼先を選択する
    請求項1から請求項7のうちいずれか1項記載のスーパースケジューラ。
  9. 処理を実行する処理実行装置に、通信ネットワークを介して処理の実行を依頼する処理依頼方法において、
    通信手段が、前記処理の依頼元のコンピュータである依頼元端末から、前記処理の実行に用いるファイルと、SLAを含み前記処理の実行条件を示すジョブ情報とを通信ネットワークを介して受信し、処理実行装置の内容を示す資源情報を通信ネットワークを介して受信する受信ステップと、
    依頼先選択手段が、複数の処理実行装置から前記処理の実行の依頼先を選択する依頼先選択ステップと、
    通信手段が、前記依頼先選択ステップで依頼先選択手段が選択した依頼先の処理実行装置に、前記通信ネットワークを介して前記処理の実行に用いるファイルを送信する送信ステップとを備え、
    前記依頼先選択手段は、前記依頼先選択ステップで、前記受信ステップで受信したジョブ情報と資源情報とにもとづいて、前記処理の実行の依頼先を複数選択する
    ことを特徴とする処理依頼方法。
  10. ジョブを実行するジョブ実行装置に、通信ネットワークを介してジョブの実行を依頼するコンピュータに搭載されるスーパースケジューラプログラムであって、
    コンピュータに、
    前記ジョブの依頼元のコンピュータである依頼元端末から、前記ジョブの実行に用いるファイルと、SLAを含み前記ジョブの実行条件を示すジョブ情報とを通信ネットワークを介して受信し、ジョブ実行装置の内容を示す資源情報を通信ネットワークを介して受信する受信処理と、
    複数のジョブ実行装置からジョブの実行の依頼先を選択する依頼先選択処理と、
    前記依頼先選択処理で選択した依頼先のジョブ実行装置に、前記通信ネットワークを介して前記ジョブの実行に用いるファイルを送信する送信処理とを実行させ、
    前記依頼先選択処理で、前記受信処理で受信したジョブ情報と資源情報とにもとづいて、前記ジョブの実行の依頼先を複数選択させる
    ためのスーパースケジューラプログラム。
JP2006253965A 2006-09-20 2006-09-20 スーパースケジュール装置、処理実行システム、処理依頼方法、およびスーパースケジューラプログラム Expired - Fee Related JP4887999B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006253965A JP4887999B2 (ja) 2006-09-20 2006-09-20 スーパースケジュール装置、処理実行システム、処理依頼方法、およびスーパースケジューラプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006253965A JP4887999B2 (ja) 2006-09-20 2006-09-20 スーパースケジュール装置、処理実行システム、処理依頼方法、およびスーパースケジューラプログラム

Publications (2)

Publication Number Publication Date
JP2008077281A true JP2008077281A (ja) 2008-04-03
JP4887999B2 JP4887999B2 (ja) 2012-02-29

Family

ID=39349288

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006253965A Expired - Fee Related JP4887999B2 (ja) 2006-09-20 2006-09-20 スーパースケジュール装置、処理実行システム、処理依頼方法、およびスーパースケジューラプログラム

Country Status (1)

Country Link
JP (1) JP4887999B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010113688A (ja) * 2008-11-10 2010-05-20 Fujitsu Ltd ジョブ実行指示プログラム、ジョブ実行順序決定プログラム、ジョブ実行指示方法及びジョブ実行指示装置
KR20110041295A (ko) * 2009-10-15 2011-04-21 주식회사 케이티 복수의 미디어 인코더에 대한 작업 스케줄링 시스템 및 방법
JP5786937B2 (ja) * 2011-04-18 2015-09-30 富士通株式会社 スケジューリング方法およびタスク処理方法
WO2016207989A1 (ja) * 2015-06-24 2016-12-29 株式会社日立製作所 分散システム
CN110506259A (zh) * 2017-03-15 2019-11-26 易享信息技术有限公司 用于计算节点管理协议的系统和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09282288A (ja) * 1996-04-09 1997-10-31 Fujitsu Ltd 複数計算機運用システム
JP2005309868A (ja) * 2004-04-22 2005-11-04 Hitachi Ltd 処理割当管理装置、処理割当管理装置の制御方法、及びプログラム
JP2006031358A (ja) * 2004-07-15 2006-02-02 Ziosoft Inc ボリュームレンダリング等の画像処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09282288A (ja) * 1996-04-09 1997-10-31 Fujitsu Ltd 複数計算機運用システム
JP2005309868A (ja) * 2004-04-22 2005-11-04 Hitachi Ltd 処理割当管理装置、処理割当管理装置の制御方法、及びプログラム
JP2006031358A (ja) * 2004-07-15 2006-02-02 Ziosoft Inc ボリュームレンダリング等の画像処理システム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010113688A (ja) * 2008-11-10 2010-05-20 Fujitsu Ltd ジョブ実行指示プログラム、ジョブ実行順序決定プログラム、ジョブ実行指示方法及びジョブ実行指示装置
KR20110041295A (ko) * 2009-10-15 2011-04-21 주식회사 케이티 복수의 미디어 인코더에 대한 작업 스케줄링 시스템 및 방법
KR101667998B1 (ko) 2009-10-15 2016-10-21 주식회사 케이티 복수의 미디어 인코더에 대한 작업 스케줄링 시스템 및 방법
JP5786937B2 (ja) * 2011-04-18 2015-09-30 富士通株式会社 スケジューリング方法およびタスク処理方法
US9549412B2 (en) 2011-04-18 2017-01-17 Fujitsu Limited Scheduling method and task processing method
WO2016207989A1 (ja) * 2015-06-24 2016-12-29 株式会社日立製作所 分散システム
CN107615247A (zh) * 2015-06-24 2018-01-19 株式会社日立制作所 分布式系统
JPWO2016207989A1 (ja) * 2015-06-24 2018-02-22 株式会社日立製作所 分散システム
CN110506259A (zh) * 2017-03-15 2019-11-26 易享信息技术有限公司 用于计算节点管理协议的系统和方法
JP2020510938A (ja) * 2017-03-15 2020-04-09 セールスフォース ドット コム インコーポレイティッド 計算ノード管理プロトコルのためのシステムおよび方法
US11049025B2 (en) 2017-03-15 2021-06-29 Salesforce.Com, Inc. Systems and methods for compute node management protocols
JP7113840B2 (ja) 2017-03-15 2022-08-05 セールスフォース ドット コム インコーポレイティッド 計算ノード管理プロトコルのためのシステムおよび方法

Also Published As

Publication number Publication date
JP4887999B2 (ja) 2012-02-29

Similar Documents

Publication Publication Date Title
US8468530B2 (en) Determining and describing available resources and capabilities to match jobs to endpoints
WO2019056695A1 (zh) 任务调度的方法、装置、终端设备及计算机可读存储介质
US20180341527A1 (en) Task deployment method, task deployment apparatus, and storage medium
JP2010517198A (ja) 分散タスクシステムおよび分散タスク管理方法
US20200104177A1 (en) Resource allocation system, management device, method, and program
JP5533315B2 (ja) 情報処理システム、管理装置、処理要求装置及びプログラム
WO2021227999A1 (zh) 云计算服务系统和方法
JP4887999B2 (ja) スーパースケジュール装置、処理実行システム、処理依頼方法、およびスーパースケジューラプログラム
US9648128B2 (en) Dynamic ad hoc cloud based memory management for mobile devices
CN113127021B (zh) 一种应用升级的方法和计算机设备
JP5462529B2 (ja) タスク割当装置、および、タスク割当方法
CN115237589A (zh) 一种基于sr-iov的虚拟化方法、装置和设备
CN110442543B (zh) 通信装置及通信方法
CN115362434A (zh) 分布式数据处理的任务调度
US20120054751A1 (en) Disposition determination technique
CN111488373A (zh) 用于处理请求的方法和系统
US8973007B1 (en) Adaptive lock list searching of waiting threads
US9448855B2 (en) System and method for executing a cloud computing task
JP2009252050A (ja) サーバ負荷管理システム、サーバ負荷管理方法、サーバ負荷管理プログラム
US10180858B2 (en) Parallel computing device, parallel computing system, and job control method
US9710311B2 (en) Information processing system, method of controlling information processing system, and recording medium
JP5218548B2 (ja) ジョブ割当装置、ジョブ割当装置の制御プログラム及び制御方法
JP5045576B2 (ja) マルチプロセッサシステム及びプログラム実行方法
US9838324B2 (en) Information processing system, information management apparatus, and data transfer control method
JP4743904B2 (ja) リソース過分配防止システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101005

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110628

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110822

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111115

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111128

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141222

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees