JP2005208922A - Job assignment method for grid system, grid mediation apparatus, and resource computer - Google Patents

Job assignment method for grid system, grid mediation apparatus, and resource computer Download PDF

Info

Publication number
JP2005208922A
JP2005208922A JP2004014518A JP2004014518A JP2005208922A JP 2005208922 A JP2005208922 A JP 2005208922A JP 2004014518 A JP2004014518 A JP 2004014518A JP 2004014518 A JP2004014518 A JP 2004014518A JP 2005208922 A JP2005208922 A JP 2005208922A
Authority
JP
Japan
Prior art keywords
resource computer
resource
computer
data type
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004014518A
Other languages
Japanese (ja)
Other versions
JP3927181B2 (en
Inventor
Naoto Muto
直人 武藤
Toshiyuki Oka
利幸 岡
Hideaki Inaba
英明 因幡
Takashi Nakatsu
隆 中津
Tomoharu Mitsuya
智晴 三ッ谷
Takeshi Nakano
岳 中野
Tatsuro Ibe
辰郎 伊部
Keijiro Nemoto
圭二郎 根元
Atsushi Zenimoto
敦 銭本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Nippon Telegraph and Telephone West Corp
Mitsui Knowledge Industry Co Ltd
Original Assignee
Nippon Telegraph and Telephone Corp
Nippon Telegraph and Telephone West Corp
Mitsui Knowledge Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, Nippon Telegraph and Telephone West Corp, Mitsui Knowledge Industry Co Ltd filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2004014518A priority Critical patent/JP3927181B2/en
Publication of JP2005208922A publication Critical patent/JP2005208922A/en
Application granted granted Critical
Publication of JP3927181B2 publication Critical patent/JP3927181B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Computer And Data Communications (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a job assignment method for a grid system, a grid mediation apparatus, and a resource computer that enable such assignment as enables job assignment depending on a dynamic change in the throughput of resource computers. <P>SOLUTION: The grid mediation apparatus 2 assigns sample jobs to each of first to third resource computers 4 to 6 to perform execution (Step 1, 2), accumulates throughputs depending on a processing time required in the execution and a data size, as statistical information on data types in each resource computer, in a statistical information DB 21 (Step 3 to 5), and when receiving a request for data processing from a service user terminal 3 (Step 7), selects the resource computer that is suitable to execute the data processing according to a data type and the statistical information on data types in each resource computer accumulated in the statistical information DB 21 (Step 8 to 10) and issues a request (Step 11). <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、ネットワークに接続された複数のコンピュータの余剰処理能力(余剰リソース)を用いて所定のデータ処理を行う仮想コンピュータを形成するグリッドコンピュータシステム(単にグリッドシステムともいう。)に関する。   The present invention relates to a grid computer system (also simply referred to as a grid system) that forms a virtual computer that performs predetermined data processing using surplus processing capability (surplus resources) of a plurality of computers connected to a network.

従来のグリッドシステムでは、余剰リソースを提供する各コンピュータ(以下、リソース計算機という。)に処理能力を測定するためのプログラムを配信し、返却された測定結果から各リソース計算機の処理能力を決定する方法を取っていた(特許文献1参照)。この方法では、該処理能力測定プログラムを実行した時点での、リソース計算機の処理能力を知ることが可能であった。
特開2001−325041号公報
In the conventional grid system, a program for measuring processing capacity is distributed to each computer (hereinafter referred to as resource computer) that provides surplus resources, and the processing capacity of each resource computer is determined from the returned measurement results. (See Patent Document 1). In this method, it was possible to know the processing capacity of the resource computer when the processing capacity measurement program was executed.
JP 2001-325041 A

しかし、前記方法では、処理能力測定プログラムを実行した時に、他の処理(文章作成、表計算、動画編集など)を実行していれば、測定結果の処理能力は小さくなる。本来、グリッドシステムは、各ユーザが使用しているリソース計算機の空きリソース(余剰リソース)を利用するシステムであるので、使用可能なリソースの量は刻々と変化し、それに伴ってシステム全体の処理能力は変動するものと考えられる。また、処理能力測定プログラムとして、いわゆるベンチマークプログラム等が用いられる場合が多いが、これと実際に各リソース計算機に割り付けられるジョブとの負荷は必ずしも一致しない。そのため、上記のような処理能力測定プログラムの実行結果のみから処理能力を決定するだけでは、有効なジョブ割付を行うことはできないという問題点があった。   However, in the above method, if other processing (sentence creation, spreadsheet, moving image editing, etc.) is executed when the processing capability measurement program is executed, the processing capability of the measurement result becomes small. Originally, since the grid system is a system that uses free resources (surplus resources) of resource computers used by each user, the amount of resources that can be used changes every moment, and the processing capacity of the entire system accordingly. Is considered to fluctuate. In many cases, a so-called benchmark program or the like is used as the processing capacity measurement program, but the load between this and a job actually allocated to each resource computer does not always match. Therefore, there is a problem that effective job assignment cannot be performed only by determining the processing capability only from the execution result of the processing capability measurement program as described above.

本発明の目的は、リソース計算機の処理能力の動的な変化に応じたジョブの割付を可能とする割付可能なグリッドシステムにおけるジョブ割付方法、グリッド仲介装置及びリソース計算機を提供することにある。   An object of the present invention is to provide a job allocation method, a grid mediation apparatus, and a resource computer in an allocatable grid system that enables job allocation according to a dynamic change in the processing capacity of a resource computer.

また、本発明の目的は、実際にリソース計算機に割り付けられるデータ処理の内容に応じたジョブの割付を可能とする割付可能なグリッドシステムにおけるジョブ割付方法、グリッド仲介装置及びリソース計算機を提供することにある。   Another object of the present invention is to provide a job assignment method, a grid mediation apparatus, and a resource computer in an assignable grid system that enables assignment of jobs according to the contents of data processing actually assigned to a resource computer. is there.

前記目的を達成するため、本発明の方法は、余剰リソースを提供する少なくとも2つのリソース計算機と、各リソース計算機とネットワークを介して接続されたグリッド仲介装置とを少なくとも備え、グリッド仲介装置が全部又は一部のリソース計算機に所定のデータ処理を構成する複数のジョブを割り付けて実行させ、その実行結果を取りまとめることにより、当該所定のデータ処理を行う仮想コンピュータを形成するグリッドシステムに対し、各リソース計算機に事前に配布したデータを利用する所定のデータ処理を行わせる場合のジョブ割付方法であって、グリッド仲介装置が、各リソース計算機にデータの種別とデータサイズを指定してジョブを割り付けて実行させ、この際、各リソース計算機において実行に要した処理時間とデータサイズとから求められる各リソース計算機における当該データ種別に対する処理能力を、各リソース計算機におけるデータ種別毎の統計情報として蓄積するステップと、サービス利用者端末からデータ種別を指定した所定のデータ処理の依頼を受け付けた際、該データ種別と前記各リソース計算機におけるデータ種別毎の統計情報とを基に最適な少なくとも1つのリソース計算機を選択し、ジョブを割り付けるステップとを行うことを特徴とする。   In order to achieve the above object, the method of the present invention comprises at least two resource computers that provide surplus resources and at least a grid mediation device connected to each resource computer via a network, and the grid mediation device is all or Each resource computer is assigned to a grid system that forms a virtual computer that performs predetermined data processing by allocating and executing a plurality of jobs constituting predetermined data processing to some resource computers and collecting the execution results. This is a job allocation method for performing predetermined data processing using data distributed in advance. The grid mediation device allocates and executes jobs by specifying the data type and data size in each resource computer. At this time, the processing time and data required for execution in each resource computer A step of accumulating the processing capacity for each data type in each resource computer obtained from the size as statistical information for each data type in each resource computer, and a request for predetermined data processing specifying the data type from the service user terminal When accepted, a step of selecting at least one optimal resource computer based on the data type and statistical information for each data type in each resource computer and assigning a job is performed.

また、本発明の方法は、余剰リソースを提供する少なくとも2つのリソース計算機と、各リソース計算機とネットワークを介して接続されたグリッド仲介装置とを少なくとも備え、グリッド仲介装置が全部又は一部のリソース計算機に所定のデータ処理を構成する複数のジョブを割り付けて実行させ、その実行結果を取りまとめることにより、当該所定のデータ処理を行う仮想コンピュータを形成するグリッドシステムに対し、各リソース計算機に事前に配布したデータを利用する所定のデータ処理を行わせる場合のジョブ割付方法であって、グリッド仲介装置が、各リソース計算機にネットワークを介してデータの種別とデータサイズを指定してサンプルジョブを割り付けるステップと、前記サンプルジョブを実行した各リソース計算機からネットワークを介して返送される前記サンプルジョブの実行に要した処理時間を実行結果とともに受領するステップと、前記処理時間とデータサイズとから求められる各リソース計算機における当該データ種別に対する処理能力を、各リソース計算機におけるデータ種別毎の統計情報として直接もしくはネットワークを介してアクセス可能なデータベースに蓄積・管理させるステップと、サービス利用者端末からの所定のデータ処理の依頼をデータ種別とともにネットワークを介して受け付けるステップと、前記データ種別と前記データベースに蓄積された各リソース計算機におけるデータ種別毎の統計情報とを基に、当該所定のデータ処理の実行に適した少なくとも1つのリソース計算機を選択するステップと、該選択したリソース計算機にネットワークを介してデータ種別とデータサイズを含むジョブを割り付けるステップと、前記ジョブを実行したリソース計算機からネットワークを介して返送される前記ジョブの実行に要した処理時間を実行結果とともに受領するステップと、前記処理時間とデータサイズとから求められるリソース計算機における処理能力を、当該リソース計算機におけるデータ種別毎の統計情報として前記データベースに追加して蓄積・管理させるステップを行うことを特徴とする。   In addition, the method of the present invention includes at least two resource computers that provide surplus resources, and at least a grid mediation device connected to each resource computer via a network, and the grid mediation devices are all or part of the resource computers. A plurality of jobs constituting a predetermined data process are allocated and executed, and the execution results are collected, and distributed to each resource computer in advance to a grid system that forms a virtual computer that performs the predetermined data process. A job allocation method for performing predetermined data processing using data, wherein the grid intermediary device allocates a sample job by designating a data type and a data size to each resource computer via a network; Each resource computer that executed the sample job The step of receiving the processing time required for execution of the sample job returned via the network together with the execution result, and the processing capacity for the data type in each resource computer determined from the processing time and the data size, Storing and managing statistical information for each data type in a computer in a database accessible directly or via a network; receiving a predetermined data processing request from a service user terminal together with a data type via a network; and Selecting at least one resource computer suitable for execution of the predetermined data processing on the basis of the data type and statistical information for each data type in each resource computer stored in the database; and Resource calculation Assigning a job including a data type and a data size to the network, receiving a processing time required for executing the job returned from the resource computer that has executed the job together with the execution result, and The processing capacity of the resource computer obtained from the processing time and the data size is added to the database as statistical information for each data type in the resource computer, and stored and managed.

また、本発明の方法は、グリッド仲介装置が、各リソース計算機の状態が遊休であるか非遊休であるかを判定するステップと、該判定結果を、各リソース計算機の遊休状態/非遊休状態を表す計算機状態情報として前記データベースに蓄積・管理させるステップと、前記データ種別と前記データベースに蓄積された各リソース計算機におけるデータ種別毎の統計情報及び各リソース計算機における計算機状態情報とを基に、当該所定のデータ処理の実行に適した少なくとも1つのリソース計算機を選択するステップとを行うことを特徴とする。   In the method of the present invention, the grid intermediary device determines whether each resource computer is idle or non-idle, and the determination result is used to determine whether each resource computer is idle / non-idle. Based on the data type, the statistical information for each data type in each resource computer and the computer status information in each resource computer stored in the database as computer status information to be represented and managed And selecting at least one resource computer suitable for executing the data processing.

また、本発明の方法は、ネットワークがSIONet機能を有し、各リソース計算機及びグリッド仲介装置がSIONetの端末機能を有する場合、リソース計算機状態判定ステップは、グリッド仲介装置が、SIONetの端末機能を用いて遊休状態又は非遊休状態のリソース計算機を問い合わせるイベントを発するステップと、遊休状態又は非遊休状態を表すフィルタを設定した各リソース計算機からの前記イベントに対する応答をSIONetの端末機能を用いて受信し、遊休状態又は非遊休状態のリソース計算機を認識するステップとからなることを特徴とする。   In the method of the present invention, when the network has a SIONet function and each resource computer and the grid mediation device have a SIONet terminal function, the resource mediator status determination step uses the SIONet terminal function. Receiving a response to the event from each resource computer in which a filter indicating an idle state or a non-idle state is set, using a terminal function of SIONet, And recognizing a resource computer in an idle state or a non-idle state.

また、本発明の方法は、前記データベースに蓄積された各リソース計算機におけるデータ種別毎の統計情報として、前記データベースに蓄積された各リソース計算機におけるデータ種別毎の複数の統計情報のうちの最新の統計情報を用いることを特徴とする。   Further, the method of the present invention provides the latest statistics among a plurality of statistical information for each data type stored in the database as the statistical information for each data type stored in the database. It is characterized by using information.

また、本発明の方法は、前記データベースに蓄積された各リソース計算機におけるデータ種別毎の統計情報として、前記データベースに蓄積された各リソース計算機におけるデータ種別毎の複数の統計情報の平均値を用いることを特徴とする。   The method of the present invention uses an average value of a plurality of statistical information for each data type in each resource computer stored in the database as statistical information for each data type in each resource computer stored in the database. It is characterized by.

また、本発明の装置は、余剰リソースを提供する少なくとも2つのリソース計算機と、各リソース計算機とネットワークを介して接続されたグリッド仲介装置とを少なくとも備え、グリッド仲介装置が全部又は一部のリソース計算機に所定のデータ処理を構成する複数のジョブを割り付けて実行させ、その実行結果を取りまとめることにより、当該所定のデータ処理を行う仮想コンピュータを形成するグリッドシステムにおけるグリッド仲介装置であって、各リソース計算機にネットワークを介してデータの種別とデータサイズを指定してサンプルジョブを割り付けるとともに、前記サンプルジョブを実行した各リソース計算機からネットワークを介して返送される前記サンプルジョブの実行に要した処理時間を実行結果とともに受領する手段と、受領した処理時間とその時のデータサイズ及びデータ種別とから求められるリソース計算機における当該データ種別に対する処理能力を、各リソース計算機におけるデータ種別毎の統計情報として直接もしくはネットワークを介してアクセス可能なデータベースに蓄積・管理させる手段と、サービス利用者端末からの所定のデータ処理の依頼をデータ種別とともにネットワークを介して受け付ける手段と、前記データ種別と前記データベースに蓄積された各リソース計算機におけるデータ種別毎の統計情報とを基に、当該所定のデータ処理の実行に適した少なくとも1つのリソース計算機を選択する手段と、該選択したリソース計算機にネットワークを介してデータ種別とデータサイズを含むジョブを割り付ける手段と、前記ジョブを実行したリソース計算機からネットワークを介して返送される前記ジョブの実行に要した処理時間を実行結果とともに受領する手段とを備えたことを特徴とする。   The apparatus of the present invention comprises at least two resource computers that provide surplus resources and at least a grid mediation device connected to each resource computer via a network, and the grid mediation device is a resource computer that is wholly or partially A grid intermediary device in a grid system that forms a virtual computer that performs predetermined data processing by allocating and executing a plurality of jobs constituting predetermined data processing and collecting the execution results, and each resource computer A sample job is assigned by specifying the data type and data size via the network, and the processing time required to execute the sample job returned from the resource computer that executed the sample job via the network is executed. Hands received with results Database that can access the processing capability for the data type in the resource computer obtained from the received processing time and the data size and data type at that time directly or via the network as statistical information for each data type in each resource computer Means for storing and managing data, means for receiving a request for predetermined data processing from the service user terminal together with the data type, and for each data type in each resource computer stored in the data type and the database Means for selecting at least one resource computer suitable for execution of the predetermined data processing based on statistical information; means for allocating a job including a data type and a data size to the selected resource computer via a network; , The job Characterized by comprising a means for receiving in conjunction with the execution result of the processing time required from the row resource computer in execution of the job to be returned via the network.

また、本発明の装置は、各リソース計算機の状態が遊休であるか非遊休であるかを判定する手段と、受領した処理時間とその時のデータサイズ及びデータ種別とから求められるリソース計算機における当該データ種別に対する処理能力を、各リソース計算機におけるデータ種別毎の統計情報として直接もしくはネットワークを介してアクセス可能なデータベースに蓄積・管理させるとともに、前記判定結果を、各リソース計算機の遊休状態/非遊休状態を表す計算機状態情報として前記データベースに蓄積・管理させる手段と、前記データ種別と前記データベースに蓄積された各リソース計算機におけるデータ種別毎の統計情報及び各リソース計算機における計算機状態情報とを基に、当該所定のデータ処理の実行に適した少なくとも1つのリソース計算機を選択する手段とを備えたことを特徴とする。   Further, the apparatus of the present invention provides the data in the resource computer obtained from means for determining whether the state of each resource computer is idle or non-idle, and the received processing time, the data size and the data type at that time. The processing capacity for each type is stored and managed in a database that can be accessed directly or via a network as statistical information for each data type in each resource computer, and the determination result is stored in the idle state / non-idle state of each resource computer. Based on the data type, the statistical information for each data type in each resource computer and the computer status information in each resource computer stored in the database as the computer status information to represent At least one suitable for performing data processing of Characterized by comprising a means for selecting the source computer.

また、本発明の装置は、ネットワークがSIONet機能を有し、各リソース計算機とともにSIONetの端末機能を有する場合、リソース計算機状態判定手段は、SIONetの端末機能を用いて遊休状態又は非遊休状態のリソース計算機を問い合わせるイベントを発する手段と、遊休状態又は非遊休状態を表すフィルタを設定した各リソース計算機からの前記イベントに対する応答をSIONetの端末機能を用いて受信し、遊休状態又は非遊休状態のリソース計算機を認識する手段とからなることを特徴とする。   Further, in the apparatus of the present invention, when the network has the SIONet function and the SIONet terminal function together with each resource computer, the resource computer state determination means uses the SIONet terminal function to make the resource in an idle state or a non-idle state. A resource calculator that receives a response to the event from each resource computer set with means for issuing an event for inquiring a computer and a filter indicating an idle state or a non-idle state using a terminal function of SIONet, and is in an idle state or a non-idle state It comprises the means to recognize.

また、本発明の装置は、前記データベースに蓄積された各リソース計算機におけるデータ種別毎の統計情報として、前記データベースに蓄積された各リソース計算機におけるデータ種別毎の複数の統計情報のうちの最新の統計情報を用いることを特徴とする。   Further, the apparatus of the present invention provides the latest statistics among a plurality of statistical information for each data type stored in the database as statistical information for each data type stored in the database. It is characterized by using information.

また、本発明の装置は、前記データベースに蓄積された各リソース計算機におけるデータ種別毎の統計情報として、前記データベースに蓄積された各リソース計算機におけるデータ種別毎の複数の統計情報の平均値を用いることを特徴とする。   Further, the apparatus of the present invention uses an average value of a plurality of statistical information for each data type in each resource computer stored in the database as statistical information for each data type in each resource computer stored in the database. It is characterized by.

また、本発明の装置は、余剰リソースを提供する少なくとも2つのリソース計算機と、各リソース計算機とネットワークを介して接続されたグリッド仲介装置とを少なくとも備え、グリッド仲介装置が全部又は一部のリソース計算機に所定のデータ処理を構成する複数のジョブを割り付けて実行させ、その実行結果を取りまとめることにより、当該所定のデータ処理を行う仮想コンピュータを形成するグリッドシステムにおけるリソース計算機であって、SIONetの端末機能を有し、SIONetの端末機能を用いて稼働状況に応じた遊休状態又は非遊休状態のフィルタを設定する手段を有することを特徴とする。   The apparatus of the present invention comprises at least two resource computers that provide surplus resources and at least a grid mediation device connected to each resource computer via a network, and the grid mediation device is a resource computer that is wholly or partially A resource computer in a grid system that forms a virtual computer that performs predetermined data processing by allocating and executing a plurality of jobs that constitute predetermined data processing, and collecting the execution results. And having means for setting a filter in an idle state or a non-idle state according to an operating situation using a terminal function of SIONet.

本発明によれば、ジョブ実行に適したリソース計算機に割り付けることで短時間での処理が可能となり、これによって、サービス利用者端末は処理結果を早く得ることが可能となる。また、グリッド仲介装置はより多くのジョブをこなすことが可能となり、従量課金であれば、多くの収入を得ることが可能となる。また、リソース計算機は、グリッドシステムにとられる時間を少なくすることが可能となる。各リソース計算機の処理能力がわかることによって、グリッド仲介装置もしくはサービス利用者端末側で結果応答までの時間を予測可能となり、グリッド仲介装置はジョブのスケジューリングが可能となり、リソース計算機の有効活用が可能となる。   According to the present invention, it is possible to perform processing in a short time by allocating to a resource computer suitable for job execution, whereby the service user terminal can obtain processing results quickly. In addition, the grid intermediary device can handle more jobs, and if it is pay-per-use, it is possible to obtain a large amount of income. Further, the resource computer can reduce the time taken for the grid system. By knowing the processing capacity of each resource computer, it is possible to predict the time until the result response on the grid intermediary device or service user terminal side, the grid intermediary device can schedule jobs, and the resource computer can be used effectively Become.

本発明を実施するための最良の形態は、複数のリソース計算機とグリッド仲介装置とこれらを接続するネットワークとからなるグリッドシステムにおいて、該グリッド仲介装置が、各リソース計算機に実際のデータ処理に対応したサンプルジョブをデータ種別とデータサイズを指定して割り付けて実行させ、その実行に要した処理時間とデータサイズとから各リソース計算機における当該データ種別に対する処理能力を求めてデータベースに蓄積・管理し、サービス利用者からデータ種別を指定した所定のデータ処理の依頼を受け付けると、該所定のデータ処理のデータ種別と前記蓄積した各リソース計算機におけるデータ種別毎の処理能力とから最適なリソース計算機を選択してジョブを割り付けることにより、実際のデータ処理の内容に応じたジョブの割付を可能とし、また、利用者から依頼されたデータ処理の実行に要した処理時間とデータサイズとから求められるリソース計算機における処理能力をデータベースに追加して蓄積・管理していくことにより、各リソース計算機の最新の処理能力や処理能力の平均値に基づく、動的な処理能力の変化に応じたジョブの割付を可能とする。   The best mode for carrying out the present invention is a grid system comprising a plurality of resource computers, a grid mediation device, and a network connecting them, and the grid mediation device supports each resource computer for actual data processing. The sample job is assigned and executed by specifying the data type and data size, and the processing time and data size required for the execution are used to determine the processing capacity for the data type in each resource computer, and store and manage it in the database. Upon receiving a request for predetermined data processing specifying a data type from a user, an optimal resource computer is selected from the data type of the predetermined data processing and the processing capability for each data type in each of the accumulated resource computers. By assigning jobs, the actual data processing contents In addition, the processing capacity of the resource computer calculated from the processing time and data size required to execute the data processing requested by the user is added to the database and stored and managed. This makes it possible to assign jobs according to dynamic processing capacity changes based on the latest processing capacity of each resource computer and the average value of the processing capacity.

図1は本発明に係わるグリッドシステムの実施例を初回のジョブ割付(サンプルジョブ依頼)時の動作とともに、また、図2は本発明に係わるグリッドシステムの実施例を2回目以降のジョブ割付(サービス利用者からのデータ処理依頼)時の動作とともに示すもので、図中、1はネットワーク(常時接続通信網)、2はグリッド仲介装置、3はサービス利用者端末、4,5,6はリソース計算機(端末A,B,C)、21はグリッド仲介装置2の統計情報データベース(DB)である。   FIG. 1 shows the operation of the grid system according to the embodiment of the present invention at the time of the first job assignment (sample job request), and FIG. 2 shows the second and subsequent job assignments (services) of the grid system according to the embodiment of the present invention. In the figure, 1 is a network (always connected communication network), 2 is a grid intermediary device, 3 is a service user terminal, and 4, 5 and 6 are resource computers. (Terminals A, B, C), 21 is a statistical information database (DB) of the grid mediating apparatus 2.

また、図3はグリッド仲介装置2の統計情報DB21に格納(構築)される計算機能力テーブルの一例を示すものである。図中、F−1はデータの配布やジョブの割付に使用するリソース計算機のIPアドレス、F−2はリソース計算機の状態(遊休状態か非遊休状態か)、F−3はリソース計算機に配布したデータの種別、F−4は実際のジョブの実行に要した処理時間とデータサイズとから求められるリソース計算機におけるデータ種別毎の処理能力(統計情報)、F−5はF−4の各統計情報に対応するジョブの実施日時を表しており、また、DB−1,DB−2,…は各リソース計算機A,B,…に対応するデータ内容を表している。   FIG. 3 shows an example of a calculation function table stored (constructed) in the statistical information DB 21 of the grid mediating apparatus 2. In the figure, F-1 is the IP address of the resource computer used for data distribution and job assignment, F-2 is the state of the resource computer (idle state or non-idle state), and F-3 is distributed to the resource computer The data type, F-4 is the processing capacity (statistical information) for each data type in the resource computer determined from the processing time and data size required for the actual job execution, and F-5 is the statistical information of F-4 .., And DB-1, DB-2,... Represent data contents corresponding to the resource computers A, B,.

図4は本発明の第1の実施例に対応する動作シーケンスを示すもので、図1、図2、図3及び図4を用いて本発明の第1の実施例を説明する。   FIG. 4 shows an operation sequence corresponding to the first embodiment of the present invention. The first embodiment of the present invention will be described with reference to FIGS. 1, 2, 3 and 4. FIG.

まず、図1においては統計情報DB21に計算機能力テーブルを構築する最初の段階(初回)を説明している。なお、各リソース計算機4〜6には、複数のデータ種別のデータが事前に配布されているものとする。   First, FIG. 1 illustrates an initial stage (first time) for constructing a calculation function table in the statistical information DB 21. It is assumed that data of a plurality of data types is distributed in advance to each resource computer 4-6.

ステップ1としてグリッド仲介装置2は、実際の計算と同等のジョブ(サンプルジョブ)を割り付けることとし、データ種別Xとデータサイズ100MByteを割り付けジョブとして取りあげ、グリッドシステムに参加する全てのリソース計算機(端末)4〜6に依頼転送する。ステップ2では該サンプルジョブを端末4〜6が実行し、端末4は処理時間:20秒、処理能力:5MByte/s、端末5は処理時間:10秒、処理能力:10MByte/s、端末6は処理時間:120秒、処理能力:0.8MByte/s、の統計情報を得る(ステップ3)。   As step 1, the grid mediating apparatus 2 allocates a job (sample job) equivalent to the actual calculation, picks up the data type X and the data size 100 MByte as an allocation job, and all the resource computers (terminals) participating in the grid system. Request transfer to 4-6. In step 2, the sample job is executed by the terminals 4 to 6, the terminal 4 has a processing time of 20 seconds, a processing capacity of 5 MByte / s, the terminal 5 has a processing time of 10 seconds, a processing capacity of 10 MByte / s, and the terminal 6 has Statistical information of processing time: 120 seconds and processing capacity: 0.8 MByte / s is obtained (step 3).

ステップ4でグリッド仲介装置2は各端末4〜6から返却される前記統計情報を実行結果と共に受領する。ステップ5でグリッド仲介装置2は、前記統計情報により統計情報DB21に計算機能力テーブルを構築する。計算機能力テーブルには、図3に示したようにリソース計算機別にデータ種別毎の処理能力が最新データとしてデータベース化され、また、リソース計算機が本来のPC業務や電源断により非遊休状態にあるか、あるいは遊休状態かのリアルタイム状況のデータもデータベース化される。ステップ6でグリッド仲介者装置2が統計情報DB21における計算機能力テーブルの更新と管理を行っている。   In step 4, the grid mediating apparatus 2 receives the statistical information returned from each terminal 4-6 together with the execution result. In step 5, the grid mediating apparatus 2 constructs a calculation function table in the statistical information DB 21 based on the statistical information. In the calculation capability table, as shown in FIG. 3, the processing capability for each data type for each resource computer is databased as the latest data, and whether the resource computer is in a non-idle state due to the original PC operation or power off, Or the data of the real-time situation of an idle state is also made into a database. In step 6, the grid intermediary device 2 updates and manages the calculation capability table in the statistical information DB 21.

図2においては2回目以降の解析依頼の実行状況を説明している。   FIG. 2 illustrates the execution status of the second and subsequent analysis requests.

ステップ7でグリッド仲介者装置2はサービス利用者端末3からのデータ処理の依頼をデータ種別及びデータサイズとともに受信する。ステップ8でグリッド仲介装置2はジョブ割付のデータサイズが50MByteであることとデータ種別を認識し、ステップ9でDB21を検索し、ステップ10で処理に適したリソース計算機として遊休状態にある端末、例えばA4を選ぶ。   In step 7, the grid intermediary device 2 receives a data processing request from the service user terminal 3 together with the data type and data size. In step 8, the grid intermediary device 2 recognizes that the job allocation data size is 50 Mbytes and the data type, searches the DB 21 in step 9, and in step 10 a terminal in an idle state as a resource computer suitable for processing, for example, Choose A4.

ステップ11でグリッド仲介装置2は端末A4にジョブを割り付けて依頼する。ステップ12で端末A4はジョブを実行する。ステップ13でグリッド仲介装置2は端末A4から返却されるジョブの実行結果と統計情報(データサイズと処理時間)を受領する。ステップ14でグリッド仲介装置2は実行結果を取りまとめて解析結果を作成し、ステップ15で該解析結果をサービス利用者端末3に転送する。ステップ16でグリッド仲介装置2は端末A4の統計情報でDB21の更新を行う。   In step 11, the grid mediating apparatus 2 allocates a job to the terminal A4 and requests it. In step 12, the terminal A4 executes the job. In step 13, the grid intermediary device 2 receives the job execution result and statistical information (data size and processing time) returned from the terminal A4. In step 14, the grid mediating apparatus 2 collects the execution results and creates an analysis result. In step 15, the analysis result is transferred to the service user terminal 3. In step 16, the grid mediating apparatus 2 updates the DB 21 with the statistical information of the terminal A4.

図4で第1の実施例のシーケンスを詳細に説明する。   The sequence of the first embodiment will be described in detail with reference to FIG.

ステップ1:グリッド仲介装置2はサンプルジョブを割り付けることとし、データ種別Xとデータサイズ100MByteを割り付けジョブとして取りあげ、グリッドシステムに参加するリソース計算機4/A,5/B,6/Cに依頼転送する。   Step 1: The grid intermediary device 2 allocates a sample job, picks up the data type X and the data size of 100 Mbyte as an allocation job, and transfers the request to the resource computers 4 / A, 5 / B, 6 / C participating in the grid system. .

ステップ2:サンプルジョブとしての割り付けジョブを端末4〜6が実行する。   Step 2: The terminals 4 to 6 execute an allocation job as a sample job.

ステップ3:端末4〜6が処理能力(統計情報)を取得する。   Step 3: The terminals 4 to 6 acquire processing capability (statistical information).

ステップ4:グリッド仲介装置2は端末4〜6から返却される統計情報を実行結果と共に受領する。   Step 4: The grid mediating apparatus 2 receives the statistical information returned from the terminals 4 to 6 together with the execution result.

ステップ5:グリッド仲介装置2は各リソース計算機に対しデータ種別毎に処理能力を設定し、DB21に計算機能力テーブルを構築する。   Step 5: The grid intermediary device 2 sets a processing capacity for each data type for each resource computer, and constructs a calculation function table in the DB 21.

ステップ6:グリッド仲介装置2は統計情報DB21のリソース処理能力の更新と管理を行う。   Step 6: The grid mediating apparatus 2 updates and manages the resource processing capacity of the statistical information DB 21.

ステップ7:グリッド仲介装置2はサービス利用者端末3からの計算処理依頼(データサイズ・種別の提示を含む)を受け付ける。   Step 7: The grid intermediary device 2 accepts a calculation processing request (including data size / type presentation) from the service user terminal 3.

ステップ8:グリッド仲介装置2は最適なジョブ実行リソース計算機の探索作業を開始する。   Step 8: The grid intermediary device 2 starts searching for an optimal job execution resource computer.

ステップ9:グリッド仲介装置2はDB21を探索する。   Step 9: The grid intermediary device 2 searches the DB 21.

ステップ10:グリッド仲介装置2は最適なジョブ実行リソース計算機を決定する。   Step 10: The grid mediating apparatus 2 determines an optimal job execution resource computer.

ステップ11:グリッド仲介装置2はリソース計算機4Aに解析依頼を行う。   Step 11: The grid mediating apparatus 2 sends an analysis request to the resource computer 4A.

ステップ12:リソース計算機4Aが該解析の計算を実行する。   Step 12: The resource computer 4A executes the calculation of the analysis.

ステップ13:グリッド仲介装置2はリソース計算機4Aから返却される実行結果と統計情報(データサイズとデータ種別を含む)を受領する。   Step 13: The grid mediating apparatus 2 receives the execution result and statistical information (including data size and data type) returned from the resource computer 4A.

ステップ14:グリッド仲介装置2は実行結果をとりまとめて解析結果を作成する。   Step 14: The grid mediating apparatus 2 collects the execution results and creates an analysis result.

ステップ15:グリッド仲介装置2はサービス利用者端末3に解析結果を転送する。   Step 15: The grid intermediary device 2 transfers the analysis result to the service user terminal 3.

ステップ16:グリッド仲介装置2はDB21を更新する。   Step 16: The grid mediating apparatus 2 updates the DB 21.

なお、第1の実施例では、サービス利用者から依頼されたデータ処理を1つのリソース計算機に割り付けた例を示したが、依頼されたデータ処理のデータ種別が複数であったり、データサイズが大きいような場合、グリッド仲介装置2において複数のリソース計算機を選択し、それぞれにデータ種別毎のジョブや分割したジョブを割り付けても良いことはいうまでもない。   In the first embodiment, an example is shown in which data processing requested by a service user is assigned to one resource computer. However, the requested data processing has a plurality of data types or a large data size. In such a case, it goes without saying that a plurality of resource computers may be selected in the grid mediating apparatus 2 and a job for each data type or a divided job may be assigned to each of them.

また、最適なリソース計算機の選択は、DB21の計算機能力テーブルに基づき、遊休状態のリソース計算機のうちで、依頼されたデータ処理のデータ種別について、記録された処理能力の最大値が最も高いもの、あるいは記録された最新の処理能力が最も高いもの、あるいは記録された処理能力の平均値が最も高いもの、等を選択することによって行われる。また、この際、データ種別毎の処理能力による選択と、計算機状態による選択(遊休状態か非遊休状態かによる選択)との順序は、いずれが先でも後でも良い。   In addition, the selection of the optimal resource computer is based on the calculation capability table of the DB 21 and, among the idle resource computers, the one with the highest recorded processing capability for the data type of the requested data processing, Alternatively, it is performed by selecting the highest recorded processing capability, the highest recorded processing capability, or the highest average value. At this time, the order of the selection based on the processing capability for each data type and the selection based on the computer state (selection based on the idle state or the non-idle state) may be either first or later.

本発明の第2の実施例は、第1の実施例におけるリソース計算機の状態判定を、SIONet(Semantic Information−Oriented Network:意味情報ネットワーク)機能を用いて実現する例を示す。   The second embodiment of the present invention shows an example in which the state determination of the resource computer in the first embodiment is realized using an SIONet (Semantic Information-Oriented Network) function.

図5は本発明の第2の実施例に対応するグリッドシステムを示すもので、図中、10はSIONet機能を有するネットワーク(常時接続通信網)、20はSIONetの端末機能を有するグリッド仲介装置、40,50,60はSIONetの端末機能を有するリソース計算機である。   FIG. 5 shows a grid system corresponding to the second embodiment of the present invention. In the figure, 10 is a network having a SIONet function (always connected communication network), 20 is a grid mediating apparatus having a SIONet terminal function, Reference numerals 40, 50, and 60 denote resource computers having SIONet terminal functions.

また、図6は各リソース計算機40,50,60のSIONet端末機能により設定されるフィルタ41,51,61の条件の一例を、また、図7はグリッド仲介装置20のSIONet端末機能により発せられるイベントの定義の一例を示すもので、図5、図6及び図7を用いて本発明の第2の実施例を説明する。   6 shows an example of the conditions of the filters 41, 51, 61 set by the SIONet terminal function of each resource computer 40, 50, 60, and FIG. 7 shows the events generated by the SIONet terminal function of the grid mediating apparatus 20. The second embodiment of the present invention will be described with reference to FIGS. 5, 6, and 7. FIG.

グリッド仲介装置20は、遊休状態又は非遊休状態のリソース計算機を問い合わせるイベント、即ちイベントタイプ“リソース計算機”、プロパティ“遊休状態”又は“非遊休状態”を含むイベントをネットワーク10に転送する。   The grid intermediary device 20 transfers to the network 10 an event for inquiring a resource computer in an idle state or a non-idle state, that is, an event including an event type “resource computer”, a property “idle state”, or “non-idle state”.

一方、各リソース計算機40〜60は、遊休状態又は非遊休状態を表すフィルタ、即ちイベントタイプ“リソース計算機”、プロパティ“遊休状態”又は“非遊休状態”を含むフィルタが設定されており、“遊休状態”をフィルタ設定したリソース計算機のみが前記イベントに応答し、グリッド仲介装置20は、該応答したリソース計算機のみを遊休状態と判定し、ジョブ割付の検討対象とするものである。なお、イベントによる探索結果のデータは随時、DB21の計算機能力テーブルにおける計算機状態F−2として更新される。   On the other hand, each of the resource computers 40 to 60 is set with a filter indicating an idle state or a non-idle state, that is, a filter including an event type “resource computer” and a property “idle state” or “non-idle state”. Only the resource computer with the filter setting “state” responds to the event, and the grid mediating apparatus 20 determines that only the responding resource computer is in an idle state, and considers the job allocation. In addition, the data of the search result by an event are updated as the computer state F-2 in the calculation capability table of DB21 at any time.

図8は前述した各実施例に対応するグリッド仲介装置の実施例を示すもので、図中、21は統計情報DB、22はデータベース(DB)管理手段、23は計算機状態判定手段、24はサンプルジョブ割付・受領手段、25は処理依頼受付手段、26は計算機選択手段、27は処理要求手段、28は実行結果受領手段である。   FIG. 8 shows an embodiment of a grid intermediary device corresponding to each of the embodiments described above. In the figure, 21 is a statistical information DB, 22 is a database (DB) management means, 23 is a computer state determination means, and 24 is a sample. Job allocation / reception means, 25 a processing request reception means, 26 a computer selection means, 27 a processing request means, and 28 an execution result receiving means.

統計情報DB21は、前述した如く計算機能力テーブルを保持する。DB管理手段22は、計算機状態判定手段23から渡される計算機状態の判定結果を、各リソース計算機の遊休状態/非遊休状態を表す計算機状態F−2として計算機能力テーブルに蓄積・保存し、また、サンプルジョブ割付・受領手段24及び実行結果受領手段28から渡される処理時間とその時のデータサイズ及びデータ種別とから求められるリソース計算機における当該データ種別に対する処理能力を、各リソース計算機におけるデータ種別毎の統計情報F−4として計算機能力テーブルに蓄積・保存する。   The statistical information DB 21 holds the calculation function table as described above. The DB management unit 22 stores and stores the determination result of the computer state passed from the computer state determination unit 23 in the calculation capability table as a computer state F-2 representing an idle state / non-idle state of each resource computer. The processing capacity for the data type in the resource computer obtained from the processing time passed from the sample job allocation / reception unit 24 and the execution result receiving unit 28, the data size and the data type at that time, and the statistics for each data type in each resource computer The information is stored and stored in the calculation function table as information F-4.

計算機状態判定手段23は、各リソース計算機の状態が遊休であるか非遊休であるかを判定する。ここで、ネットワークがSIONet機能を有し、グリッド仲介装置2が各リソース計算機とともにSIONetの端末機能を有する場合、計算機状態判定手段23は、SIONetの端末機能を用いて遊休状態又は非遊休状態のリソース計算機を問い合わせるイベントを発する手段と、遊休状態又は非遊休状態を表すフィルタを設定した各リソース計算機からの前記イベントに対する応答をSIONetの端末機能を用いて受信し、遊休状態又は非遊休状態のリソース計算機を認識する手段とから構成することができる。   The computer state determination means 23 determines whether the state of each resource computer is idle or non-idle. Here, when the network has the SIONet function and the grid mediation apparatus 2 has the SIONet terminal function together with each resource computer, the computer state determination means 23 uses the SIONet terminal function to make the resource in an idle state or a non-idle state. A resource calculator that receives a response to the event from each resource computer set with means for issuing an event for inquiring a computer and a filter indicating an idle state or a non-idle state using a terminal function of SIONet, and is in an idle state or a non-idle state And a means for recognizing.

なお、SIONetを実現する機能は、主として、ネットワークに接続された端末のうちイベントを発すべき端末を特定するグループ化機能と、イベントを発した端末のうち所定の条件に適合する端末を発見する発見機能と、条件が適合した端末間で情報を共有する共有機能とから構成されるが、本発明ではそのうちのグループ化機能と発見機能とを用いている。   The functions for realizing SIONet are mainly a grouping function for identifying terminals that should emit an event among terminals connected to a network, and a discovery for finding a terminal that meets a predetermined condition among terminals that have issued an event. A function and a sharing function for sharing information between terminals that meet the conditions are used. In the present invention, a grouping function and a discovery function are used.

サンプルジョブ割付・受領手段24は、各リソース計算機にネットワークを介してデータの種別とデータサイズを指定してサンプルジョブを割り付けるとともに、前記サンプルジョブを実行した各リソース計算機からネットワークを介して返送される前記サンプルジョブの実行に要した処理時間を実行結果とともに受領し、該処理時間とその時のデータサイズ及びデータ種別を前記DB管理手段22へ渡す。   The sample job assignment / reception means 24 assigns a sample job to each resource computer by designating the data type and data size via the network, and returns them from each resource computer that executed the sample job via the network. The processing time required to execute the sample job is received together with the execution result, and the processing time, the data size and the data type at that time are passed to the DB management unit 22.

処理依頼受付手段25は、サービス利用者端末3からの所定のデータ処理の依頼をデータ種別とともにネットワークを介して受け付ける。   The processing request receiving means 25 receives a predetermined data processing request from the service user terminal 3 together with the data type via the network.

計算機選択手段26は、前記サービス利用者端末3から依頼されたデータ処理のデータ種別と前記統計情報DB21の計算機能力テーブルに蓄積された各リソース計算機におけるデータ種別毎の統計情報及び各リソース計算機における計算機状態情報とを基に、当該所定のデータ処理の実行に適した少なくとも1つのリソース計算機を選択する。   The computer selection means 26 includes the data type of the data processing requested from the service user terminal 3, the statistical information for each data type in each resource computer stored in the calculation function table of the statistical information DB 21, and the computer in each resource computer. Based on the state information, at least one resource computer suitable for execution of the predetermined data processing is selected.

処理要求手段27は、前記選択したリソース計算機にネットワークを介してデータ種別とデータサイズを含むジョブを割り付ける。   The processing request unit 27 allocates a job including a data type and a data size to the selected resource computer via a network.

実行結果受領手段28は、ジョブを実行したリソース計算機からネットワークを介して返送される前記ジョブの実行に要した処理時間を実行結果とともに受領し、該処理時間とその時のデータサイズ及びデータ種別を前記DB管理手段22へ渡し、さらに、実行結果を取りまとめて解析結果としてサービス利用者端末3へ返却する。   The execution result receiving means 28 receives the processing time required to execute the job returned from the resource computer that executed the job through the network together with the execution result, and the processing time, the data size and the data type at the time are described above. The data is transferred to the DB management unit 22, and the execution results are collected and returned to the service user terminal 3 as analysis results.

なお、リソース計算機4〜6は、高性能のワークステーションである場合から、いわゆるPC(パーソナルコンピューター)まであって、通常はグリッド計算以外の個別業務なり作業に使用されており、空き時間(遊休時間)にグリッドシステムに使用される。また、SIONetの端末機能を有する場合、SIONetの端末機能を用いて稼働状況に応じた遊休状態又は非遊休状態のフィルタを設定する手段を設けることで、前述したグリッド仲介装置における計算機状態の判定が容易となり、一層効率良くグリッドシステムに参加可能となる。   Note that the resource computers 4 to 6 are high-performance workstations to so-called PCs (personal computers), and are usually used for individual tasks or work other than grid calculation. ) Used for grid system. In addition, in the case of having the SIONet terminal function, by providing means for setting a filter of an idle state or a non-idle state according to the operation status using the SIONet terminal function, the determination of the computer state in the grid intermediary device described above can be performed. This makes it easier and more efficient to participate in grid systems.

本発明に係わるグリッドシステムの実施例を初回のデータ処理依頼時の動作とともに示す構成図The block diagram which shows the Example of the grid system concerning this invention with the operation | movement at the time of the first data processing request 本発明に係わるグリッドシステムの実施例を2回目以降のデータ処理依頼時の動作とともに示す構成図The block diagram which shows the Example of the grid system concerning this invention with the operation | movement at the time of the data processing request after the 2nd time. グリッド仲介装置の統計情報データベースに格納される計算機能力テーブルの一例を示す説明図Explanatory drawing which shows an example of the calculation capability table stored in the statistical information database of a grid mediation apparatus 本発明の第1の実施例に対応する動作シーケンス図Operation sequence diagram corresponding to the first embodiment of the present invention 本発明の第2の実施例に対応するグリッドシステムの構成図The block diagram of the grid system corresponding to 2nd Example of this invention 第2の実施例におけるフィルタの条件の一例を示す説明図Explanatory drawing which shows an example of the conditions of the filter in 2nd Example 第2の実施例におけるイベントの定義の一例を示す説明図Explanatory drawing which shows an example of the definition of the event in 2nd Example 本発明に係わるグリッド仲介装置の実施例を示すブロック構成図The block block diagram which shows the Example of the grid mediation apparatus concerning this invention

符号の説明Explanation of symbols

1,10:ネットワーク(常時接続通信網)、2,20:グリッド仲介装置、3:サービス利用者端末、4,5,6,40,50,60:リソース計算機、21:統計情報データベース、22:データベース管理手段、23:計算機状態判定手段、24:サンプルジョブ割付・受領手段、25:処理依頼受付手段、26:計算機選択手段、27:処理要求手段、28:実行結果受領手段、41,51,61:SIONetのフィルタ。   DESCRIPTION OF SYMBOLS 1,10: Network (always connected communication network), 2,20: Grid mediation apparatus, 3: Service user terminal, 4, 5, 6, 40, 50, 60: Resource computer, 21: Statistical information database, 22: Database management means, 23: computer state determination means, 24: sample job assignment / reception means, 25: processing request reception means, 26: computer selection means, 27: processing request means, 28: execution result receiving means, 41, 51, 61: SIONet filter.

Claims (12)

余剰リソースを提供する少なくとも2つのリソース計算機と、各リソース計算機とネットワークを介して接続されたグリッド仲介装置とを少なくとも備え、グリッド仲介装置が全部又は一部のリソース計算機に所定のデータ処理を構成する複数のジョブを割り付けて実行させ、その実行結果を取りまとめることにより、当該所定のデータ処理を行う仮想コンピュータを形成するグリッドシステムに対し、各リソース計算機に事前に配布したデータを利用する所定のデータ処理を行わせる場合のジョブ割付方法であって、
グリッド仲介装置が、
各リソース計算機にデータの種別とデータサイズを指定してジョブを割り付けて実行させ、この際、各リソース計算機において実行に要した処理時間とデータサイズとから求められる各リソース計算機における当該データ種別に対する処理能力を、各リソース計算機におけるデータ種別毎の統計情報として蓄積するステップと、
サービス利用者端末からデータ種別を指定した所定のデータ処理の依頼を受け付けた際、該データ種別と前記各リソース計算機におけるデータ種別毎の統計情報とを基に最適な少なくとも1つのリソース計算機を選択し、ジョブを割り付けるステップとを行う
ことを特徴とするグリッドシステムにおけるジョブ割付方法。
At least two resource computers that provide surplus resources and at least a grid mediation device connected to each resource computer via a network, and the grid mediation device configures predetermined data processing for all or some of the resource computers. Predetermined data processing that uses data distributed in advance to each resource computer to a grid system that forms a virtual computer that performs the predetermined data processing by allocating and executing a plurality of jobs and collecting the execution results Is a job assignment method when
Grid mediation device
Specifying the data type and data size for each resource computer and allocating and executing a job. At this time, processing for the data type in each resource computer is obtained from the processing time and data size required for execution in each resource computer. Storing capacity as statistical information for each data type in each resource computer;
When a predetermined data processing request specifying a data type is received from a service user terminal, at least one resource computer is selected based on the data type and statistical information for each data type in each resource computer. And a step of assigning a job. A job assignment method in a grid system.
余剰リソースを提供する少なくとも2つのリソース計算機と、各リソース計算機とネットワークを介して接続されたグリッド仲介装置とを少なくとも備え、グリッド仲介装置が全部又は一部のリソース計算機に所定のデータ処理を構成する複数のジョブを割り付けて実行させ、その実行結果を取りまとめることにより、当該所定のデータ処理を行う仮想コンピュータを形成するグリッドシステムに対し、各リソース計算機に事前に配布したデータを利用する所定のデータ処理を行わせる場合のジョブ割付方法であって、
グリッド仲介装置が、
各リソース計算機にネットワークを介してデータの種別とデータサイズを指定してサンプルジョブを割り付けるステップと、
前記サンプルジョブを実行した各リソース計算機からネットワークを介して返送される前記サンプルジョブの実行に要した処理時間を実行結果とともに受領するステップと、
前記処理時間とデータサイズとから求められる各リソース計算機における当該データ種別に対する処理能力を、各リソース計算機におけるデータ種別毎の統計情報として直接もしくはネットワークを介してアクセス可能なデータベースに蓄積・管理させるステップと、
サービス利用者端末からの所定のデータ処理の依頼をデータ種別とともにネットワークを介して受け付けるステップと、
前記データ種別と前記データベースに蓄積された各リソース計算機におけるデータ種別毎の統計情報とを基に、当該所定のデータ処理の実行に適した少なくとも1つのリソース計算機を選択するステップと、
該選択したリソース計算機にネットワークを介してデータ種別とデータサイズを含むジョブを割り付けるステップと、
前記ジョブを実行したリソース計算機からネットワークを介して返送される前記ジョブの実行に要した処理時間を実行結果とともに受領するステップと、
前記処理時間とデータサイズとから求められるリソース計算機における処理能力を、当該リソース計算機におけるデータ種別毎の統計情報として前記データベースに追加して蓄積・管理させるステップを行う
ことを特徴とするグリッドシステムにおけるジョブ割付方法。
At least two resource computers that provide surplus resources and at least a grid mediation device connected to each resource computer via a network, and the grid mediation device configures predetermined data processing for all or some of the resource computers. Predetermined data processing that uses data distributed in advance to each resource computer to a grid system that forms a virtual computer that performs the predetermined data processing by allocating and executing a plurality of jobs and collecting the execution results Is a job assignment method when
Grid mediation device
Assigning sample jobs to each resource computer by specifying the data type and data size via the network;
Receiving a processing time required to execute the sample job returned from each resource computer that has executed the sample job together with an execution result;
Storing and managing the processing capacity for each data type in each resource computer determined from the processing time and data size as a statistical information for each data type in each resource computer, directly or via a network; ,
Receiving a predetermined data processing request from a service user terminal together with a data type via a network;
Selecting at least one resource computer suitable for execution of the predetermined data processing based on the data type and statistical information for each data type in each resource computer stored in the database;
Allocating a job including a data type and a data size to the selected resource computer via a network;
Receiving the processing time required for executing the job returned from the resource computer that has executed the job together with the execution result;
A job in a grid system characterized in that the processing capacity in a resource computer determined from the processing time and data size is added to the database as statistical information for each data type in the resource computer and stored and managed. Assignment method.
請求項2に記載のグリッドシステムにおけるジョブ割付方法において、
グリッド仲介装置が、
各リソース計算機の状態が遊休であるか非遊休であるかを判定するステップと、
該判定結果を、各リソース計算機の遊休状態/非遊休状態を表す計算機状態情報として前記データベースに蓄積・管理させるステップと、
前記データ種別と前記データベースに蓄積された各リソース計算機におけるデータ種別毎の統計情報及び各リソース計算機における計算機状態情報とを基に、当該所定のデータ処理の実行に適した少なくとも1つのリソース計算機を選択するステップとを行う
ことを特徴とするグリッドシステムにおけるジョブ割付方法。
The job allocation method in the grid system according to claim 2,
Grid mediation device
Determining whether the state of each resource computer is idle or non-idle;
Storing and managing the determination result in the database as computer state information indicating an idle state / non-idle state of each resource computer;
Select at least one resource computer suitable for execution of the predetermined data processing based on the data type and the statistical information for each data type in each resource computer stored in the database and the computer status information in each resource computer A job assignment method in a grid system.
請求項3に記載のグリッドシステムにおけるジョブ割付方法において、
ネットワークがSIONet機能を有し、各リソース計算機及びグリッド仲介装置がSIONetの端末機能を有する場合、リソース計算機状態判定ステップは、
グリッド仲介装置が、
SIONetの端末機能を用いて遊休状態又は非遊休状態のリソース計算機を問い合わせるイベントを発するステップと、
遊休状態又は非遊休状態を表すフィルタを設定した各リソース計算機からの前記イベントに対する応答をSIONetの端末機能を用いて受信し、遊休状態又は非遊休状態のリソース計算機を認識するステップとからなる
ことを特徴とするグリッドシステムにおけるジョブ割付方法。
In the job allocation method in the grid system according to claim 3,
When the network has a SIONet function, and each resource computer and the grid mediation apparatus have a SIONet terminal function, the resource computer state determination step includes:
Grid mediation device
Issuing an event for inquiring an idle or non-idle resource computer using the SIONet terminal function;
Receiving a response to the event from each resource computer in which a filter indicating an idle state or a non-idle state is set, using a terminal function of SIONet, and recognizing the resource computer in an idle state or a non-idle state A job assignment method in a grid system as a feature.
請求項2乃至4のいずれかに記載のグリッドシステムにおけるジョブ割付方法において、
前記データベースに蓄積された各リソース計算機におけるデータ種別毎の統計情報として、前記データベースに蓄積された各リソース計算機におけるデータ種別毎の複数の統計情報のうちの最新の統計情報を用いる
ことを特徴とするグリッドシステムにおけるジョブ割付方法。
In the job allocation method in the grid system according to any one of claims 2 to 4,
As the statistical information for each data type in each resource computer accumulated in the database, the latest statistical information among a plurality of statistical information for each data type in each resource computer accumulated in the database is used. Job assignment method in the grid system.
請求項2乃至4のいずれかに記載のグリッドシステムにおけるジョブ割付方法において、
前記データベースに蓄積された各リソース計算機におけるデータ種別毎の統計情報として、前記データベースに蓄積された各リソース計算機におけるデータ種別毎の複数の統計情報の平均値を用いる
ことを特徴とするグリッドシステムにおけるジョブ割付方法。
In the job allocation method in the grid system according to any one of claims 2 to 4,
An average value of a plurality of statistical information for each data type in each resource computer stored in the database is used as statistical information for each data type in each resource computer stored in the database. Assignment method.
余剰リソースを提供する少なくとも2つのリソース計算機と、各リソース計算機とネットワークを介して接続されたグリッド仲介装置とを少なくとも備え、グリッド仲介装置が全部又は一部のリソース計算機に所定のデータ処理を構成する複数のジョブを割り付けて実行させ、その実行結果を取りまとめることにより、当該所定のデータ処理を行う仮想コンピュータを形成するグリッドシステムにおけるグリッド仲介装置であって、
各リソース計算機にネットワークを介してデータの種別とデータサイズを指定してサンプルジョブを割り付けるとともに、前記サンプルジョブを実行した各リソース計算機からネットワークを介して返送される前記サンプルジョブの実行に要した処理時間を実行結果とともに受領する手段と、
受領した処理時間とその時のデータサイズ及びデータ種別とから求められるリソース計算機における当該データ種別に対する処理能力を、各リソース計算機におけるデータ種別毎の統計情報として直接もしくはネットワークを介してアクセス可能なデータベースに蓄積・管理させる手段と、
サービス利用者端末からの所定のデータ処理の依頼をデータ種別とともにネットワークを介して受け付ける手段と、
前記データ種別と前記データベースに蓄積された各リソース計算機におけるデータ種別毎の統計情報とを基に、当該所定のデータ処理の実行に適した少なくとも1つのリソース計算機を選択する手段と、
該選択したリソース計算機にネットワークを介してデータ種別とデータサイズを含むジョブを割り付ける手段と、
前記ジョブを実行したリソース計算機からネットワークを介して返送される前記ジョブの実行に要した処理時間を実行結果とともに受領する手段とを備えた
ことを特徴とするグリッド仲介装置。
At least two resource computers that provide surplus resources and at least a grid mediation device connected to each resource computer via a network, and the grid mediation device configures predetermined data processing for all or some of the resource computers. A grid intermediary device in a grid system that forms a virtual computer that performs the predetermined data processing by allocating and executing a plurality of jobs and collecting the execution results,
Allocate a sample job by designating the data type and data size via the network to each resource computer, and processing required to execute the sample job returned from the resource computer that executed the sample job via the network A means of receiving time with execution results;
The processing capacity for the data type obtained from the received processing time and the data size and data type at that time is stored in a database that can be accessed directly or via a network as statistical information for each data type in each resource computer.・ Means to manage
Means for receiving a request for predetermined data processing from a service user terminal together with a data type via a network;
Means for selecting at least one resource computer suitable for execution of the predetermined data processing based on the data type and statistical information for each data type in each resource computer stored in the database;
Means for assigning a job including a data type and a data size to the selected resource computer via a network;
A grid intermediary device comprising: means for receiving, together with an execution result, a processing time required to execute the job returned from the resource computer that has executed the job via a network.
請求項7に記載のグリッド仲介装置において、
各リソース計算機の状態が遊休であるか非遊休であるかを判定する手段と、
受領した処理時間とその時のデータサイズ及びデータ種別とから求められるリソース計算機における当該データ種別に対する処理能力を、各リソース計算機におけるデータ種別毎の統計情報として直接もしくはネットワークを介してアクセス可能なデータベースに蓄積・管理させるとともに、前記判定結果を、各リソース計算機の遊休状態/非遊休状態を表す計算機状態情報として前記データベースに蓄積・管理させる手段と、
前記データ種別と前記データベースに蓄積された各リソース計算機におけるデータ種別毎の統計情報及び各リソース計算機における計算機状態情報とを基に、当該所定のデータ処理の実行に適した少なくとも1つのリソース計算機を選択する手段とを備えた
ことを特徴とするグリッド仲介装置。
In the grid mediation device according to claim 7,
Means for determining whether the state of each resource computer is idle or non-idle;
The processing capacity for the data type obtained from the received processing time and the data size and data type at that time is stored in a database that can be accessed directly or via a network as statistical information for each data type in each resource computer. Means for managing and storing and managing the determination result in the database as computer state information indicating an idle state / non-idle state of each resource computer;
Select at least one resource computer suitable for execution of the predetermined data processing based on the data type and the statistical information for each data type in each resource computer stored in the database and the computer status information in each resource computer A grid intermediary device.
請求項8に記載のグリッド仲介装置において、
ネットワークがSIONet機能を有し、各リソース計算機とともにSIONetの端末機能を有する場合、
リソース計算機状態判定手段は、
SIONetの端末機能を用いて遊休状態又は非遊休状態のリソース計算機を問い合わせるイベントを発する手段と、
遊休状態又は非遊休状態を表すフィルタを設定した各リソース計算機からの前記イベントに対する応答をSIONetの端末機能を用いて受信し、遊休状態又は非遊休状態のリソース計算機を認識する手段とからなる
ことを特徴とするグリッド仲介装置。
The grid intermediary device according to claim 8,
When the network has the SIONet function and the SIONet terminal function together with each resource computer,
The resource computer state determination means
Means for issuing an event for inquiring an idle or non-idle resource computer using the terminal function of SIONet;
A response to the event from each resource computer in which a filter indicating an idle state or a non-idle state is set is received using a terminal function of SIONet, and a means for recognizing a resource computer in an idle state or a non-idle state A grid mediating device.
請求項7乃至10のいずれかに記載のグリッド仲介装置において、
前記データベースに蓄積された各リソース計算機におけるデータ種別毎の統計情報として、前記データベースに蓄積された各リソース計算機におけるデータ種別毎の複数の統計情報のうちの最新の統計情報を用いる
ことを特徴とするグリッド仲介装置。
In the grid mediation device according to any one of claims 7 to 10,
As the statistical information for each data type in each resource computer accumulated in the database, the latest statistical information among a plurality of statistical information for each data type in each resource computer accumulated in the database is used. Grid mediation device.
請求項7乃至10のいずれかに記載のグリッド仲介装置において、
前記データベースに蓄積された各リソース計算機におけるデータ種別毎の統計情報として、前記データベースに蓄積された各リソース計算機におけるデータ種別毎の複数の統計情報の平均値を用いる
ことを特徴とするグリッド仲介装置。
In the grid mediation device according to any one of claims 7 to 10,
An average value of a plurality of statistical information for each data type in each resource computer stored in the database is used as statistical information for each data type in each resource computer stored in the database.
余剰リソースを提供する少なくとも2つのリソース計算機と、各リソース計算機とネットワークを介して接続されたグリッド仲介装置とを少なくとも備え、グリッド仲介装置が全部又は一部のリソース計算機に所定のデータ処理を構成する複数のジョブを割り付けて実行させ、その実行結果を取りまとめることにより、当該所定のデータ処理を行う仮想コンピュータを形成するグリッドシステムにおけるリソース計算機であって、
SIONetの端末機能を有し、
SIONetの端末機能を用いて稼働状況に応じた遊休状態又は非遊休状態のフィルタを設定する手段を有する
ことを特徴とするリソース計算機。
At least two resource computers that provide surplus resources and at least a grid mediation device connected to each resource computer via a network, and the grid mediation device configures predetermined data processing for all or some of the resource computers. A resource computer in a grid system that forms a virtual computer that performs the predetermined data processing by allocating and executing a plurality of jobs and collecting the execution results,
It has the terminal function of SIONet,
A resource computer comprising means for setting a filter in an idle state or a non-idle state according to an operating situation using a terminal function of SIONet.
JP2004014518A 2004-01-22 2004-01-22 Job allocation method and grid mediation apparatus in grid system Expired - Fee Related JP3927181B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004014518A JP3927181B2 (en) 2004-01-22 2004-01-22 Job allocation method and grid mediation apparatus in grid system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004014518A JP3927181B2 (en) 2004-01-22 2004-01-22 Job allocation method and grid mediation apparatus in grid system

Publications (2)

Publication Number Publication Date
JP2005208922A true JP2005208922A (en) 2005-08-04
JP3927181B2 JP3927181B2 (en) 2007-06-06

Family

ID=34900283

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004014518A Expired - Fee Related JP3927181B2 (en) 2004-01-22 2004-01-22 Job allocation method and grid mediation apparatus in grid system

Country Status (1)

Country Link
JP (1) JP3927181B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007293603A (en) * 2006-04-25 2007-11-08 Mitsubishi Electric Corp Information processor, information processing method and program
JP2009517734A (en) * 2005-11-29 2009-04-30 グリドン カンパニー,リミテッド Grid computing control method and service method for testing application program performance of server
JP2009193411A (en) * 2008-02-15 2009-08-27 Tokyo Univ Of Science Server allocation method and server allocation device
JP2011209948A (en) * 2010-03-29 2011-10-20 Canon Inc Information processing apparatus, information processing method, program and storage medium
JP2015084160A (en) * 2013-10-25 2015-04-30 富士ゼロックス株式会社 Data processor and program
JP2015118705A (en) * 2013-12-16 2015-06-25 富士通株式会社 Method of executing job in computer system, resource manager, and high performance computer system
US9298500B2 (en) 2013-09-30 2016-03-29 Fujitsu Limited Information processing system and control method of information processing system for managing jobs in a distributed multi-node environment
JP2017182221A (en) * 2016-03-28 2017-10-05 株式会社Skeed Automatic load distribution information processing system
JP2018041168A (en) * 2016-09-05 2018-03-15 ヤフー株式会社 Information processing device, information processing system, information processing program, and information processing method
JP2018147025A (en) * 2017-03-01 2018-09-20 株式会社日立製作所 Program introduction support system, program introduction support method and program introduction support program

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009517734A (en) * 2005-11-29 2009-04-30 グリドン カンパニー,リミテッド Grid computing control method and service method for testing application program performance of server
JP2007293603A (en) * 2006-04-25 2007-11-08 Mitsubishi Electric Corp Information processor, information processing method and program
JP2009193411A (en) * 2008-02-15 2009-08-27 Tokyo Univ Of Science Server allocation method and server allocation device
JP2011209948A (en) * 2010-03-29 2011-10-20 Canon Inc Information processing apparatus, information processing method, program and storage medium
US9298500B2 (en) 2013-09-30 2016-03-29 Fujitsu Limited Information processing system and control method of information processing system for managing jobs in a distributed multi-node environment
JP2015084160A (en) * 2013-10-25 2015-04-30 富士ゼロックス株式会社 Data processor and program
JP2015118705A (en) * 2013-12-16 2015-06-25 富士通株式会社 Method of executing job in computer system, resource manager, and high performance computer system
JP2017182221A (en) * 2016-03-28 2017-10-05 株式会社Skeed Automatic load distribution information processing system
JP2018041168A (en) * 2016-09-05 2018-03-15 ヤフー株式会社 Information processing device, information processing system, information processing program, and information processing method
JP2018147025A (en) * 2017-03-01 2018-09-20 株式会社日立製作所 Program introduction support system, program introduction support method and program introduction support program

Also Published As

Publication number Publication date
JP3927181B2 (en) 2007-06-06

Similar Documents

Publication Publication Date Title
US11243805B2 (en) Job distribution within a grid environment using clusters of execution hosts
US20020129127A1 (en) Apparatus and method for routing a transaction to a partitioned server
JP2007133586A (en) Resource allocation arbitration device and resource allocation arbitration method
JP2008527514A (en) Method, system, and computer program for facilitating comprehensive grid environment management by monitoring and distributing grid activity
JP2005108214A (en) Framework for pluggable scheduler
JP2005174201A6 (en) Resource allocation system, method and program
JP2005174201A (en) Resource assigning system, method, and program
JP2005310120A (en) Computer system, and task assigning method
CN111464659A (en) Node scheduling method, node pre-selection processing method, device, equipment and medium
WO2020125396A1 (en) Processing method and device for shared data and server
CN108616424B (en) Resource scheduling method, computer equipment and system
JP3927181B2 (en) Job allocation method and grid mediation apparatus in grid system
JP2006018561A (en) Method and program for allocating resource
JP4663528B2 (en) Computer allocation system
JP4839585B2 (en) Resource information collection and distribution method and system
US7007150B2 (en) Memory balancing and optimization services
JPWO2005116832A1 (en) Computer system, method and program for controlling job execution in a distributed processing environment
CN110706148A (en) Face image processing method, device, equipment and storage medium
JP2005216050A (en) Storage system
CN111709723A (en) RPA business process intelligent processing method, device, computer equipment and storage medium
JP2004046372A (en) Distributed system, resource allocation method, program, and recording medium with which resource allocation program is recorded
JP2005309868A (en) Processing allocation management apparatus, control method for the same, and program
JPH10207847A (en) Automatic load dispersion system for distribution system
WO2004084095A1 (en) Information retrieving system
JP2015146148A (en) Virtual machine management device, virtual machine management method, and virtual machine management program

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060613

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070301

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100309

Year of fee payment: 3

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100309

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110309

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110309

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120309

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130309

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees