JP2000315199A - 分散処理方式 - Google Patents

Abstract

(57)【要約】 【課題】パラメータサーベイのような複数のジョブを並
列計算機システムで処理する場合において、複数のプロ
セッサを効率よく稼動させ、ジョブの処理時間の短縮を
図る。 【解決手段】ユーザ入出力計算機３より送られてきた情
報をジョブ管理・制御手段１１が受け取り、その情報を
もとにジョブ割当て手段１２でジョブ実行プロセッサを
決定し、各ジョブ毎の入力データをデータファイル自動
生成手段１３で作成する。決定した実行プロセッサの情
報やジョブ毎の情報をジョブ管理・制御手段１１からジ
ョブ実行手段２１に受け渡し、その情報から実行モジュ
ール２２を決定し、ジョブを実行する。この一連の流れ
を未処理のジョブが存在しなくなるまで、逐次行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ネットワーク上に
接続された並列計算機システムや独立して動作するプロ
セッサを有する計算機システムにおいて、複数のプロセ
ッサに処理対象ジョブを設定する管理・制御および割当
て方式と、それを利用した計算機システムの分散処理方
式に関するもの。

【０００２】

【従来の技術】ネットワーク上により接続された独立し
て動作可能な複数のプロセッサを利用して分散処理を行
う際のプロセッサ割当て方法としては、特開平3−85664
号公報，特開平4−223547 号公報などに示されているよ
うに、計算機システムが与えられたジョブについて最適
だと思われるプロセッサを判断して、そのプロセッサに
ジョブを割当てるという方法が既に知られている。この
従来技術の計算機システムによる最適プロセッサの判断
は、各プロセッサにおける処理性能や負荷状態などのプ
ロセッサ情報、各ジョブ実行時における実行内容や処理
量などのジョブ情報などをもとに、推定されるジョブ処
理時間が最も短いものを最適なものとしている。

【０００３】また、独立に動作可能な複数プロセッサに
おいて、複数のジョブを分散処理する方法としては、特
開平1−259446 号公報がある。この従来技術は、複数ジ
ョブを並列処理して実行するために、すべてのジョブに
対して、実行可能な入力データの事前準備や並列処理を
施す作業などを行なっておく必要がある。

【０００４】容易に分散処理を行えるように、アイコン
などのグラフィクイメージを用いて選択した処理装置に
任意のプログラムを指定する方法は、特開平5−290007
号公報により、知られている。この従来技術では、ジョ
ブではなくプログラムを表すアイコンをマウス指定し、
選択した処理装置を表すアイコン上に移動することによ
り、該当プログラムを選択した該当の処理装置で実行す
るように定義するものである。

【０００５】また、実行プロセッサを直接指定して、実
行することを可能にした、ＮＦＳ（(米）Sun Microsys
tems社の登録商標）と呼ばれるユティリティの「ｏｎ」
コマンドがある。ただし、計算機システムによってはこ
のコマンドがない場合が有り、また、計算機システムの
環境によっては、コマンド形式でジョブの実行指示を発
生できないものがあり、この場合にも「ｏｎ」コマンド
を利用できない。

【０００６】

【発明が解決しようとする課題】従来技術にあるような
動作可能なプロセッサが複数ある場合の選択方式は、そ
れぞれのジョブに対して最適なプロセッサを判断する手
段として計算機システム側の処理を行うことにしてい
る。この判断処理は、各プロセッサにおける処理性能や
負荷状態などの情報、ジョブ実行時のおける実行内容や
処理量などのジョブ情報からすべてのプロセッサについ
て、ジョブの実行処理に要する時間を推定し、最も処理
時間の短いものを最適なプロセッサとしてジョブの割当
てを行うものである。このとき、各プロセッサの負荷状
態の情報入手には、各プロセッサ負荷状態をチェックし
た後、得られた情報をジョブの割当てを行うプロセッサ
に送信するという処理が必要となり、時間がかかる。

【０００７】また、最適なプロセッサを選択するために
は、ジョブの処理量の高精度な予測が必要となるが、ジ
ョブの種類や入力データにより処理量が変化することが
多く、高精度な予測には時間が費やされる。また、複数
のジョブを実行するためには、あらかじめ各ジョブに対
する入力データファイルを準備しておかなければならな
いが、これらはすべてユーザ側で行なうため、実行開始
までの準備に時間が費やされるという問題が生じる。

【０００８】さらに、一般的には、計算プログラムや実
行モジュールなどはＣＰＵの種類やオペレーティングシ
ステム（ＯＳ），コンパイラなどの異なる計算機環境下
では正常に動作することが保証されない。上記従来技術
では、１つの計算プログラムや実行モジュールで異なる
環境下でのプロセッサを用いて分散処理を行なった場
合、実行ができなくなることがほとんどである。

【０００９】

【課題を解決するための手段】本発明は、複数のプロセ
ッサを有する計算機（ここでは、並列計算機という）
と、それにネットワーク上で接続されているユーザ側で
入出力を行なう計算機で構成された計算機システムで、
並列計算機での１つのプロセッサを管理・制御の手段に
用い、その他のプロセッサを実行プロセッサに用いて、
そのプロセッサに複数のジョブを逐次割当てる方式を提
案する。

【００１０】さらに、本発明は、ネットワーク上にある
制御可能なプロセッサ群をサーバ計算機として、それを
管理・制御するプロセッサ、それらプロセッサ群に接続
されたユーザ側で入出力を行なうための計算機上におい
て実行ジョブをサーバ計算機としてのプロセッサに割当
てる方式を提案する。

【００１１】さらに、従来技術を含むプロセッサ割当て
方式、およびプロセッサの直接方式を備え、かつ、それ
ぞれのジョブを独立したプロセスとして逐次実行させる
ことのできる分散処理方式を提供する。また、ジョブ実
行の準備に要するユーザ側の準備時間の短縮を図るため
には、複数のジョブのうちで同じ実行モジュールを使用
するジョブに対し入力データ形式は同一であるため、そ
のジョブの変更箇所のみを記述することで入力データフ
ァイルを生成する手段を提供する。

【００１２】

【発明の実施の形態】以下、本発明の実施の形態につい
て、添付の図面を参照しながら詳細に説明する。まず、
図１には、本発明の分散処理方式を利用する計算機シス
テムが示されており、クライアントプロセッサ１と複数
のサーバプロセッサ２およびユーザ入出力計算機３がネ
ットワーク４で接続された計算機システムを構成してい
る。なお、これら複数のプロセッサ１，２は、キーボー
ドやマウスなどの入力装置や、ディスプレイなどを備え
なくてもよく、また、ＣＰＵの種類やオペレーティング
システム（ＯＳ）、あるいは、コンパイラなどが異なる
ものであってもよい。

【００１３】次に、図２には、本発明の分散処理方式を
利用する並列計算機５での実施した例を示す。並列計算
機５が備えている複数のプロセッサの１つをクライアン
トサーバ１とし、その他のプロセッサをサーバプロセッ
サ２とすることとし、ユーザ入出力計算機３とネットワ
ーク４を介し、並列計算機内の入出力ユニット３２、３
次元・クロスバ・ネットワーク３１を接続されている。
なお、並列計算機５を利用することにより、図１に示し
た効果のほかに、ＣＰＵの種類やオペレーティングシス
テム（ＯＳ）、あるいは、コンパイラなどに違いがなく
なり、制御の面において単純になるという効果がある。

【００１４】次に、図３を参照しながら本発明による分
散処理方法の詳細を示す。図からも明らかなようにクラ
イアントプロセッサにはジョブ管理・制御手段１１，ジ
ョブ割当て手段１２、および、データファイル自動生成
手段１３を、サーバプロセッサ２には、ジョブ実行手段
２１とジョブ実行２２に必要な各種モジュールを備えて
いる。まず、ユーザがジョブ実行指示情報１４をおく
り、クライアントサーバのジョブ管理・制御手段１１が
受け取る。上記ジョブ実行指示情報１４，ジョブ・プロ
セッサ管理情報１５をもとにジョブ割当て手段１２と、
データファイル自動生成手段１３を動作させる。上記ジ
ョブ割当て手段１２はジョブ実行を行なうサーバプロセ
ッサ２を決定するもので、データファイル自動生成１３
は基本データ５１，変更指示データ５２によりジョブ実
行の際に必要な入力データを自動生成するものである。
サーバプロセッサ２にあるジョブ実行手段２１は、ジョ
ブ管理・制御手段１１から送られる情報からジョブ実行
に必要な実行モジュール２２を決定するものである。

【００１５】次に、ジョブ割当て方式の流れについて、
図５を参照しながら示す。未処理ジョブ有無を検出し、
ない場合には終了し、ある場合には、次の工程に進む
(501)。つづいて、実行可能なプロセッサの有無を検出
し、ない場合には実行可能なプロセッサが検出されるま
でこの工程を続け、ある場合にはつぎの工程に進む（５
０２）。検出された実行可能なプロセッサ情報と未処理
ジョブの情報をジョブ管理・制御部にもどす（５０
３）。

【００１６】次に、データファイル自動生成方式の流れ
について、図６を参照しながら示す。まず、未処理ジョ
ブｊに対する実行モジュール用の基本となるデータを読
込み（６０１）、その基本データのどの箇所をどのよう
に変更するかというデータを読込む（６０２）。読込ん
だ基本となるデータを別名でコピーし、そのコピーした
データをもとに指示された変更箇所に変更データを上書
きする（６０３）。そして、未処理ジョブ（ここでは、
ジョブ実行を行なっていないものをいう）の有無を検出
して、ありの場合には基本データ読込み（６０１）部分
にもどり、ない場合には終了する。

【００１７】ここで、本発明におけるジョブ管理・制御
手段１１とジョブ実行手段２１の詳細について、図４，
図６を参照しながら示す。ジョブ管理・制御手段はジョ
ブ実行し辞情報解析部１１１，ジョブ／プロセッサ管理
情報アクセス部１１２，ジョブ管理・制御部１１３，入
力データ送信部１１４，出力データ受信部１１５，制御
情報受信部１１６，ジョブ完了情報受信部１１７，ジョ
ブ実行完了情報解析部１１８，ジョブ／プロセッサ管理
情報ストア部１１９から、ジョブ実行手段２１は入力デ
ータ受信部２１１，出力データ送信部２１２，制御情報
受信部２１３，制御情報解析部２１４，ジョブ完了情報
送信部２１５，ジョブ実行部２１６から構成されてい
る。

【００１８】まず、ジョブ実行指示情報１４からジョブ
実行情報解析部１１１が受け取り、ジョブ／プロセッサ
管理情報アクセス部１１２を通してジョブ／プロセッサ
管理情報１５を生成する。ジョブ管理・制御部１１３は
ジョブ実行指示情報１４およびジョブ／プロセッサ管理
情報１５から得られた使用するプロセッサ数分のジョブ
の実行の制御情報を送信する。この制御情報は制御情報
送信部１１６を介して制御情報受信部２１３が受け取
り、制御情報解析部２１４がそれを読み取り、どのよう
な処理を施すか、また、どのような実行モジュールを用
いるかを識別する。制御情報解析部２１４での識別情報
を参照してジョブ実行部２１６が実行モジュール２２を
起動させる。なお、入力データはジョブ管理・制御１１
３から入力データ送信部１１４に、そして入力データ受
信部を介して、実行モジュールに受け渡される。実行モ
ジュールの処理が終了した後、その実行完了情報がジョ
ブ実行部２１６に受け渡され、ジョブ完了情報送信部２
１５からジョブ完了受信部へ、そしてジョブ完了情報解
析部１１８に読込まれる。ジョブ完了情報解析部 118で
は、ジョブ実行の処理の評価（正常に終了したか、異常
終了したかなど）を行い、ジョブ／プロセッサ管理情報
ストア部によりジョブ／プロセッサ管理情報１５が更新
される。つづいて、実行可能なプロセッサを識別し、そ
のプロセッサに逐次ジョブ実行の制御情報を上記に示し
た制御方法で送信する。

【００１９】以上の制御方式により、各プロセッサがそ
れぞれのジョブを実行した様子を図７に示す。この実施
例ではジョブの総数ｎが使用するプロセッサの総数ｍよ
り、過分に大きいときのものである。まず、プロセッサ
ｍ分でジョブを同時に実行し、ジョブの完了したプロセ
ッサで逐次未処理のジョブを実行することにより、効率
的にプロセッサを使用することができ、数多くのジョブ
を実行できる。

【００２０】

【発明の効果】本発明では、パラメータサーベイのよう
な複数のジョブを処理する場合において、各プロセッサ
に逐次ジョブを割当てることにより、１台のプロセッサ
を使用したときに比べて非常に短い時間ですべてのジョ
ブを処理できる。

【図面の簡単な説明】

【図１】本発明による分散処理方式のブロック図。

【図２】本発明による並列計算機における分散処理方式
のブロック図。

【図３】本発明による分散処理方式の処理内容の関係を
示すブロック図。

【図４】本発明の実施例よるデータファイル自動生成方
法の詳細を示すフローチャート図。

【図５】本発明の実施例によるジョブ割当て方法の詳細
を示すフローチャート図。

【図６】本発明の実施例によるジョブの管理・制御およ
び実行の詳細を示すブロック図。

【図７】本発明の実施例によるジョブ実行過程を示す説
明図。

【符号の説明】

１…クライアントプロセッサ、２…サーバプロセッサ、
３…ユーザ入出力計算機、４…ネットワーク、１１…ジ
ョブ管理・制御手段、１２…ジョブ割当て手段、１３…
データファイル自動生成手段、２１…ジョブ実行手段、
２２…実行モジュール。

Claims (3)

【特許請求の範囲】
1. 【請求項１】複数のジョブを実行させるために、ユーザ
   入出力計算機とネットワーク上で接続されている複数の
   プロセッサを有する並列計算を用い、各ジョブの実行状
   況を管理・制御を行うジョブ管理・制御手段と、それぞ
   れのプロセッサに各ジョブの割当てを行うジョブ割当て
   手段、および、各ジョブに対する入力データを生成する
   データファイル自動生成手段と、前記のジョブ管理・制
   御手段からの情報から目的の処理を実行するジョブ実行
   手段とそれに付随する実行モジュールにより、複数のジ
   ョブを複数のプロセッサを有する並列計算機で逐次実行
   することを特徴とする分散処理方式。
2. 【請求項２】前記請求項１に記載のジョブ割当て手段
   は、各プロセッサの処理状態を随時管理し、処理可能な
   プロセッサが検出されたら、未処理のジョブを逐次処理
   可能なプロセッサに割当てる手段であることを特徴とす
   る分散処理方式。
3. 【請求項３】前記請求項１に記載のデータファイル自動
   生成手段は、ジョブの実行に際して必須である入力デー
   タのもととなる基本データと、その基本データをどのよ
   うに変更するかを指定するパラメータサーベイ用変更指
   示データとから、各ジョブ毎の入力データを自動的に生
   成するデータファイル自動生成の手段を有することを特
   徴とする分散処理方式。