JP2001092679A - 並列実行制御装置 - Google Patents

Abstract

(57)【要約】 【課題】 並列実行制御装置に関し、並列処理の性能向
上を可能にすることを目的とする。 【解決手段】 複数回繰り返し実行されるデータ通信処
理において、通信パターン情報作成手段１３により最初
に作成された情報は、データ格納手段１１に通信パター
ン情報１１ａとして保持され、次回以降は、通信パター
ン比較判別手段１２で通信パターンの同一性が判断され
た場合、格納情報取出手段１４が通信パターン情報１１
ａを再利用する。また、リージョン分割処理において、
最初の処理で作成されたリージョン制御データ１１ｂを
データ格納手段１１に保持しておき、次回以降は、リー
ジョン制御データ有無判定手段１５がリージョン制御デ
ータの存在を確認後、レベル判定処理手段１６がレベル
判定を行い、データ再利用処理手段１７がレベルに応じ
た範囲のデータ項目を取り出して再利用する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は並列実行制御装置に
関し、特に並列計算機における並列処理を高速化させる
ようにした並列実行制御装置に関する。

【０００２】近年、ベクトル計算機など高速処理が可能
な計算機の需要が増え、さらなる高速化に応えるべく並
列計算機が登場した。この中で、並列計算機の性能向上
に期待がかけられている。

【０００３】

【従来の技術】並列計算機におけるメモリ管理は、高速
処理の観点から柔軟かつ高度な機能なが要求されてい
る。従来の一般的なメモリシステムは、複数のプロセッ
サに対して一つの共有メモリを持つような構成を有する
もの、個々のプロセッサに分散配置されているような構
成を有するものがある。

【０００４】図１５は共有メモリシステムの構成を示す
図である。複数のプロセッサ、図示の例では３台のプロ
セッサＰＥ１〜ＰＥ３は、一つの共有メモリＭに接続さ
れた構成を有している。このような共有メモリシステム
の場合、共有メモリＭに割り当てられた番地は一つしか
ないので、どのプロセッサＰＥ１〜ＰＥ３からでも共有
メモリＭを同じようにアクセスすることができる。

【０００５】図１６は分散メモリシステムの構成を示す
図である。分散メモリシステムでは、各プロセッサＰＥ
１〜ＰＥ３はそれぞれ自分のメモリＭ１〜Ｍ３を備え、
かつプロセッサ間通信専用線Ｌによって相互に接続され
ている。このように、各プロセッサＰＥ１〜ＰＥ３にそ
れぞれメモリＭ１〜Ｍ３が分散配置されている形態で
は、あるプロセッサが他のプロセッサのメモリの中に存
在するデータを使って演算を実行する場合にプロセッサ
間通信が生じる。この場合、プロセッサは、データがど
のプロセッサのメモリのどの位置に割り当てられている
かをあらかじめ計算をした上でプロセッサ間通信専用線
Ｌを介して相互にデータのやりとりを行う必要がある。
このため、各プロセッサＰＥ１〜ＰＥ３は、プロセッサ
間通信が発生するたびに、送信しようとするデータが格
納されているメモリのアドレス、通信先のプロセッサを
表す番号、送信要素数、そのプロセッサが持つメモリの
データ受信アドレスなどの通信情報を作成する必要があ
る。

【０００６】分散メモリシステムでは、共有メモリシス
テムに比べてこのような通信情報の作成が処理のオーバ
ヘッドとなっている。特に、通信情報の作成には多くの
時間が必要であるが通信速度自体は固定であるので、通
信のオーバヘッドをいかに少なくするかが、並列系の処
理では大きなポイントになる。

【０００７】これに対し、たとえば特開平１０−４０２
２３号公報に、通信を最適化することによって通信のオ
ーバヘッドを小さくする方法が提案されている。この方
法によれば、通信が必要になったときに、その通信が最
適化通信サブシステムである集合通信ライブラリの中に
定められたパターンに合致する場合に、そのライブラリ
に従った最適な通信を行う。このとき、高速化の手法と
して、そのような集合通信の認識を最適化することを行
っている。

【０００８】

【発明が解決しようとする課題】ところで、並列計算機
では、高速処理を実現する上で、時間のかかる通信処理
を最適化することは非常に有効である。しかし、最適化
処理はすべての通信に適用できるのではなく、最適化さ
れないこともある。

【０００９】本発明はこのような点に鑑みてなされたも
のであり、従来の通信最適化で最適化されなかった通信
に対しても高速処理が可能であり、さらには、並列の動
作単位であるリージョンの分割・実行についてもリージ
ョン制御を高速化することにより並列処理の性能向上を
可能にした並列実行制御装置を提供することを目的とす
る。

【００１０】

【課題を解決するための手段】図１は上記目的を達成す
る本発明の原理図である。本発明による並列実行制御装
置は、通信パターン情報１１ａおよびリージョン制御デ
ータ１１ｂを格納するデータ格納手段１１と、通信デー
タ作成要求に応じて通信パターンが過去に実行した通信
のパターンと同じであるかどうかを判別する通信パター
ン比較判別手段１２と、通信パターン情報を作成する通
信パターン情報作成手段１３と、この通信パターン情報
作成手段１３にて作成されてデータ格納手段１１に格納
されている通信パターン情報を取り出す格納情報取出手
段１４と、リージョン制御データ作成要求に応じてデー
タ格納手段１１におけるリージョン制御データ１１ｂの
有無を判定するリージョン制御データ有無判定手段１５
と、現リージョンの状態とデータ格納手段１１に格納さ
れているリージョン制御データ１１ｂとを比較して、再
利用できる範囲に応じたレベル分けを行うレベル判定処
理手段１６と、判定されたレベルに応じてリージョン制
御データ１１ｂの全部または一部を再利用するデータ再
利用処理手段１７とを備えている。

【００１１】ここで、複数回繰り返し実行されるデータ
通信処理において、通信パターン情報作成手段１３によ
り最初に作成された情報は、データ格納手段１１に通信
パターン情報１１ａとして保持される。次回以降の実行
処理の際には、通信パターン比較判別手段１２が現在実
行しようとしている通信パターンとデータ格納手段１１
に格納されている通信パターン情報１１ａとを比較し、
これらが同一の場合には、格納されている通信パターン
情報１１ａをそのまま取り出して、新たな通信データと
して再利用する。したがって、同一形状の通信パターン
が複数回繰り返し実行される場合、２回目以降の通信パ
ターン情報の作成を省略することができる。

【００１２】また、複数回繰り返し実行されるリージョ
ン分割処理において、最初の処理でリージョン制御デー
タが作成されると、そのリージョン制御データは、デー
タ格納手段１１にリージョン制御データ１１ｂとして保
持される。次回以降の実行処理の際には、リージョン制
御データ有無判定手段１５がデータ格納手段１１にリー
ジョン制御データが存在することを確認後、レベル判定
処理手段１６は、そのリージョン制御データ１１ｂの中
でデータ項目のどの範囲まで再利用可能かどうかのレベ
ル判定を行う。そして、データ再利用処理手段１７は、
データ格納手段１１のリージョン制御データ１１ｂから
レベルに応じた範囲のデータ項目を取り出して再利用す
る。再利用されなかったデータ項目については、新たに
再設定されてデータの補完が行われ、リージョン制御デ
ータとして出力される。これにより、複数回繰り返し実
行されるリージョン制御において、２回目以降のリージ
ョン制御データの全部または一部の作成を省略すること
ができる。

【００１３】これにより、複数回繰り返し実行される処
理の中で、毎回実行される通信データ作成処理およびリ
ージョン制御データ作成処理において、作成に時間のか
かるこれらの処理がなくなり、並列処理系全体の性能を
向上させることができる。

【００１４】また、本発明によれば、データ通信時に通
信相手に送信する通信データの通信パターン情報を作成
する通信パターン情報作成手段と、前記通信パターン情
報作成手段によって作成された通信パターン情報をデー
タ格納手段に保持するデータ保持手段と、通信データ作
成要求に応じて現在実行しようとしている通信パターン
と前記データ格納手段に格納されている前記通信パター
ン情報とを比較してすべての要素が同じであるかどうか
を判別する通信パターン比較判別手段と、前記通信パタ
ーン比較判別手段により通信パターンの同一性が判別さ
れたときに前記データ格納手段に格納されている前記通
信パターン情報を取り出す格納情報取出手段とを有する
並列実行制御プログラムを記録したコンピュータ読み取
り可能な記録媒体、およびリージョン制御データ作成要
求に応じてリージョン分割処理の際に作成されて前記デ
ータ格納手段に保持されているリージョン制御データの
有無を判定するリージョン制御データ有無判定手段と、
現リージョンの状態と前記データ格納手段に格納されて
いるリージョン制御データとを比較して再利用できるデ
ータ項目の範囲に応じたレベル分けを行うレベル判定処
理手段と、前記レベル判定処理手段で判定されたレベル
に応じて前記リージョン制御データの全部または一部を
再利用する処理を行うデータ再利用処理手段とを有する
並列実行制御プログラムを記録したコンピュータ読み取
り可能な記録媒体が提供される。

【００１５】この媒体に記録された並列実行制御プログ
ラムをコンピュータに実行させることにより、通信パタ
ーン情報作成手段と、データ保持手段と、通信パターン
比較判別手段と、格納情報取出手段と、リージョン制御
データ有無判定手段と、レベル判定処理手段と、データ
再利用処理手段と、の各機能がコンピュータによって実
現できる。

【００１６】

【発明の実施の形態】まず、本発明の概略について図面
を参照して説明する。図１は本発明による並列実行制御
装置の原理的な構成を示す図である。本発明の並列実行
制御装置は、複数の計算機を互いに結合して並列処理を
行う並列処理系に適用されるもので、各計算機におい
て、通信およびリージョン制御が発生するごとに実行さ
れる。

【００１７】本発明による並列実行制御装置は、通信パ
ターン情報１１ａおよびリージョン制御データ１１ｂを
格納するデータ格納手段１１と、通信パターン比較判別
手段１２と、通信パターン情報作成手段１３と、格納情
報取出手段１４と、リージョン制御データ有無判定手段
１５と、レベル判定処理手段１６と、データ再利用処理
手段１７とを備えている。

【００１８】通信パターン比較判別手段１２は、通信デ
ータ作成要求に応じて通信パターンが過去に実行した通
信のパターンと同じであるかどうかを判別する機能を有
し、通信パターン情報作成手段１３は、通信パターン情
報を作成する機能を有し、格納情報取出手段１４は、こ
の通信パターン情報作成手段１３にて作成されてデータ
格納手段１１に格納されている通信パターン情報を取り
出す機能を有している。また、リージョン制御データ有
無判定手段１５は、リージョン制御データ作成要求に応
じてデータ格納手段１１におけるリージョン制御データ
１１ｂの有無を判定する機能を有し、レベル判定処理手
段１６は、現リージョンの状態とデータ格納手段１１に
格納されているリージョン制御データ１１ｂとを比較し
て、再利用できる範囲に応じたレベル分けを行う機能を
有し、データ再利用処理手段１７は、判定されたレベル
に応じてリージョン制御データ１１ｂの全部または一部
を再利用する機能を有している。

【００１９】ここで、複数回繰り返し実行されるデータ
通信処理において、通信パターン情報作成手段１３によ
り最初に作成された情報は、データ格納手段１１に通信
パターン情報１１ａとして保持される。次回以降の実行
処理の際には、通信パターン比較判別手段１２が現在実
行しようとしている通信パターンとデータ格納手段１１
に格納されている通信パターン情報１１ａとを比較し、
これらが同一の場合には、格納されている通信パターン
情報１１ａをそのまま取り出して、新たな通信データと
して再利用する。これにより、同一形状の通信パターン
が複数回繰り返し実行される場合、２回目以降の通信パ
ターン情報については、その作成を省略することが可能
になる。

【００２０】また、複数回繰り返し実行されるリージョ
ン分割処理において、最初の処理でリージョン制御デー
タが作成されると、そのリージョン制御データは、デー
タ格納手段１１にリージョン制御データ１１ｂとして保
持される。次回以降の実行処理の際には、リージョン制
御データ有無判定手段１５がデータ格納手段１１にリー
ジョン制御データが存在することを確認後、レベル判定
処理手段１６は、そのリージョン制御データ１１ｂの中
でデータ項目のどの範囲まで再利用可能かどうかのレベ
ル判定を行う。データ再利用処理手段１７では、判定さ
れたレベルに応じて、データ格納手段１１のリージョン
制御データ１１ｂから利用可能なデータ項目を再利用
し、利用不可のデータ項目については再設定をしてデー
タの補完を行い、新たなリージョン制御データとして出
力する。これにより、複数回繰り返し実行されるリージ
ョン制御において、２回目以降のリージョン制御データ
の全部または一部の作成を省略することができる。

【００２１】これにより、複数回繰り返し実行される処
理の中で、毎回実行される通信データ作成処理およびリ
ージョン制御データ作成処理において、保持しておいた
データを再利用することで、作成に時間のかかるこれら
の処理がなくなり、並列処理系全体の性能を向上させる
ことができる。

【００２２】次に、本発明の実施の形態を、プログラム
の実行時に呼び出されるランタイムシステムライブラリ
に適用した場合を例にして説明する。図２はオブジェク
ト構成を示す図である。ランタイムシステムライブラリ
２０は、データ域としてパケット格納域２１、再利用制
御域２２、リージョン制御データ域２３を有し、処理と
してパケット格納処理、データ再利用判定処理、リージ
ョン再利用判定処理、およびレベル判定処理を行う。ユ
ーザオブジェクトプログラム２５が実行するときに、そ
の他のライブラリ２６とともに呼び出されて、通信を行
うときのパケット格納処理およびデータ再利用判定処
理、手続きを行うときのリージョン再利用判定処理およ
びレベル判定処理を行う。

【００２３】ここで、通常のプログラムの実行処理にお
いて、同一部分を複数繰り返し実行する場合が非常に多
く存在する。このような場合、その都度、一番コストの
かかる通信データの作成を毎回繰り返している。また、
並列の動作処理単位であるリージョンの分割・実行につ
いても、通信を行う前に、リージョングループ情報など
のリージョン制御データを毎回作成している。この繰り
返し実行処理の例を、プログラムの中のＤＯ文を例に説
明する。

【００２４】図３は実行処理の流れを示す説明図であ
る。プログラムの実行処理において、ＤＯ文繰り返しの
中では、まず、リージョンの分割を行う。ここでは、イ
ンデックスの分割、リージョングループ分け、リージョ
ン制御データ作成、リージョンごとのバリアマスク作
成、およびバリアマスク設定の処理が行われる。次のデ
ータ通信では、通信データの分割、通信パターン最適
化、パケット作成、およびパケット投入の処理が行われ
る。そして、リージョンの結合では、バリアマスク設定
解除およびリージョン制御データ開放の処理が行われ
る。

【００２５】以上の処理の流れにおいて、通常のプログ
ラム処理では、大きな繰り返しの中で並列実行および通
信処理を同様の範囲で、あるいは同様の方法で行ってい
るため、処理のオーバヘッドが繰り返し回数分加算され
る。しかし、図示の処理の中で、右側に星印を付けた行
の処理については、その処理を繰り返しの中で最初の１
回のみ行い、その最初の処理で作られた情報を保持して
おくことにより、２回目以降の繰り返しでは、その情報
の同一性が確認された場合に保持していた情報を再利用
することで、その２回目以降の処理を省略することが可
能になる。次に、通信データの再利用の場合と、リージ
ョン制御データの再利用の場合とについて、詳細に説明
する。

【００２６】図４はデータ通信を行うときの１回目の処
理の流れを示すフローチャートである。データ通信処理
が開始されると、まず、各プロセッサに依頼する通信デ
ータの範囲を計算することによって通信データの分割を
行う（ステップＳ１）。次に、通信パターンの最適化を
行う（ステップＳ２）。この通信パターンの最適化は、
通常行われている最適化であり、これにより最も簡単に
通信するパターンが得られる。以下、その通信パターン
に基づいてパケットを作成することになるが、その場合
にメモリに作成される通信データについて説明する。

【００２７】図５はランタイムシステムライブラリが使
うメモリ内領域のデータ構造を示す図である。プロセッ
サＰＥが持つメモリＭは、一般的に、ユーザ領域とライ
ブラリ領域とを有し、そのライブラリ領域の中に、再利
用制御域、パケット格納域、およびパケット域が配置さ
れている。再利用制御域には、通信データを再利用する
ための制御情報が作られ、パケット格納域にはパケット
情報を含む通信データが作られ、パケット域はパケット
作成時にパケット情報が一時的に作成される領域であ
る。

【００２８】再利用制御域に作られるデータは、再利用
要求、再利用結果、作成パケット数、およびパケット格
納域ポインタを有し、パケット格納域に作られるデータ
は、パケットごとに、次パケット格納域ポインタ、通信
対象のプロセッサを表す識別子（通信対象ＶＰＩＤ）、
リード・ライトフラグ（read#write#flag）、およびパ
ケット情報を有し、このパケット情報には受信先プロセ
ッサ番号、送信要素数、送信アドレス、受信アドレスな
どが含まれている。ここでは、次パケット格納域ポイン
タ、通信対象ＶＰＩＤ、リード・ライトフラグ、および
パケット情報を含む情報を通信パターン情報とする。こ
の通信パターン情報は、並列動作を行おうとするプロセ
ッサの台数分作られる。また、作られた通信パターン情
報は開放されることなく残される。

【００２９】次に、図４に戻って、再利用制御域にパケ
ット格納域へのポインタを設定する（ステップＳ３）。
次に、パケット個数回繰り返しの処理となり、まず、パ
ケット域にパケット情報を作成し（ステップＳ４）、作
成したパケット情報を通信パターン情報へ格納し（ステ
ップＳ５）、そのパケット情報を投入し送信する（ステ
ップＳ６）。パケット個数は、通信データの分割の段階
で分かっているので、その個数分だけステップＳ４〜Ｓ
６の処理を繰り返す。

【００３０】ここで、ステップＳ４において、パケット
域に作成されるパケット情報の具体例を示す。図６はパ
ケット情報の内容例を示す図であって、（Ａ）は送信プ
ロセッサのメモリ配置例を示し、（Ｂ）は受信プロセッ
サのメモリ配置例を示し、（Ｃ）は作成されるパケット
情報の例を示している。通信データを送信しようとする
プロセッサＰＥ１側のメモリの先頭アドレスが１００番
地、送信しようとするデータＡの先頭アドレスが３番目
であり、受信先のプロセッサＰＥ２のメモリの先頭アド
レスが２００番地、受信しようとするデータＢの先頭ア
ドレスが６番目であったとする。このような場合、プロ
セッサＰＥ１で作られるパケット情報は、受信先プロセ
ッサ番号「２」、送信要素数「１」、送信アドレス「１
０２」、受信アドレス「２０５」となる。

【００３１】次に、ステップＳ５における通信パターン
情報への格納処理について説明する。図７は通信パター
ン情報への格納処理の流れを示すフローチャートであ
る。この通信パターン情報への格納処理では、まず、パ
ケット格納域を獲得する（ステップＳ１１）。すなわ
ち、再利用制御域のパケット格納域ポインタにて予約さ
れたパケット格納域のアドレスから始まる領域を獲得す
る。次に、獲得したパケット格納域に、通信対象ＶＰＩ
Ｄおよびリード・ライトフラグを設定後、パケット域に
作成されたパケット情報をコピーすることによってパケ
ット情報のパケット格納域への設定を行う（ステップＳ
１２）。次に、既に作成されている前パケット格納域の
次パケット格納域ポインタに、獲得したパケット格納域
の先頭のアドレスを設定する（ステップＳ１３）。そし
て、再利用制御域の作成パケット数に１を加算する（ス
テップＳ１４）。

【００３２】図８は２回目以降の処理の流れを示すフロ
ーチャートである。データ通信処理が開始されると、ま
ず最初に、再利用可能かどうかの判定を行う（ステップ
Ｓ２１）。ここで、再利用できないと判断されれば、１
回目の処理に移り、最初の通信データの分割からやり直
す（ステップＳ２２）。再利用可能と判断されると、既
に格納されているパケット情報をパケット格納域から取
り出してパケット域にコピーし（ステップＳ２３）、こ
のパケット情報を投入する（ステップＳ２４）という処
理を、パケット個数回繰り返す。このように、再利用可
能と判断されると、即座に取り出し実行できる状態で格
納してある実際の通信データを、何ら加工することなく
そのまま利用することになる。

【００３３】次に、ステップＳ２１における再利用可能
かどうかの判定処理について説明する。図９は再利用可
能かどうかを判定する再利用判定処理の流れを示すフロ
ーチャートである。まず、パケット格納域に格納してあ
る通信パターン情報が現在実行しようとしている通信パ
ターンと同一かどうかの判定がなされる（ステップＳ３
１）。次に、その判定の結果に対し、通信パターン情報
のすべての要素が同じかどうかが判断され（ステップＳ
３２）、すべての要素が同じなら、再利用可能であると
判断され、要素の一つでも異なれば、再利用不可と判断
される。

【００３４】なお、上記の通信データの再利用の例で
は、通信パターン情報として、「次パケット格納域ポイ
ンタ」「通信対象ＶＰＩＤ」「read#write#flag」およ
び「パケット情報」の実際の情報を使用し、これらを個
々に比較することによって通信パターンの同一性を判断
したが、これらの情報を簡略化した判別用情報を、たと
えば各パケット情報の前に付加しておき、現在実行しよ
うとしている通信パターンについても同じような判別用
情報を作成し、再利用可能かどうかの判定の際には、こ
れらの判別用情報のみの比較で同一性の判断をするよう
にしてもよい。判別用情報の同一性が判断された場合
は、パケット情報域から実際の情報を取り出して再利用
することになる。

【００３５】次に、リージョン制御データの再利用につ
いて説明する。図１０はリージョンの分割処理の流れを
示すフローチャートである。まず、プログラムの実行に
必要なメモリを複数のプロセッサに割り当てる際に、各
プロセッサにどれだけの領域を割り当てればいいかを計
算する、インデックスの分割を行う（ステップＳ４
１）。その次に、通信を行うプロセッサを何台ずつにす
るのかによってリージョンのグループ分けを行う（ステ
ップＳ４２）。次に、リージョン制御データがあるかど
うかの判定を行う（ステップＳ４３）。最初の処理のと
きには、リージョン制御データは存在しないので、リー
ジョン制御データの作成に移る（ステップＳ４４）。リ
ージョン制御データが作成されると、その作成されたリ
ージョン制御データからプロセッサ間の同期に必要なバ
リアマスクをリージョンごとに作成し（ステップＳ４
５）、作成したバリアマスクをリージョン制御データに
設定する（ステップＳ４６）。

【００３６】既に、リージョン制御データがある場合に
は、レベル判定を行う（ステップＳ４７）。このレベル
判定では、そのリージョン制御データを、再利用できる
データ範囲に応じてレベル分けする。そして、判定され
たレベルに応じて、リージョン制御データの全部または
一部を再利用する（ステップＳ４８）。

【００３７】図１１はレベル判定の処理の流れを示すフ
ローチャートである。まず、リージョン制御データ域に
格納されているリージョン制御データと現リージョンの
状態とを比較する（ステップＳ５１）。次に、実行プロ
セッサグループが同じかどうかを判断する（ステップＳ
５２）。ここで、実行プロセッサグループが同じでなけ
れば、データとしては同じところがないので、「レベル
１」と判断される。実行プロセッサグループが同じなら
ば、次に、親／兄弟のプロセッサグループが同じかどう
かが判断される（ステップＳ５３）。ここで、親／兄弟
のプロセッサグループが同じでなければ、「レベル２」
と判断される。実行プロセッサグループが同じであっ
て、親／兄弟のプロセッサグループも同じであれば、
「レベル３」と判断される。

【００３８】レベル判定にて、「レベル１」と判定され
た場合は、利用できるデータはないのでリージョン制御
データの格納域のみが再利用され、「レベル２」と判定
された場合には、リージョン制御データのバリアマスク
値が再利用され、「レベル３」と判定された場合には、
リージョン制御データのすべてを再利用することにな
る。

【００３９】次に、このようなレベルとなる場合の例に
ついてプログラム例を参照しながら説明する。図１２は
プログラムの例を示す図、図１３はプログラム実行時の
処理分割範囲を示す説明図である。プログラムは、メイ
ンプログラム３１と、このメインプログラムから呼ばれ
るサブルーチンプログラム３２とから構成されている。
これらメインプログラム３１およびサブルーチンプログ
ラム３２は、並列化言語であるハイパフォーマンスフォ
ートラン（HPF:High Performance Fortran）で記述され
ている。

【００４０】メインプログラム３１において、まず、プ
ロセッサの台数が定義される（ここでは４台のプロセッ
サＰＥ１〜ＰＥ４）。次に、最初の処理Ｘが実行される
と、このメインプログラムで使われるメモリ範囲は、こ
れらのプロセッサＰＥ１〜ＰＥ４にまたがるリージョン
Ｘとなる。次に、プロセッサ番号１〜３のプロセッサＰ
Ｅ１〜ＰＥ３を使って処理Ａを実行する。このときの処
理単位は、図１３においてリージョンＡで示してある。
次に、サブルーチンプログラム３２が呼ばれて実行され
る。ここでは、３台のプロセッサＰＥ１〜ＰＥ３を使っ
て処理Ｄを実行することになるが、手続きの分割を指示
する指示文「Independent」により、処理Ｄは並列化さ
れ、それぞれ三つのリージョンＤ１〜Ｄ３にて実行され
ることになる。

【００４１】メインプログラム３１の次の処理では、プ
ロセッサ番号「４」のプロセッサＰＥ４を使い、処理を
実行する。このときのメモリ配置はリージョンＢとな
る。サブルーチンでの処理は、使えるプロセッサは１台
なので、処理ＤはリージョンＢと同じリージョンＤ４の
中で実行される。

【００４２】次に、タスクリージョンが開放され、処理
Ｃが実行される。この処理Ｃでは、使用可能なプロセッ
サ台数は４台であるので、リージョンＸと同じリージョ
ンＣが割り当てられ、サブルーチンでは、処理Ｄが４台
のプロセッサＰＥ１〜ＰＥ４のリージョンＤ１〜Ｄ４に
て実行される。

【００４３】次に、以上のような処理の場合に作成され
るリージョン制御データについて説明する。図１４はリ
ージョン制御データの例を示す図である。リージョン制
御データは、場合ごとに、リージョングループ、親情
報、兄弟情報、バリアマスク値を保持している。リージ
ョングループは、並列処理を行うプロセッサの仲間を表
している。また、親／兄弟情報とは、割り当てられたリ
ージョンが分割されたときに、分割されたリージョンか
ら見た分割前のリージョンを親、分割されたリージョン
同士を兄弟としている。バリアマスク値は、並列処理を
行う場合のプロセッサ間の同期処理に用いられる情報で
ある。

【００４４】このリージョン制御データにおいて、たと
えば処理Ａのときの場合を見ると、プロセッサ番号１〜
３のプロセッサＰＥ１〜ＰＥ３が指定されているので、
リージョングループは「１２３」、親情報は「Ｘ」、兄
弟情報は「Ｂ」、バリアマスク値は「１１１０」とな
る。また、処理Ａの後に繰り返し実行される処理Ｄにお
いて、最初の処理の場合（Ａ−Ｄ１）には、リージョン
グループは「１」、親情報は「Ａ」、兄弟情報は「Ｄ
２，Ｄ３」、バリアマスク値は「１０００」となる。

【００４５】ここで、リージョンＤに関しては、親／兄
弟のプロセッサグループが異なるので、「レベル２」で
あり、リージョンＡ，Ｂ，Ｘ，Ｃについては、「レベル
３」である。なお、このリージョン制御データの例で
は、実行プロセッサグループが違うと判定される「レベ
ル１」の場合はない。レベル２の場合には、リージョン
制御データの中のバリアマスク値が再利用され、レベル
３の場合には、すべてのデータ項目が再利用される。レ
ベル１およびレベル２の場合、再利用されなかったデー
タ項目は、値の再設定が行われ、データの補完が行われ
る。

【００４６】また、上記の各コンピュータが有すべき並
列実行制御機能の処理内容は、コンピュータで読み取り
可能な記録媒体に記録されたプログラムに記述させてお
くことができる。この並列実行制御プログラムをコンピ
ュータで実行することにより、上記処理がコンピュータ
で実現できる。コンピュータで読み取り可能な記録媒体
としては、磁気記録装置や半導体メモリなどがある。市
場に流通させる場合には、ＣＤ−ＲＯＭ（Compact Disk
Read Only Memory）やフロッピー（登録商標）ディス
クなどの可搬型記録媒体にプログラムを格納して流通さ
せたり、ネットワークを介して接続されたコンピュータ
の記憶装置に格納しておき、ネットワークを通じて他の
コンピュータに転送することもできる。コンピュータで
実行する際には、コンピュータ内のハードディスク装置
などに並列実行制御プログラムを格納しておき、そのプ
ログラムをメインメモリにロードして実行する。

【００４７】

【発明の効果】以上説明したように本発明では、複数回
繰り返し実行される処理の中で、毎回実行される通信デ
ータ作成処理およびリージョン制御データ作成処理にお
いて、これらの処理で作成されたデータを保持してお
き、２回目以降の実行の際に、保持しておいたデータと
実行しようとするデータとの同一性が判定された場合
に、保持しておいたデータを再利用するように構成し
た。このため、作成に時間のかかる通信データ作成処理
およびリージョン制御データ作成処理をなくすことがで
きる。特に、並列処理系においては、通信および並列制
御処理のオーバヘッドの短縮化が全体の性能向上に大き
く寄与する。

【図面の簡単な説明】

【図１】本発明による並列実行制御装置の原理的な構成
を示す図である。

【図２】オブジェクト構成を示す図である。

【図３】実行処理の流れを示す説明図である。

【図４】データ通信を行うときの１回目の処理の流れを
示すフローチャートである。

【図５】ランタイムシステムライブラリが使うメモリ内
領域のデータ構造を示す図である。

【図６】パケット情報の内容例を示す図であって、
（Ａ）は送信プロセッサのメモリ配置例を示し、（Ｂ）
は受信プロセッサのメモリ配置例を示し、（Ｃ）は作成
されるパケット情報の例を示している。

【図７】通信パターン情報への格納処理の流れを示すフ
ローチャートである。

【図８】２回目以降の処理の流れを示すフローチャート
である。

【図９】再利用可能かどうかを判定する再利用判定処理
の流れを示すフローチャートである。

【図１０】リージョンの分割処理の流れを示すフローチ
ャートである。

【図１１】レベル判定の処理の流れを示すフローチャー
トである。

【図１２】プログラムの例を示す図である。

【図１３】プログラム実行時の処理分割範囲を示す説明
図である。

【図１４】リージョン制御データの例を示す図である。

【図１５】共有メモリシステムの構成を示す図である。

【図１６】分散メモリシステムの構成を示す図である。

【符号の説明】

１１ データ格納手段 １１ａ 通信パターン情報 １１ｂ リージョン制御データ １２ 通信パターン比較判別手段 １３ 通信パターン情報作成手段 １４ 格納情報取出手段 １５ リージョン制御データ有無判定手段 １６ レベル判定処理手段 １７ データ再利用処理手段 ２０ ランタイムシステムライブラリ ２１ パケット格納域 ２２ 再利用制御域 ２３ リージョン制御データ域 ２５ ユーザオブジェクトプログラム ２６ 他のライブラリ ３１ メインプログラム ３２ サブルーチンプログラム

Claims (8)

【特許請求の範囲】
1. 【請求項１】 複数のプロセッサと結合して並列処理を
   実行する並列実行制御装置において、 データ通信時に通信相手に送信する通信データの通信パ
   ターン情報を作成する通信パターン情報作成手段と、 前記通信パターン情報作成手段によって作成された通信
   パターン情報を保持するデータ格納手段と、 通信データ作成要求に応じて現在実行しようとしている
   通信パターンと前記データ格納手段に格納されている前
   記通信パターン情報とを比較してすべての要素が同じで
   あるかどうかを判別する通信パターン比較判別手段と、 前記通信パターン比較判別手段により通信パターンの同
   一性が判別されたときに前記データ格納手段に格納され
   ている前記通信パターン情報を取り出す格納情報取出手
   段と、 を備えていることを特徴とする並列実行制御装置。
2. 【請求項２】 前記通信パターン情報は、受信先プロセ
   ッサ番号、送信要素数、送信アドレス、受信アドレスを
   含む実際に送信されるパケット情報を含んでいることを
   特徴とする請求項１記載の並列実行制御装置。
3. 【請求項３】 前記通信パターン情報は、実際に送信さ
   れるパケット情報を簡略化した判別用情報を含み、前記
   通信パターン比較判別手段による比較を前記判別用情報
   で行い、判別用情報の同一性が判別されたときには、前
   記格納情報取出手段は前記実際に送信されるパケット情
   報を取り出すようにしたことを特徴とする請求項２記載
   の並列実行制御装置。
4. 【請求項４】 複数のプロセッサと結合して並列処理を
   実行する並列実行制御装置において、 リージョン分割処理の際に作成されたリージョン制御デ
   ータを保持するデータ格納手段と、 リージョン制御データ作成要求に応じて前記データ格納
   手段における前記リージョン制御データの有無を判定す
   るリージョン制御データ有無判定手段と、 現リージョンの状態と前記データ格納手段に格納されて
   いるリージョン制御データとを比較して再利用できるデ
   ータ項目の範囲に応じたレベル分けを行うレベル判定処
   理手段と、 前記レベル判定処理手段で判定されたレベルに応じて前
   記リージョン制御データの全部または一部を再利用する
   処理を行うデータ再利用処理手段と、 を備えていることを特徴とする並列実行制御装置。
5. 【請求項５】 前記レベル判定処理手段は、再利用可能
   なデータ項目がない場合、データ項目の一部だけ再利用
   が可能な場合、すべてのデータ項目が再利用可能な場合
   の３段階にレベル分けするようにしたことを特徴とする
   請求項４記載の並列実行制御装置。
6. 【請求項６】 前記データ再利用処理手段は、前記レベ
   ル判定処理手段により再利用可能なデータ項目がないま
   たは一部だけと判別された場合、再利用されなかったデ
   ータ項目を再設定してデータを補完することを特徴とす
   る請求項５記載の並列実行制御装置。
7. 【請求項７】 データ通信時に通信相手に送信する通信
   データの通信パターン情報を作成する通信パターン情報
   作成手段と、前記通信パターン情報作成手段によって作
   成された通信パターン情報をデータ格納手段に保持する
   データ保持手段と、通信データ作成要求に応じて現在実
   行しようとしている通信パターンと前記データ格納手段
   に格納されている前記通信パターン情報とを比較してす
   べての要素が同じであるかどうかを判別する通信パター
   ン比較判別手段と、前記通信パターン比較判別手段によ
   り通信パターンの同一性が判別されたときに前記データ
   格納手段に格納されている前記通信パターン情報を取り
   出す格納情報取出手段とを有する並列実行制御プログラ
   ムを記録したコンピュータ読み取り可能な記録媒体。
8. 【請求項８】 リージョン制御データ作成要求に応じて
   リージョン分割処理の際に作成されて前記データ格納手
   段に保持されているリージョン制御データの有無を判定
   するリージョン制御データ有無判定手段と、現リージョ
   ンの状態と前記データ格納手段に格納されているリージ
   ョン制御データとを比較して再利用できるデータ項目の
   範囲に応じたレベル分けを行うレベル判定処理手段と、
   前記レベル判定処理手段で判定されたレベルに応じて前
   記リージョン制御データの全部または一部を再利用する
   処理を行うデータ再利用処理手段とを有する並列実行制
   御プログラムを記録したコンピュータ読み取り可能な記
   録媒体。