JP2001101145A

JP2001101145A - 分散メモリ型並列計算機におけるデータ転送方式

Info

Publication number: JP2001101145A
Application number: JP27390399A
Authority: JP
Inventors: Katsunori Takayama; 勝典高山
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1999-09-28
Filing date: 1999-09-28
Publication date: 2001-04-13
Also published as: US6745233B1

Abstract

(57)【要約】【課題】複数のプロセスに対し重複割付けされた変数
(重複割付変数)が存在し、その複数のプロセスのうち任
意のプロセスが重複割付変数にデータを代入する場合に
必要となるプロセス間のデータ転送処理を高速化するこ
と。【解決手段】通信ネットワークにより接続された複数の
処理装置により複数のプロセスを実行する分散メモリ型
並列計算機においては、複数のプロセスのうちの少なく
とも１のプロセスを実行する各処理装置が、複数のプロ
セスに対し重複割付けされた変数に当該プロセスがデー
タを代入する場合に、代入されるデータの各プロセスへ
のデータ転送をスケジューリングするスケジューラと、
スケジューラに従って、通信ネットワークを介するデー
タ転送を行うデータ転送手段とを有する。適切なスケジ
ューリングによりデータ転送が高速化される。また自プ
ロセスへも通信ネットワークを介するデータ転送にて代
入処理を行っても良い。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、分散メモリ型並列
計算機であって、より詳しくは分散メモリ型並列計算機
により実行されるプロセス間のデータ転送技術に関す
る。

【０００２】

【従来の技術】大量のデータを取り扱うフォートラン
（Ｆｏｒｔｒａｎ）等のプログラムを高速に実行するた
め、メモリとＣＰＵ（Central Processing Unit）で構
成される複数のプロセッサ・エレメントを通信ネットワ
ークで接続した分散メモリ型並列計算機が使用される。

【０００３】

【発明が解決しようとする課題】分散メモリ型並列計算
機は、複数のプロセスを並列に実行することができる。
しかし、複数のプロセスは独立に処理されるわけではな
い。例えば、複数のプロセスに対し重複割付けされた変
数（以下重複割付変数と呼ぶ。）が存在し、その複数の
プロセスのうち任意のプロセスが重複割付変数にデータ
を代入する場合には、全プロセスの重複割付変数のデー
タを同一化させる必要がある。この全プロセスへの同一
化を行うためにプロセス間のデータ転送処理を行わなけ
ればならない。

【０００４】本発明は、重複割付変数へデータの代入が
行われる場合に必要となるプロセス間のデータ転送処理
を高速化することを目的とする。

【０００５】

【課題を解決するための手段】本発明の第１の態様に係
る、通信ネットワークにより接続された複数の処理装置
により複数のプロセスを実行する分散メモリ型並列計算
機においては、複数のプロセスのうちの少なくとも１の
プロセスを実行する各処理装置が、複数のプロセスに対
し重複割付けされた変数に当該プロセスがデータを代入
する場合に、代入されるデータの各プロセスへのデータ
転送をスケジューリングするスケジューラと、スケジュ
ーラに従って、通信ネットワークを介するデータ転送を
行うデータ転送手段とを有する。適切なスケジューリン
グによりデータ転送が高速化される。

【０００６】上で述べたデータ転送手段を、あるプロセ
スによるデータの代入処理として、代入されるデータ
を、通信ネットワークを介して当該プロセス自身に送信
するような構成とすることも可能である。重複割付けさ
れた変数が高次元配列変数の場合にはデータのアドレス
並びが複雑になる場合が多いので、メモリ転送でなく通
信ネットワークを介してのデータ転送が効率的である。
なお、データ転送手段を例えばパケット転送を行うもの
とすることが可能である。

【０００７】上で述べた各処理装置を、データ転送手段
が各プロセスへのデータ転送時に共通して用いる、デー
タ転送に関する情報を生成する生成手段をさらに有する
ような構成とすることも可能である。重複割付けされた
変数は、各プロセスで同じ構造を有しているという性質
を利用して、データ転送に関する情報を全プロセスへの
データ転送に利用するものである。

【０００８】なお、データ転送に関する情報を、代入さ
れるデータのベース・アドレス及びアドレス並び情報と
を含むようにすることも可能である。これにより各プロ
セスに転送されるデータを簡単に読み出すことができる
ようになる。また、送信先プロセスにおけるベース・ア
ドレス及びアドレス並び情報をさらに含むようにするこ
とも可能である。これにより、送信先プロセスでデータ
の格納を簡単に行うことができるようになる。アドレス
並び情報とは、例えば、配列要素間の移動距離（又はア
クセス長とも言う）と繰り返し回数（各次元の配列要素
数）を含む。

【０００９】また上で述べたスケジューラを、当該プロ
セスによるデータの代入処理として行われるデータ転送
をもスケジューリングするように構成することも可能で
ある。自プロセスへのデータ転送も、通信ネットワーク
を介したデータ転送にて行う場合には有効である。

【００１０】さらに上で述べたスケジューラを、複数の
プロセスに対し重複割付けされた変数にデータを代入す
る代入プロセスが複数存在する場合に、各代入プロセス
の送信先プロセスが重複しないようにスケジューリング
する構成とすることも可能である。送信先プロセスが重
複するとデータ転送処理が逐次化されるため非効率的
で、データ転送が全体として低速化するためである。

【００１１】例えば、複数のプロセスの各々に識別番号
を付し、上で述べたスケジューラを、代入プロセスの識
別番号に基づき、複数のプロセスの識別番号の昇順又は
降順にて送信先プロセスを決定するように構成すれば、
送信先プロセスが重複せず、データ転送が高速化され
る。

【００１２】本発明の第２の態様に係る、通信ネットワ
ークにより接続された複数の処理装置により複数のプロ
セスを実行する分散メモリ型並列計算機のためのプログ
ラムは、複数のプロセスのうち少なくとも１のプロセス
を実行する各処理装置に、複数のプロセスに対し重複割
付けされた変数に、当該プロセスがデータを代入する場
合に、代入されるデータの各プロセスへのデータ転送を
スケジューリングするステップと、当該スケジューリン
グに従って、通信ネットワークを介するデータ転送を行
うよう命令するステップとを含む。

【００１３】この分散メモリ型並列計算機のためのプロ
グラムに対しては、本発明の第１の態様に係る変形を適
用することができる。また、本プログラムは、例えばフ
ロッピー・ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、
半導体メモリ、ハードディスク等の記憶媒体又は記憶装
置に格納される。

【００１４】

【発明の実施の形態】図１に分散メモリ型並列計算機１
００の一例を示す。分散メモリ型並列計算機１００にお
いては、プロセッサ・エレメント３ａ、プロセッサ・エ
レメント３ｂ、プロセッサ・エレメント３ｃが通信ネッ
トワーク１を介して接続されている。ここでは３つのプ
ロセッサ・エレメントのみを示されているが、これ以上
のプロセッサ・エレメントが接続されるような構成も可
能であるし、プロセッサ・エレメントが２個という構成
も可能である。各プロセッサ・エレメント３内には、通
信ネットワークを介しての通信を行う通信制御部３１
と、通信制御部３１に接続されたメモリ３３およびＣＰ
Ｕ３５が含まれる。図１では、プロセッサ・エレメント
３ａ内の各構成要素にはａを、プロセッサ・エレメント
３ｂ内の各構成要素にはｂを、プロセッサ・エレメント
３ｃ内の各構成要素にはｃを付している。よって、プロ
セッサ・エレメント３ａ内には、通信制御部３１ａ、メ
モリ３３ａ、ＣＰＵ３５ａが含まれている。プロセッサ
・エレメント３ｂ内には、通信制御部３１ｂ、メモリ３
３ｂ、ＣＰＵ３５ｂが含まれている。また、プロセッサ
・エレメント３ｃ内には、通信制御部３１ｃ、メモリ３
３ｃ、ＣＰＵ３５ｃが含まれている。

【００１５】このように分散メモリ型並列計算機１００
の各プロセッサ・エレメント３にはメモリ３３が含まれ
ており、各プロセッサ・エレメント３内のＣＰＵ３５は
メモリ３３を用いて別個の処理を実施することができ
る。なお、典型的な例としては、各プロセスは１つのプ
ロセッサ・エレメントで実行されるが、１つのプロセッ
サ・エレメントが複数のプロセスを実行する場合もあ
る。

【００１６】通信制御部３１は、例えば、関連を有する
複数のプロセスに対し重複割付けされた変数（重複割付
変数）が存在し、関連を有する複数のプロセスのうち任
意のプロセスが重複割付変数にデータを代入する場合
に、関連を有する全プロセスのその重複割付変数のデー
タを同一化させるためのデータ転送処理に使用される。
但し、通信制御部３１はこのような場合のみ使用される
ものではなく、例えば各プロセッサ・エレメント３の計
算結果を集計するため等にも使用される。

【００１７】分散メモリ型並列計算機１００では高次元
の配列演算等を実施する場合が多く、プロセッサ・エレ
メント３の間の通信でも、高次元の行列内の一部分のデ
ータを転送するといったことが生ずる。この配列内の一
部分のデータはメモリ３３上では分散配置されており、
この分散配置されたデータを高速に転送することが必要
となる。本通信制御部３１は、分散配置されたデータを
高速に転送することができるような構成となっている。

【００１８】例えば、送信元のプロセッサ・エレメント
３内のＣＰＵ３５が、メモリ３３に、送信先プロセッサ
・エレメント名（又は送信先プロセス名）、転送サイ
ズ、送信元ベース・アドレス、送信元アドレス並び（読
み出すべきデータがどのような順番で並んでいるかのデ
ータ）、送信先ベース・アドレス、及び送信先アドレス
並び（どのような順番でデータを書き込むかのデータ）
を通信情報として書き込んだ場合に、送信側の通信制御
部３１は、送信元ベース・アドレスから、送信元アドレ
ス並びに従って、送信すべきデータを読み出し、送信先
プロセッサ・エレメント名、転送サイズ、送信先ベース
・アドレス及び送信先アドレス並びをヘッダとするパケ
ットを作成する。そして、送信元の通信制御部３１は、
このパケットを、通信ネットワーク１を介して送信先プ
ロセッサ・エレメントに送信する。

【００１９】受信側のプロセッサ・エレメント３内の通
信制御部３１は、パケットを受信すると、パケットのヘ
ッダに示された送信先ベース・アドレスから、送信先ア
ドレス並びに従って、受信したデータを、受信側のメモ
リ３３に書き込む。これにて、プロセッサ・エレメント
３の間の通信は、例え転送すべきデータがメモリ上で分
散配置されていても高速に行われる。また、異なるプロ
セッサ・エレメント間の通信だけでなく、自プロセッサ
・エレメント宛てにパケットを送信することもできる。
なお、ここで述べた処理については特開平４−１６７１
９１号公報に詳細に述べられている。

【００２０】では次に、複数のプロセスに対し重複割付
された変数にデータを代入する処理について説明する。
ここでは説明を簡単にするため、プロセッサ・エレメン
トは２つしかなく、各プロセッサ・エレメントでは１つ
のプロセスが実行されていることとする。すなわち、プ
ロセッサ・エレメント０ではプロセス０が、プロセッサ
・エレメント１ではプロセス１が実行されている。ま
た、重複割付変数は変数ｂであり、変数ｂはプロセス０
及び１に分散割付されている変数ａからデータが代入さ
れるものとする。分散割付けとは、各プロセスにデータ
を分散させて処理していることを表す。

【００２１】図２に変数ａの分散割付けされたデータを
模式的に示す。ここで変数ａは、縦が８（ｋ＝１からｋ
＝８）、横が８（ｊ＝１からｊ＝８）、高さが８（ｉ＝
１からｉ＝８）の３次元配列である。この変数ａはプロ
セス０とプロセス１に対し高さ方向で分散割付されてお
り、プロセス０には高さ１から４までの部分（ｉ＝１か
らｉ＝４）が、プロセス１には高さ５から８までの部分
（ｉ＝５からｉ＝８）が、それぞれ割付けられている。
図２中、実線で描いた直方体部分がそのプロセスに割付
けられたデータの部分を示している。プロセス０につい
ては変数ａの上半分が割付けられており、プロセス１に
ついては変数ａの下半分が割付けられているのが分か
る。

【００２２】一方、図３に重複割付けされた変数ｂのデ
ータを模式的に示す。ここで変数ｂは、縦が８（ｋ＝１
からｋ＝８）、横が８（ｊ＝１からｊ＝８）、高さが８
（ｉ＝１からｉ＝８）の３次元配列である。図３中、プ
ロセス０についての変数ｂのデータとプロセス１につい
ての変数ｂのデータは同じ形をしている。重複割付けさ
れているということは、各プロセスに同じデータ構造の
データが存在しており、データの内容も一致しているこ
とを意味している。

【００２３】このような前提の下、重複割付変数ｂへ変
数ａのデータを代入するプログラム（ＨＰＦ：High Per
formance Fortran（ハイパフォーマンス・フォートラ
ン）のプログラム）の例を以下に示す。なお、左端の行
番号は、実施例の説明のためだけに付したものである。

【表１】 01 Program main 02 !hpf$ processors p(2) 03 integer, dimension(8,8,8):: a,b 04 !hpf$ template t(8,8,8) 05 !hpf$ distribute t(block,*,*) onto p 06 !hpf$ align a(i,j,k) with t(i,j,k) 07 !hpf$ asyncid id 08 !hpf$ asynchronous (id) 09 forall (i=1:8:2,j=1:8:1,k=2:8:2) b(i,j,k)=a(i,j,k) 10 !hpf$ asyncwait(id) 11 end

【００２４】第０１行は、プログラムの始まりを示して
いる。第０２行では、プロセッサｐを２つ定義してい
る。第０３行では、整数の８×８×８の配列変数ａ及び
ｂを定義している。第０４行では、８×８×８のテンプ
レートｔを定義している。第０５行は、テンプレートｔ
の一次元目の要素をブロックでプロセッサｐに分散させ
ることを示している。プロセッサｐはここでは２つであ
るから、８（テンプレートｔの一次元目の要素数）／２
＝４個ずつに分散させる。第０６行は、２つのプロセッ
サｐに分散させたテンプレートｔの定義を配列変数ａに
適用することを示している。ここで図２のように変数ａ
はプロセッサ・エレメント０（プロセス０）とプロセッ
サ・エレメント１（プロセス１）に分散割付けされる。
第０７行では、非同期転送のための識別子ＩＤを取得す
る。そして、この識別子ＩＤによる非同期転送が、第０
８行と第１０行の間の処理で行われる。第１０行はプロ
セッサ・エレメント間のこのデータ転送をこの段階で保
証することを示している。第０９行は、b(i,j,k)=a(i,
j,k)の繰り返しを示している。なお、ｉについて１から
８まで２ずつ加算、ｊについては１から８まで１ずつ加
算、ｋについては２から８まで２ずつ加算する。第１１
行は、プログラムの終了を示している。このようなプロ
グラムは、各プロセス０及び１で実行される。

【００２５】ここで変数ａのプロセス０に割付けられて
いる部分のうち、上のプログラムの第０９行の代入処理
で用いられる配列要素を図４に示す。図４は図２の左側
に示した実線の直方体をｉｊ平面に平行に切り、ｋ毎に
並べたものである。白丸は代入処理で用いられない要
素、黒丸は代入処理で用いられる要素を表す。各ｋ毎に
（ｉ＝）４×（ｊ＝）８＝３２個のデータがあり、縦方
向がｉ＝１からｉ＝４まで変化し、横方向がｊ＝１から
ｊ＝８まで変化する。

【００２６】代入処理に用いられるのは、ｋについては
２から８まで２つおきであるから、ｋ＝１，ｋ＝３、ｋ
＝５、ｋ＝７については全く用いられない。よって白丸
のみである。一方、ｋ＝２，ｋ＝４、ｋ＝６及びｋ＝８
の場合には、ｉについては１から８まで２つおきであり
且つｊについては１から８まで１つずつであるから、ｉ
＝１とｉ＝３の行は全て黒丸になる。

【００２７】また変数ａのプロセス１に割付けられてい
る部分のうち、上のプログラムの第０９行の代入処理で
用いられる配列要素を図５に示す。図５は図４と同じよ
うに図２の右側に示した実線の直方体をｉｊ平面に平行
に切り、ｋ毎に並べたものである。各ｋ毎に（ｉ＝）４
×（ｊ＝）８＝３２個のデータがあり、縦方向がｉ＝５
からｉ＝８まで変化し、横方向がｊ＝１からｊ＝８まで
変化する。

【００２８】代入処理に用いられるのは、ｋについては
２から８まで２つおきであるから、ｋ＝１，ｋ＝３、ｋ
＝５、ｋ＝７については全く用いられない。よって白丸
のみである。一方、ｋ＝２，ｋ＝４、ｋ＝６及びｋ＝８
の場合には、ｉについては１から８まで２つおきであり
且つｊについては１から８まで１つずつであるから、ｉ
＝５とｉ＝７の行は全て黒丸になる。

【００２９】プロセス０において処理される変数ｂの配
列要素のうち、上のプログラムの第０９行の代入処理で
代入される配列要素を図６に示す。図６は図３の左側に
示した立方体をｉｊ平面に平行に切り、ｋ毎に並べたも
のである。白丸は代入されない要素、黒丸は代入される
要素を表す。各ｋ毎に（ｉ＝）８×（ｊ＝）８＝６４個
のデータがあり、縦方向がｉ＝１からｉ＝８まで変化
し、横方向がｊ＝１からｊ＝８まで変化する。

【００３０】代入されるのは、ｋについては２から８ま
で２つおきであるから、ｋ＝１，ｋ＝３、ｋ＝５、ｋ＝
７については全く用いられない。よって白丸のみであ
る。一方、ｋ＝２，ｋ＝４、ｋ＝６及びｋ＝８の場合に
は、図４に示したようにｉ＝１及びｉ＝３について全て
のｊであるから、ｉ＝１及びｉ＝３の行は全て黒丸にな
る。

【００３１】プロセス１において処理される変数ｂの配
列要素のうち、上のプログラムの第０９行の代入処理で
代入される配列要素を図７に示す。図７は図３の右側に
示した立方体をｉｊ平面に平行に切り、ｋ毎に並べたも
のである。各ｋ毎に（ｉ＝）８×（ｊ＝）８＝６４個の
データがあり、縦方向がｉ＝１からｉ＝８まで変化し、
横方向がｊ＝１からｊ＝８まで変化する。

【００３２】代入されるのは、ｋについては２から８ま
で２つおきであるから、ｋ＝１，ｋ＝３、ｋ＝５、ｋ＝
７については全く用いられない。よって白丸のみであ
る。一方、ｋ＝２，ｋ＝４、ｋ＝６及びｋ＝８の場合に
は、図５に示したようにｉ＝５及びｉ＝７について全て
のｊであるから、ｉ＝５及びｉ＝７の行は全て黒丸にな
る。

【００３３】ここで図８を用いて上で述べたプログラム
の第０９行の変数ａから変数ｂへの代入処理をまとめて
おく。プロセス０に割付けられた変数ａの部分は図８左
上に実線で示したように、ｉ＝１からｉ＝４までの部分
である（ｊｋについては全て）。この部分をプロセス０
において処理される変数ｂに代入する。変数ｂについて
はｉｊのみを示している。一方、プロセス１に割付けら
れた変数ａの部分は図８右上に実線で示したように、ｉ
＝５からｉ＝８までの部分である（ｊｋについては全
て）。この部分をプロセス１において処理される変数ｂ
に代入する。この変数ｂについてもｉｊのみを示してい
る。但し、変数ｂは重複割付変数であるから、プロセス
０の変数ｂとプロセス１の変数ｂを同一化しなければな
らない。

【００３４】同じプロセス内の代入処理については、同
じプロセッサ・エレメント内の処理であるから、メモリ
転送を行えば代入処理を実施することができる。しか
し、図４乃至図７で示したように、代入処理のために読
み出されるデータと、書き込み先は、メモリ上分散して
しまっている。よって、ブロック化された連続メモリ領
域を高速に処理できるベクトルメモリ転送等を使用する
と、ブロック毎に転送を行うことになり転送効率が悪く
なる。

【００３５】一方、プロセス０の変数ｂとプロセス１の
変数ｂの同一化のためには、物理的に分離している他の
プロセスのメモリ空間へ、通信ネットワークを介してデ
ータ転送を行わなければならない。

【００３６】よって本発明では、図９に模式的に示した
ように、プロセス０に割付けられた変数ａの部分のプロ
セス０の変数ｂへの代入処理、及びプロセス１に割付け
られた変数ａの部分のプロセス１の変数ｂへの代入処理
についても通信ネットワークを介したデータ転送とす
る。先に述べたような通信制御部３１があれば、メモリ
上分散配置されたデータをも高速に転送することができ
るのでデータ転送の効率化が図られる。図９に示した変
数ａは各斜線部分が各プロセスに割付けられた部分であ
って、プロセス０についてはｉ＝１からｉ＝４まで（ｊ
ｋについては全て）、プロセス１についてはｉ＝５から
ｉ＝８まで（ｊｋについては全て）である。なお、変数
ｂについてはｉｊのみを示している。

【００３７】一方、同一化のためのプロセス間のデータ
転送は、同じく上で述べたような通信制御部３１を用い
れば高速にデータを転送することができる。図９に示し
たように、プロセス０に割付けられた変数ａのうち代入
処理に用いられるデータをプロセス１の変数ｂにデータ
転送し、プロセス１に割付けられた変数ａのうち代入処
理に用いられるデータをプロセス０の変数ｂにデータ転
送する。すなわち、たすきがけのようにデータ転送が行
われる。図１０にデータ転送後の変数ａ及び変数ｂのデ
ータの様子を模式的に示す。プロセス０に割付けられた
変数ａの部分を表す斜線がプロセス０及び１の変数ｂの
上半分にコピーされており、同様にプロセス１に割付け
られた変数ａの部分を表す斜線がプロセス０及び１の変
数ｂの下半分にコピーされていることが分かる。これに
より、代入処理及び同一化処理が完了する。

【００３８】但し、プロセス０に割付けられた変数ａの
部分のうち代入処理に用いられるデータと、プロセス１
へデータ転送されるデータは同じである。また、プロセ
ス１に割付けられた変数ａの部分のうち代入処理に用い
られるデータと、プロセス０へデータ転送されるデータ
は同じである。特に上で述べたように本発明では代入処
理でも自プロセスへのデータ転送とするため、各プロセ
スが用意すべきデータ転送用データは、全ての宛先に対
して共用が可能になる。

【００３９】なお、上で述べたプログラムではプロセッ
サ・エレメントは２つしかなかった。この場合には、通
信ネットワークを介してのデータ転送において、送信先
の衝突が生じてもたいした影響は無い。しかし、実際に
は多数のプロセッサ・エレメントに多数のプロセスが実
行されているわけであるから、任意プロセスへのデータ
転送が集中するおそれがある。このような場合には、デ
ータ転送処理が逐次化されて効率が悪い。これは１デー
タ転送あたりのデータ量が多いほど、効率の悪さが顕著
になる。

【００４０】そこで、例えば上で述べたプログラムの第
０９行のような処理が実施される場合には、図１１のよ
うな処理を各プロセスにて実施する。

【００４１】まず最初に送信元のデータ転送範囲を計算
する（ステップＳ１０３）。この送信元のデータ転送範
囲は、第０９行の繰り返しの範囲（上で述べたプログラ
ムでは「i=1:8:2,j=1:8:1,k=2:8:2」）、変数ａの各プ
ロセスに割付けられた部分、及び代入文（b(i,j,k)=a
(i,j,k)）から計算することができる。なお、代入文b
(i,j,k)=a(i,j,k)を見ると取り出される変数ａ内の要素
位置と代入される変数ｂ内の要素位置は同じであるか
ら、この例では代入文からの影響は無い。よって、プロ
セス０については、変数ａ(i,j,k)のｉ＝１からｉ＝３
まで１つおき、ｊ＝１からｊ＝８まで１つずつ、ｋ＝２
からｋ＝８の１つおきである。［i=1:3:2,j=1:8:1,k=2:
8:2］と表現できる。プロセス１については、変数ａ(i,
j,k)のｉ＝５からｉ＝７まで１つおき、ｊ＝１からｊ＝
８まで１つずつ、ｋ＝２からｋ＝８まで１つおきであ
る。［i=5:7:2,j=1:8:1,k=2:8:2］と表現できる。これ
らは図４及び図５に示したものと同じである。

【００４２】次に、受信先のデータ転送範囲を計算する
（ステップＳ１０５）。受信先のデータ転送範囲は、代
入文（上で述べたプログラムの場合b(i,j,k)=a(i,j,
k)）及び送信元のデータ転送範囲から計算することがで
きる。代入文b(i,j,k)=a(i,j,k)を見ると、取り出され
る変数ａ内の要素位置と代入される変数ｂ内の要素位置
は同じであるから、この例では代入文からの影響は無
い。よって送信元のデータ転送範囲と同じになる。すな
わち、プロセス０については、変数ａ(i,j,k)のｉ＝１
からｉ＝３まで１つおき、ｊ＝１からｊ＝８まで１つず
つ、ｋ＝２からｋ＝８の１つおきである。［i=1:3:2,j=
1:8:1,k=2:8:2］と表現できる。プロセス１について
は、変数ａ(i,j,k)のｉ＝５からｉ＝７まで１つおき、
ｊ＝１からｊ＝８まで１つずつ、ｋ＝２からｋ＝８まで
１つおきである。［i=5:7:2,j=1:8:1,k=2:8:2］と表現
できる。これらは図６及び図７に示したものと同じであ
る。

【００４３】そして送信元データ転送範囲をアドレス並
びに変換する（ステップＳ１０９）。図４及び図５は配
列内の各要素を３次元配列であることが分かりやすくな
るように模式的に示したものである。実際にデータ転送
を行う場合には、配列の各要素を一次元に並べて、その
一次元の列の中でどの要素を読み出して転送するかとい
うデータが必要になる。これがアドレス並びの情報であ
る。

【００４４】図１２に変数ａのアドレス並びを説明する
ための図を示す。この図１２は、図４において、ｊ＝１
及びｋ＝１とした時に、ｉ＝１からｉ＝４までを読み出
し、ｊ＝２及びｋ＝１とした時に、ｉ＝１からｉ＝４ま
でを読み出し、ｊ＝３及びｋ＝１とした時に、ｉ＝１か
らｉ＝４までを読み出し、といった処理をｊ＝１から８
まで、ｋ＝１からｋ＝８まで繰り返した時の図である。
また図１２は、図５において、ｊ＝１及びｋ＝１とした
時に、ｉ＝５からｉ＝８までを読み出し、ｊ＝２及びｋ
＝１とした時に、ｉ＝５からｉ＝８までを読み出し、ｊ
＝３及びｋ＝１とした時に、ｉ＝５からｉ＝８までを読
み出し、といった処理をｊ＝１からｊ＝８まで、ｋ＝１
からｋ＝８まで繰り返した時の図でもある。図４と図５
とは、白丸及び黒丸の配置については同じなので、図１
２でも白丸と黒丸の関係はプロセス０とプロセス１でも
同じである。

【００４５】図１２の左端に縦に並んだ数字はｋの値を
示す。この数字の右及び図１２の右端に示されている矢
印は、データが次の行へ連続していることを表すための
ものである。図４及び図５でも分かるように、ｋの値が
奇数の場合には全て白丸となっている。一方、ｋの値が
偶数の場合には、黒丸及び白丸が交互に現れる。上で述
べたように、ｉが１から４まで又は５から８まで４つ変
化するとｊの値が変化する。ｊの値が変化するまでに、
黒丸は一つおきに２回現れる。よって、１次元目（ｉ）
の移動距離は２（図１２の＊１）で、繰り返し回数は２
となる。また、ｊの値が変化した後の最初の黒丸と、ｊ
の値が変化する前の最後の黒丸との距離が２次元目
（ｊ）の移動距離となる。ここでは図１２の＊２で示し
たように、２次元目（ｊ）の移動距離は２となる。また
●○●○の繰り返しはｋが変化するまでに８回生じるの
で、２次元目（ｊ）の繰り返し回数は８となる。さら
に、ｋの値が変化した後の最初の黒丸と、ｋの値が変化
する前の最後の黒丸との距離が３次元目（ｋ）の移動距
離となる。ここではｋ＝２の列の最後の黒丸からｋ＝４
の最初の黒丸までに示したように、移動距離は３４とな
る。ｋ＝２からｋ＝８まで黒丸のある行とない行は４回
繰り返されるので、３次元目（ｋ）の繰り返し回数は４
である。

【００４６】このように本例においてアドレス並びの情
報としては、一次元目（ｉ）の移動距離２及び繰り返し
回数２、二次元目（ｊ）の移動距離２及び繰り返し回数
８、三次元目（ｋ）の移動距離３４及び繰り返し回数４
が得られる。そして最初の黒丸のアドレスが、ベース・
アドレスとなる。このベース・アドレスとアドレス並び
の情報を得られれば、一次元に並べられた配列の要素の
うち、読み出すべき黒丸のアドレスを簡単に得ることが
できる。

【００４７】では図１１に戻ると、次に受信先データ転
送範囲をアドレス並びに変換する（ステップＳ１０
９）。受信先アドレス並びの情報は、受け取ったデータ
を、一次元に並べられた、配列の要素のどの位置に書き
込むかということが簡単に分かるようにするための情報
である。

【００４８】プロセス０が受信側プロセスとなる場合に
おける変数ｂのアドレス並びを図１３を用いて説明す
る。この図１３は、図６においてｊ＝１及びｋ＝１とし
てｉ＝１からｉ＝８までを並べ、ｊ＝２及びｋ＝１とし
てｉ＝１からｉ＝８までを並べ、ｊ＝３及びｋ＝１とし
てｉ＝１からｉ＝８までを並べ、といった処理をｊ＝１
からｊ＝８まで、ｋ＝１からｋ＝８まで繰り返した場合
の図である。

【００４９】図１３において左端に縦に並んだ英数文字
は、各行においてどの範囲の配列の要素が示されている
かを表す。例えば、第１行目のｊ＝１−４，ｋ＝１は、
ｊ＝１からｊ＝４まででｋ＝１の範囲であることを示し
ている。また、第２行目のｊ＝５−８，ｋ＝１は、ｊ＝
５からｊ＝８まででｋ＝１の範囲であることを示してい
る。各行ｉについてはｉ＝１からｉ＝８まで全て含まれ
ている。この英数文字の右及び図１３の右端の矢印は、
データが各行で連続していることを示している。

【００５０】図６に示したようにｋが奇数の場合には白
丸のみである。図１３においてｋは２行おきに変化する
ので、２行白丸のみの行が連続する。図１３の第３行目
に示したように、ｉ＝１からｉ＝８まででｉ＝１及びｉ
＝３の場合に黒丸が現れる。このｉ＝１とｉ＝３の距離
が、一次元目（ｉ）の移動距離であり、図１３の＊１で
示すように移動距離２であることがわかる。また、ｊが
変化するまでに黒丸は２回しか現れないので、一次元目
（ｉ）の繰り返し回数は２である。ｊが変化した後の最
初の黒丸とｊが変化する前の最後の黒丸の距離が、二次
元目（ｊ）の移動距離であり、図１３の＊２に示すよう
に移動距離６であることが分かる。●○●○○○○○の
繰り返し回数はｋが変化するまで（図１３の２行の間）
に８回あるので、二次元目（ｊ）の繰り返し回数は８で
ある。さらに、ｋが変化した後の最初の黒丸からｋが変
化する前の最後の黒丸までの距離が三次元目（ｋ）の移
動距離で、ここでは７０であることが分かる。この黒丸
が存在する行は４回同じように繰り返すので、三次元目
（ｋ）の繰り返し回数は４である。

【００５１】このように本例においてアドレス並びの情
報としては、一次元目（ｉ）の移動距離２及び繰り返し
回数２、二次元目（ｊ）の移動距離６及び繰り返し回数
８、三次元目（ｋ）の移動距離７０及び繰り返し回数４
が得られる。そして最初の黒丸のアドレスが、ベース・
アドレスとなる。このベース・アドレスとアドレス並び
の情報を得られれば、一次元に並べられた配列の要素の
うち、書き込むべき黒丸のアドレスを簡単に得ることが
できる。

【００５２】プロセス１が受信側プロセスとなる場合に
おける変数ｂのアドレス並びを図１４を用いて説明す
る。この図１４は、図７においてｊ＝１及びｋ＝１とし
てｉ＝１からｉ＝８までを並べ、ｊ＝２及びｋ＝１とし
てｉ＝１からｉ＝８までを並べ、ｊ＝３及びｋ＝１とし
てｉ＝１からｉ＝８までを並べ、といった処理をｊ＝１
からｊ＝８まで、ｋ＝１からｋ＝８まで繰り返した場合
の図である。図１４における表記法は図１３と同じであ
る。

【００５３】図７に示したようにｋが奇数の場合には白
丸のみである。図１４においてｋは２行おきに変化する
ので、２行白丸のみの行が連続する。図１４の第３行目
に示したように、ｉ＝１からｉ＝８まででｉ＝５及びｉ
＝７の場合に黒丸が現れる。このｉ＝５とｉ＝７の距離
が、一次元目（ｉ）の移動距離であり、図１４の＊１で
示すように移動距離２であることがわかる。また、ｊが
変化するまでに黒丸は２回しか現れないので、一次元目
（ｉ）の繰り返し回数は２である。ｊが変化した後の最
初の黒丸とｊが変化する前の最後の黒丸の距離が、二次
元目（ｊ）の移動距離であり、図１４の＊２に示すよう
に移動距離６であることが分かる。○○○○●○●○の
繰り返し回数はｋが変化するまで（図１４の２行の間）
に８回あるので、二次元目（ｊ）の繰り返し回数は８で
ある。さらに、ｋが変化した後の最初の黒丸からｋが変
化する前の最後の黒丸までの距離が三次元目（ｋ）の移
動距離で、ここでは７０であることが分かる。この黒丸
が存在する行は４回同じように繰り返すので、三次元目
（ｋ）の繰り返し回数は４である。

【００５４】このように本例においてアドレス並びの情
報としては、一次元目（ｉ）の移動距離２及び繰り返し
回数２、二次元目（ｊ）の移動距離６及び繰り返し回数
８、三次元目（ｋ）の移動距離７０及び繰り返し回数４
が得られる。そして最初の黒丸のアドレスが、ベース・
アドレスとなる。このベース・アドレスとアドレス並び
の情報を得られれば、一次元に並べられた配列の要素の
うち、書き込むべき黒丸のアドレスを簡単に得ることが
できる。

【００５５】再度図１１に戻ってアドレス並び情報を用
いてデータ転送情報を作成する（ステップＳ１１１）。
データ転送情報は、転送サイズ、送信元ベース・アドレ
ス、送信元アドレス並び、送信先ベース・アドレス、及
び送信先アドレス並びである。これらの情報は、アドレ
ス並びの情報を作成する際に全て得ることができるの
で、ここではまとめてプロセッサ・エレメント３のメモ
リ３３内に格納する。これらの情報は各送信先プロセス
で共通している。よってデータ転送情報であるこれらの
情報については各データ転送で共用する。なお、送信先
プロセス名だけは共通していないので、別途リストとし
て保持する。なお、ここでは重複割付変数に関連するプ
ロセス及びそのプロセスを実行しているプロセッサ・エ
レメントは事前に分かっているものとする。

【００５６】図１１のステップＳ１０３乃至Ｓ１１１
は、各プロセスに対応するデータ転送情報生成部１１と
して機能する。

【００５７】次に、同一化対象プロセスの数Ｎを算出す
る（ステップＳ１１３）。同一化対象プロセスとは、こ
こではデータ転送の対象となる送信先プロセス数であ
り、自プロセスへも代入処理の代わりにデータ転送を行
うので自プロセスも含まれる。各プロセスには０からＮ
−１までの識別番号ｉｄが付されているものとする。そ
して、自プロセスの識別番号ｉｄを変数ｉに代入する
（ステップＳ１１４）。またｉを１インクリメントする
（ステップＳ１１５）。もし、ｉが同一化対象プロセス
数Ｎ以上になった場合には（ステップＳ１１７）、ｉ＝
０とする（ステップＳ１１９）。もし、ｉが同一化対象
プロセスＮ未満である場合にはそのままステップＳ１２
１に移行する。

【００５８】通信制御部３１は、プロセスｉへのパケッ
トを作成する（ステップＳ１２１）。パケットは、送信
元ベース・アドレス及び送信元アドレス並びを用いて必
要なデータを読み出し、プロセスｉの実行されているプ
ロセッサ・エレメントを宛先にして残りのデータ転送情
報でヘッダを構成すれば、作成できる。そして、通信制
御部３１は通信ネットワーク１を介してプロセスｉへの
データ転送を実施する（ステップＳ１２３）。

【００５９】次に、ｉがｉｄと同じでないか判断する
（ステップＳ１２５）。もし、ｉが自プロセスの識別番
号ｉｄと同じである場合には、処理を終了する（ステッ
プＳ１２７）。一方、ｉが自プロセスの識別番号ｉｄと
異なる場合にはステップＳ１１５に戻る。ここでは、自
プロセスへのデータ転送が行われるまで、ステップＳ１
１５乃至Ｓ１２３が繰り返される。

【００６０】図１１において、ステップＳ１１３乃至Ｓ
１２５のうち通信制御部３１の処理にあたるステップＳ
１２１及びＳ１２３を除く部分が、各プロセスに対して
スケジューリング部１３として機能する。

【００６１】このようなスケジューリング部１３が動作
しており、プロセスが３つ（識別番号０から２まで）あ
る場合には、プロセス０は、プロセス１、プロセス２、
プロセス０の順番でデータ転送を行い、プロセス１は、
プロセス２、プロセス０、プロセス１の順番でデータ転
送を行い、プロセス２は、プロセス０、プロセス１、プ
ロセス２の順番でデータ転送を行う。１つのプロセスを
実行するプロセッサ・エレメントが１つで送受信を同時
にできれば、送信先が衝突することが無いので、データ
転送の効率化が図れる。また、ここでは代入処理の代わ
りに行われる自プロセスへのデータ転送もスケジューリ
ングの対象になっている。

【００６２】スケジューリング部１３のスケジューリン
グ・アルゴリズムを示す図１１は一例であって、例え
ば、図１５のようにすることもできる。図１５では、ｉ
に自プロセスの識別番号ｉｄを代入する（ステップＳ１
３１）。そして、通信制御部３１を用いてデータ転送を
行う（ステップＳ１３３及びＳ１３５）。次に、ｉを１
インクリメントする（ステップＳ１３７）。１インクリ
メントされたｉが同一化対象プロセス数Ｎ以上になって
いればｉ＝０にする（ステップＳ１３９及びＳ１４
１）。そして、ｉが自プロセスの識別番号ｉｄと同じに
なるまでステップＳ１３３乃至Ｓ１４１を繰り返す（ス
テップＳ１２５）。

【００６３】このようにすれば、自プロセスへのデータ
転送が最初に行われるようになる。プロセスが３つ（識
別番号０から２まで）ある場合には、プロセス０は、プ
ロセス０、プロセス１、プロセス２の順番でデータ転送
を行い、プロセス１は、プロセス１、プロセス２、プロ
セス０の順番でデータ転送を行い、プロセス２は、プロ
セス２、プロセス０、プロセス１の順番でデータ転送を
行う。１つのプロセスを実行するプロセッサ・エレメン
トが１つで送受信を同時にできれば、送信先が衝突する
ことが無いので、データ転送の効率化が図れる。

【００６４】さらに、図１６のようにすることもでき
る。図１６では、ｉに自プロセスの識別番号ｉｄを代入
する（ステップＳ１３１）。そして、通信制御部３１を
用いてデータ転送を行う（ステップＳ１３３及びＳ１３
５）。次に、ｉを１デクリメントする（ステップＳ１４
５）。１デクリメントされたｉが０より小さくなればｉ
をＮ−１にする（ステップＳ１４７及びＳ１４９）。そ
して、ｉが自プロセスの識別番号ｉｄと同じになるまで
ステップＳ１３３乃至Ｓ１４９を繰り返す（ステップＳ
１２５）。

【００６５】このようにすれば、自プロセスへのデータ
転送が最初に行われるようになり、さらに識別番号に対
して降順にデータ転送が行われる。プロセスが３つ（識
別番号０から２まで）ある場合には、プロセス０は、プ
ロセス０、プロセス２、プロセス１の順番でデータ転送
を行い、プロセス１は、プロセス１、プロセス０、プロ
セス２の順番でデータ転送を行い、プロセス２は、プロ
セス２、プロセス１、プロセス０の順番でデータ転送を
行う。１つのプロセスを実行するプロセッサ・エレメン
トが１つで送受信を同時にできれば、送信先が衝突する
ことが無いので、データ転送の効率化が図れる。

【００６６】なお図１６は図１１のように、自プロセス
へのデータ転送を最後にするような変形も可能である。
図１７に示すように、ステップＳ１１４でｉに自プロセ
スの識別番号ｉｄを代入した後、ｉを１デクリメントす
る（ステップＳ１５１）。もし、１デクリメントされた
ｉが０より小さくなっていればｉをＮ−１にする（ステ
ップＳ１５３及びＳ１５５）。そして通信制御部３１が
プロセスｉに対してデータ転送を行う（ステップＳ１２
１及びＳ１２３）。ステップＳ１５１からステップＳ１
２３をｉが自プロセスの識別番号ｉｄになるまで繰り返
す（ステップＳ１２５）。

【００６７】例えばプロセスが３つ（識別番号０から２
まで）ある場合には、プロセス０は、プロセス２、プロ
セス１、プロセス０の順番でデータ転送を行い、プロセ
ス１は、プロセス０、プロセス２、プロセス１の順番で
データ転送を行い、プロセス２は、プロセス１、プロセ
ス０、プロセス２の順番でデータ転送を行う。１つのプ
ロセスを実行するプロセッサ・エレメントが１つで送受
信を同時にできれば、送信先が衝突することが無いの
で、データ転送の効率化が図れる。

【００６８】スケジューリング部１３のバリエーション
は上で述べたものに限定されず、各プロセスの転送先プ
ロセスが衝突しないようにするアルゴリズムであればよ
り効率的である。

【００６９】なお、上の実施例では、代入処理に通信ネ
ットワークを介したデータ転送を行うことにしていた
が、高速なメモリ転送等を使用するような変形も可能で
ある。この場合には、スケジューリング部１３のスケジ
ューリング対象から自プロセスを削除し、スケジューリ
ング部１３の処理の前又は後でメモリ転送等を実施す
る。例えば図１１のスケジューリング部でステップＳ１
２５ではｉ！＝ｉｄを判断していたが、ｉ！＝ｉｄ−１
とすることでスケジューリングの対象から自プロセスを
外すことができる。一方図１６のように降順でプロセス
ｉに対してデータ転送を行う場合には、ステップＳ１２
５でｉ！＝ｉｄ＋１を判断すればよい。

【００７０】以上本発明の処理のフローを説明したが、
これらの処理を実施するプログラムを作成することも可
能であるし、専用の回路を作成することも可能である。
これらの処理を実施するプログラムは、分散メモリ型並
列計算機のメモリに必要に応じて動的に呼び出される
が、図１に図示しないハードディスクや、磁気テープ、
フロッピー・ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯ
Ｍ、半導体ＲＯＭ又はＲＡＭ等の記憶装置又は記憶媒体
に記憶されている。

【００７１】

【発明の効果】重複割付変数へのデータの代入が行われ
る場合に必要となるプロセス間のデータ転送処理を高速
化することができた。

【図面の簡単な説明】

【図１】本発明における分散メモリ型計算機の概要を示
すブロック図である。

【図２】プロセス０及び１に分散割付された変数ａのメ
モリの様子を示した模式図である。

【図３】プロセス０及び１に重複割付された変数ｂのメ
モリの様子を示した模式図である。

【図４】プロセス０に割付けられた変数ａのデータ転送
範囲を示すための模式図である。

【図５】プロセス１に割付けられた変数ａのデータ転送
範囲を示すための模式図である。

【図６】プロセス０に割付られた変数ｂに代入されるデ
ータの範囲を示すための模式図である。

【図７】プロセス１に割付けられた変数ｂに代入される
データの範囲を示すための模式図である。

【図８】プロセス０の変数ａ及び変数ｂ、プロセス１の
変数ａ及び変数ｂの関係を模式的に示した図である。

【図９】本発明で行うべきデータ転送を模式的に示した
図である。

【図１０】本発明で行うべきデータ転送完了後の様子を
示した模式図である。

【図１１】本発明のデータ転送のための処理フローを表
した図である。

【図１２】変数ａのアドレス並びを説明するための模式
図である。

【図１３】プロセス０における変数ｂのアドレス並びを
説明するための模式図である。

【図１４】プロセス１における変数ｂのアドレス並びを
説明するための模式図である。

【図１５】本発明のデータ転送のための処理フローの変
形１を示した図である。

【図１６】本発明のデータ転送のための処理フローの変
形２を示した図である。

【図１７】本発明のデータ転送のための処理フローの変
形３を示した図である。

【符号の説明】

１通信ネットワーク３ａ，３ｂ，３ｃプロセッサ・エレメント３１ａ，３１ｂ，３１ｃ通信制御部３３ａ，３３ｂ，３３ｃメモリ３５ａ，３５ｂ，３５ｃＣＰＵ１１データ転送情報生成部１３スケジューリン
グ部

Claims

【特許請求の範囲】

【請求項１】通信ネットワークにより接続された複数の
処理装置により複数のプロセスを実行する分散メモリ型
並列計算機であって、前記複数のプロセスのうち少なくとも１のプロセスを実
行する各前記処理装置が、前記複数のプロセスに対し重複割付けされた変数に前記
プロセスがデータを代入する場合に、代入される前記デ
ータの、各プロセスへのデータ転送をスケジューリング
するスケジューラと、前記スケジューラに従って、前記通信ネットワークを介
するデータ転送を行うデータ転送手段と、を有する、分散メモリ型並列計算機。
【請求項２】前記データ転送手段が、前記プロセスによる前記データの代入処理として、代入
される前記データを、前記通信ネットワークを介して前
記プロセス自身に送信することを特徴とする請求項１記
載の分散メモリ型並列計算機。
【請求項３】各前記処理装置が、前記データ転送手段が各プロセスへのデータ転送時に共
通して用いる、データ転送に関する情報を生成する生成
手段をさらに有する請求項１記載の分散メモリ型並列計
算機。
【請求項４】前記データ転送に関する情報が、代入される前記データのベース・アドレス及びアドレス
並び情報とを含む、請求項３記載の分散メモリ型並列計算機。
【請求項５】前記スケジューラが、前記プロセスによる前記データの代入処理として行われ
るデータ転送をもスケジューリングすることを特徴とす
る請求項１記載の分散メモリ型並列計算機。
【請求項６】前記スケジューラが、前記複数のプロセスに対し重複割付けされた変数にデー
タを代入する代入プロセスが複数存在する場合に、各前
記代入プロセスの送信先プロセスが重複しないようにス
ケジューリングすることを特徴とする請求項１記載の分
散メモリ型並列計算機。
【請求項７】前記複数のプロセスには各々識別番号が付
されており、前記スケジューラが、前記代入プロセスの識別番号に基づき、前記複数のプロ
セスの識別番号の昇順又は降順にて送信先プロセスを決
定することを特徴とする請求項６記載の分散メモリ型並
列計算機。
【請求項８】通信ネットワークにより接続された複数の
処理装置により複数のプロセスを実行する分散メモリ型
並列計算機のためのプログラムを格納した記憶媒体であ
って、前記プログラムは、前記複数のプログラムのうち少なく
とも１のプロセスを実行する各前記処理装置に、前記複数のプロセスに対し重複割付けされた変数に前記
プロセスがデータを代入する場合に、代入される前記デ
ータの、各プロセスへのデータ転送をスケジューリング
するステップと、当該スケジューリングに従って、前記通信ネットワーク
を介するデータ転送を行うよう命令するステップと、を実行させる、記憶媒体。