JP2000020501A - 並列計算機システム及びその演算処理装置間の通信方法 - Google Patents

Abstract

(57)【要約】 【課題】 並列計算機の各演算処理装置で分散処理され
たデータを効率的に集結する。 【解決手段】 識別番号０，１，…，２ⁿ −１が付与さ
れた２ⁿ 台の演算処理装置と個別記憶装置及び通信手段
を備えた並列計算機システムで，２ⁿ 個の小配列に分割
して各演算処理装置に分配／演算処理されたデータ配列
を１つの配列に集結する際に，識別番号Ｎに対し２進法
で表した識別番号Ｎの２ⁱ の位の数を反転させた番号
Ｎ’を対応させ，識別番号Ｎの演算処理装置と識別番号
Ｎ’の演算処理装置の間でデータ配列の演算処理結果を
相互に送受信する操作ｉをｉ＝０からｉ＝ｎ−１まで順
次行う。この際，ｊ＞０なるｊに対しては，操作ｉの際
に，識別番号Ｎ，Ｎ’の演算処理装置間で各演算処理装
置による演算処理結果に加えて操作（ｊ−１）までで得
られた演算処理結果を送受信する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は，通信手段および個
別記憶装置を備えた多数の演算処理装置からなり，特に
並列計算を目的とした並列計算機システム及びその演算
処理装置の通信方法に関する。

【０００２】

【従来の技術】原子力施設をはじめとする大規模な施設
の設計においては，例えば遮蔽設計などにおける放射線
挙動計算，炉心設計における炉心性能予測解析などの大
規模な計算がかなりの頻度で要求される。この要求に応
えるためには大幅な計算速度の向上が必要である。この
ため最近では，通信手段と個別の記憶装置を備えた多数
の演算処理装置を用いて，１台の演算処理装置しか持た
ない計算機を使用していたのでは得られないような高速
度で，解析を行うことが考案されている。

【０００３】例えば炉心設計であれば，原子炉の炉心を
複数の燃料集合体からなる幾つかのセグメントに分割
し，それぞれのセグメントを１つの演算処理装置に対応
させて，出力計算と熱水力計算を各々の演算処理装置で
並列に計算させる。セグメント間での中性子束の流出入
およびチャンネル間の冷却材の圧力バランスを解析する
際には，前記通信手段によりセグメント境界の中性子
束，各チャンネルの圧力損失のデータを演算処理装置間
でやり取りすることで，空間的に連続した解析が行われ
る。

【０００４】また，遮蔽設計であれば，例えば原子炉の
炉心，冷却材，遮蔽体などを含む全体系を幾つかの小領
域に分割し，それぞれの小領域を１つの演算処理装置に
対応させて，放射線束分布計算を各々の演算処理装置で
並列に計算させる。小領域間での中性子束の流出入を解
析する際には，前記通信手段により小領域境界の中性子
束のデータを演算処理装置間でやり取りすることで，空
間的に連続した解析が行われる。

【０００５】

【発明が解決しようとする課題】複数の演算処理装置を
用いて並列に計算を行わせる際に，演算処理装置間の通
信を行うことなく全く独立に計算を進めることができる
例はまれであり，通常は演算処理装置間の通信を行いな
がら計算を進める。たとえば，４行４列の行列Ａ，Ｂの
掛け算を４台の演算処理装置で実施して４行４列の行列
Ｃを求める場合を考える。Ａ，Ｂ，Ｃの要素をそれぞれ
ａ_IJ，ｂ_IJ，ｃ_IJで以下のように表記する。

【０００６】

【数６】 このとき，４台の演算処理装置のうちの１台においては
例えば,

【０００７】

【数７】 のように計算が行われる。

【０００８】この例から明らかなように，演算に使う側
（ａ_IJまたはｂ_IJ）については行或いは列全体について
の要素のデータが必要である。また，演算の結果として
得られるｃ_IJの方は，各々の演算処理装置に於いては部
分的にしかデータが得られない。このことは，例えば次
のステップで行列Ｃと行列Ａの掛け算を行う必要が生じ
たとき，計算で得られた要素だけではデータに不足が生
じることを意味する。したがって，Ａ×Ｂ＝Ｃの計算を
実施した後で残りの部分，上の式で言えば行列Ｃの少な
くとも第１行と第２行のデータ及び第１列と第２列のデ
ータは満たされた状態にしておかねばならない。

【０００９】これらの問題を一般化すると次のようにな
る。（ｎ×ｋ）個からなる配列Ｘ(nk)があり，これがｎ
台の演算処理装置に分割され，例えば識別番号１の演算
処理装置ではＸ(1),Ｘ(2),…Ｘ(k) ，識別番号２の演算
処理装置ではＸ(k+1),Ｘ(k+2),…，Ｘ(2k) の計算結果
を持っているものとする。この状態からｎ台の演算処理
装置の間で通信を行うことにより，ｎ台の演算処理装置
が配列Ｘ(nk)の計算結果を持っている状況を作る操作が
必要となることがある。

【００１０】このときの通信は１対１であることが通信
手段上の条件である。すなわち，例えば演算処理装置１
から演算処理装置２にデータを転送する際には，演算処
理装置２は演算処理装置１からデータを受けとる態勢に
なければならないのであって，このとき演算処理装置２
が他の処理，例えば演算処理装置３にデータを転送しよ
うとしたり演算処理装置４からデータを受けようとした
りすると，通信は失敗して計算は中断することとなる。
通信が滞りなく行われるには送信側と受信側の混乱がな
いように通信の順序を予め決めておく必要がある。

【００１１】４台の演算処理装置を使う場合を例にとれ
ば，容易に考えられる方法として次のものが挙げられ
る。以下，表記を簡略化するため演算処理装置１，２，
３，４をそれぞれ＃１，＃２，＃３，＃４と書く。 （１） 送信−受信を１つずつ順次行う方法 [1] ＃１の計算結果→＃２， [2] ＃１の計算結果→＃３， [3] ＃１の計算結果→＃４， [4] ＃２の計算結果→＃１， [5] ＃２の計算結果→＃３， [6] ＃２の計算結果→＃４， [7] ＃３の計算結果→＃１， [8] ＃３の計算結果→＃２， [9] ＃３の計算結果→＃４， [10] ＃４の計算結果→＃１， [11] ＃４の計算結果→＃２， [12] ＃４の計算結果→＃３ を順次実行する。

【００１２】ここで，[1] ，[2] ，[3] ，…は処理のス
テップの番号を示す。演算処理装置をＮ台，１台に割り
当てられたデータ量をｗとすれば，通信回数は ２× _NＣ₂ ＝ Ｎ（Ｎ−１） であり，データ移動量は ２ｗ× _NＣ₂ ＝ ｗＮ（Ｎ−１） である。Ｎ＝４ならば通信回数は上述の12回である。こ
の方法によれば, 時間はかかるが通信上の混乱は避けら
れる。なお， _pＣ_q はｐ個の要素からｑ個の要素を選ぶ
組合せの数を示す。

【００１３】（２） 代表の演算処理装置にデータを集
めた後，各演算処理装置に配布する。 ・データ集結 [1] ＃２の計算結果→＃１， [2] ＃３の計算結果→＃１， [3] ＃４の計算結果→＃１，… を順次実行。 ＃１に全データが揃う。 ・全データ配布 [1] ＃１→＃２， [2] ＃１→＃３， [3] ＃１→＃４，… を順次実行。 配列全体を＃２，＃３，＃４に送信す
る。

【００１４】この場合の通信回数は ２（Ｎ−１）回，
データ移動量は集結時に（Ｎ−１）ｗ，配布時に Ｎ
（Ｎ−１）ｗである。この方法は（１）の方法に比べて
通信回数は少ないが，全データ配布時に送信されるデー
タ量が多い点が短所である。

【００１５】また，通信の効率化を図った手法として次
のものがある。 （３） 演算処理装置の１対１の組み合わせに対して並
列・網羅的に通信を行う。 これは（１）の方法を改良
したもので，例えば次のように行う。 [1] ＃１の計算結果→＃２， ＃３の計算結果→＃４ を同時に実行。 [2] ＃１の計算結果→＃３， ＃２の計算結果→＃４ を同時に実行。 [3] ＃１の計算結果→＃４， ＃２の計算結果→＃３ を同時に実行。 [4] ＃２の計算結果→＃１， ＃４の計算結果→＃３ を同時に実行。 [5] ＃３の計算結果→＃１， ＃４の計算結果→＃２ を同時に実行。 [6] ＃４の計算結果→＃１， ＃３の計算結果→＃２ を同時に実行。

【００１６】この通信方法によれば，通信が重複するこ
とも衝突することもなく，全データが４台の演算処理装
置に行き渡る。演算処理装置がＮ台であれば通信回数は
２（Ｎ−１），データ移動量は２（Ｎ−１）ｗである。
Ｎ＝４であれば通信に要する時間は前述の（１）の方法
の半分である。Ｎが大きくなるとともに差は広がる。

【００１７】（４） 演算処理装置の Binary treeによ
り代表の演算処理装置にデータを集めた後，各演算処理
装置に配布する。これは（２）の方法を改良したもの
で，例えば次のように行う。 ・データ集結 [1] ＃２の計算結果→＃１，＃４の計算結果→＃３を同
時に実行。 [2] ＃３に集結された計算結果→＃１ ・全データ配布 [3] ＃１→＃３ [4] ＃１→＃２， ＃３→＃４を同時に実行。

【００１８】この方法によれば，演算処理装置がＮ台で
あれば，通信回数は ２× log₂ Ｎ回，データ通信量
は，集結時に（Ｎ−１）ｗ，配布時に Ｎｗ log₂ Ｎで
ある。Ｎ＝４であれば通信回数は（２）の方法の２／
３，データ移動量は（２）の方法の 11／15である。Ｎ
が大きくなるとともに差は広がる。

【００１９】（３）の方法は（４）の方法に比べてデー
タ移動量は少ないが通信回数が多いため，扱う配列が小
さい場合には適していない。（４）の方法は通信回数は
少ないが，データ移動量が多いため，巨大な配列を扱う
場合には適していない。

【００２０】よって，データ移動量と通信回数がともに
最適化された，あらゆる条件に対して適用可能な一般化
された手法が必要である。本発明は，このような点を考
慮してなされたもので，通信によるデータの授受を並列
に行えるようにすることで，演算処理装置間の通信回数
およびデータの授受の際の待ち時間を最小限に抑えて高
速化を図ることができる並列計算機システム及びその演
算処理装置間の通信方法を提供することを目的とする。

【００２１】

【課題を解決するための手段】上記目的を達成するた
め，本発明の請求項１記載の発明は，固有の識別子を有
する少なくとも２ⁿ 台の演算処理装置と，これら各演算
処理装置に各々対応する個別記憶装置および通信手段と
を備え，この通信手段により各演算処理装置間でデータ
の授受を行う並列計算機システムにおいて，２ⁿ 個の小
配列に分割して２ⁿ 台の演算処理装置に分配され各演算
処理装置で演算処理されたデータ配列を再び１つの配列
に集結する際に，２ⁿ 台の演算処理装置に識別番号０，
１，…，２ⁿ −１を付与し，識別番号Ｎの演算処理装置
に対し２進法で表した識別番号Ｎの２ⁱ の位の数を反転
させた番号Ｎ’を識別番号とする演算処理装置を対応さ
せ，前記データ配列の演算処理結果を識別番号Ｎの演算
処理装置と識別番号Ｎ’の演算処理装置の間で相互に送
受信する操作ｉをｉ＝０からｉ＝ｎ−１まで順次行い，
ｊ＞０なるｊに対しては，操作ｊの際に，識別番号Ｎ，
Ｎ’の演算処理装置間で各演算処理装置による演算処理
結果に加えて操作（ｊ−１）までで得られた演算処理結
果を送受信することにより２ⁿ 台の演算処理装置間でｎ
回の操作でデータ配列を集結させることを特徴とする。

【００２２】また，請求項２記載の発明は，固有の識別
子を有する（２^m ＋ｋ）台の演算処理装置と，これら各
演算処理装置に各々対応する個別記憶装置および通信手
段とを備え，この通信手段により各演算処理装置間でデ
ータの授受を行う並列計算機システムにおいて，（２^m
＋ｋ）個の小配列に分割して（２^m ＋ｋ）台の演算処理
装置に分配・演算処理されたデータ配列を再び１つの配
列に集結する際に，前記（２^m ＋ｋ）台の演算処理装置
に個別記憶手段及び通信手段を備えた（２^m −ｋ）台の
演算処理装置を加えた２^m+1 台からなる演算処理装置群
を形成し，この演算処理装置群を構成する２^m+1 台の演
算処理装置に識別番号０，１，…，２^m+1 −１を付与
し，識別番号Ｎの演算処理装置に対し２進法で表した識
別番号Ｎの２ⁱ の位の数を反転させた番号Ｎ’を識別番
号とする演算処理装置を対応させ，前記データ配列の演
算処理結果を識別番号Ｎの演算処理装置と識別番号Ｎ’
の演算処理装置の間で相互に送受信する操作ｉをｉ＝０
からｉ＝ｍまで順次行い，ｊ＞０なるｊに対しては，操
作ｊの際に，Ｎ≦２^m ＋ｋなる識別番号Ｎの演算処理装
置からはその演算処理装置の演算処理結果及び操作（ｊ
−１）までで得られた演算処理結果を送信し，Ｎ＞２^m
＋ｋなる識別番号Ｎの演算処理装置からは操作（ｊ−
１）までで得られた演算処理結果を送信することにより
（２^m ＋ｋ）台の演算処理装置において（ｍ＋１）回の
操作でデータ配列を集結させることを特徴とする。

【００２３】また，請求項３記載の発明は，固有の識別
子を有する（２^m ＋ｋ）台の演算処理装置と，これら各
演算処理装置に各々対応する個別記憶装置および通信手
段とを備え，この通信手段により各演算処理装置間でデ
ータの授受を行う並列計算機システムにおいて，（２^m
＋ｋ）個の小配列に分割して（２^m ＋ｋ）台の演算処理
装置に分配・演算処理されたデータ配列を再び１つの配
列に集結する際に，この（２^m ＋ｋ）個のデータ配列に
（２^m −ｋ）個の空の小配列を追加することで前記デー
タ配列を小配列２^m+1 個分の配列に拡張し，前記（２^m
＋ｋ）台の演算処理装置に個別記憶手段及び通信手段を
備えた（２^m −ｋ）台の演算処理装置を加えた２^m+1 台
からなる演算処理装置群を形成し，この演算処理装置群
を構成する２^m+1 台の演算処理装置に識別番号０，１，
…，２^m+1 −１を付与し，識別番号Ｎの演算処理装置に
対し２進法で表した識別番号Ｎの２ⁱ の位の数を反転さ
せた番号Ｎ’を識別番号とする演算処理装置を対応さ
せ，前記データ配列の演算処理結果を識別番号Ｎの演算
処理装置と識別番号Ｎ’の演算処理装置の間で相互に送
受信する操作ｉをｉ＝０からｉ＝ｍまで順次行い，ｊ＞
０なるｊに対して，操作ｊの際に，識別番号Ｎ，Ｎ’の
演算処理装置間で各演算処理装置による演算処理結果に
加えて操作（ｊ−１）までで得られた演算処理結果を送
受信することにより（２^m ＋ｋ）台の演算処理装置にお
いて（ｍ＋１）回の操作でデータ配列を集結させること
を特徴とする。

【００２４】また，請求項４記載の発明は，ｎ＞ｍなる
ｎ，ｍについて，固有の識別子を有する（２ⁿ ＋２^m ）
台の演算処理装置と，これら各演算処理装置に各々対応
する個別記憶装置および通信手段とを備え，この通信手
段により各演算処理装置間でデータの授受を行う並列計
算機システムにおいて，（２ⁿ ＋２^m ）個の小配列に分
割して（２ⁿ ＋２^m ）台の演算処理装置に分配・演算処
理されたデータ配列を再び１つの配列に集結する際に，
前記（２ⁿ ＋２^m ）台の演算処理装置を２ⁿ 台からなる
グループＧ₁ と２^m 台からなるグループＧ₂ に分割し，
また前記データ配列を初めの２ⁿ 個の小配列からなる配
列Ａ₁ とその後の２^m 個の小配列からなる配列Ａ₂ の２
つに分割し，この配列Ａ₁ ，Ａ₂ をそれぞれグループＧ
₁ ，Ｇ₂ と対応づけて分配，演算処理を行い，グループ
Ｇ₁ の２ⁿ 台の演算処理装置に識別番号０，１，…，２
ⁿ −１を付与し，識別番号Ｎの演算処理装置に対し２進
法で表した識別番号Ｎの２ⁱ の位の数を反転させた番号
Ｎ’を識別番号とする演算処理装置を対応させ，前記デ
ータ配列の演算処理結果を識別番号Ｎの演算処理装置と
識別番号Ｎ’の演算処理装置の間で相互に送受信する操
作ｉをｉ＝０からｉ＝ｎ−１まで順次行い，ｊ＞０なる
ｊに対して，操作ｊの際に識別番号Ｎ，Ｎ’の演算処理
装置間で各演算処理装置による演算処理結果に加えて操
作（ｊ−１）までで得られた演算処理結果を送受信する
ことによりグループＧ₁ 内でデータ配列を集結させる第
１の工程と，グループＧ₂ の２^m 台の演算処理装置に識
別番号０，１，…，２^m −１を付与し，識別番号Ｎの演
算処理装置に対し２進法で表した識別番号Ｎの２ⁱ の位
の数を反転させた番号Ｎ’を識別番号とする演算処理装
置を対応させ，前記データ配列の演算処理結果を識別番
号Ｎの演算処理装置と識別番号Ｎ’の演算処理装置の間
で相互に送受信する操作ｉをｉ＝０からｉ＝ｎ−１まで
順次行い，ｊ＞０なるｊに対して，操作ｊの際に識別番
号Ｎ，Ｎ’の演算処理装置間で各演算処理装置による演
算処理結果に加えて操作（ｊ−１）までで得られた演算
処理結果を送受信することによりグループＧ₁ 内でデー
タ配列を集結させる第２の工程と，グループＧ₁ からグ
ループＧ₂ の各演算処理装置に配列Ａ₁ を，グループＧ
₂ からグループＧ₁ の各演算処理装置に配列Ａ₂ を送信
する第３の工程とを有し，第１の工程と第２の工程を並
列に実行した後に第３の工程を行なうことにより（２ⁿ
＋２^m ）台の演算処理装置においてデータ配列を集結さ
せることを特徴とする。

【００２５】また，請求項５記載の発明は，固有の識別
子を有する複数の演算処理装置と，これら各演算処理装
置に各々対応する個別記憶装置および通信手段とを備え
た並列計算機システムにおいて，

【数８】 個の小配列（但し，ｎ₁ ＞ｎ₂ ＞ｎ₃ ＞…＞ｎ_k ≧０）
に分割して

【数９】 台の演算処理装置に分配・演算処理されたデータ配列を
再び１つの配列に集結する際に，これらの演算処理装置
のうち

【数１０】 台をそれぞれグループＧ₁ ，Ｇ₂ ，…，Ｇ_k としてｋ個
のグループに分割するとともに，前記小配列のうち

【００２６】

【数１１】 個の小配列をそれぞれ配列Ａ₁ ，Ａ₂ ，…，Ａ_k として
ｋ個の配列に分割し，このｋ個の配列とｋ個のグループ
Ｇ₁ ，Ｇ₂ ，…，Ｇ_k とを１対１に対応づけて分配，演
算処理を行い，１≦ｐ≦ｋなる各ｐに対し，グループＧ
_p の（２のｎ_p 乗）台の演算処理装置に識別番号０，
１，…を付与し，識別番号Ｎの演算処理装置に対し２進
法で表した識別番号Ｎの２ⁱ の位の数を反転させた番号
Ｎ’を識別番号とする演算処理装置を対応させ，前記デ
ータ配列の演算処理結果を識別番号Ｎの演算処理装置と
識別番号Ｎ’の演算処理装置の間で相互に送受信する操
作ｉをｉ＝０からｉ＝ｎ−１まで順次行い，ｊ＞０なる
ｊに対して，操作ｊの際に識別番号Ｎ，Ｎ’の演算処理
装置間で各演算処理装置による演算処理結果に加えて操
作（ｊ−１）までで得られた演算処理結果を送受信する
ことによりグループＧ_p 内の演算処理装置でデータ配列
Ａ_p を集結させるグループ内工程ｐを実行し，グループ
内工程（ｋ−１）が終了した後，グループＧ_k の演算処
理装置から配列Ａ_k の演算結果をグループＧ_k-1 の演算
処理装置に送信するグループ間工程ｋを実行し，次に，
グループＧ_p の各演算処理装置に集結された配列Ａ_p の
演算結果を，グループＧ_p の演算処理装置からｑ＞ｐな
る全てのｑに対しグループＧ_q に属する各演算処理装置
に送信するとともに，グループＧ_q の演算処理装置か
ら，グループＧ_p 自身の演算結果である配列Ａ_p 及びグ
ループＧ_p+1 の演算処理装置から受信した配列Ａ_p-1 ，
…，Ａ_k の演算結果をグループＧ_p-1 の演算処理装置に
送信するグループ間工程ｐを，ｐ＝ｋ−１からｐ＝２ま
でｐに関して降順に実行することにより，

【００２７】

【数１２】 台の演算処理装置においてデータ配列を集結させること
を特徴とする。

【００２８】なお，この際には，ｋ個のグループ内工程
１，２，…，ｋを並列に実行し，１≦ｓ≦ｋ−１なるｓ
に対して，グループ内工程ｓが終了した時点で順次グル
ープ間工程（ｓ＋１）を実行することで、全体の通信に
要する時間をさらに短縮することができる。

【００２９】また，請求項６記載の発明は，請求項４ま
たは５記載の並列計算機システムを用いて演算処理装置
のグループ間でのデータ交換を行う場合，２^p 台の演算
処理装置からなるグループＧ_A で集結され共有されてい
るデータ配列Ａと，２^q 台の演算処理装置（ｐ＞ｑ）か
らなるグループＧ_B で集結され共有されているデータ配
列Ｂとを，グループＧ_A ，Ｇ_B 間で相互に送受信する際
に，グループＧ_A のなかから選択される２^q 台の演算処
理装置をグループＧ_B の各演算処理装置と１対１に対応
させてグループＧ_B の各演算処理装置にデータ配列Ａを
送信する操作を並列に実施するとともに，グループＧ_A
を，それぞれが２^p-q 台の演算処理装置からなる小グル
ープα₁ ，α₂ ，…，α_r （ｒ＝２^q ）に分割して，各
々の小グループとグループＧ_B のｒ個の各演算処理装置
とを１対１に対応させ，小グループα_i のなかから選択
される１台の演算処理装置に対して，小グループα_i に
対応するグループＧ_B の演算処理装置からデータ配列Ｂ
を送信した後，小グループα_i の演算処理装置間でデー
タ配列Ｂを送受信する操作ｉを，１≦ｉ≦ｒなるｉに関
して並列に実行するすることにより，２^p 台の演算処理
装置と２^q 台の演算処理装置にデータ配列Ａとデータ配
列Ｂを共有させることを特徴とする。

【００３０】また，請求項７記載の発明は，請求項１乃
至６のいずれか記載の並列計算機システムを用いて２台
の演算処理装置間でデータを交換する工程は，演算処理
装置の識別番号の大きい方から小さい方にデータを送る
第１の送信工程と，演算処理装置の識別番号の小さい方
から大きい方にデータを送る第２の送信工程とからな
り，この第１の送信工程と第２の送信工程のうちから選
択される１工程を先に行った後，続いて他の１工程を行
うことを特徴とする。

【００３１】

【発明の実施の形態】本発明の実施の形態について，以
下，図面を参照して説明する。図１は並列計算機システ
ムの構成例を示すブロック図である。ここに示した並列
計算機システムは，１台のホストの計算機１と８台の演
算処理装置２−１，２−２，…，２−８で構成されてい
る。ホストの計算機には記憶装置３と通信手段４，演算
処理装置２−１，２−２，…，２−８の各々には，個別
記憶装置５−１，５−２，…，５−８と通信手段６−
１，６−２，…，６−８が備えられている。例えば，ホ
ストの計算機で読み込んだ入力データ等は，通信手段４
から通信手段６−１，６−２，…，６−８を通じて全演
算処理装置に送信される。演算処理装置２−１，２−
２，…，２−８では各々割り当てられた領域の計算を行
い，必要に応じて演算処理装置間の通信によりデータの
授受を行う。

【００３２】図１に示した並列計算機システムの構成に
基き，本発明にかかる並列計算機システムの第１の実施
の形態について説明する。図２は本実施の形態における
並列計算機システムの演算処理装置間の通信方法を時系
列で示すチャートである。

【００３３】演算処理装置２−１，２−２，…，２−８
の識別番号をそれぞれ０，１，…，７とし，これらを２
進法の３桁の数として表示するとそれぞれ 000, 001, 0
10,011, 100, 101, 110, 111 となる。８×ｎ個のデー
タからなる配列Ａがｎ個のデータからなる８個の小配列
ａ₁ ，ａ₂ ，…，ａ₈ に分割されて，８台の演算処理装
置２−１，２−２，…，２−８に割り当てられている。
それぞれの演算処理装置で割り当てられた小配列のデー
タに関する演算処理を行った後，配列Ａの要素を全ての
演算処理装置に於いて集めることを考える。なお，図２
において各演算処理装置にかかれた０または１はそれぞ
れ分割された小配列を示しており，０は計算結果が未入
力の状態を，１は計算結果が入力済みの状態を表す。

【００３４】第１ステップとして，２⁰ の位の数を反転
（０ならば１，１ならば０とする）させた数を識別番号
としてもつ演算処理装置との間でデータを交換する。例
えば演算処理装置０(000) は演算処理装置１(001) ，演
算処理装置３(011) は演算処理装置２(010) とｎ個のデ
ータを交換する。各演算処理装置に２ｎ個の要素が集ま
る。

【００３５】第２ステップでは，２¹ の位の数を反転さ
せた数を識別番号としてもつ演算処理装置との間でデー
タを交換する。例えば演算処理装置０(000) は演算処理
装置２(010) ，演算処理装置３(011) は演算処理装置１
(001) とデータを交換する。この時，例えば演算処理装
置０から演算処理装置２への送信では，演算処理装置０
自身による演算結果の他に第１ステップで演算処理装置
１から受信したデータを含む２ｎ個のデータを送信す
る。これにより各演算処理装置に４ｎ個の要素が集ま
る。

【００３６】最後に第３ステップとして，２² の位の数
を反転させた数を識別番号としてもつ演算処理装置との
間でデータを交換する。例えば演算処理装置０(000) は
演算処理装置４(100) ，演算処理装置３(011) は演算処
理装置７(111) と４ｎ個のデータを交換する。各演算処
理装置に８ｎ個の要素が集まり，操作が完了する。

【００３７】以上述べた通信方法は演算を２³ ＝８個に
分割した場合でありこの時のステップ数は３である。同
様に，演算を２⁴ ＝16個に分割し16台の演算処理装置に
おいて通信を行なう場合には，上述した８分割の場合に
比べてさらに１ステップが必要となり，全部で４ステッ
プとなる。一般に，演算をＮ個に分割しＮ台の演算処理
装置において通信を行う場合は，上述の方法を流用し
て，ステップ数 log₂ Ｎで通信が完了する。

【００３８】本実施の形態の作用効果について以下検証
する。例えば配列の大きさをＭ(word)，演算処理装置の
台数をＫとし，配列全体がＫ分割されて各演算処理装置
に渡されているものとする。Ｋの値としては並列計算で
最も一般的な条件である２のべき乗の場合，つまりＫ＝
２ⁿ と表される場合について考える。この状態から，演
算処理装置間の通信によって演算処理装置全部が配列全
体についてデータを把握している状況を作り出すのにか
かる時間について考察する。一般にデータを送信するの
に要する時間Ｔは Ｔ＝Ａ＋Ｂ×Ｗ …………………… (1) と表せる。ここで，Ａは通信準備に要する時間で，送信
するデータ量に関わらず１回の通信に必ず必要となる時
間である。Ａの値はデータ量に依らない。Ｂ×Ｗはデー
タ量に比例する項であり，Ｗがデータ量（WORD数），Ｂ
が１word当たりの転送時間である。

【００３９】データの授受のステップ数は log₂ Ｋ＝ｎ
である。各ステップで演算処理装置毎に送信と受信が１
回づつ行われる。第ｍステップで授受されるデータ量は
（Ｍ／Ｋ）×２^m [word] である。データ量Ｍ[word]の
データを全演算処理装置において集結させるのに必要な
送受信の回数は各演算処理装置当り２ｎ回であり，送受
信する総データ量は

【００４０】

【数１３】 である。よって，本発明を適用した場合の全通信時間Ｔ
は， Ｔ（Ｋ）＝ ２Ａ log₂ Ｋ＋２Ｍ（１−１／Ｋ）Ｂ ………… (2) となる。

【００４１】比較のため，従来法，例えば Binary tree
の方式で１台の代表演算処理装置に全データを集めてお
き，同様に Binary treeの方式で全演算処理装置にデー
タを送信する場合の通信時間を次に求めてみる。全デー
タを１台の演算処理装置に集めるのに要する送受信の回
数は，代表演算処理装置においてｎ＝ log₂ Ｋ回であ
る。また，第ｍステップ（ｍ≦ｎ）で送信されるデータ
量は（Ｍ／Ｋ）×２^m-1 [word]である。よって，代表演
算処理装置に全データを集めるのにかかる時間Ｔ₁ は Ｔ₁ （Ｋ）＝ Ａ log₂ Ｋ＋Ｍ（１−１／Ｋ）Ｂ …………… (3) となる。

【００４２】代表演算処理装置から各演算処理装置にデ
ータを配布する際のステップ数はlog₂ Ｋで，演算処理
装置あたり通信回数も最大で log₂ Ｋ回である。ただ
し，各ステップ毎にＭ[word]のデータが送信される。よ
って，各演算処理装置にデータを配布する際にかかる時
間Ｔ₂ は Ｔ₂ （Ｋ）＝ Ａ log₂ Ｋ＋（Ｍ log₂ Ｋ）Ｂ ……………… (4) となる。したがって，全通信時間Ｔ₀ ＝Ｔ₁ ＋Ｔ₂ は Ｔ₀ （Ｋ）＝ ２Ａ log₂ Ｋ＋Ｍ（１−１／Ｋ＋ log₂ ）Ｂ …… (5) となる。

【００４３】図３及び図４のグラフは，横軸に演算処理
装置台数，縦軸に通信に要する時間をとって，演算処理
装置台数増加に伴う通信時間の増加の関係を示してお
り，従来のBinary Tree の通信方式による (5)式の関係
と，本実施の形態により通信を効率化した (2)式の関係
を，比較して示している。このグラフ中の曲線のうち実
線で示した符号10ａ，10ｂが本実施の形態の (2)式の場
合，破線で示した符号11ａ，11ｂが従来の (5)式の場合
を示している。図３に示した符号10ａ，11ａを付した曲
線は，通信されるデータ量が少なく，(1) 式のＡ（通信
立ち上げ時間）が全通信時間Ｔのほぼ半分を占める状況
を，また図４に示した符号10ｂ，11ｂを付した曲線は，
通信されるデータ量が多く，(1) 式のＡ（通信立ち上げ
時間）が全通信時間Ｔに比べて十分小さい状況を想定し
ている。このグラフからも明らかなように，本実施の形
態によれば，演算処理装置の台数が少数の場合，多数の
場合何れも従来の方法より通信に要する時間を少なくす
ることができる。すなわち，本実施の形態により，デー
タの授受の際の待ち時間を最小限に抑え，計算の高速化
を図ることができる。

【００４４】なお，例えば演算処理装置の台数が16台か
らなる並列計算機システムにおいて，その内の８台の演
算処理装置の間で上述の３ステップからなる配列の分割
分配，演算集結を行うなど，複数の演算処理装置のうち
２の冪乗の台数だけ抜き出してこれらに通信制御用の識
別番号を付与し，この台数に適応して上述した方法で配
列の分割分配，演算処理を行なうものとしてもよい。

【００４５】上記第１の実施の形態においては，関係す
る演算処理装置の台数が２の冪乗であることを前提とし
ている。一般的な条件として演算処理装置の台数が２の
冪乗でない場合，すなわち台数が ２ⁿ ＋ｋ等として表
される場合にも拡張したのが以下詳述する第２の実施の
形態である。

【００４６】本発明にかかる並列計算機システムの第２
の実施の形態について説明する。ここでは，例えば並列
計算の配列を６分割して，６台の演算処理装置（識別番
号を０，１，…，５とする。）に割り当てる場合につい
て説明する。図５は本実施の形態における並列計算機シ
ステムの演算処理装置間の通信方法を時系列で示すチャ
ートである。この際のデータ処理には，前記６台の演算
処理装置のほかに２台の演算処理装置（識別番号を６，
７とする。）を用いることとする。

【００４７】第１ステップとして，２⁰ の位の数を反転
させた数を識別番号としてもつ演算処理装置との間でデ
ータを交換する。例えば演算処理装置０(000) は演算処
理装置１(001) と，演算処理装置３(011) は演算処理装
置２(010) と，それぞれｎ個のデータを交換する。演算
処理装置６(110) と演算処理装置７(111) は交換すべき
データがないので休止する。この時点で，演算処理装置
０〜５に２ｎ個のデータが集められる。

【００４８】第２ステップでは，２¹ の位の数を反転さ
せた数を識別番号としてもつ演算処理装置との間でデー
タを交換する。例えば演算処理装置４(100) は演算処理
装置６(110) とのデータ交換となるが，この時点で演算
処理装置６(110) は送信すべきデータがないので，演算
処理装置４からデータを受信するのみとする。このデー
タ交換により，演算処理装置０〜３に４ｎ個のデータ
が，演算処理装置４〜７には２ｎ個のデータが集められ
る。

【００４９】第３ステップでは，２² の位の数を反転さ
せた数を識別番号としてもつ演算処理装置との間でデー
タを交換する。例えば演算処理装置６(110) は演算処理
装置２(010) との交換である。演算処理装置６から演算
処理装置２へは２ｎ個のデータ，演算処理装置２から演
算処理装置６へは４ｎ個のデータを送信する。このよう
にして６ｎ個のデータが８台の演算処理装置全てに行き
渡る。

【００５０】本実施の形態においては，一般に（２ⁿ ＋
ｋ）台の演算処理装置に対して，（２ⁿ −ｋ）台の演算
処理装置を加えた２ⁿ⁺¹ 台の演算処理装置群を構成し，
この演算処理装置群に対して上述の第１の実施の形態で
詳述したステップにより並列計算を行うものとする。こ
れにより，２の冪乗ではない台数の演算処理装置に対し
ても２の冪乗の場合に準じた構成とすることで，上記第
１の実施形態と同様の作用効果を得ることができる。

【００５１】次に本発明にかかる並列計算機システムの
第３の実施の形態を説明する。本実施の形態における演
算処理装置間の通信方法について，例として，配列を６
個の小配列分割して６台の演算処理装置（識別番号０，
１，…，５）に割り当てている場合について説明する。
まず前記配列を小配列２個分拡張し，拡張した部分には
０を埋める。例えば12個の要素からなる配列 (3,1,4,1,
5,9,2,6,5,3,5,8)であれば，４個の要素からなる配列
(0,0,0,0) を追加して，16の要素からなる配列 (3,1,4,
1,5,9,2,6,5,3,5,8,0,0,0,0)とする。演算処理装置とし
ては前記６台の演算処理装置のほかに２台の演算処理装
置（識別番号６，７とする）を加えた８台の演算処理装
置を用いる。この後は，上記第１の実施の形態において
詳述した手順により，８台の演算処理装置間で通信を行
いデータを交換する。

【００５２】本実施の形態においては，一般に（２ⁿ ＋
ｋ）台の演算処理装置に対して，（２ⁿ −ｋ）台の演算
処理装置を加えた２ⁿ⁺¹ 台の演算処理装置群を構成し，
また配列についてもその要素を２ⁿ⁺¹ 個に拡張して各演
算処理装置に分配し，上記第１の実施の形態と同様の方
法で並列計算及びデータの集結を行うものとする。これ
により，２の冪乗ではない台数の演算処理装置に対して
も２の冪乗の場合に準じた構成とすることで，上記第１
の実施形態と同様の作用効果を得ることができる。

【００５３】次に，本発明にかかる並列計算機システム
の第４の実施の形態について説明する。第２及び第３の
実施の形態は，配列の分割数が２の冪でない場合，すな
わち（２ⁿ ＋ｋ）個に分割される場合について，２ⁿ⁺¹
台の演算処理装置によってデータ配列を１個に集結する
方法について述べたものである。これに対し本実施の形
態は，配列の分割数が，２ⁿ ＋２^m （ｎ＞ｍ）である場
合に対し，（２n ＋２m ）台の演算処理装置で処理する
ものである。

【００５４】本実施の形態における並列計算機システム
の演算処理装置間の通信方法として，ここではまず例と
して，配列を６分割して６台の演算処理装置（識別番号
０，１，…，５）に割り当てている場合について説明す
る。図６はこの場合の演算処理装置間通信方法を時系列
で示すチャートである。

【００５５】まず，６台の演算処理装置を２つのグルー
プに分割する。演算処理装置グループ１は識別番号０〜
３の４台で構成される。演算処理装置グループ２は識別
番号４〜５の２台で構成される。次に，演算処理装置グ
ループ１の４台間，および演算処理装置グループ２の２
台間で，上述の第２の実施の形態における手順により，
各々のグループでデータを集結させる。図６における第
１及び第２ステップがこれに相当する。

【００５６】この後，グループ１とグループ２でデータ
交換を次の手順で行う。 [1] 演算処理装置４→演算処理装置０，演算処理装置５
→演算処理装置２を同時並列に実施。（図６の第３ステ
ップに相当。） [2] 演算処理装置１→演算処理装置４，演算処理装置３
→演算処理装置５を同時並列に実施。（図６の第４ステ
ップに相当。） [3] 演算処理装置０→演算処理装置１，演算処理装置２
→演算処理装置３を同時並列に実施。（図６の第５ステ
ップに相当。） この方法により，６台の演算処理装置によってデータ配
列を集結させることができる。

【００５７】また，本実施の形態のもう一つの例とし
て，配列を10分割して10台の演算処理装置（識別番号
０，１，．．．９）に割り当てている場合について説明
する。図７はこの場合における演算処理装置間通信方法
を時系列で示すチャートである。

【００５８】まず，10台の演算処理装置を２つのグルー
プに分割する。演算処理装置グループ１は識別番号０，
１，…，７の８台で構成される。演算処理装置グループ
２は識別番号８，９の２台で構成される。次に演算処理
装置グループ１の８台の演算処理装置間，および演算処
理装置グループ２の２台の演算処理装置間で，上記第２
の実施の形態において述べた方法により，各々のグルー
プでデータを集結させる。図７における第１，第２及び
第３ステップがこれに相当する。

【００５９】この後，グループ１とグループ２でデータ
交換を次の手順で行う。 [1'] 演算処理装置８→演算処理装置０，演算処理装置
９→演算処理装置４を同時並列に実施。（図７の第４ス
テップに相当。） [2'] 演算処理装置３→演算処理装置８，演算処理装置
７→演算処理装置９，演算処理装置０→演算処理装置
２，演算処理装置４→演算処理装置６を同時並列に実
施。（図７の第５ステップに相当。） [3'] 演算処理装置０→演算処理装置１，演算処理装置
４→演算処理装置５，演算処理装置２→演算処理装置
３，演算処理装置６→演算処理装置７を同時並列に実
施。（図７の第６ステップに相当。）

【００６０】この方法により，６台の演算処理装置によ
ってデータ配列を集結させることができる。なお，グル
ープ２からグループ１に送信されたデータのグループ２
内の分配は Binary Treeの方式によっている。

【００６１】以下，本発明にかかる並列計算機システム
の第５の実施の形態について説明する。本実施の形態に
おける演算処理装置間の通信方法は，上記第５の実施の
形態の通信方法を一般化したものである。以下，例とし
て配列を22分割して22台の演算処理装置（識別番号０，
１，…，21）に割り当てている場合について説明する。
図８及び図９はこの配列22分割の場合における演算処理
装置間通信方法を時系列で示すチャートである。図８に
おいて第１ステップから第４ステップまでを，図９にお
いて第５ステップから第８ステップまでを示した。

【００６２】22＝２⁴ ＋２² ＋２¹ であるから，まず，
演算処理装置を次の３グループに分ける。 グループ１； 識別番号０，１，…，15の演算処理装置
（16台） グループ２； 識別番号16，17，18，19の演算処理装置
（４台） グループ３； 識別番号20，21の演算処理装置（２台）

【００６３】次に，演算処理装置グループ１の16台間，
演算処理装置グループ２の４台間，および演算処理装置
グループ３の２台間で，上記第１の実施の形態の方法に
より各々のグループでデータを集結させる。これは図８
に示した第１ステップから第４ステップまでが相当す
る。

【００６４】この後は，上記第２或いは第３の実施の形
態において説明した方法と同様の手順により，データの
グループ間交換を行う。以下そのデータの通信方法を順
を追って説明する。まず，第２ステップでグループ２に
おいてデータの集結が終了するが，その時点で既にグル
ープ３のデータの集結は完了しているから，次のステッ
プとして，グループ２の演算処理装置16，18とグループ
３の演算処理装置19，20との間でそれぞれデータの交換
が行なわれる。これは図８に示したグループ２とグルー
プ３における第３ステップに相当する。この時点で，グ
ループ３の全ての演算処理装置にはグループ２及びグル
ープ３におけるデータがすべて格納された状態となる。

【００６５】次に，グループ２及びグループ３の全ての
データが格納されたグループ２の演算処理装置16，18か
ら，それぞれグループ２の演算処理装置17，19に対して
グループ３より受信したデータが送信される。これは図
８に示したグループ２における第４ステップに相当す
る。

【００６６】グループ１においては第４ステップで各演
算処理装置間でデータの集結が終了するが，次のステッ
プとして，グループ１と，グループ２，３との間でデー
タの送受信を行う。まず，グループ１の演算処理装置
０，１，２，３，４，５から，それぞれグループ２，３
の演算処理装置16，17，18，19，20，21に対してデータ
が送信される。これによりグループ２，３においてはグ
ループ１，２，３の22台の全ての演算処理装置のデータ
の集結が完了する。これは図９に示した第５ステップに
相当する。

【００６７】次に，グループ１の16台の演算処理装置を
４つの小グループに分割する。すなわち， グループ１の小グループ１； 演算処理装置０，１，２，３ 小グループ２； 演算処理装置４，５，６，７ 小グループ３； 演算処理装置８，９，10，11 小グループ４； 演算処理装置12，13，14，15 とする。

【００６８】この各小グループから１台ずつ演算処理装
置を選択する。ここでは演算処理装置０，４，８，12を
選択する。この４台の演算処理装置に対して，それぞれ
グループ２の演算処理装置16，17，18，19から，グルー
プ２及びグループ３に関して集結されたデータを送信す
る。これは図９に示した第６ステップに相当する。

【００６９】次に，グループ１の各小グループにおい
て，従来のBinary Tree の方式で演算処理装置間でグル
ープ２，３に関するデータの送受信を行ない，小グルー
プの全演算総理装置においてグループ１，２，３のデー
タを集結させる。例えば小グループ１においては演算処
理装置０から演算処理装置２に対してデータを送信し，
次に演算処理装置０，２からそれぞれ演算処理装置１，
３に対してデータの送信を行う。他の小グループにおい
ても同様である。これは図９に示した第７ステップ及び
第８ステップに相当する。こうして，全ての22台の演算
処理装置において22個のデータ配列の集結を完了する。

【００７０】一般に，２の冪乗では表されない台数の演
算処理装置におけるデータ配列は，以上説明した方法に
よって集結させることができる。まず，ｋ個の整数 ｎ₁ ，ｎ₂ ，ｎ₃ ，…，ｎ_k （但し，ｎ₁ ＞ｎ₂ ＞ｎ₃
＞…＞ｎ_k ≧０） を用いて，並列計算機システムの演算処理装置の台数を

【００７１】

【数１４】 と表す。また，データ配列をこの台数と同数の小配列に
分割し，各演算処理装置に分割して演算処理を行なうも
のとする。並列計算機システムの演算処理装置のうち，

【００７２】

【数１５】 台をそれぞれグループＧ₁ ，Ｇ₂ ，…，Ｇ_k として，並
列計算機システムの演算処理装置をｋ個のグループに分
割する。同様にデータ配列の小配列の

【００７３】

【数１６】 個をそれぞれ配列Ａ₁ ，Ａ₂ ，…，Ａ_k としてｋ個の配
列に分割する。

【００７４】次に，１≦ｐ≦ｋなるすべてのｐに対し
て，以下の『』内に定義する操作（以下，グループ内工
程ｐという。）を行う。但し，グループ内工程１，…，
ｋは並列して行うこととする。

【００７５】『 グループＧ_p の（２のｎ_p 乗）個の演
算処理装置に識別番号０，１，…，（２のｎ_p 乗−１）
を付与する。次に，０≦ｑ≦ｐ−１なるｑに対し，以下
の《 》内に定義する操作ｑを，ｑ＝０からｑ＝ｐ−１
まで順次行なう。 《 識別番号Ｎの演算処理装置に対し，２進法で表した
識別番号Ｎの２^q の位を反転させた番号Ｎ’を識別番号
とする演算処理装置を対応させ，データ配列の演算処理
結果を識別番号Ｎの演算処理装置と識別番号Ｎ’の演算
処理装置との間で相互に送受信する。但し，ｑ＞０なる
ｑに対しては，操作ｑの際に，識別番号Ｎ，Ｎ’の演算
処理装置間で，各演算処理装置による演算処理結果に加
えて操作（ｑ−１）までで得られた演算処理結果を合わ
せて送受信することとする。 》 この操作により，グループＧ_p の（２のｎ_p 乗）台の演
算処理装置で，データ配列の集結を行う。 』 グループの設定方法により，グループ内工程１，…，ｋ
を並列に行なったとき，グループ内工程ｋが最初に終了
し，以下，グループ内工程（ｋ−１），…，２，１の順
に終了する。このことを考慮して，以下の {{ }} に定
義する操作（以下，グループ間工程ｐという。）を，ｐ
＝ｋ−１からｐ＝１までｐに関して降順に行うこととす
る。

【００７６】{{ グループ内工程ｐが終了した後，グル
ープＧ_p の各演算処理装置に集結された配列Ａ_p のデー
タを，グループＧ_p の演算処理装置から，グループＧ
_p+1 ，…，Ｇ_k に属する全ての演算処理装置に送信す
る。すなわち，グループＧ_p に属する（２のｎ_p 乗）台
の演算処理装置のうち

【００７７】

【数１７】 台を選択して，これら選択された演算処理装置とグルー
プＧ_p+1 ，…，Ｇ_k に属する演算処理装置とを１対１に
対応させ，グループＧ_p からグループＧ_p+1 ，…，Ｇ_k
への配列Ａ_p のデータ送信を行う。次に，グループＧ
_p+1 からグループＧ_p へのデータの送信を行う。（２の
ｎ_p 乗）台の演算処理装置からなるグループＧ_p を，そ
れぞれが

【００７８】

【数１８】 台の演算処理装置からなる小グループα₁ ，…，α_r に
分割する。この小グループの数ｒは，

【００７９】

【数１９】 である。ここで，グループＧ_p+1 に属する演算処理装置
をｂ₁ ，…，ｂ_r と表記する。 グループＧ_p の小グル
ープα₁ ，…，α_r と，グループＧ_p+1 に属する演算処
理装置をｂ₁ ，…，ｂ_r とを１対１に対応させて，グル
ープＧ_p+1 の演算処理装置ｂ_i から対応する小グループ
α_i のうちから選択された１台の演算処理装置ａ_i に，
グループＧ_p+1 において集結された配列Ａ_p+1 のデータ
を送信する操作を，１≦ｉ≦ｒなる全てのｉについて並
列に行う。このとき，ｐ＜ｋ−１の場合，演算処理装置
ｂ_i からａ_i へは，グループＧ_p+2 ，…，Ｇ_k より受信
したデータ配列Ａ_p+2 ，…，Ａ_k を含めて送信するもの
とする。

【００８０】この後，各小グループα_i において，演算
処理装置ａ_i からａ_i 以外の全ての演算処理装置に対し
て，従来のBinary Tree の方式でデータの送信を行な
う。これにより，グループＧp の全ての演算処理装置に
対してデータ配列Ａ_p ，…，Ａ_k に関するデータ配列の
集結が完了する。 }} この方法により，一般に複数台の演算処理装置によって
各演算処理装置において分散され並列計算されたデータ
配列を，効率よく集結させることができるから，計算の
高速化を図ることができる。

【００８１】

【発明の効果】以上説明したように本発明によれば，並
列計算機システムの演算処理装置間の通信方法の効率を
より向上させることにより，データの授受の際の待ち時
間を最小限に抑えることができるから，並列計算機シス
テムにおいて実施される大規模な計算の高速化を図るこ
とができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態における並列計算機
システムの構成を示すブロック図である。

【図２】本発明の第１の実施の形態にかかる並列計算機
システムの演算処理装置間の通信方法を時系列で示すチ
ャートである。

【図３】通信されるデータ量が少ない場合の本発明の第
１の実施形態及び従来の通信方法を用いた場合の演算処
理台数と通信時間の相関を示すグラフである。

【図４】通信されるデータ量が多い場合の本発明の第１
の実施形態及び従来の通信方法を用いた場合の演算処理
台数と通信時間の相関を示すグラフである。

【図５】本発明の第２の実施の形態にかかる並列計算機
システムの演算処理装置間の通信方法を時系列で示すチ
ャートである。

【図６】本発明の第２の実施の形態にかかる並列計算機
システムの演算処理装置間の通信方法を時系列で示すチ
ャートである。

【図７】本発明の第４の実施の形態にかかる並列計算機
システムの演算処理装置間の通信方法を時系列で示すチ
ャートである。

【図８】本発明の第５の実施の形態にかかる並列計算機
システムの演算処理装置間の通信方法を時系列で示すチ
ャートである。

【図９】本発明の第５の実施の形態にかかる並列計算機
システムの演算処理装置間の通信方法を時系列で示すチ
ャートである。

【符号の説明】

１…ホスト計算機， ２−１…演算処理装置， ３…記
憶装置，４…通信手段， ５−１…個別処理装置， ６
−１…通信手段 10ａ，10ｂ…本発明の第１の実施の形態における演算処
理装置の台数と通信に要する時間の関係を示す曲線

Claims (7)

【特許請求の範囲】
1. 【請求項１】 固有の識別子を有する少なくとも２ⁿ 台
   の演算処理装置と，これら各演算処理装置に各々対応す
   る個別記憶装置および通信手段とを備え，この通信手段
   により各演算処理装置間でデータの授受を行う並列計算
   機システムにおいて，２ⁿ 個の小配列に分割して２ⁿ 台
   の演算処理装置に分配され各演算処理装置で演算処理さ
   れたデータ配列を再び１つの配列に集結する際に，２ⁿ
   台の演算処理装置に識別番号０，１，…，２ⁿ −１を付
   与し，識別番号Ｎの演算処理装置に対し２進法で表した
   識別番号Ｎの２ⁱ の位の数を反転させた番号Ｎ’を識別
   番号とする演算処理装置を対応させ，前記データ配列の
   演算処理結果を識別番号Ｎの演算処理装置と識別番号
   Ｎ’の演算処理装置の間で相互に送受信する操作ｉをｉ
   ＝０からｉ＝ｎ−１まで順次行い，ｊ＞０なるｊに対し
   ては，操作ｊの際に，識別番号Ｎ，Ｎ’の演算処理装置
   間で各演算処理装置による演算処理結果に加えて操作
   （ｊ−１）までで得られた演算処理結果を送受信するこ
   とにより２ⁿ 台の演算処理装置間でｎ回の操作でデータ
   配列を集結させることを特徴とする並列計算機システ
   ム。
2. 【請求項２】 固有の識別子を有する（２^m ＋ｋ）台の
   演算処理装置と，これら各演算処理装置に各々対応する
   個別記憶装置および通信手段とを備え，この通信手段に
   より各演算処理装置間でデータの授受を行う並列計算機
   システムにおいて，（２^m ＋ｋ）個の小配列に分割して
   （２^m ＋ｋ）台の演算処理装置に分配・演算処理された
   データ配列を再び１つの配列に集結する際に，前記（２
   ^m ＋ｋ）台の演算処理装置に個別記憶手段及び通信手段
   を備えた（２^m −ｋ）台の演算処理装置を加えた２^m+1
   台からなる演算処理装置群を形成し，この演算処理装置
   群を構成する２^m+1 台の演算処理装置に識別番号０，
   １，…，２^m+1 −１を付与し，識別番号Ｎの演算処理装
   置に対し２進法で表した識別番号Ｎの２ⁱ の位の数を反
   転させた番号Ｎ’を識別番号とする演算処理装置を対応
   させ，前記データ配列の演算処理結果を識別番号Ｎの演
   算処理装置と識別番号Ｎ’の演算処理装置の間で相互に
   送受信する操作ｉをｉ＝０からｉ＝ｍまで順次行い，ｊ
   ＞０なるｊに対しては，操作ｊの際に，Ｎ≦２^m ＋ｋな
   る識別番号Ｎの演算処理装置からはその演算処理装置の
   演算処理結果及び操作（ｊ−１）までで得られた演算処
   理結果を送信し，Ｎ＞２^m ＋ｋなる識別番号Ｎの演算処
   理装置からは操作（ｊ−１）までで得られた演算処理結
   果を送信することにより（２^m ＋ｋ）台の演算処理装置
   において（ｍ＋１）回の操作でデータ配列を集結させる
   ことを特徴とする並列計算機システム。
3. 【請求項３】 固有の識別子を有する（２^m ＋ｋ）台の
   演算処理装置と，これら各演算処理装置に各々対応する
   個別記憶装置および通信手段とを備え，この通信手段に
   より各演算処理装置間でデータの授受を行う並列計算機
   システムにおいて，（２^m ＋ｋ）個の小配列に分割して
   （２^m ＋ｋ）台の演算処理装置に分配・演算処理された
   データ配列を再び１つの配列に集結する際に，この（２
   ^m ＋ｋ）個のデータ配列に（２^m −ｋ）個の空の小配列
   を追加することで前記データ配列を小配列２^m+1 個分の
   配列に拡張し，前記（２^m ＋ｋ）台の演算処理装置に，
   個別記憶手段及び通信手段を備えた（２^m −ｋ）台の演
   算処理装置を加えた２^m+1 台からなる演算処理装置群を
   形成し，この演算処理装置群を構成する２^m+1 台の演算
   処理装置に識別番号０，１，…，２^m+1 −１を付与し，
   識別番号Ｎの演算処理装置に対し２進法で表した識別番
   号Ｎの２ⁱ の位の数を反転させた番号Ｎ’を識別番号と
   する演算処理装置を対応させ，前記データ配列の演算処
   理結果を識別番号Ｎの演算処理装置と識別番号Ｎ’の演
   算処理装置の間で相互に送受信する操作ｉをｉ＝０から
   ｉ＝ｍまで順次行い，ｊ＞０なるｊに対して，操作ｊの
   際に，識別番号Ｎ，Ｎ’の演算処理装置間で各演算処理
   装置による演算処理結果に加えて操作（ｊ−１）までで
   得られた演算処理結果を送受信することにより（２^m ＋
   ｋ）台の演算処理装置において（ｍ＋１）回の操作でデ
   ータ配列を集結させることを特徴とする並列計算機シス
   テム。
4. 【請求項４】 ｎ＞ｍなるｎ，ｍについて，固有の識別
   子を有する（２ⁿ ＋２^m ）台の演算処理装置と，これら
   各演算処理装置に各々対応する個別記憶装置および通信
   手段とを備え，この通信手段により各演算処理装置間で
   データの授受を行う並列計算機システムにおいて，（２
   ⁿ ＋２^m ）個の小配列に分割して（２ⁿ ＋２^m ）台の演
   算処理装置に分配・演算処理されたデータ配列を再び１
   つの配列に集結する際に，前記（２ⁿ ＋２^m ）台の演算
   処理装置を２ⁿ 台からなるグループＧ₁ と２^m 台からな
   るグループＧ₂ に分割し，また前記データ配列を初めの
   ２ⁿ 個の小配列からなる配列Ａ₁ とその後の２^m 個の小
   配列からなる配列Ａ₂ の２つに分割し，この配列Ａ₁ ，
   Ａ₂ をそれぞれグループＧ₁ ，Ｇ₂ と対応づけて分配，
   演算処理を行い，グループＧ₁ の２ⁿ 台の演算処理装置
   に識別番号０，１，…，２ⁿ −１を付与し，識別番号Ｎ
   の演算処理装置に対し２進法で表した識別番号Ｎの２ⁱ
   の位の数を反転させた番号Ｎ’を識別番号とする演算処
   理装置を対応させ，前記データ配列の演算処理結果を識
   別番号Ｎの演算処理装置と識別番号Ｎ’の演算処理装置
   の間で相互に送受信する操作ｉをｉ＝０からｉ＝ｎ−１
   まで順次行い，ｊ＞０なるｊに対して，操作ｊの際に識
   別番号Ｎ，Ｎ’の演算処理装置間で各演算処理装置によ
   る演算処理結果に加えて操作（ｊ−１）までで得られた
   演算処理結果を送受信することによりグループＧ₁ 内で
   配列Ａ₁ を集結させる第１の工程と，グループＧ₂ の２
   ^m 台の演算処理装置に識別番号０，１，…，２^m −１を
   付与し，識別番号Ｎの演算処理装置に対し２進法で表し
   た識別番号Ｎの２ⁱ の位の数を反転させた番号Ｎ’を識
   別番号とする演算処理装置を対応させ，前記データ配列
   の演算処理結果を識別番号Ｎの演算処理装置と識別番号
   Ｎ’の演算処理装置の間で相互に送受信する操作ｉをｉ
   ＝０からｉ＝ｎ−１まで順次行い，ｊ＞０なるｊに対し
   て，操作ｊの際に識別番号Ｎ，Ｎ’の演算処理装置間で
   各演算処理装置による演算処理結果に加えて操作（ｊ−
   １）までで得られた演算処理結果を送受信することによ
   りグループＧ₁ 内で配列Ａ₂ を集結させる第２の工程
   と，グループＧ₁ からグループＧ₂ の各演算処理装置に
   配列Ａ₁ を，グループＧ₂ からグループＧ₁ の各演算処
   理装置に配列Ａ₂ を送信する第３の工程とを有し，第１
   の工程と第２の工程を並列に実行した後に第３の工程を
   行なうことにより（２ⁿ ＋２^m ）台の演算処理装置にお
   いてデータ配列を集結させることを特徴とする並列計算
   機システム。
5. 【請求項５】 固有の識別子を有する複数の演算処理装
   置と，これら各演算処理装置に各々対応する個別記憶装
   置および通信手段とを備えた並列計算機システムにおい
   て， 【数１】 個の小配列（但し，ｎ₁ ＞ｎ₂ ＞ｎ₃ ＞…＞ｎ_k ≧０）
   に分割して 【数２】 台の演算処理装置に分配・演算処理されたデータ配列を
   再び１つの配列に集結する際に，これらの演算処理装置
   のうち 【数３】 台をそれぞれグループＧ₁ ，Ｇ₂ ，…，Ｇ_k としてｋ個
   のグループに分割するとともに，前記小配列のうち 【数４】 個の小配列をそれぞれ配列Ａ₁ ，Ａ₂ ，…，Ａ_k として
   ｋ個の配列に分割し，このｋ個の配列とｋ個のグループ
   Ｇ₁ ，Ｇ₂ ，…，Ｇ_k とを１対１に対応づけて分配・演
   算処理を行い，１≦ｐ≦ｋなる各ｐに対し，グループＧ
   _p の（２のｎ_p 乗）台の演算処理装置に識別番号０，
   １，…を付与し，識別番号Ｎの演算処理装置に対し２進
   法で表した識別番号Ｎの２ⁱ の位の数を反転させた番号
   Ｎ’を識別番号とする演算処理装置を対応させ，前記デ
   ータ配列の演算処理結果を識別番号Ｎの演算処理装置と
   識別番号Ｎ’の演算処理装置の間で相互に送受信する操
   作ｉをｉ＝０からｉ＝ｎ−１まで順次行い，ｊ＞０なる
   ｊに対して，操作ｊの際に識別番号Ｎ，Ｎ’の演算処理
   装置間で各演算処理装置による演算処理結果に加えて操
   作（ｊ−１）までで得られた演算処理結果を送受信する
   ことによりグループＧ_p 内の演算処理装置でデータ配列
   Ａ_p を集結させるグループ内工程ｐを実行し，グループ
   内工程（ｋ−１）が終了した後，グループＧ_k の演算処
   理装置から配列Ａ_k の演算結果をグループＧ_k-1 の演算
   処理装置に送信するグループ間工程ｋを実行し，次に，
   グループＧ_p の各演算処理装置に集結された配列Ａ_p の
   演算結果を，グループＧ_p の演算処理装置からｑ＞ｐな
   る全てのｑに対しグループＧ_q に属する各演算処理装置
   に送信するとともに，グループＧ_q の演算処理装置か
   ら，グループＧ_p 自身の演算結果である配列Ａ_p 及びグ
   ループＧ_p+1 の演算処理装置から受信した配列Ａ_p-1 ，
   …，Ａ_k の演算結果をグループＧ_p-1 の演算処理装置に
   送信するグループ間工程ｐを，ｐ＝ｋ−１からｐ＝２ま
   でｐに関して降順に実行することにより， 【数５】 台の演算処理装置においてデータ配列を集結させること
   を特徴とする並列計算機システム。
6. 【請求項６】 請求項４または５記載の並列計算機シス
   テムを用いて演算処理装置のグループ間でのデータ交換
   を行う場合，ｐ＞ｑなるｐ，ｑについて，２^p台の演算
   処理装置からなるグループＧ_A で集結され共有されてい
   るデータ配列Ａと，２^q 台の演算処理装置からなるグル
   ープＧ_B で集結され共有されているデータ配列Ｂとを，
   グループＧ_A ，Ｇ_B 間で相互に送受信する際に，グルー
   プＧ_A のなかから選択される２^q 台の演算処理装置をグ
   ループＧ_B の各演算処理装置と１対１に対応させてグル
   ープＧ_B の各演算処理装置にデータ配列Ａを送信する操
   作を並列に実施するとともに，グループＧ_A を，それぞ
   れが２^p-q 台の演算処理装置からなる小グループα₁ ，
   α₂ ，…，α_r （ｒ＝２^q ）に分割して，各々の小グル
   ープとグループＧ_B のｒ台の各演算処理装置とを１対１
   に対応させ，小グループα_i のなかから選択される１台
   の演算処理装置に対して，小グループα_i に対応するグ
   ループＧ_B の演算処理装置からデータ配列Ｂを送信した
   後，小グループα_i の演算処理装置間でデータ配列Ｂを
   送受信する操作ｉを，１≦ｉ≦ｒなるｉに関して並列に
   実行するすることにより，２^p 台の演算処理装置と２^q
   台の演算処理装置にデータ配列Ａとデータ配列Ｂを共有
   させることを特徴とする並列計算機システム。
7. 【請求項７】 請求項１乃至６のいずれか記載の並列計
   算機システムを用いて２台の演算処理装置間でデータを
   交換する工程は，演算処理装置の識別番号の大きい方か
   ら小さい方にデータを送る第１の送信工程と，演算処理
   装置の識別番号の小さい方から大きい方にデータを送る
   第２の送信工程とからなり，この第１の送信工程と第２
   の送信工程のうちから選択される１工程を先に行った
   後，続いて他の１工程を行うことを特徴とする並列演算
   機システムの演算処理装置間の通信方法。