JP2002297560A - 並列計算機 - Google Patents

Abstract

(57)【要約】 【課題】 任意の複数グリープからなる矩形以外のノー
ド群に分割してバリア同期を実施可能とする並列計算機
を提供する。 【解決手段】 並列計算機を構成する各プロセッサノー
ド３は、自ノードと同一クロスバ１，２に接続されるノ
ード内の各接続軸毎のバリア同期に参加するノード集合
を記憶する記憶手段４と、自ノードと同一クロスバに接
続されるノードのバリア同期状態を各接続軸毎に記憶す
る記憶手段６と、バリア同期に参加するノード集合形状
が矩形であるか否かを記憶する記憶手段５を備える。記
憶種゛単４，６を比較して、各軸毎にバリア同期を実施
後、記憶手段５を参照し、矩形無効時にはさらに各軸毎
にバリア同期を実施するようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数のノードがク
ロスバネットワーク結合方式で接続され、通信ネットワ
ークによってバリア同期処理を実行する機能を有する並
列計算機に関し、特に任意のノードの組み合わせでバリ
ア同期を実施可能とする並列計算機に関するものであ
る。

【０００２】

【従来の技術】並列計算機では、複数のノードに割り振
られた並列プログラムに対して、それぞれのノードが平
行して演算処理を実行し、各ノードは、他のノードで実
行されている演算処理がある点まで実行されたことを条
件として次の演算処理に進むように、同期処理が行われ
る。このような同期をとる手法として、バリア同期が一
般に用いられる。クロスバネットワークによるバリア同
期では、並列プログラムを実行しているそれぞれのノー
ドは、演算処理がプログラム上に定められた同期点に到
達すると、バリア同期パケットによって他ノードに同期
点への到達を通知する。すべてのノードが同期点への到
達を通知することでバリア同期が成立する。

【０００３】従来、並列計算機ネットワーク結合方式と
しては、例えば特開昭６３―１２４１６２号公報「並列
計算機の相互結合方式」に記載されているハイパークロ
スバ方式がある。この方式は、多次元直交座標格子点上
に配置されたプロセッサノードを、各座標軸方向に完全
クロスバスイッチにより結合したものであり、任意のプ
ロセッサノード間が効率良く通信される。

【０００４】

【発明が解決しようとする課題】複数ノードがハイパー
クロスバネットワーク結合方式等で接続された並列計算
機において、並列プログラムが全プロセッサノード群で
同一の処理を実施するのではなく、分割して処理を実施
し、分割したノード群の単位でバリア同期を実施する場
合がある。しかしながら、従来方式では、バリア同期機
構の制約により、全プロセッサノードもしくは矩形のノ
ード群単位でバリア同期を実施する必要があり、任意に
分割したノード群の単位で同時にバリア同期処理を実施
することができなかった。

【０００５】本発明の目的は、複数のプロラッサノード
がクロスバネットワークで接続された並列計算機におい
て、並列プログラムを分割したノード群において実施す
る場合に、ノード群の形状を矩形以外にも適用可能なバ
リア同期制御機構を提供することにある。

【０００６】

【課題を解決するための手段】本発明は、並列計算機を
構成する各プロセッサノードが、自ノードと同一クロス
バに接続されるノード内の各接続軸毎のバリア同期に参
加するノード集合を設定記憶するバリア同期参加形状設
定記憶手段（第１記憶手段）と、自ノードと同一クロス
バに接続されるノードのバリア同期状態を各接続軸毎に
記憶するバリア同期状態記憶手段（第２記憶手段）と、
バリア同期に参加するノード集合形状が矩形であるか否
かを設定記憶する矩形分割モード設定記憶手段（第３記
憶手段）を備える。各プロセッサノードは、バリア同期
参加形状設定記憶手段とバリア同期状態記憶手段をとも
に、ある接続軸に接続されたバリア同期に参加したノー
ド間のバリア同期が同期点に到達していることを判定
し、次の接続軸に対してバリア同期を実施し、すべての
接続軸のバリア同期が同期点に到達していることを確認
後、矩形分割モード設定記憶手段を参照し、バリア同期
に参加するノード集合形状が矩形でない場合には、さら
に各接続軸毎にバリア同期を実施するようにする。

【０００７】

【発明の実施の形態】以下、本発明の一実施例を図面を
用いて具体的に説明する。図２は、ハイパークロスバ方
式で結合されたネットワークの概念図である。システム
全体は、Ｘ軸クロスバスイッチ１−１〜１−３、Ｙ軸ク
ロスバスイッチ２−１〜２−３、プロセッサノード３の
集合として構成される。図２では、各々、Ｘ軸方向に３
プロセッサノード、Ｙ軸方向に３プロセッサノードを配
置し、これらのノードをＸ軸クロスバスイッチ１−１〜
１−３とＹ軸クロスバスイッチ２−１〜２−３によって
ハイパークロスバ方式で結合したネットワークが構成さ
れている。各ノード3には座標が割り当てられていて、
図２の例では、ノード（１，１）の座標からノード
（３，３）の座標までが識別されている。

【０００８】プロセッサノード（１，１）、（２，
１）、（３，１）は、Ｘ軸クロスバスイッチ１−１に接
続され、プロセッサノード（１，２）、（２，２）、
（３，２）は、Ｘ軸クロスバスイッチ１−２に接続さ
れ、プロセッサノード（１，３）、（２，３）、（３，
３）は、Ｘ軸クロスバスイッチ１−３に接続されてい
る。また、プロセッサノード（１，１）、（１，２）、
（１，３）は、Ｙ軸クロスバスイッチ２−１に接続さ
れ、プロセッサノード（２，１）、（２，２）、（２，
３）は、Ｙ軸クロスバスイッチ２−２に接続され、プロ
セッサノード（３，１）、（３，２）、（３，３）は、
Ｙ軸クロスバスイッチ２−３に接続されている。

【０００９】図１は、本発明による並列計算機の一実施
例のブロック図であり、特に一つのＸ軸クロスバスイッ
チ１と一つのＹ軸クロスバスイッチ２に接続される一つ
のプロセッサノード３の構成例を示す。図１中、プロセ
ッサノード３は、命令プロセサ１１０と、メモリ１１１
と、メモリ制御ユニット１１２と、さらに通信ユニット
１１３を具備している。ここで、通信ユニット１１３
は、Ｘ軸あるいはＹ軸に向けて送付されるバリア同期パ
ケットデータを生成するバリア同期パケット生成回路１
３０と、Ｘ軸クロスバスイッチ１、Ｙ軸クロスバスイッ
チ２とデータ授受を行うための入出力ポート１４０と、
バリア同期の設定の保持及び状態の制御を行なうバリア
同期管理回路１５０からなる。バリア同期管理回路１５
０は、バリア同期参加形状設定記憶手段４と、矩形分割
モード設定記憶手段５と、バリア同期状態記憶手段６を
有する。

【００１０】バリア同期参加形状設定記憶手段４には、
自ノードと同一クロスバスイッチ１，２に接続されるノ
ード内の各接続軸毎のバリア同期に参加するノードの集
合が設定記憶される。矩形分割モード設定記憶手段５に
は、バリア同期に参加するノードの集合状形が矩形であ
るか否かを示すフラグ（ビット）が設定記憶される。バ
リア同期状態記憶手段６は、ノード３と同一クロスバス
イッチ１，２に接続されるノードのバリア同期状態を各
接続軸毎に記憶する。これら記憶手段４，５，６につい
ては後述する。

【００１１】本実施例の各プロセッサノード３内のプロ
セッサ１１０の動作は、メモリ１１１上のプログラムを
読み出し実行する、従来のマイクロプロセッサの動作と
同様である。なお、図１ではプロセッサ１１０が１台で
あるが、複数でも構わない。

【００１２】バリア同期は、プロセッサ１１０がメモリ
制御ユニット１１２を経由してバリア同期管理回路１５
０に命令を書き込むことにより起動される。このバリア
同期を起動する前に、バリア同期に参加する全てのプロ
セッサノード３毎に、バリア同期参加形状設定記憶手段
４および矩形分割モード設定記憶手段５に、プロセッサ
１１０がメモリ制御ユニット１１２を経由して値を設定
する。

【００１３】バリア同期が起動されると、バリア同期パ
ケット生成回路１３０は、バリア同期管理回路１５０か
らの宛先情報等をもとにバリア同期パケットを生成す
る。この生成されたバリア同期パケットが、入出力ポー
ト１４０を介し、まず、Ｘ軸クロスバスイッチ１に送付
される。同様に他のノードでもバリア同期が起動され、
Ｘ軸クロスバスイッチ１に対してバリア同期パケットが
送付される。バリア同期パケットを受け取ったＸ軸クロ
スバスイッチ１は、自クロスバスイッチに接続するノー
ドの内、バリア同期パケットの中に含まれる宛先ノード
に対してのみ、そのバリア同期パケットを送付する。各
プロセッサノードは、Ｘ軸クロスバスイッチ１から送付
されたバリア同期パケットを入出力ポート１４０で受信
し、バリア同期管理回路１５０において、バリア同期状
態記憶手段６に記憶し、これをバリア同期参加形状設定
記憶手段４の設定値と比較することで、自ノードを含め
てＸ軸クロスバスイッチ１に接続されるすべてのノード
の内、バリア同期参加形状設定記憶手段４に設定され
た、つまりバリア同期に参加している全てのノードから
バリア同期パケットが送付されてくるのを監視する。そ
れらのバリア同期パケットをすべて受信することでＸ軸
方向の同期が成立し、バリア同期管理回路１５０は、Ｘ
軸同期の成立を検出する。

【００１４】Ｘ軸同期が検出されると、バリア同期管理
回路１５０はバリア同期パケット生成回路１３０に指示
し、バリア同期パケット生成回路１３０は、次に入出力
ポート１４０を介し、Ｙ軸クロスバスイッチ２に対して
バリア同期パケットを送付する。他のノードに関しても
同様である。各プロセッサノードは、バリア同期管理回
路１５０において、同様にＹ軸方向の同期の成立を監視
する。Ｙ軸方向の同期が成立したプロセッサノードは、
矩形分割モード設定記憶手段５を参照する。ここで、矩
形分割モード設定記憶手段５が、バリア同期に参照する
プロセッサ群の形状が矩形で有効と設定されている場合
は、既にそのプロセッサノードが接続するＸ軸に関して
同期が成立しているため、バリア同期に参加している全
ノードが同じ同期点に到達したことを検出する。

【００１５】バリア同期に参加するプロセッサ群の形状
が矩形でなく、矩形分割モード設定記憶手段５が無効と
設定されていた場合は、バリア同期管理回路１５０は、
バリア同期パケット生成回路１３０に指示して、再度Ｘ
軸方向の同期、Ｙ軸方向の同期処理を実施し、Ｙ軸方向
の同期が成立した時点でバリア同期に参加している全ノ
ードが同じ同期点に到達したことを検出する。バリア同
期成立を検出したバリア同期管理回路１５０は、メモリ
制御ユニット１１２を介してプロセッサ（ＣＰＵ）１１
０にバリア同期成立を通知する。

【００１６】次に、図１の構成において、プロセッサノ
ード３におけるバリア同期の起動に関して、図３を用い
て更に詳細に説明する。図３中、図１と同一部分には同
一の符号を付している。１３１はバリア同期パケットデ
ータ、１３２はノード座標記憶手段、１３３はセレク
タ、１５３，１５５はそれぞれバリア同期参加形状設定
記憶手段４を構成するＸ軸バリア同期参加記憶手段とＹ
軸バリア同期参加記憶手段、１５６は軸ＩＤ決定回路、
１５７はセレクタである。

【００１７】矩形分割モード設定記憶手段５の値、及
び、バリア同期参加形状設定記憶手段４のＸ軸バリア同
期参加記憶手段１５３とＹ軸バリア同期参加記憶手段１
５５の値はプログラム実行前にプロセッサ１１０によっ
て予め設定される。矩形分割モード設定記憶手段５は、
バリア同期に参加するノード群の形状が矩形の場合、値
は０、矩形以外は１である。Ｘ軸バリア同期参加記憶手
段１５３はｎビット（ｎはＸ軸方向ののノード数）で構
成され、それぞれのビット位置はノードのＸ座標に対応
し、バリア同期に参加しているプロセッサノードのビッ
ト位置を１とし、他は０に設定する。Ｙ軸バリア同期参
加記憶手段１５５は同様にｎビット（ｎはＹ軸方向のノ
ード数）で構成され、それぞれのビット位置はノードの
Ｙ座標に対応し、バリア同期に参加しているプロセッサ
ノードのビット位置を１とし、他は０に設定する。

【００１８】プログラムを実行しているプロセッサ１１
０は、プログラム上に予め定められた同期点に到達した
とき、バリア同期を起動するためにバリア同期管理回路
１５０に起動を通知し、バリア同期待ち状態に入る。バ
リア同期管理回路１５０は、バリア同期の起動を軸ＩＤ
決定回路１５６に通知する。軸ＩＤ決定回路１５６で
は、同期待ちのクロスバがＸ軸かＹ軸か及びその回数を
識別するための情報を決定する。本実施例では、同期待
ちのクロスバがＸ軸方向でかつ１回目のＸ軸同期であれ
ば軸ＩＤは００、Ｙ軸方向でかつ１回目のＹ軸同期であ
れば軸ＩＤは０１、Ｘ軸方向でかつ２回目のＸ軸同期で
あれば軸ＩＤは１０、Ｙ軸方向でかつ２回目のＹ軸同期
であれば軸ＩＤは１１とする。したがってバリア同期が
起動されたときは軸ＩＤの値は００である。

【００１９】バリア同期パケット生成回路１３０内のノ
ード座標記憶手段１３２はＸフィールドとＹフィールド
を持ち、自ノードの座標を記憶している。ノード座標記
憶手段１３２の値はプログラム実行前にプロセッサ１１
０によって予め設定される。例えば、図２のノード
（１、１）の場合、ノード座標記憶手段１３２のＸフィ
ールドの値は１、Ｙフィールドの値は１である。

【００２０】バリア同期パケットデータ１３１は軸ＩＤ
フィールド、宛先フィールド、座標フィールドを持つ。
軸ＩＤフィールドには軸ＩＤ決定回路１５６で決定され
た値が格納される。座標フィールドには、ノード座標記
憶手段１３２のＸフィールドの値またはＹフィールドの
値が軸ＩＤ決定回路１５６の値によってセレクタ１３３
で選択されて格納される。セレクタ１３３は、軸ＩＤ決
定回路１５６の値が００または１０の場合はＸフィール
ドの値、０１または１１の場合はＹフィールドの値を選
択する。宛先フィールドには、Ｘ軸バリア同期参加記憶
手段１５３の値またはＹ軸バリア同期参加記憶手段１５
５の値がセレクタ１５７で選択されて格納される。セレ
クタ１５７は、軸ＩＤ決定回路１５６の値が００または
１０の場合は、Ｘ軸バリア同期参加記憶手段１５３の
値、０１または１１の場合は、Ｙ軸バリア同期参加記憶
手段１５５の値を選択する。バリア同期パケットデータ
１３１の各フィールドに値が格納されると、入出力ポー
ト１４０を介して、バリア同期パケットが、Ｘ軸方向ク
ロスバ１あるいはＹ軸方向クロスバス２に送付される。

【００２１】次に、図１の構成において、プロセッサノ
ード３におけるバリア同期パケットを受信し、バリア同
期成立の検出について、図４を用いて更に詳細に説明す
る。図４中、図１と同一部分には同一の符号を付してい
る。１５１はバリア同期パケット受信データ、１５２お
よび１５４はそれぞれバリア同期状態記憶手段６を構成
するＸ軸バリア同期状態記憶手段とＹ軸バリア状態記憶
手段、１５８および１５９は比較回路である。また、１
５３および１５５はそれぞれ図３で示したバリア同期参
加形状設定記憶手段４を構成するＸ軸バリア同期参加記
憶手段とＹ軸バリア同期参加記憶手段、１５６は軸ＩＤ
決定回路である。

【００２２】バリア同期パケット受信データ１５１は軸
ＩＤフィールド、宛先座標フィールドを持ち、それぞれ
のフィールドには、入出力ポート１４０を介してＸ軸方
向クロスバ１またはＹ軸方向クロスバ２から受信した送
信元バリア同期パケットのそれぞれ対応するフィールド
のデータが格納される。図３で説明したように、軸ＩＤ
フィールドは、本実施例では同期待ちのクロスバがＸ軸
方向でかつ１回目のＸ軸同期であれば００、Ｙ軸方向で
かつ１回目のＹ軸同期であれば０１、Ｘ軸方向でかつ２
回目のＸ軸同期であれば１０、Ｙ軸方向でかつ２回目の
Ｙ軸同期であれば１１である。また、座標フィールド
は、バリア同期パケット受信データの送信ノードのＸあ
るいはＹ座標をあらわす。

【００２３】Ｘ軸バリア同期状態記憶手段１５２はｎビ
ット（Ｘ軸方向のノード数）で構成され、それぞれのビ
ット位置はノードのＸ座標に対応する。なお、プログラ
ム開始時には、Ｘ軸バリア同期状態記憶手段１５２のビ
ット列の初期値はオール０がセットされている。バリア
同期パケット受信データ１５１の軸ＩＤフィールドの値
が００または１０の場合、バリア同期パケット受信デー
タ１５１の座標フィールドの値に対応するＸ軸バリア同
期状態記憶手段１５２のビット位置の値が１にセットさ
れる。このＸ軸バリア同期状態記憶手段１５２のビット
列の値とＸ軸バリア同期参加状態記憶手段１５３の値を
比較回路１５８において比較し、一致と判定した時、Ｘ
軸に関して同期が成立したことを表している。Ｘ軸バリ
ア同期状態記憶手段１５２はＸ軸に関して同期が成立し
た時点でオール０に再セットされて、次の同期処理の実
施にそなえる。

【００２４】Ｙ軸バリア同期状態記憶手段１５４も同様
にｎビット（Ｙ軸方向のノード数）で構成され、それぞ
れのビット位置はＹ座標に対応し、ビット列の初期値は
オール０である。バリア同期パケット受信データ１５１
の軸ＩＤフィールドの値が０１または１１の場合、バリ
ア同期パケット受信データ１５１の座標フィールドの値
に対応するＹ軸バリア同期状態記憶手段１５４のビット
位置の値が１にセットされる。このＹ軸バリア同期状態
記憶手段１５４のビット列の値とＹ軸バリア同期参加状
態記憶手段１５５の値を比較回路１５９において比較
し、一致と判定した時、Ｙ軸に関して同期が成立したこ
とを表している。Ｙ軸バリア同期状態記憶手段１５４
も、同様にＹ軸に関して同期が成立した時点でオール０
に再セットされて、次の同期処理の実施にそなえる。

【００２５】Ｙ軸バリア同期状態記憶手段１５４のビッ
ト列の値とＹ軸バリア同期参加状態記憶手段１５５の値
が比較回路１５９において一致と判定され、矩形分割モ
ード設定記憶手段５が矩形有効を意味する値０であり、
軸ＩＤ決定回路１５６の値が０１である場合、バリア同
期に参照したプロセッサノードが全て同期点に致達した
ことを意味する。矩形分割モード設定記憶手段５が矩形
無効を意味する値１の場合は、再度バリア同期パケット
を送受信して、Ｘ軸方向の同期、Ｙ軸方向の同期処理を
実施する。そして、Ｙ軸バリア同期状態記憶手段１５４
のビット列の値とバリア同期参加状態記憶手段１５５の
値が比較回路１５９において一致と判定され、軸ＩＤ決
定回路１５６の値が１１になった場合、バリア同期に参
加したプロセッサノードが全て同期点に到達したことを
意味する。

【００２６】軸ＩＤ決定回路１５６は、軸ＩＤの状態
と、矩形分割モード設定記憶手段５の値と、比較回路１
５９の出力とにより、バリア同期に参加したプロセッサ
ノードが全て同期点に到達したことを検出すると、メモ
リ制御ユニット１１２を介してプロセッサ１１０にバリ
ア同期成立を通知する。

【００２７】次に、図５から図１６を使って具体的な動
作例について説明する。なお、簡単のために、以下の説
明では並列計算機の構成を図２に示した３×３（ｎ＝
３）とし、バリア同期に参加するプロセッサノードを３
−１の（１，１）、３−２（２，１）、３−３の（３，
１）、３−４の（１，２）とする。また、プロセッサノ
ード３−１、３−２、３−３、３−４の順にバリア同期
を実施するものとする。なお、実際にはバリア同期は順
不同で実施される。

【００２８】まず、バリア同期を起動するに先立ち、プ
ロセッサノード３−１、３−２、３−３、３−４におい
て、図５に示すように、Ｘ軸バリア同期参加記憶手段１
５３、Ｙ軸バリア同期参加記憶手段１５５、矩形分割モ
ード設定記憶手段５にそれぞれ値を設定する。ここで、
矩形分割モード設定記憶手段５の値が１は、バリア同期
に参加するプロセッサノード３−１，３−２，３−３，
３−４の集合形状が矩形でないことを示している。軸Ｉ
Ｄ決定回路１５６の軸ＩＤの初期値は００である。な
お、Ｘ軸バリア同期状態記憶手段１５２とＹ軸バリア同
期状態記憶手段１５４の初期値はオール０である。

【００２９】プロセッサノード３−１がバリア同期を起
動すると、プロセッサノード３−１は、Ｘ軸方向クロス
バ１−１へ、プロセッサノード３−１、３−２、３−３
宛にバリア同期パケットを送信し、プロセッサノード３
−１，３−２，３−３は、図６のバリア同期パケット受
信データ１５１（軸ＩＤ＝００、Ｘ座宛先＝１１１、Ｘ
座標＝１）に示すバリア同期パケットを受信する。バリ
ア同期パケット受信データ１５１の座標フィールド（Ｘ
座標）の値が１であるので、図６に示すように、プロセ
ッサノード３−１、３−２、３−３では、Ｘ軸バリア同
期状態記憶手段１５２のビット１の値が１にセットされ
る。

【００３０】次に、プロセッサノード３−２がバリア同
期を起動すると、プロセッサノード３−２は、Ｘ軸方向
クロスバ１−１へ、プロセッサノード３−１、３−２、
３−３宛にバリア同期パケットを送信し、プロセッサノ
ード３−１，３−２，３−３は、図７のバリア同期パケ
ット受信データ１５１（軸ＩＤ＝００、Ｘ宛先＝１１
１、Ｘ座標＝２）に示すバリア同期パケットを受信す
る。バリア同期パケット受信データ１５１の座標フィー
ルド（Ｘ座標）の値が２であるので、図７に示すよう
に、プロセッサノード３−１、３−２、３−３では、Ｘ
軸バリア同期状態記憶手段１５２のビット２の値が１に
セットされる。

【００３１】次にプロセッサノード３−３がバリア同期
を起動すると、プロセッサノード３−３は、Ｘ軸方向ク
ロスバ１−１へ、プロセッサノード３−１、３−２、３
−３宛にバリア同期パケットを送信し、プロセッサノー
ド３−１、３−２、３−３は図８のバリア同期パケット
受信データ１５１（軸ＩＤ＝００、Ｘ宛先＝１１１、Ｘ
座標＝３）に示すバリア同期パケットを受信する。バリ
ア同期パケット受信データ１５１の座標フィールド（Ｘ
座標）の値が３であるので、プロセッサノード３−１、
３−２、３−３ではＸ軸バリア同期状態記憶手段１５２
のビット３の値が１にセットされる。

【００３２】この時、プロセッサノード３−１、３−
２、３−３は、図８に示すようにＸ軸バリア同期状態記
憶手段１５２のビット列の値とＸ軸バリア同期参加記憶
手段１５３のビット列の値が一致となり、Ｘ軸に関して
同期が成立したことを表している。

【００３３】図８の状態の後、Ｘ軸の同期成立を受け
て、プロセッサノード３−１、３−２、３−３では、Ｙ
軸に向けて送付されるバリア同期パケットデータが生成
される。この時、プロセッサノード３−１，３−２、３
−３の軸ＩＤ決定回路１５６では、軸ＩＤの値が０１と
なり、Ｘ軸バリア同期状態記憶手段１５２はオール０に
なる。

【００３４】バリア同期パケットは、Ｙ軸に向けてプロ
セッサノード３−１からプロセッサノード３−１と３−
４宛に、プロセッサノード３−２から自プロセッサノー
ド３−２宛に、プロセッサノード３−３から同じく自プ
ロセッサノード３−３宛に送出される。

【００３５】プロセッサノード３−１がＹ軸方向クロス
バ２−１へ、プロセッサノード３−１、３−４宛にバリ
ア同期パケットを送出すると、プロセッサノード３−
１、３−４は、図９のバリア同期パケット受信データ１
５１（軸ＩＤ＝０１，Ｙ宛先＝１１０，Ｙ座標＝１）に
示すバリア同期パケットを受信する。プロセッサノード
３−２がＹ軸方向クロスバ２−２へ、プロセットノード
３−２宛にバリア同期パケットを送出すると、プロセッ
サノード３−２は、図９のバリア同期パケット受信デー
タ１５１（軸ＩＤ＝０１，Ｙ宛先＝１００，Ｙ座標＝
１）に示すバリア同期パケットを受信する。同様に、プ
ロセッサノード３−３がＹ軸方向クロスバ２−３へ、プ
ロセットノード３−３宛にバリア同期パケットを送出す
ると、プロセッサノード３−３は、図９のバリア同期パ
ケット受信データ１５１（軸ＩＤ＝０１，Ｙ宛先＝１０
０，Ｙ座標＝１）に示すバリア同期パケットを受信す
る。各バリア同期パケット受信データ１５１の座標フィ
ールド（Ｙ座標）の値が１であるので、図９に示すよう
に、プロセッサノード３−１、３−２、３−３、３−４
のＹ軸バリア同期状態記憶手段１５４のビット１の値が
１にセットされる。

【００３６】この時、プロセッサノード３−２、３−３
は、図９に示すように、Ｙ軸バリア同期状態記憶手段１
５４のビット列の値とＹ軸バリア同期参加記憶手段１５
５のビット列の値が一致となり、Ｙ軸に関して同期が成
立したことを表している。ただし、矩形モード設定記憶
手段５が矩形無効を示す値１であるため、プロセッサノ
ード３−２、３−３では、再びＸ軸に向けて送付される
バリア同期パケットデータを生成し送信する。この時、
プロセッサ３−２，３−３の軸ＩＤ決定回路１５６で
は、軸ＩＤの値が１０となり、Ｙ軸バリア同期状態記憶
手段１５４はオール０となる。

【００３７】バリア同期パケットは、Ｘ軸に向けてプロ
セッサノード３−２からプロセッサノード３−１、３−
２、３−３宛に、プロセッサノード３−３から同じくプ
ロセッサノード３−１、３−２、３−３宛に送信され
る。ここでは説明の便宜上、プロセッサノード３−２、
３−３が送信したパケットの順で到着したとして説明を
続ける。

【００３８】プロセッサノード３−２がＸ軸方向クロス
バ１−１へ、プロセッサノード３−１、３−２、３−３
宛にバリア同期パケットを送信すると、プロセッサノー
ド３−１、３−２、３−３は、図１０のバリア同期パケ
ット受信データ１５１（軸ＩＤ＝１０、Ｘ宛先＝１１
１、Ｘ座標＝２）に示すリア同期パケットを受信する。
バリア同期パケット受信データ１５１の座標フィールド
（Ｘ座標）の値が２であるので、図１０に示すように、
プロセッサノード３−１，３−２，３−３では、Ｘ軸バ
リア同期状態記憶手段１５２のビット２の値が１にセッ
トされる。

【００３９】プロセッサノード３−３がＸ軸方向クロス
バ１−１へ、プロセッサノード３−１、３−２、３−３
宛にバリア同期パケットを送信すると、プロセッサノー
ド３−１、３−２、３−３は、図１１のバリア同期パケ
ット受信データ１５１（軸ＩＤ＝１０、Ｘ宛先＝１１
１、Ｘ座標＝３）に示すバリア同期パケットを受信す
る。バリア同期パケット受信データ１５１の座標フィー
ルド（Ｘ座標）の値が３であるので、図１１に示すよう
に、プロセッサノード３−１，３−２，３−３では、Ｘ
軸バリア同期状態記憶手段１５２のビット３の値が１に
セットされる。

【００４０】一方、プロセッサノード３−４がバリア同
期を起動すると、プロセッサノード３−４はＸ軸クロス
バ１−２へ、自プロセッサノード３−４宛にバリア同期
パケットを送信し、プロセッサノード３−４は、図１２
のバリア同期パケット受信データ１５１（軸ＩＤ＝０
０、Ｘ宛先＝１００、Ｘ座標＝１）に示すバリア同期パ
ケットを受信する。バリア同期パケット受信データ１５
１の座標フィールド（Ｘ座標）の値が１であるので、図
１２に示すように、プロセッサノード３−４では、Ｘ軸
バリア同期状態記憶手段１５２のビット１の値が１にセ
ットされる。

【００４１】この時、プロセッサノード３−４は、図１
２に示すように、Ｘ軸バリア同期状態記憶手段１５２の
ビット列の値とＸ軸バリア同期参加記憶手段１５３のビ
ット列の値が一致となり、Ｘ軸に関して同期が成立した
ことを表している。

【００４２】図１２の状態の後、Ｘ軸の同期成立を受け
て、プロセッサノード３−４では、Ｙ軸に向けて送付さ
れるバリア同期パケットデータが生成される。この時、
プロセッサノード３−４の軸ＩＤ決定回路１５６では軸
ＩＤの値が０１、Ｘ軸バリア同期状態記憶手段１５２は
オール０となる。

【００４３】バリア同期パケットは、プロセッサノード
３−４からＹ軸方向クロスバ２−１へ、プロセッサノー
ド３−１と３−４宛に送信され、プロセッサノード３−
１、３−４は、図１３のバリア同期パケット受信データ
１５１（軸ＩＤ＝０１、Ｙ宛先＝１１０、Ｙ座標＝２）
に示すバリア同期パケットを受信する。バリア同期パケ
ット受信データ１５１の座標フィールド（Ｙ座標）の値
が２であるので、図１３に示すように、プロセッサノー
ド３−１，３−４のＹ軸バリア同期状態記憶手段１５４
のビット２の値が１にセットされる。

【００４４】この時、プロセッサノード３−１、３−４
は、図１３に示すように、Ｙ軸バリア同期状態記憶手段
１５４のビット列の値とＹ軸バリア同期参加記憶手段１
５５のビット列の値が一致となり、Ｙ軸に関して同期が
成立したことを表している。ただし、矩形モード設定記
憶手段５が矩形無効を示す値１であり、軸ＩＤ決定回路
１５６は軸ＩＤの値が０１であるため、２回目のＸ軸バ
リア同期が起動され、プロセッサノード３−１、３−４
では、Ｘ軸に向けてバリア同期パケットデータが生成さ
れる。この時、プロセッサノード３−１，３−４の軸Ｉ
Ｄ決定回路１５６では軸ＩＤの値が１０、Ｙ軸バリア同
期状態記憶手段１５４はオール０となる。

【００４５】バリア同期パケットは、Ｘ軸に向けてプロ
セッサノード３−１からプロセッサノード３−１、３−
２、３−３宛に、プロセッサノード３−４からプロセッ
サノード３−４宛に送信される。

【００４６】プロセッサノード３−１がＸ軸方向クロス
バ１−１へ、プロセッサノード３−１，３−２，３−３
宛にバリア同期パケットを送信すると、プロセッサノー
ド３−１，３−２，３−３は、図１４のバリア同期パケ
ット受信データ１５１（軸ＩＤ＝１０、Ｘ宛先＝１１
１、Ｘ座標＝１）に示すバリア同期パケットを受信す
る。また、プロセッサノード３−４がＸ軸方向クロスバ
１−２へ、プロセッサノード３−４宛にバリア同期パケ
ットを送信すると、プロセッサノード３−４は、図１４
のバリア同期パケット受信データ１５１（軸ＩＤ＝１
０、Ｘ宛先＝１００、Ｘ座標＝１）に示すバリア同期パ
ケットを受信する。各バリア同期パケット受信データ１
５１の座標フィールドの値が１であるので、図１４に示
すように、プロセッサノード３−１，３−２，３−３，
３−４のＸ軸バリア同期状態記憶手段１５２のビット１
の値が１にセットされる。

【００４７】この時、プロセッサノード３−１，３−
２，３−３は、図１４に示すように、Ｘ軸バリア同期状
態記憶手段１５２のビット列の値とＸ軸バリア同期参加
記憶手段１５３のビット列の値が一致となり、Ｘ軸に関
して同期が成立したことを表している。Ｘ軸の同期成立
を受けて、プロセッサノード３−１，３−２，３−３で
はＹ軸に向けて送付されるバリア同期パケットデータが
生成される。この時、プロセッサノード３−１，３−
２，３−３の軸ＩＤ決定回路１５６では軸ＩＤの値が１
１となり、Ｘ軸バリア同期状態記憶手段１５２はオール
０となる。

【００４８】上記と同時期に、プロセッサノード３−４
でも、図１４に示すように、Ｘ軸バリア同期状態記憶手
段１５２のビット列の値とＸ軸バリア同期参加記憶手段
１５３のビット列の値が一致となり、Ｘ軸に関して同期
が成立したことを表している。Ｘ軸の同期成立を受け
て、プロセッサノード３−４でも、Ｙ軸に向けて送付さ
れるバリア同期パケットデータが生成される。この時、
プロセッサノード３−４の軸ＩＤ決定回路１５６では軸
ＩＤの値が１１、Ｘ軸バリア同期状態記憶手段１５２は
オール０となる。

【００４９】バリア同期パケットは、Ｙ軸に向けてプロ
セッサノード３−１からプロセッサノード３−１と３−
４宛に、プロセッサノード３−２から自プロセッサノー
ド３−２宛に、プロセッサノード３−３から自プロセッ
サノード３−３宛に、またプロセッサノード３−４から
プロセッサノード３−１と３−４宛に送信される。

【００５０】図１５に示すように、プロセッサノード３
−１からプロセッサノード３−１と３−４宛てのバリア
同期パケットにより、プロセッサノード３−１と３−４
のＹ軸バリア同期状態記憶手段１５４のビット１の値が
１にセットされ、プロセッサノード３−２から自プロセ
ッサノード３−２宛てのバリア同期パケットにより、プ
ロセッサノード３−２のＹ軸バリア同期状態記憶手段１
５４のビット１の値が１にセットされ、プロセッサノー
ド３−３から自プロセッサノード３−３宛てのバリア同
期パケットにより、プロセッサノード３−３のＹ軸バリ
ア同期状態記憶手段１５４のビット１の値が１にセット
される。

【００５１】続いて、図１６に示すように、プロセッサ
ノード３−４からプロセッサノード３−１と３−４宛て
のバリア同期パケットにより、プロセッサノード３−１
と３−４のＹ軸バリア同期状態記憶手段１５４のビット
２の値が１にセットされる。

【００５２】図１６は、バリア同期に参加したプロセッ
サノード３−１，３−２，３−３，３−４に関して、Ｙ
軸バリア同期状態記憶手段１５４のビット列の値とＹ軸
バリア同期参加記憶手段１５５のビット列の値が一致と
なり、Ｙ軸に関して同期が成立したことを表している。
このＹ軸の同期成立を受け、軸ＩＤ決定回路１５６は、
軸ＩＤの値が１１であるため、プロセッサに対してバリ
ア同期の成立を通知する。

【００５３】以上のようにして、バリア同期に参加した
プロセッサノード３−１，３−２，３−３，３−４のす
べてのノードが同一の同期点に達したことが通知され
る。なお、例えばバリア同期に参加するプロセッサノー
ドを３−１，３−２，３−３とし、矩形モード設定記憶
手段５を矩形有効を示す値の０とすると、図９の時点で
バリア同期に参加したプロセッサノード３−１，３−
２，３−３がすべて同一の同期点に達したことが通知さ
れることになる。

【００５４】以上、本発明の実施例について説明した
が、本発明はこれに限定されるものでないことは云うま
でもない。例えば、実施例では、バリア同期が起動され
ると、バリア同期パケットを、まずＸ軸に向けて送付す
るとしたが、Ｙ軸から送付することでもよい。また、並
列計算機の構成は３×３である必要はなく、一般にＭ×
Ｎ（Ｍ，Ｎは２以上の整数）の構成に適用可能である。

【００５５】

【発明の効果】以上説明したように、本発明の並列計算
機によれば、バリア同期を実施する場合、全ノードをバ
リア同期に参加させる必要がなくなり、また、矩形に存
在するノード以外の形状を選択して実施することが可能
になる。

【図面の簡単な説明】

【図１】本発明が適用される並列計算機の一つのプロセ
ッサノードの構成例を示すブロック図である。

【図２】ハイパークロスバ方式で結合したネットワーク
の概念図である。

【図３】図１の実施例におけるバリア同期パケット送信
に関係する構成の詳細ブロック図である。

【図４】図１の実施例におけるバリア同期パケット受信
に関係する構成の詳細ブロック図である。

【図５】実施例の具体的動作説明図である。

【図６】実施例の具体的動作説明図である。

【図７】実施例の具体的動作説明図である。

【図８】実施例の具体的動作説明図である。

【図９】実施例の具体的動作説明図である。

【図１０】実施例の具体的動作説明図である。

【図１１】実施例の具体的動作説明図である。

【図１２】実施例の具体的動作説明図である。

【図１３】実施例の具体的動作説明図である。

【図１４】実施例の具体的動作説明図である。

【図１５】実施例の具体的動作説明図である。

【図１６】実施例の具体的動作説明図である。

【符号の説明】

１ Ｘ軸方向クロスバ ２ Ｙ軸方向クロスバ ３ プロセッサノード ４ バリア同期参加形状記憶手段 ５ 矩形分割モード記憶手段 ６ バリア同期状態記憶手段 １１０ プロセッサ １１１ メモリ １１２ メモリ制御ユニット １１３ 通信ユニット １３０ バリアパケット生成回路 １４０ 入出力ポート １５０ バリア同期管理回路

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B045 BB16 CC06

Claims (2)

【特許請求の範囲】
1. 【請求項１】 複数のプロセッサノードがクロスバネッ
   トワークで接続された並列計算機において、各プロセッ
   サノードは、自ノードと同一クロスバに接続されるノー
   ド内の各接続軸毎のバリア同期に参加するノード集合を
   記憶する第１記憶手段と、自ノードと同一クロスバに接
   続されるノードのバリア同期状態を各接続軸毎に記憶す
   る第２記憶手段と、バリア同期に参加するノード集合形
   状が矩形であるか否かを記憶する第３記憶手段を具備
   し、任意のノード集合の組み合わせでバリア同期を実施
   することを特徴とする並列計算機。
2. 【請求項２】 請求項１記載の並列計算機において、各
   プロセッサノードは、前記第１記憶手段と前記第２記憶
   手段をともに、ある接続軸に接続されたバリア同期に参
   加したノード間のバリア同期が同期点に到達しているこ
   とを判定し、次の接続軸に対してバリア同期を実施し、
   すべての接続軸のバリア同期が同期点に到達しているこ
   とを確認後、前記第３記憶手段を参照し、バリア同期に
   参加するノード集合形状が矩形でない場合には、さらに
   各接続軸毎にバリア同期を実施することを特徴とする並
   列計算機。