JP2001142852A - 高速並列計算用同期及び通信制御装置 - Google Patents

Abstract

(57)【要約】 【課題】 スケーラビリティの向上、低レイテンシな同
期及び通信処理を行うことが可能になる高速並列計算機
用同期及び通信制御装置の提供。 【解決手段】 同期・通信ネットワークを容易に増設可
能にする構造にし、新たな同期機構の実装、同期信号と
通信信号の融合及び同期処理と通信処理のハードウェア
化により、低レイテンシな同期及び通信処理を行う。同
期処理をハードウェア化し、同期信号を直接ネットワー
クに送出するため、同期処理とデータ処理とで、ネット
ワークを切り替える。同期処理では、同期コード数を少
なくし、かつ、同期コードの種類を少なくして、デバッ
グ効率を高める同期機構を実装する。データ転送をデー
タ量が小さいパケットに限定し、パケットサイズを固定
し、各トランザクションをハードウェアで処理する。同
期及び通信処理の全ての機能を１チップに納まるように
し、伝送ケーブルの長さを短くする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、高速並列計算処理
において、同期及び通信処理の高速化を表現し、効率よ
い並列計算を可能にする高速並列計算用同期及び通信制
御装置に関する。

【０００２】

【従来の技術】高速並列計算処理において、同期及び通
信処理の高速化する方法として、任意参加バリア同期と
呼ばれる同期をハードウェアで行うことが考えられてい
る。任意参加バリア同期とは、「同期参加するプロセッ
サを決め、同期に参加しているプロセッサ全てが、プロ
グラムのある地点（同期ポイントと呼ぶ）を実行するま
で、同期に参加しているプロセッサが同期ポイントの次
の実行を待つこと」をいう。

【０００３】任意参加バリア同期をハードウェアで行う
方法として、図９に示す同期機構が知られている。図９
の９０１，９０２で示す複数ｎ個（ｎ＝１，２，…）の
トランジスタを１個づつ各プロセッサに実装し、そのエ
ミッタ側をバリアライン（Barrier line）９０３で結合
し、バリアライン９０３と電源Ｖｃｃ間に抵抗９０４を
接続することでプルアップする。しかし、このように結
合にした場合は、データ通信が行えない。また、プロセ
ッサを増設する際には、新たな装置を組み込まなければ
ならない。

【０００４】９０５、９０６で示すＸｎ（ｎ＝１，２，
…）と９０７、９０８で示すＹｎ（ｎ＝１，２，…）
は、同期の参加及び成立状況を示すフラグである。例え
ば、ｋ番目のプロセッサが同期に参加する場合は、Ｘｋ
を１にし、参加しない場合は、０にする。ｋ番目のプロ
セッサが同期ポイントに到達したら、Ｘｋを０にする。
全てのＸが０になると、各プロセッサのＹの値が１にな
る。ｋ番目のプロセッサは、Ｙｋが１になるまで、Ｙｋ
をチェックしつづける。Ｙｋが１になったら、Ｘｋを１
にし、Ｙｋを０にする。この場合、Ｘｋ，Ｙｋを再設定
する手間がかかる。

【０００５】

【発明が解決しようとする課題】上述のような従来技術
には次のような解決すべき課題あり、その課題に対する
本発明の目的は次の通りである。

【０００６】 同期および通信処理のレイテンシ：メ
ッセージパッシングインターフェース（ＭＰＩ）の普及
により、高速並列計算処理が比較的容易に実現できるよ
うになる。しかし、それは、一般的にＴＣＰ／ＩＰ（Tr
ansmission Control Protocol/Internet Protocol）と
よばれるネットワーク技術を使うので、データ転送処理
に時間がかかる。ＴＣＰ／ＩＰは、不特定多数のコンピ
ュータでの通信を可能にするプロトコルであるため、あ
る特定のコンピュータで構成される計算機クラスタでの
並列処理には不必要な処理を行っている。そして、その
処理がレイテンシを増大させている。その不必要な処理
を取り除いた通信インターフェースを用いて処理する方
法も考えられているが、バリア処理などの低レイテンシ
を要求される処理でも、ある程度の同期データをパケッ
ト（データの塊）として転送することにより処理してい
るため、同期処理の中にデータ通信処理が必要になる。
パケットデータ転送でかかる同期処理のレイテンシは、
数百μｓである。

【０００７】そこで、本発明の第１の目的は、同期のレ
イテンシを２００ｎｓと、従来の１０００分の１程度に
抑えることにある。

【０００８】 同期及び通信装置のコスト：一般的に
知られている同期及び通信装置は、最大数百メートルの
通信ケーブルでも通信できるように設計されているた
め、安定した通信を保証するために、様々な装置が必要
となる。さらに、高速及び高機能通信を実現するため
に、ある程度大規模な処理装置を必要とし、それらのコ
ストが高い。

【０００９】そこで、本発明の第２の目的は、同期及び
通信処理の制御回路ゲート数を３００００ゲート程度に
し、制御チップ１個で構成できるようにすることにあ
る。

【００１０】 スケーラビリティ：バリア同期処理を
電気的信号で処理する装置が考えられているが、ノード
台数を増やすために、その装置の他に、新たな装置を追
加する必要がある。

【００１１】そこで、本発明の第３の目的は、新たな装
置を追加する必要なく、本発明の装置を追加することの
みで、ノード台数を増加させることができるようにする
ことにある。

【００１２】 同期及び通信処理の分離：一般的に知
られている同期及び通信装置は、データ転送は可能で
も、同期処理は電気信号で処理することはできない。ま
た、同期処理を電気信号で処理できる装置では、データ
転送を処理することはできない。

【００１３】そこで、本発明の第４の目的は、同期処理
を電気信号で処理可能にし、且つ、データ転送も可能に
するネットワークを用いることができるようにすること
にある。

【００１４】

【課題を解決するための手段】上記目的を達成するた
め、請求項１の発明は、マイクロプロセッサを複数用い
た高速並列計算処理において、同期・通信ネットワーク
をデータ通信で使用するか、同期処理で使用するかを制
御するため、該同期・通信ネットワークを各処理に応じ
て切換え、同期信号を該同期・通信ネットワークに直接
送出するネットワーク制御部を含む同期・通信処理制御
プロセッサと、前記ネットワーク制御部を前記同期・通
信ネットワークに結合するネットワークコネクタと、前
記同期・通信処理制御プロセッサをノード内プロセッサ
に接続するノード内プロセッサ接続用コネクタとを具備
し、前記同期・通信処理制御プロセッサにより前記同期
・通信ネットワークを容易に増設可能にしたことを特徴
とする。

【００１５】ここで、前記ネットワークコネクタをＬｉ
ｎｋ＿Ａ とＬｉｎｋ＿Ｂ ２０５−２にわけ、前ノー
ド（並列計算機を構成している１計算機）のＬｉｎｋ＿
Ｂと自ノードのＬｉｎｋ＿Ａ、自ノードのＬｉｎｋ＿Ｂ
と次ノードのＬｉｎｋ＿Ａとをパラレルケーブルで結合
したことを特徴とすることができる。

【００１６】また、同期及び通信処理の全ての機能を１
チップに納まるようにし、これにより前記パラレルケー
ブルの長さを短くしたことを特徴とすることができる。

【００１７】また、前記同期・通信処理プロセッサのレ
ジスタ・バッファ・フラグ等を前記ノード内プロセッサ
の特定メモリに割り当てることにより、該ノード内プロ
セッサを前記同期・通信処理プロセッサのレジスタ・バ
ッファ・フラグ等の情報にアクセス可能にしたことを特
徴とすることができる。

【００１８】また、前記同期・通信処理制御プロセッサ
は前記ネットワーク制御部の他に、前記ノード内プロセ
ッサと当該同期・通信処理制御プロセッサとの間でデー
タのやり取りを行うための信号の処理を行うノード内プ
ロセッサ信号制御部と、拡張バリア同期方式で同期制御
を行う同期制御部と、コレクティブ通信（各ノードに格
納されているデータをあるノードに集めてそれらのデー
タ同士を演算したり、自ノードのデータを他の全てのノ
ードに転送したりする通信）のデータ転送時に隣接ノー
ドから送られてくるデータパケットの送受信を行うデー
タ転送制御部と、を更に有することを特徴とすることが
できる。

【００１９】また、前記ネットワーク制御部は、同期処
理時のネットワーク結合を行う同期ネットワーク結合部
とトライステートバッファとを含む同期ネットワーク制
御部と、データ通信処理時のネットワーク結合を行う通
信ネットワーク結合部とトライステートバッファとを含
む通信ネットワーク制御部と、ネットワーク選択部とを
有し、前記同期ネットワーク制御部および前記通信ネッ
トワーク制御部は、前記ネットワークコネクタのＬｉｎ
ｋ＿Ａ，Ｌｉｎｋ＿Ｂのそれぞれの信号線に、前記トラ
イステートバッファを接続し、それらトライステートバ
ッファの入出力を各々の前記同期ネットワーク結合部ま
たは前記通信ネットワーク結合部へ送り、前記同期ネッ
トワーク結合部および前記通信ネットワーク結合部は、
前記Ｌｉｎｋ＿Ａ，Ｌｉｎｋ＿Ｂを同期・通信処理に対
応できるように結合し、前記Ｌｉｎｋ＿Ａ，Ｌｉｎｋ＿
Ｂからの信号を前記同期制御部と前記データ転送制御部
へ送り、前記ネットワーク選択部にはネットワークフラ
グが設けられ、該ネットワーク選択部は該ネットワーク
フラグが１ならば前記同期ネットワーク制御部の前記ト
ライステートバッファを有効にし、該ネットワークフラ
グが０ならば前記通信ネットワーク制御部の前記トライ
ステートバッファを有効にすることを特徴とすることが
できる。

【００２０】また、データ転送を前記データパケットに
限定し、該データパケットのサイズを固定し、該データ
パケットの転送プロトコルに、スプリットトランザクシ
ョン（各トランザクションを数種類のサブアクション
（要求サブアクションや受領サブアクション）にわけ、
サブアクション単位でトランザクションを処理する通信
プロトコル）を採用し、該トランザクションの種類とし
て、Send，Receive，Reduce（あるノードに他のノード
のデータを集め、それらの値を演算するためのトランザ
クション），Broadcast（自ノードのデータを他の全て
のノードに転送するためのトランザクション），scan
（あるノードＫ（Ｋはノード番号）では、ノード番号が
Ｋ以下のノードからデータを集め、それらの値を演算す
るためのトランザクション）を用意し、各該トランザク
ションをハードウエアで処理することを特徴とすること
ができる。

【００２１】また、前記同期ネットワーク結合部では、
各ノードに１本ずつ同期ポイント到着信号線を用意し、
バリア同期ポイント到着時に、前記ノード内プロセッサ
は自プロセッサ信号線をアクティブにし、同期ネットワ
ーク分割信号、部分同期成立信号および全同期成立信号
を使用して、複数Ｎ＋１台以上のプロセッサ（例えば、
Ｎ＝３２）の並列計算機で同期を行うことを特徴とする
ことができる。

【００２２】また、前記通信ネットワーク結合部は、隣
接ノード間をＮ/２ビット送受信データ線で結合できる
ように構成されていることを特徴とすることができる。

【００２３】また、前記同期制御部は、同期成立を検出
する同期成立検出回路を有し、該同期成立検出回路内
に、それぞれ前記ノード内プロセッサから読み書き可能
な、任意参加同期を可能にするための複数Ｎビット（例
えば、Ｎ＝３２）の同期グループレジスタと、同期成立
の状態を表す２値のフラグである同期フラグとが用意さ
れ、前記同期グループレジスタの各ビットが同期グルー
プ内のノード番号ｘ（ｘ＝０，１，２，．．．，Ｎ−
１）に対応し、０が同期に参加しないことを表し、１が
同期に参加することを表し、前記同期フラグの値は同期
ポイント到達信号（Ｓｙｎｃ＿ｘ：ｘは同期グループ内
のノード番号）として他のノードに送出されることを特
徴とすることができる。

【００２４】また、前記同期成立検出回路は、各ノード
の前記同期ポイント到達信号（Ｓｙｎｃ＿ｘ：ｘは同期
グループ内のノード番号）を調べ、ノード数が所定の複
数Ｎ（例えば、Ｎ＝３２）台以下の場合、前記同期グル
ープレジスタのビットが１であるノードのＳｙｎｃ＿ｘ
信号全てがハイならば、同期フラグを０にし、ノード数
がＮ＋１台以上の場合、前記同期グループレジスタのビ
ットが１であるノードのＳｙｎｃ＿ｘ信号全てがハイ
（High）で、かつ全同期成立信号がハイならば、前記同
期フラグを０にすることを特徴とすることができる。

【００２５】また、前記ノード内プロセッサが同期ポイ
ントに到達した時、前記同期フラグをセットし、前記同
期成立検出回路で任意参加バリア同期の成立を検出し、
該同期成立の検出後、前記同期フラグを０にし、前記ノ
ード内プロセッサが前記同期フラグが０になることをチ
ェックすることにより、同期を行うという手順で任意参
加バリア同期およびファジーバリア同期を遂行すること
を特徴とすることができる。

【００２６】また、前記同期制御部に、あるノードのあ
る同期ポイントの実行順番をｋとすると、そのｋ番目の
同期ポイントを通過するには、その直前のｋ−１番目の
同期ポイントと他ノード（同期参加しているノードの
み）のｋ−１番目の同期ポイント全てが通過されていな
ければならないという同期方式による同期処理を行うハ
ードウエア化したＲＢＣ同期回路が組込まれていること
を特徴とすることができる。

【００２７】また、前記ＲＢＣ同期回路が前記同期フラ
グをチェックし、その値が１だったら、その値の１を前
記ノード内プロセッサに返し、前記同期フラグが０だっ
たら、該同期フラグを１にして、０を前記ノード内プロ
セッサに返し、かつ前記ノード内プロセッサは前記ＲＢ
Ｃ回路からの返り値が０になるまで、前記ノード内プロ
セッサが同期ポイントに到達後、前記ＲＢＣ回路を動作
させる動作を繰り返すことを特徴とすることができる。

【００２８】また、ノード数が所定の複数Ｎ（例えば、
Ｎ＝３２）を超えている場合、ノード番号が一番大きい
ノードが前記同期ネットワーク分割信号をアクティブに
し、全てのノードに、Ｎ＋１台以上で同期を行うことを
知らせ、全ノードをＮ台ずつの同期グループに分け、グ
ループ内では、前記Ｓｙｎｃ＿ｘを使用した同期回路で
同期を検出し、グループ間では、前記同期ネットワーク
分割信号、前記全同期信号および前記部分同期信号を使
用して同期を行い、グループ内部の同期結果を他のグル
ープに知らせるのは、同期グループ内のノード番号ｘ
（ｘ＝０，１，２，．．．，Ｎ−１）がＮ−１のノード
（内部のノード数がＮより少ないグループは、その内部
での最大ノード番号）が行い、最初のグループから順々
にグループ内同期が成立していることを知らせ、最終グ
ループ内のノード番号が最大のノードが、前記全同期成
立信号をアクティブにし、該全同期成立信号を各ノード
が検出することにより、Ｎ台を超える同期を行うことが
可能とすることを特徴とすることができる。

【００２９】（作用）本発明では、同期を低レイテンシ
で行うために、同期処理をハードウェア化している。ま
た、パケットデータを転送して同期処理する方式では、
パケットデータ転送自体のレイテンシが大きいので、同
期信号を直接ネットワークに送出している。これを可能
にするため、同期処理とデータ処理とで、ネットワーク
を切り替えている。同期処理では、バリア同期の他に、
同期コード数を少なくでき、かつ、同期コードの種類を
少なくし、デバッグ効率を高めることの可能な新たな同
期機構を実装するようにしたので、効率よい並列処理を
実現することができる。

【００３０】さらに、本発明では、データ転送を、低レ
イテンシが要求されるデータ量が小さいパケットに限定
し、そのパケットサイズを固定している。そして、Send
(送信)，Receive（受信）の他に、Broadcast（同報通
信；自ノードのデータを他の全てのノードに転送するた
めのトランザクション）, Reduce（換算；あるノードに
他のノードのデータを集め、それらの値を演算するため
のトランザクション）, Scan（探査；あるノードＫ（Ｋ
はノード番号）では、ノード番号がＫ以下のノードから
データを集め、それらの値を演算するためのトランザク
ション）のトランザクションを用意する。各トランザク
ションをハードウェアで処理する。

【００３１】さらに、本発明では、コストを抑えるた
め、処理する機能を少なくすることにより、同期及び通
信処理の全ての機能を１チップに納まるようにしてい
る。また、伝送ケーブルの長さを短くすることにより、
ノイズカットなどの装置を簡単に構成できるようにして
いる。

【００３２】本発明の装置は、上記構成により、一般的
なコンピュータに搭載されているＰＣＩ（peripheral c
omponent interconnect）バス等に接続することがで
き、容易に同期処理の高速化を実現できるので、一般的
なコンピュータで構成された並列計算機の需要を促進す
るとともに、並列アプリケーションの発展を促進し、さ
らには、廉価な同期・通信装置のために並列計算機の低
コスト化を促進すると期待される。

【００３３】

【発明の実施の形態】以下、図面を参照して、本発明の
実施の形態における装置の構成、同期信号と通信信号の
融合方式、本装置で処理する同期方式について詳細に説
明する。

【００３４】［装置の構成］本発明の一実施形態におけ
る高速並列計算用同期及び通信制御装置を搭載した並列
計算機の構成例を図１に示す。

【００３５】複数Ｎ個の各ノード（Node）１０１（ここ
でいうノードとは、並列計算機を構成している１計算機
をいう）間は、イーサネット・スイッチ（Ethernet Swi
tch）などのネットワーク１０３と同期・コレクティブ
（Collective）データ通信専用ネットワークである同期
・通信ネットワーク１０７の２種類のネットワークで結
合する。各ノード１０１のネットワーク・インターフェ
ース（ＮＩＣ：Network Interface）１０５は、それぞ
れのノード１０１とネットワーク１０３を接続する。各
ノード１０１の同期・通信制御装置（高速並列計算用同
期及び通信制御装置）１０９は、それぞれのノード１０
１と同期・通信ネットワーク１０７とを接続する。この
構成により、高スループットを要求する処理は、従来あ
る例えばイーサネット（Ethernet）を利用し、低レイテ
ンシを要求し、且つ、同期・通信制御装置１０９がサポ
ートしている処理は、同期・通信制御装置１０９を使用
して処理する。

【００３６】上記同期・通信制御装置１０９の実装例を
図２に示す。同期・通信制御装置１０９は、ノード内プ
ロセッサに接続できるコネクタ２０１をもつ同期・通信
コントロール電気回路基板である。

【００３７】同期・通信制御装置１０９には、同期・通
信処理制御用プロセッサ２０３、ネットワークコネクタ
（Ｌｉｎｋ＿Ａ，Ｌｉｎｋ＿Ｂ）２０５、信号表示装置
２０７及び状態表示装置２０９が実装されている。

【００３８】上記各ノード１０９と上記同期・通信ネッ
トワーク１０７の結合例を図３に示す。ネットワークコ
ネクタ２０５をＬｉｎｋ＿Ａ ２０５−１とＬｉｎｋ＿
Ｂ２０５−２にわけ、前ノードのＬｉｎｋ＿Ｂ ２０５
−２と自ノードのＬｉｎｋ＿Ａ ２０５−１、自ノード
のＬｉｎｋ＿Ｂ ２０５−２と次ノードのＬｉｎｋ＿Ａ
２０５−１とを信号線Ｍ本のパラレルケーブル３０１
で結合する。

【００３９】パラレルケーブル３０１の信号線は、ショ
ットキーバリアダイオード（図示しない）でノイズをカ
ットして、同期・通信処理制御用プロセッサ２０３の入
出力ピンに接続されている。ケーブル３０１の長さは、
７５ｃｍ以下とする。

【００４０】［同期・通信処理制御プロセッサ］同期・
通信制御装置１０９の同期・通信処理の機能は、同期・
通信処理制御プロセッサ２０３に実装する。図４に示す
ように、同期・通信処理制御プロセッサ２０３に実装す
る機能は、ネットワーク制御部４０１、ノード内プロセ
ッサ信号制御部（プロセッサ接続信号制御部ともいう）
４０３、同期制御部４０５、およびデータ転送制御部
（データ通信制御部ともいう）４０７である。

【００４１】ネットワーク制御部４０１は同期・通信ネ
ットワーク１０７側と接続し、同期制御部４０５および
データ転送制御部４０７はそれぞれネットワーク制御部
４０１と内部バス（Bus）４０９間に並列に接続し、ノ
ード内プロセッサ信号制御部４０３は内部バス４０９と
ノード内プロセッサ接続バス（Bus）４１１間に接続す
る。

【００４２】［ネットワーク制御部］上記ネットワーク
制御部４０１は、通信・同期ネットワーク１０７をデー
タ通信で使用するか、同期処理で使用するかを制御す
る。［計算機プロセッサ信号制御部］上記ノード内プロ
セッサ信号制御部４０３では、ノード内プロセッサ（図
示しない）と同期・通信処理制御プロセッサ２０３との
間でデータをやり取りを行うための信号処理を行う。

【００４３】また、ノード内プロセッサ（図示しない）
がアクセスできる特定のメモリに、上記同期・通信処理
制御プロセッサ２０３のレジスタ・バッファ・フラグな
どを割り当てることにより、ノード内プロセッサを同期
・通信処理制御プロセッサ２０３のレジスタ・バッファ
・フラグなどの情報にアクセス可能にしている。

【００４４】［同期制御部］上記同期制御部４０５は、
拡張バリア同期方式の制御を行う。同期・通信制御装置
１０９で処理される同期方式は、任意参加バリア同期方
式、ファジーバリア（Fuzzy Barrier）同期方式、ＲＢ
Ｃ（Reduced Barrier Code）同期方式の３種類である。

【００４５】［データ転送制御部］上記データ転送制御
部４０７は、コレクティブ（Collective）通信のデータ
転送時に使用される。

【００４６】データ転送制御部４０７では、隣接ノード
１０１から送られてくるデータパケットの送受信を行
う。そのデータ転送路は、Ｎ／２ビット双方向パラレル
リンクである。データ転送制御部４０７はＮ／２ビット
単位でハンドシェイクを行いながら、データの送受信を
行う。

【００４７】上記データパケットの容量は、例えば、パ
ケットヘッダ８バイト（Byte）、ペイロード５６バイト
の合計６４バイトにする。

【００４８】データパケットの転送プロトコルは、スプ
リットトランザクションを採用する。トランザクション
の種類は、Send，Receive，Reduce，Broadcast，Scanを
用意する。

【００４９】［同期信号と通信信号の融合方式］同期信
号と通信信号の融合は、上記ネットワーク制御部４０１
で行われる。ネットワーク制御部４０１を、例えば図５
に示す構成にし、各処理に応じて同期・通信ネットワー
クを切替える。同期と通信のネットワークを切り替える
ため、同期ネットワーク制御部５０１および通信ネット
ワーク制御部５０５では、図３で説明したＬｉｎｋ＿
Ａ，Ｌｉｎｋ＿Ｂのそれぞれの信号線に、トライステー
トバッファ５０３、５０４、５０７、５０８を接続し、
それらトライステートバッファの入出力を各ネットワー
ク結合部（同期ネットワーク結合部、通信ネットワーク
結合部）５０２、５０６へ送る。

【００５０】各ネットワーク結合部５０２、５０６で
は、Ｌｉｎｋ＿Ａ，Ｌｉｎｋ＿Ｂを同期・通信処理に対
応できるように結合し、Ｌｉｎｋ＿Ａ，Ｌｉｎｋ＿Ｂか
らの信号を同期制御部４０５・データ転送制御部４０７
へ送る。

【００５１】ネットワーク選択部５０９にはネットワー
クフラグが設けられており、ネットワーク選択部５０９
はそのネットワークフラグが１ならば同期ネットワーク
制御部５０１のトライステートバッファ５０３、５０４
を有効にし、そのネットワークフラグが０ならば通信ネ
ットワーク制御部５０５のトライステートバッファ５０
７、５０８を有効にする。

【００５２】［同期処理時のネットワーク結合］同期処
理時のネットワーク結合を行う上記同期ネットワーク結
合部５０２は、図６に示す構成（Ｎ＝３２の場合）にし
て、Ｌｉｎｋ＿ＡとＬｉｎｋ＿Ｂを結合する。ここで、
４０５−０は同期グループ内のノード番号が０の同期制
御部、４０５−１は同期グループ内のノード番号が１の
同期制御部、４０５−３１は同期グループ内のノード番
号が３１の同期制御部である。

【００５３】同期ネットワーク結合部５０２では、各ノ
ードに１本ずつ同期ポイント到着信号線６００〜６３１
を用意し、バリア同期ポイント到着時に、プロッセサＮ
台を超えるノード内プロセッサ（図示しない）は自プロ
セッサ信号線（Ｓｙｎｃ＿ｋ：ｋは自ノードの同期グル
ープ内でのノード番号）をアクティブ（High）にする。
本同期・通信制御装置１０９の例では、基本的に所定の
複数Ｎ台のプロセッサまでの並列計算機に対応している
が、同期ネットワーク分割信号６４０、部分同期成立信
号６５０および全同期成立信号６６０を使用して、プロ
セッサＮ台以上の並列計算機で同期を行うことが可能で
ある。具体例としては、Ｎ＝３２である。以下、Ｎが３
２の場合について述べる。 ［データ通信処理時のネットワーク結合］データ通信処
理時のネットワーク結合を行う上記通信ネットワーク結
合部５０６は、隣接ノード間をＮ／２ビット送受信デー
タ線で結合できるように構成される。実装例として、図
７に示すように、隣接ノードに接続されている３６ピン
を送信データ線１６本、受信データ線１６本、送信制御
線２本、受信制御線２本に分ける。ここで、５０５−０
はノード０のネットワーク制御部、５０５−１はノード
１のネットワーク制御部、５０５−３０はノード３０の
ネットワーク制御部、５０５−３１はノード３１のネッ
トワーク制御部である。

【００５４】［同期制御部内の同期検出方式］図８に示
すように、同期制御部４０５は、任意参加同期を可能に
するため、同期成立検出回路８０１内に複数Ｎビット
（具体例としては、Ｎ＝３２）の同期グループレジスタ
８０３を用意する。同期グループレジスタ８０３の各ビ
ットが各ノードに対応し、０が同期に参加しないことを
表し、１が同期に参加することを表す。同期グループレ
ジスタは８０３、ノード内プロセッサ（図示しない）か
ら読み書き可能である。

【００５５】また、同期成立検出回路８０１内の同期フ
ラグ８０５は、同期成立の状態を表す２値（０：ローレ
ベル（Low）と１：ハイレベル（High））フラグであ
る。この同期フラグ８０５も、ノード内プロセッサから
読み書き可能である。同期フラグ８０５の値は、Ｓｙｎ
ｃ＿ｋ（ｋは自ノードの同期グループ内でのノード番
号）として、他のノードに送出する。

【００５６】ノード数が所定の複数Ｎを超えている場合
（以下、具体例として、Ｎ＝３２の場合で説明する）、
ノード番号Ｊが一番大きいノードが同期ネットワーク分
割信号６４０をアクティブ（High）にし、全てのノード
に、３２台以上で同期を行うことを知らせる。全ノード
を３２台ずつのグループに分け、グループ内では、Ｓｙ
ｎｃ＿ｘを使用した同期回路で同期を検出し、グループ
間では、同期ネットワーク分割信号６４０、全同期信号
６６０および部分同期信号６５０を使用して同期を行
う。グループ内部の同期結果を他のグループに知らせる
のは、同期グループ内のノード番号が３１のノード（内
部のノード数が３２より少ないグループは、その内部で
の最大ノード番号）が行う。最初のグループから順々に
グループ内同期が成立していることを知らせ、最終グル
ープ内のノード番号が最大のノードが、全同期成立信号
６６０をアクティブ（High）にする。この全同期成立信
号６６０を各ノードが検出することにより、３２台を超
える同期を行うことが可能である。

【００５７】同期成立検出回路８０１は、各ノードの同
期ポイント到達信号（Ｓｙｎｃ＿ｘ：ｘは同期グループ
内のノード番号）を調べる。ノード数が３２台以下の場
合、同期グループレジスタ８０３のビットが１であるノ
ードのＳｙｎｃ＿ｘ信号全てがハイ（High）ならば、同
期フラグを０にする。ノード数が３２台以上の場合、同
期グループレジストタ８０３のビットが１であるノード
のＳｙｎｃ＿ｘ信号全てがハイ（High）で、かつ全同期
成立信号６６０がハイ（High）ならば、同期フラグ８０
５を０にする。

【００５８】さらに、後述の新たな同期方式（ＲＢＣ同
期方式）を行うため、ＲＢＣ同期回路８０７を同期制御
部４０５に組み込む。 ［任意参加バリア同期方式およびファジーバリア同期方
式］従来技術の任意参加バリア同期方式及びファジーバ
リア同期方式では、同期到達フラグ及び同期成立フラグ
の２種類の２値フラグを用意し、同期到達フラグにセッ
トすることで同期ポイント到達信号を出しつづけ、同期
が成立した後、同期成立フラグをセットして、同期の成
立を知らせている。この場合、同期到達フラグおよび同
期成立後フラグをリセットする必要が生じる。

【００５９】そこで、本発明では、任意参加バリア同期
方式及びファジーバリア同期方式では、同期フラグを１
つにし、以下の手順で任意参加バリア同期方式及びファ
ジーバリア同期方式を行う。

【００６０】 ノード内プロセッサが同期ポイントに
到達した時、同期フラグ８０５をセットする。

【００６１】 同期成立検出回路８０１で任意参加バ
リア同期の成立を検出する。その同期成立の検出後、同
期フラグ８０５を０にする。

【００６２】 ノード内プロセッサ（図示しない）は
同期フラグ８０５が０になることをチェックすることに
より、同期を行う。

【００６３】上記の手順と上記の手順が不可分に行
われれば、任意参加バリア同期方式になり、可分に行え
ば、ファジーバリア同期方式になる。

【００６４】［ＲＢＣ同期方式］ＲＢＣ同期方式では、
「あるノードのある同期ポイントの実行順番をｋとする
と、そのｋ番目の同期ポイントを通過するには、その直
前のｋ−１番目の同期ポイントと他ノード（同期参加し
ているノードのみ）のｋ−１番目の同期ポイント全てが
通過されていなければならない」という同期を行う。

【００６５】この動作を行うため、ＲＢＣ回路８０７で
は、ＲＢＣ回路８０７が同期フラグ８０５をチェック
し、その値が１だったら、その値の１をノード内プロセ
ッサ（図示しない）に返す。ＲＢＣ回路８０７は同期フ
ラグ８０５が０だったら、その同期フラグ８０５を１に
して、０をノード内プロセッサに返す。

【００６６】ノード内プロセッサは以下の手順を行うこ
とにより、ＲＢＣ同期方式を行う。

【００６７】 ノード内プロセッサが同期ポイントに
到達後、ＲＢＣ回路８０７を動作させる。

【００６８】 ノード内プロセッサはＲＢＣ回路８０
７からの返り値が０になるまで、の手順を繰り返す。

【００６９】このＲＢＣ同期方式は、以下の利点があ
る。

【００７０】（ａ）ＲＢＣ同期方式では、同期命令が１
種類で、バリア領域を形成できる。一方、ファジーバリ
ア方式では、同期命令が２種類必要である。

【００７１】（ｂ）同期コードが１種類になったので、
同期コードの挿入がしやすくなり、デバッグ効率もよく
なる。

【００７２】（ｃ）ファジーバリア同期方式の出口同期
命令の直後に入口同期命令が連続して挿入されている場
合、ＲＢＣ同期命令１つで置き換えることが可能なた
め、同期命令を削減できる。

【００７３】（ｄ）ノード内プロセッサが実行する同期
手順が簡単なため、高速な動作が可能である。

【００７４】

【発明の効果】以上説明したように、本発明によれば、
同期・通信ネットワークを容易に増設可能にする構造に
したので、スケーラビリティの向上が可能となる。

【００７５】更に、本発明の具体例によれば、同期のレ
イテンシを２００ｎｓと、従来の１０００分の１程度に
抑えることができ、また同期及び通信処理の制御回路ゲ
ート数を３００００ゲート程度にし、制御チップ１個で
構成でき、また新たな装置を追加する必要なく、本発明
の装置を追加することのみで、ノード台数を増加させる
ことができ、また同期処理を電気信号で処理可能にし、
且つ、データ転送も可能にするネットワークを用いるこ
とができる等の効果を有する。

【００７６】このように、本発明によれば、新たな同期
機構の実装、同期信号と通信信号の融合及び同期処理と
通信処理のハードウェア化により、低レイテンシな同期
及び通信処理を行うことが可能になり、高速な並列計算
が実現される顕著な効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施形態における高速並列計算用同
期及び通信制御装置を搭載した並列計算機の構成例を示
すブロック図である。

【図２】図１の同期・通信制御装置１０９の実装例を示
す配置構成図である。

【図３】図１の各ノードの同期・通信制御装置１０９と
同期・通信ネットワーク１０７の結合例を示すブロック
図である。

【図４】図２、図３の同期・通信処理制御プロセッサ２
０３に実装する機能を示すブロック図である。

【図５】図４のネットワーク制御部４０１の構成を示す
ブロック図である。

【図６】図５のネットワーク結合部５０２の構成を示す
ブロック図である。

【図７】図５の通信ネットワーク結合部５０６の信号線
の構成を示すブロック図である。

【図８】図４の同期制御部４０５の内部構成を示すブロ
ック図である。

【図９】従来例の任意参加バリア同期をハードウェアで
行う同期機構の構成を示すブロック図である。

【符号の説明】

１０１ ノード １０３ ネットワーク １０５ ネットワーク・インタフェース １０７ 同期・通信ネットワーク １０９ 同期・通信制御装置 ２０１ ノード内プロセッサ接続用コネクタ ２０３ 同期・通信処理制御プロセッサ ２０５ ネットワークコネクタ ２０７ 信号表示装置 ２０９ 状態表示装置 ３０１ パラレルケーブル ４０１ ネットワーク制御部 ４０３ ノード内プロセッサ信号制御部 ４０５ 同期制御部 ４０７ データ転送制御部 ４０９ 内部バス ４１１ ノード内プロセッサ接続バス ５０１ 同期ネットワーク制御部 ５０２ 同期ネットワーク結合部 ５０３、５０４、５０７、５０８ トライステートバッ
ファ ５０５ 通信ネットワーク制御部 ５０６ 通信ネットワーク結合部 ５０９ ネットワーク選択部 ６４０ 同期ネットワーク分割信号 ６５０ 部分同期成立信号 ６６０ 全同期成立信号 ８０１ 同期成立検出回路 ８０３ 同期グループレジスタ ８０５ 同期フラグ ８０７ ＲＢＣ回路 ９０１、９０２ トランジスタ ９０３ バリアライン ９０４ 抵抗 ９０５〜９０８ フラグ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 15/78 ５１０ Ｇ０６Ｆ 15/78 ５１０Ａ ５１０Ｇ // Ｈ０４Ｌ 12/28 Ｈ０４Ｌ 11/00 ３１０Ｚ

Claims (15)

【特許請求の範囲】
1. 【請求項１】 マイクロプロセッサを複数用いた高速並
   列計算処理において、 同期・通信ネットワークをデータ通信で使用するか、同
   期処理で使用するかを制御するため、該同期・通信ネッ
   トワークを各処理に応じて切換え、同期信号を該同期・
   通信ネットワークに直接送出するネットワーク制御部を
   含む同期・通信処理制御プロセッサと、 前記ネットワーク制御部を前記同期・通信ネットワーク
   に結合するネットワークコネクタと、 前記同期・通信処理制御プロセッサをノード内プロセッ
   サに接続するノード内プロセッサ接続用コネクタとを具
   備し、 前記同期・通信処理制御プロセッサにより前記同期・通
   信ネットワークを容易に増設可能にしたことを特徴とす
   る高速並列計算用同期及び通信制御装置。
2. 【請求項２】 前記ネットワークコネクタをＬｉｎｋ＿
   Ａ とＬｉｎｋ＿Ｂ２０５−２にわけ、前ノード（並列
   計算機を構成している１計算機）のＬｉｎｋ＿Ｂと自ノ
   ードのＬｉｎｋ＿Ａ、自ノードのＬｉｎｋ＿Ｂと次ノー
   ドのＬｉｎｋ＿Ａとをパラレルケーブルで結合したこと
   を特徴とする請求項１に記載の高速並列計算用同期及び
   通信制御装置。
3. 【請求項３】 同期及び通信処理の全ての機能を１チッ
   プに納まるようにし、これにより前記パラレルケーブル
   の長さを短くしたことを特徴とする請求項２に記載の高
   速並列計算用同期及び通信制御装置。
4. 【請求項４】 前記同期・通信処理プロセッサのレジス
   タ・バッファ・フラグ等を前記ノード内プロセッサの特
   定メモリに割り当てることにより、該ノード内プロセッ
   サを前記同期・通信処理プロセッサのレジスタ・バッフ
   ァ・フラグ等の情報にアクセス可能にしたことを特徴と
   する請求項１ないし３のいずれかに記載の高速並列計算
   用同期及び通信制御装置。
5. 【請求項５】 前記同期・通信処理制御プロセッサは前
   記ネットワーク制御部の他に、 前記ノード内プロセッサと当該同期・通信処理制御プロ
   セッサとの間でデータのやり取りを行うための信号の処
   理を行うノード内プロセッサ信号制御部と、 拡張バリア同期方式で同期制御を行う同期制御部と、 コレクティブ通信（各ノードに格納されているデータを
   あるノードに集めてそれらのデータ同士を演算したり、
   自ノードのデータを他の全てのノードに転送したりする
   通信）のデータ転送時に隣接ノードから送られてくるデ
   ータパケットの送受信を行うデータ転送制御部と、を更
   に有することを特徴とする請求項１ないし４のいずれか
   に記載の高速並列計算用同期及び通信制御装置。
6. 【請求項６】 前記ネットワーク制御部は、 同期処理時のネットワーク結合を行う同期ネットワーク
   結合部とトライステートバッファとを含む同期ネットワ
   ーク制御部と、 データ通信処理時のネットワーク結合を行う通信ネット
   ワーク結合部とトライステートバッファとを含む通信ネ
   ットワーク制御部と、 ネットワーク選択部とを有し、 前記同期ネットワーク制御部および前記通信ネットワー
   ク制御部は、前記ネットワークコネクタのＬｉｎｋ＿
   Ａ，Ｌｉｎｋ＿Ｂのそれぞれの信号線に、前記トライス
   テートバッファを接続し、それらトライステートバッフ
   ァの入出力を各々の前記同期ネットワーク結合部または
   前記通信ネットワーク結合部へ送り、 前記同期ネットワーク結合部および前記通信ネットワー
   ク結合部は、前記Ｌｉｎｋ＿Ａ，Ｌｉｎｋ＿Ｂを同期・
   通信処理に対応できるように結合し、前記Ｌｉｎｋ＿
   Ａ，Ｌｉｎｋ＿Ｂからの信号を前記同期制御部と前記デ
   ータ転送制御部へ送り、 前記ネットワーク選択部にはネットワークフラグが設け
   られ、該ネットワーク選択部は該ネットワークフラグが
   １ならば前記同期ネットワーク制御部の前記トライステ
   ートバッファを有効にし、該ネットワークフラグが０な
   らば前記通信ネットワーク制御部の前記トライステート
   バッファを有効にすることを特徴とする請求項５に記載
   の高速並列計算用同期及び通信制御装置。
7. 【請求項７】 データ転送を前記データパケットに限定
   し、該データパケットのサイズを固定し、該データパケ
   ットの転送プロトコルに、スプリットトランザクション
   （各トランザクションを数種類のサブアクション（要求
   サブアクションや受領サブアクション）にわけ、サブア
   クション単位でトランザクションを処理する通信プロト
   コル）を採用し、該トランザクションの種類として、Se
   nd，Receive，Reduce（あるノードに他のノードのデー
   タを集め、それらの値を演算するためのトランザクショ
   ン），Broadcast（自ノードのデータを他の全てのノー
   ドに転送するためのトランザクション），scan（あるノ
   ードＫ（Ｋはノード番号）では、ノード番号がＫ以下の
   ノードからデータを集め、それらの値を演算するための
   トランザクション）を用意し、各該トランザクションを
   ハードウエアで処理することを特徴とする請求項５に記
   載の高速並列計算用同期及び通信制御装置。
8. 【請求項８】 前記同期ネットワーク結合部では、各ノ
   ードに１本ずつ同期ポイント到着信号線を用意し、バリ
   ア同期ポイント到着時に、前記ノード内プロセッサは自
   プロセッサ信号線をアクティブにし、同期ネットワーク
   分割信号、部分同期成立信号および全同期成立信号を使
   用して、複数Ｎ＋１台（Ｎ＝パラレルケーブルの信号数
   Ｍ−８）以上のプロセッサの並列計算機で同期を行うこ
   とを特徴とする請求項６に記載の高速並列計算用同期及
   び通信制御装置。
9. 【請求項９】 前記通信ネットワーク結合部は、隣接ノ
   ード間をＮ／２ビット送受信データ線で結合できるよう
   に構成されていることを特徴とする請求項６または８に
   記載の高速並列計算用同期及び通信制御装置。
10. 【請求項１０】 前記同期制御部は、同期成立を検出す
    る同期成立検出回路を有し、 該同期成立検出回路内に、それぞれ前記ノード内プロセ
    ッサから読み書き可能な、任意参加同期を可能にするた
    めの複数Ｎビットの同期グループレジスタと、同期成立
    の状態を表す２値のフラグである同期フラグとが用意さ
    れ、 前記同期グループレジスタの各ビットが同期グループ内
    のノード番号ｘ（ノード番号Ｊ（Ｊ＝０，１，
    ２，．．．，ｎ−１）とすると、ｘ＝ＭＯＤ（Ｊ／Ｎ）
    （Ｊ÷Ｎの余り））に対応し、０が同期に参加しないこ
    とを表し、１が同期に参加することを表し、前記同期フ
    ラグの値は同期ポイント到達信号（Ｓｙｎｃ＿ｘ：ｘは
    同期グループ内のノード番号（ｘ＝０，１，
    ２，．．．，Ｎ−１）として同期グループ内の他のノー
    ドに送出されることを特徴とする請求項６または８に記
    載の高速並列計算用同期及び通信制御装置。
11. 【請求項１１】 前記同期成立検出回路は、各ノードの
    前記同期ポイント到達信号（Ｓｙｎｃ＿ｘ：ｘは同期グ
    ループ内のノード番号）を調べ、ノード数が所定の複数
    Ｎ台以下の場合、前記同期グループレジスタのビットが
    １であるノードのＳｙｎｃ＿ｘ信号全てがハイならば、
    同期フラグを０にし、ノード数がＮ台を超える場合、前
    記同期グループレジスタのビットが１であるノードのＳ
    ｙｎｃ＿ｘ信号全てがハイ（High）で、かつ全同期成立
    信号がハイならば、前記同期フラグを０にすることを特
    徴とする請求項１０に記載の高速並列計算用同期及び通
    信制御装置。
12. 【請求項１２】 前記ノード内プロセッサが同期ポイン
    トに到達した時、前記同期フラグをセットし、前記同期
    成立検出回路で任意参加バリア同期の成立を検出し、該
    同期成立の検出後、前記同期フラグを０にし、前記ノー
    ド内プロセッサが前記同期フラグが０になることをチェ
    ックすることにより、同期を行うという手順で任意参加
    バリア同期およびファジーバリア同期を遂行することを
    特徴とする請求項１０または１１に記載の高速並列計算
    用同期及び通信制御装置。
13. 【請求項１３】 前記同期制御部に、あるノードのある
    同期ポイントの実行順番をｋとすると、そのｋ番目の同
    期ポイントを通過するには、その直前のｋ−１番目の同
    期ポイントと他ノード（同期参加しているノードのみ）
    のｋ−１番目の同期ポイント全てが通過されていなけれ
    ばならないという同期方式による同期処理を行うハード
    ウエア化したＲＢＣ同期回路が組込まれていることを特
    徴とする請求項１０または１１に記載の高速並列計算用
    同期及び通信制御装置。
14. 【請求項１４】 前記ＲＢＣ同期回路が前記同期フラグ
    をチェックし、その値が１だったら、その値の１を前記
    ノード内プロセッサに返し、前記同期フラグが０だった
    ら、該同期フラグを１にして、０を前記ノード内プロセ
    ッサに返し、かつ前記ノード内プロセッサは前記ＲＢＣ
    回路からの返り値が０になるまで、前記ノード内プロセ
    ッサが同期ポイントに到達後、前記ＲＢＣ回路を動作さ
    せる動作を繰り返すことを特徴とする請求項１３に記載
    の高速並列計算用同期及び通信制御装置。
15. 【請求項１５】 ノード数が所定の複数Ｎを超えている
    場合、ノード番号が一番大きいノードが前記同期ネット
    ワーク分割信号をアクティブにし、全てのノードに、Ｎ
    台＋１以上で同期を行うことを知らせ、全ノードをＮ台
    ずつの同期グループに分け、グループ内では、前記Ｓｙ
    ｎｃ＿ｘを使用した同期回路で同期を検出し、グループ
    間では、前記同期ネットワーク分割信号、前記全同期信
    号および前記部分同期信号を使用して同期を行い、グル
    ープ内部の同期結果を他のグループに知らせるのは、同
    期グループ内のノード番号ｘ（ｘ＝０，１，
    ２，．．．，Ｎ−１のノード）（内部のノード数がＮよ
    り少ないグループは、その内部での最大ノード番号）が
    行い、最初のグループから順々にグループ内同期が成立
    していることを知らせ、最終グループ内のノード番号が
    最大のノードが、前記全同期成立信号をアクティブに
    し、該全同期成立信号を各ノードが検出することによ
    り、Ｎ台を超える同期を行うことが可能とすることを特
    徴とする請求項８に記載の高速並列計算用同期及び通信
    制御装置。