JP2003067354A - 並列計算機システム及びプロセッサ間通信処理方法 - Google Patents

並列計算機システム及びプロセッサ間通信処理方法

Info

Publication number
JP2003067354A
JP2003067354A JP2001259800A JP2001259800A JP2003067354A JP 2003067354 A JP2003067354 A JP 2003067354A JP 2001259800 A JP2001259800 A JP 2001259800A JP 2001259800 A JP2001259800 A JP 2001259800A JP 2003067354 A JP2003067354 A JP 2003067354A
Authority
JP
Japan
Prior art keywords
processors
processor
group
communication
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001259800A
Other languages
English (en)
Inventor
Nobuhiro Iogi
伸洋 五百木
Shinichi Tanaka
慎一 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2001259800A priority Critical patent/JP2003067354A/ja
Priority to US10/132,310 priority patent/US20030046512A1/en
Priority to EP02253008A priority patent/EP1293902A3/en
Publication of JP2003067354A publication Critical patent/JP2003067354A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)

Abstract

(57)【要約】 【課題】 並列計算機システムが通信経路が複雑なネッ
トワークを持って構成されている場合、あるいは、並列
計算で使用するプロセッサが非常に多くなるような場合
にも、ネットワークの競合を回避して高速なプロセッサ
間通信を行う。 【解決手段】 並列計算で使用するプロセッサをネット
ワーク上で矩形となるようにグループに分割するための
プロセッサグループ分割情報１０４を持つ入力情報１０
２が、並列計算機システムを構成するプロセッサに入力
される。各プロセッサは、入力されたプロセッサグルー
プ分割情報から、プロセッサ間の通信を、グループ内通
信処理１０７とグループ間通信処理１０８とに分割して
処理する。グループを構成するプロセッサが、ネットワ
ーク上で矩形に配置されているため、グループ内通信を
ネットワーク競合が発生させずに実行することができ
る。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、並列計算機システ
ム、及び、プロセッサ間通信処理方法に係り、特に、行
列等の計算を行うために使用して好適な並列計算機シス
テム、及び、並列計算機システムを構成するプロセッサ
間で効率的な通信処理を可能としたプロセッサ間通信処
理方法に関する。
【０００２】
【従来の技術】並列計算機システムを構成する全プロセ
ッサ対全プロセッサ間での通信処理に関する従来技術と
して、例えば、特開平５−１５１１８１号公報等に記載
された技術が知られている。
【０００３】前述の従来技術は、並列計算機システムを
構成するプロセッサ台数がＮ個のとき、Ｎ−１段階で全
プロセッサ対全プロセッサの通信処理を構成し、各段階
毎の通信パターンを管理する管理テーブルを具備し、各
段階の通信経路を管理することによりネットワークの競
合を回避して通信処理の高速化を図ることを可能とした
ものである。
【０００４】前述した従来技術において、並列計算機シ
ステムを構成する各プロセッサは、Ｎ−１段階の各段階
でどのプロセッサに対してデータを送信するかという情
報を管理テーブルに格納しておき、全プロセッサ対全プ
ロセッサの通信処理の際、通信処理の各段階毎に管理テ
ーブルを参照してデータ送信先のプロセッサを決定して
いる。そして、各プロセッサは、前述の管理テーブルを
作成する際、並列計算機システムのネットワーク構成を
考慮して、ネットワークの競合を回避するようにしてい
る。
【０００５】
【発明が解決しようとする課題】前述した従来技術は、
並列計算機システムのネットワーク構成が単純かつ並列
計算で使用するプロセッサ台数が十数個までであれば、
通信パターンを管理する管理テーブルを容易に作成する
ことができ、効果的なものである。しかし、前述の従来
技術は、並列計算機システムが２次元クロスバように通
信経路が複雑なネットワークを持って構成されている場
合、または、並列計算で使用するプロセッサが数百から
数千個のオーダになる場合、通信経路が複雑になりすぎ
てネットワークの競合を避けるように通信パターンを管
理する管理テーブルを作成することが困難になり、ネッ
トワークの競合を回避することが困難であるという問題
点を有している。
【０００６】本発明の目的は、前述した従来技術の問題
点を解決し、並列計算機システムが通信経路が複雑なネ
ットワークを持って構成されている場合、並列計算で使
用するプロセッサが非常に多くなるような場合にも、通
信パターンを管理する管理テーブルを容易に作成するこ
とを可能として、ネットワークの競合を回避して高速な
プロセッサ間通信を行うことができる並列計算機システ
ム及びプロセッサ間通信処理方法を提供することにあ
る。
【０００７】
【課題を解決するための手段】本発明によれば前記目的
は、複数のプロセッサがネットワークで接続されて構成
される並列計算機システムにおいて、前記複数のプロセ
ッサのそれぞれは、並列処理で使用する複数個のプロセ
ッサを複数個のグループに分割した情報であるプロセッ
サグループ分割情報を入力情報として受け取る手段と、
入力されたプロセッサグループ分割情報に基づいて、同
一のグループ内に存在するプロセッサ同士の通信を処理
する通信処理手段と、異なるグループに存在するプロセ
ッサ同士の通信を処理する通信処理手段とを備えること
により達成される。
【０００８】本発明は、前述において、複数個のプロセ
ッサを複数個のグループに分割する際に、各グループ内
のみでネットワーク競合が発生しないように考慮してお
くことにより、グループ内の全プロセッサ対全プロセッ
サ通信処理がネットワーク競合を発生することなく行わ
れるため、全体としてネットワーク競合の発生を大幅に
削減することができる。
【０００９】
【発明の実施の形態】以下、本発明による並列計算機シ
ステム及びプロセッサ間通信処理方法の実施形態を図面
により詳細に説明する。
【００１０】図１は本発明の一実施形態による計算機シ
ステムを構成するプロセッサに含まれる通信処理装置の
構成について説明するブロック図、図２は本発明が適用
される並列計算機システムの一実施形態の構成を示すブ
ロック図である。図１、図２において、１０１は全プロ
セッサ対全プロセッサ通信処理装置（以下、通信プロセ
ッサという）、１０２は入力情報、１０３は部分行列デ
ータ、１０４はプロセッサグループ分割情報、１０５は
グループ別プロセッサ数算定装置、１０６はプロセッサ
グルー部分割テーブル、１０７はグループ内通信処理装
置、１０８はグループ間通信処理装置、１０９は転置行
列の部分行列データ、２０１〜２０８はプロセッサＰＵ
０〜ＰＵ７、２０９〜２１２はＸ軸ネットワーク、２１
３、２１４はＹ軸ネットワークである。
【００１１】以下に説明する本発明の実施形態は、並列
計算機システムを構成する全プロセッサまたは一部の複
数のプロセッサに行列データの部分行列データを入力
し、プロセッサ相互間で通信を行って行列転置処理を行
わせる場合を例としている。また、本発明の実施形態
は、並列計算で使用する複数個のプロセッサを複数個の
グループに分割した情報であるプロセッサグループ分割
情報から、全プロセッサ対全プロセッサ通信処理を、グ
ループ内通信処理とグループ間通信処理とに段階分けし
て実行することとし、複数個のプロセッサを複数個のグ
ループに分割する際に、各グループ内のみでネットワー
ク競合が発生しないように考慮するようにしたものであ
る。
【００１２】本発明の一実施形態による並列計算機シス
テムを構成するプロセッサは、図１に示すような他のプ
ロセッサとの間での通信を行う通信処理装置１０１と、
図示しない公知の演算処理装置等を含んで構成されてい
る。そして、図示通信処理装置１０１は、入力される部
分行列データと並列計算で使用する複数個のプロセッサ
を複数個のグループに分割したプロセッサグループ分割
情報から、全プロセッサ対全プロセッサ通信処理を段階
分けし、その段階分けの情報を管理する通信段階管理テ
ーブルを作成し、通信段階管理テーブルに格納されてい
る通信段階に従って、同一のグループ内に存在するプロ
セッサ同士で通信処理を行った後、プロセッサグループ
間に跨ったプロセッサ間で通信処理を実行するように構
成されている。前述したような全プロセッサ対全プロセ
ッサ通信処理装置は、処理プログラムとして構成するこ
とができ、この処理プログラムは、ＨＤ、ＤＡＴ、Ｆ
Ｄ、ＣＤ−ＲＯＭ等の記録媒体に格納して提供すること
ができる。
【００１３】図１に示す通信処理装置１０１は、１グル
ープ別プロセッサ数算定装置１０５と、プロセッサグル
ー部分割テーブル１０６と、グループ内通信処理装置１
０７と、グループ間通信処理装置１０８とにより構成さ
れ、行列データを並列計算機システムを構成する各プロ
セッサに分割して配置した部分行列データ１０３と、複
数のプロセッサを複数のグループに分割したプロセッサ
グループ分割情報１０４とが入力情報１０２として入力
される。
【００１４】グループ別プロセッサ数算定装置１０５
は、入力されたプロセッサグループ情報１０４から各グ
ループに属するプロセッサの数及び各グループに属する
プロセッサの論理プロセッサ番号を求め、プロセッサグ
ループ分割テーブル１０６に格納する。グループ内通信
処理装置１０７は、プロセッサグループ分割テーブル１
０６に格納されている各グループ毎のプロセッサ数と論
理プロセッサ番号とから各グループ内に属するプロセッ
サ同士でのプロセッサ対プロセッサ通信を処理する。グ
ループ間通信処理装置１０８は、プロセッサグループ分
割テーブル１０６に格納されている各グループ毎のプロ
セッサ数と論理プロセッサ番号とからグループ間でのプ
ロセッサ対プロセッサ通信を処理する。全プロセッサ対
全プロセッサ通信処理が行われた結果としての出力情報
１０９としては、入力された部分行列の転置行列に対す
る部分行列データである。
【００１５】本発明が適用される並列計算機システム
は、図２に示すように、番号０〜７を持つ論理プロセッ
サＰＵ０〜ＰＵ７の８個のプロセッサが、４本のＸ軸ネ
ットワーク２０９〜２１２と２本のＹ軸ネットワーク２
１３、２１４とにより接続されて構成されている。それ
ぞれのプロセッサは、独立にメモリを有しており、プロ
セッサ間でデータを交換する場合、ネットワークを介し
た通信を行う。以下に説明する本発明の実施形態は、プ
ロセッサＰＵ０〜ＰＵ５の６個のプロセッサを使用して
並列計算機２１５を構成して処理を行うものとする。な
お、図２に示す並列計算機システムは、８個のプロセッ
サにより構成されているとして示しているが、システム
を構成するプロセッサの数は、任意であり、数百から数
千個のオーダの非常に多数として構成することもでき
る。
【００１６】図３は入力データの１つである部分行列デ
ータの例について説明する図、図４はプロセッサのグル
ープ分割について説明する図、図５はプロセッサグルー
プ分割情報について説明する図である。
【００１７】いま、図３に示すような６行６列の行列デ
ータがあり、６個のプロセッサを使用して行列転置処理
を行わせるものとする。このために、ＰＵ０〜ＰＵ５の
６個のプロセッサに、６行６列の行列データを分散配置
した場合の部分行列データ３０１〜３０６の例を図３に
示している。ここに示す例は、ＰＵ０に１列目の行列デ
ータ３０１、ＰＵ１に２列目の行列データ３０２、ＰＵ
２に３列目の行列データ３０３、ＰＵ３に４列目の行列
データ３０４、ＰＵ４に５列目の行列データ３０５、Ｐ
Ｕ５に６列目の行列データ３０６を部分行列として配置
している。
【００１８】プロセッサのグループ分割は、この例の場
合、図４に示すように行われる。この例は、図２により
説明した例において、Ｙ軸ネットワーク上に並んで配置
されている２つずつのプロセッサを１つのグループとし
て分割した例である。すなわち、図示例は、３つの各グ
ループ４０３〜４０５が矩形の構成になるように、Ｘ軸
座標４０１とＹ軸座標４０２とにより分割している。そ
して、グループ４０３には、プロセッサＰＵ０とＰＵ１
とが、グループ４０４には、プロセッサＰＵ２とＰＵ３
とが、また、グループ４０５には、プロセッサＰＵ４と
ＰＵ５とが割り当てられている。
【００１９】前述したようにプロセッサをグループ分割
を行った場合の入力情報の１つであるプロセッサグルー
プ分割情報１０４の例を図５に示している。プロセッサ
グループ分割情報１０４は、図５に示すように、各グル
ープのＸ軸座標４０１の始点５０１と終点５０２とによ
り構成される。この例において、グループ１のプロセッ
サグループ４０３のＸ軸座標４０１の始点５０１は０で
であり、終点５０２は１であり、Ｙ軸座標４０２の始点
５０１は０であり、終点５０２は０である。また、グル
ープ２のプロセッサグループ４０４のＸ軸座標４０１の
始点５０１は２であり、終点５０２は３であり、Ｙ軸座
標４０２の始点５０１は０であり、終点５０２は０であ
る。さらに、グループ３のプロセッサグループ４０５の
Ｘ軸座標４０１の始点５０１は０であり、終点５０２は
１であり、Ｙ軸座標４０２の始点５０１は１であり、終
点５０２は０である。
【００２０】図６は図１に示すグループ別プロセッサ数
算定装置１０５の処理動作を説明するフローチャートで
あり、以下、これについて説明する。
【００２１】（１）まず、グループ番号ｎの値を１に初
期設定し、グループ番号の値ｎが総グループ数を越えた
か否かをチェックする（ステップ６０１、６０２）。
【００２２】（２）ステップ６０２のチェックで、グル
ープ番号の値ｎが総グループ数を越えていなかった場
合、入力されたプロセッサグループ分割情報１０４の各
グループ毎のＸ軸座標の始点と終点、Ｙ軸座標の始点と
終点から、そのグループ番号を持つグループ内に属する
プロセッサ数を求める（ステップ６０３）。
【００２３】（３）その後、グループ番号ｎの値に１を
加え、ステップ６０２からの処理に戻って、次のグルー
プに対する処理を続ける（ステップ６０４）。
【００２４】（４）ステップ６０２のチェックで、グル
ープ番号の値ｎが総グループ数を越えていた場合、全て
のプロセッサグループについて処理を終了したことにな
り、図１には示していない論理プロセッサ番号取得装置
によって、各グループに属するプロセッサの論理プロセ
ッサ番号を取得し、その結果をプロセッサグループ分割
テーブル１０６に格納して、処理を終了する（ステップ
６０５）。
【００２５】前述の処理の結果、説明している例の場
合、プロセッサグループ分割テーブル１０６には、グル
ープ数が３、グループ１に属するプロセッサが２個で、
プロセッサ番号０、１を持つＰＵ０とＰＵ１とであり、
グループ２に属するプロセッサが２個で、論理プロセッ
サ番号２、３を持つＰＵ２とＰＵ３とであり、グループ
３に属するプロセッサが２個で、論理プロセッサ番号
４、５を持つＰＵ４とＰＵ５とであることが格納され
る。
【００２６】図７は論理プロセッサ番号取得装置の処理
動作を説明するフローチャートであり、以下、これにつ
いて説明する。
【００２７】（１）まず、プロセッサ番号ｍの値を１に
初期設定し、プロセッサ番号の値ｍが使用プロセッサ数
を越えたか否かをチェックする（ステップ７０１、７０
２）。
【００２８】（２）ステップ７０２のチェックで、プロ
セッサ番号の値ｍが使用プロセッサ数を越えていなかっ
た場合、そのプロセッサ番号を有するプロセッサに対し
て、並列計算機上で稼動するオペレーティングシステム
が提供するシステムコールによって、そのプロセッサの
論理プロセッサ番号と物理座標番号とを取得する（ステ
ップ７０３）。
【００２９】（３）次に、システムコールによって取得
した物理座標番号と、入力データであるプロセッサグル
ープ分割情報１０４内に格納されている各グループごと
の座標範囲と比較することによって、そのプロセッサが
どのグループに所属しているかを判定し、システムコー
ルによって取得した論理プロセッサ番号を、プロセッサ
グループ分割テーブル１０６の該当するグループの列に
格納する（ステップ７０４、７０５）。
【００３０】（４）その後、プロセッサ番号ｍの値に１
を加え、ステップ７０２からの処理に戻って、次のプロ
セッサに対する処理を続け、ステップ７０２のチェック
で、プロセッサ番号の値ｍが使用プロセッサ数を越えて
いた場合、全てのプロセッサについて処理を終了したこ
とになり、ここでの処理を終了する（ステップ７０
６）。
【００３１】図８は図１に示すグループ内通信処理装置
１０５での処理内容について説明する図である。
【００３２】グループ１でのグループ内通信処理８０１
は、グループに属するプロセッサが２個であることか
ら、グループ１に属する論理プロセッサＰＵ０とＰＵ１
との間でデータ交換のための通信処理をする。プロセッ
サＰＵ０は、プロセッサＰＵ１にデータを転送し、プロ
セッサＰＵ１は、プロセッサＰＵ０にデータを転送す
る。これにより、グループ１内部での通信処理によるデ
ータ交換が完了する。同様に、グループ２でのグループ
内通信処理８０２も、属するプロセッサが２個であるこ
とから、グループ２に属するプロセッサＰＵ２とＰＵ３
との間でデータ交換のための通信処理を行う。すなわ
ち、プロセッサＰＵ２は、プロセッサＰＵ３にデータを
転送し、プロセッサＰＵ３は、プロセッサＰＵ２にデー
タを転送する。これにより、グループ２内部での通信処
理によるデータ交換が完了する。グループ３でのグルー
プ内通信処理８０３も、属するプロセッサが２個である
ことから、グループ３に属するプロセッサＰＵ４とＰＵ
５との間でデータ交換のための通信処理を行う。すなわ
ち、プロセッサＰＵ４は、プロセッサＰＵ５にデータを
転送し、プロセッサＰＵ５は、プロセッサＰＵ４にデー
タを転送する。これにより、グループ３内部での通信処
理によるデータ交換が完了する。
【００３３】図９はグループ内での通信処理が完了した
後、グループ間でデータ交換を行う図１に示すグループ
間通信処理装置１０８での処理を説明する図である。
【００３４】説明している本発明の実施形態は、６個の
プロセッサを３個のグループに分割しているとしている
ので、グループ間のデータ交換のためのデータ転送処理
は２段階の処理により構成される。グループ間通信の第
１段階９０１は、グループ１からグループ２、グループ
２からグループ３、グループ３からグループ１に対して
データを転送する処理である。また、グループ間通信の
第２段階９０２は、前述とは逆に、グループ１からグル
ープ３、グループ３からグループ２、グループ２からグ
ループ１にデータを転送する処理である。この２段階の
データ転送処理によって、グループ間のデータ交換が可
能になる。
【００３５】図１０はグループ間通信処理装置１０８で
のグループ間のデータ転送処理を、プロセッサ単位のデ
ータ転送処理で示した図であり、グループ間通信の第１
段階９０１の処理を示している。
【００３６】説明している本発明の実施形態は、各プロ
セッサグループには２個のプロセッサが属しているとし
ているので、グループ間データ転送処理の１段階は、２
段階のデータ転送処理によって構成される。第１段階１
００１は、グループ１に属するプロセッサＰＵ０がグル
ープ２に属するプロセッサＰＵ２に、グループ２に属す
るプロセッサＰＵ２がグループ３に属するプロセッサＰ
Ｕ４に、グループ３に属するプロセッサＰＵ４がグルー
プ１に属するプロセッサＰＵ０に、それぞれデータを転
送し、グループ１に属するプロセッサＰＵ１がグループ
２に属するプロセッサＰＵ３に、グループ２に属するプ
ロセッサＰＵ３がグループ３に属するプロセッサＰＵ５
に、グループ３に属するプロセッサＰＵ５がグループ１
に属するプロセッサＰＵ１に、それぞれデータを転送す
る。
【００３７】第２段階１００２は、グループ１に属する
プロセッサＰＵ０がグループ２に属するプロセッサＰＵ
３に、グループ２に属するプロセッサＰＵ３がグループ
３に属するプロセッサＰＵ４に、グループ３に属するプ
ロセッサＰＵ４がグループ１に属するプロセッサＰＵ０
に、それぞれデータを転送し、グループ１に属するプロ
セッサＰＵ１がグループ２に属するプロセッサＰＵ２
に、グループ２に属するプロセッサＰＵ２がグループ３
に属するプロセッサＰＵ５に、グループ３に属するプロ
セッサＰＵ５がグループ１に属するプロセッサＰＵ１
に、それぞれデータを転送する。
【００３８】図１１はグループ間通信処理装置１０８で
のグループ間のデータ転送処理を、プロセッサ単位のデ
ータ転送処理で示した図であり、グループ間通信の第２
段階９０２の処理を示している。
【００３９】第１段階１１０１は、グループ１に属する
プロセッサＰＵ０がグループ３に属するプロセッサＰＵ
４に、グループ３に属するプロセッサＰＵ４がグループ
２に属するプロセッサＰＵ２に、グループ２に属するプ
ロセッサＰＵ２がグループ１に属するプロセッサＰＵ０
に、それぞれデータを転送し、グループ１に属するプロ
セッサＰＵ１がグループ３に属するプロセッサＰＵ５
に、グループ３に属するプロセッサＰＵ５がグループ２
に属するプロセッサＰＵ３に、グループ２に属するプロ
セッサＰＵ３がグループ１に属するプロセッサＰＵ１
に、それぞれデータを転送する。
【００４０】第２段階１１０２は、グループ１に属する
プロセッサＰＵ０がグループ３に属するプロセッサＰＵ
４に、グループ３に属するプロセッサＰＵ４がグループ
２に属するプロセッサＰＵ３に、グループ２に属するプ
ロセッサＰＵ３がグループ１に属するプロセッサＰＵ０
に、それぞれデータを転送し、グループ１に属するプロ
セッサＰＵ１がグループ３に属するプロセッサＰＵ５
に、グループ３に属するプロセッサＰＵ５がグループ２
に属するプロセッサＰＵ２に、グループ２に属するプロ
セッサＰＵ２がグループ１に属するプロセッサＰＵ１
に、それぞれデータを転送する。
【００４１】図１２は処理の結果出力される並列計算機
システムの各プロセッサに分散配置された転置行列の部
分行列について説明する図である。
【００４２】前述で説明したような全プロセッサ対全プ
ロセッサ通信処理の結果出力され、並列計算機システム
の各プロセッサに分散配置された転置行列の部分行列
は、図１２に示すように、行列データの１行目１２０１
がプロセッサＰＵ０に、行列データの２行目１２０２が
プロセッサＰＵ１に、行列データの３行目１２０３がプ
ロセッサＰＵ２に、行列データの４行目１２０４がプロ
セッサＰＵ３に、行列データの５行目１２０５がプロセ
ッサＰＵ４に、行列データの６行目１２０６がプロセッ
サＰＵ５に分散配置されたものとなる。
【００４３】前述した本発明の実施形態は、入力された
行列の転置行列を生成する処理を行うものとして説明し
たが、本発明は、その他の行列演算、行列演算以外の算
術演算等を行う場合にも適用することができる。
【００４４】また、前述した本発明の実施形態は、複数
のプロセッサをグループ分けして、グループ内の通信、
グループ間の通信の２段階で通信を行うとして説明した
が、本発明は、グループ分けをさらに多段に、例えば、
３段階の場合を考えると、複数のプロセッサ全体をグル
ープ分けし、そのグループ内をサブグーループに分ける
ように構成することもできる。この場合、まず、サブグ
ループ内の通信、サブグループ間の通信、グループ間の
通信の順序で通信を実行すればよい。すなわち、並列処
理で使用する複数個のプロセッサを複数個の多段のグル
ープに分割し、まず、最小のグループ内に存在するプロ
セッサ同士の通信を行い、その後、同一レベルであって
異なるグループに存在するプロセッサ同士の通信を小さ
いグループから順に処理していくようにすればよい。
【００４５】さらに、前述した本発明の実施形態は、複
数のプロセッサをマトリクス状に配置してＸ方向、Ｙ方
向の通信路により相互に接続して並列計算機システムを
構成したとして説明したが、本発明は、バス状の１本の
通信路に多数のプロセッサを接続した構成の並列計算機
システムにも、また、多数のプロセッサを３次元的に配
置し、Ｘ方向、Ｙ方向、Ｚ方向の通信路により相互に接
続して構成した並列計算機システムにも適用することが
できる。
【００４６】前述した本発明の実施形態は、並列計算で
使用する複数のプロセッサをネットワークの座標軸によ
ってグループ分割しているため、分割された各グループ
が矩形の構成となる。この結果、全プロセッサ対全プロ
セッサの通信処理では、グループの構成が必ず矩形にな
るため、グループ内通信処理が、ネットワークの競合を
発生させることなく実行され、転送データのネットワー
ク上での衝突によるオーバヘッドを排除することができ
る。また、グループ間での通信処理では、ネットワーク
の競合の可能性があるが、グループ内通信処理でネット
ワークの競合が発生しないぶん高速な通信処理が可能と
なる。プロセッサグループ分割情報の入力に関しても、
ネットワークの座標により入力することができるため、
論理プロセッサ番号を入力しなければならない従来技術
の場合に比較して容易行うことができる。
【００４７】
【発明の効果】以上説明したように本発明によれば、並
列計算機システムが通信経路が複雑なネットワークを持
って構成されている場合、あるいは、並列計算で使用す
るプロセッサが非常に多くなるような場合にも、ネット
ワークの競合を回避して高速なプロセッサ間通信を行う
ことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態による計算機システムを構
成するプロセッサに含まれる通信処理装置の構成につい
て説明するブロック図である。
【図２】本発明が適用される並列計算機システムの一実
施形態の構成を示すブロック図である。
【図３】入力データの１つである部分行列データの例に
ついて説明する図である。
【図４】プロセッサのグループ分割について説明する図
である。
【図５】プロセッサグループ分割情報について説明する
図である。
【図６】図１に示すグループ別プロセッサ数算定装置の
処理動作を説明するフローチャートである。
【図７】論理プロセッサ番号取得装置の処理動作を説明
するフローチャートである。
【図８】図１に示すグループ内通信処理装置での処理内
容について説明する図である。
【図９】グループ内での通信処理が完了した後、グルー
プ間でデータ交換を行う図１に示すグループ間通信処理
装置での処理を説明する図である。
【図１０】グループ間通信処理装置でのグループ間通信
の第１段階のデータ転送処理をプロセッサ単位のデータ
転送処理で示した図である。
【図１１】グループ間通信処理装置でのグループ間通信
の第２段階のデータ転送処理をプロセッサ単位のデータ
転送処理で示した図である。
【図１２】処理の結果出力される並列計算機システムの
各プロセッサに分散配置された転置行列の部分行列につ
いて説明する図である。
【符号の説明】
１０１ 全プロセッサ対全プロセッサ通信処理装置 １０２ 入力情報 １０３ 部分行列データ １０４ プロセッサグループ分割情報 １０５ グループ別プロセッサ数算定装置 １０６ プロセッサグルー部分割テーブル １０７ グループ内通信処理装置 １０８ グループ間通信処理装置 １０９ 転置行列の部分行列データ ２０１〜２０８ プロセッサＰＵ０〜ＰＵ７ ２０９〜２１２ Ｘ軸ネットワーク ２１３、２１４ Ｙ軸ネットワーク

Claims (11)

    【特許請求の範囲】
  1. 【請求項１】 複数のプロセッサがネットワークで接続
    されて構成される並列計算機システムにおいて、前記複
    数のプロセッサのそれぞれは、並列処理で使用する複数
    個のプロセッサを複数個のグループに分割した情報であ
    るプロセッサグループ分割情報を入力情報として受け取
    る手段と、入力されたプロセッサグループ分割情報に基
    づいて、同一のグループ内に存在するプロセッサ同士の
    通信を処理する通信処理手段と、異なるグループに存在
    するプロセッサ同士の通信を処理する通信処理手段とを
    備えることを特徴とする並列計算機システム。
  2. 【請求項２】 複数のプロセッサがネットワークで接続
    されて構成される並列計算機システムにおいて、前記複
    数のプロセッサのそれぞれは、並列処理で使用する複数
    個のプロセッサを複数個の多段のグループに分割した情
    報であるプロセッサグループ分割情報を入力情報として
    受け取る手段と、入力されたプロセッサグループ分割情
    報に基づいて、最小のグループ内に存在するプロセッサ
    同士の通信を処理する通信処理手段と、同一レベルであ
    って異なるグループに存在するプロセッサ同士の通信を
    処理する複数の通信処理手段とを備えることを特徴とす
    る並列計算機システム。
  3. 【請求項３】 前記複数のプロセッサを接続するネット
    ワークが、バス状の１本の通信路により構成されるネッ
    トワーク、マトリクス状にＸ方向、Ｙ方向に設けられる
    通信路により構成されるネットワーク、または、３次元
    的に配置された多数のプロセッサを接続するＸ方向、Ｙ
    方向、Ｚ方向に設けられる通信路により構成されるネッ
    トワークであることを特徴とする請求項１または２記載
    の並列計算機システム。
  4. 【請求項４】 前記グループ内に含まれる複数のプロセ
    ッサは、矩形状、あるいは、３次元矩形状に配置される
    ことを特徴とする請求項１、２または３記載の並列計算
    機システム。
  5. 【請求項５】 前記プロセッサグループ分割情報が、前
    記ネットワークの座標位置によって示されており、前記
    座標位置からプロセッサ番号を算出する手段をさらに備
    えることを特徴とする請求項１ないし４のうちいずれか
    １記載の並列計算機システム。
  6. 【請求項６】 複数のプロセッサがネットワークで接続
    されて構成される並列計算機システムにおけるプロセッ
    サ間通信処理方法において、前記複数のプロセッサのそ
    れぞれは、並列処理で使用する複数個のプロセッサを複
    数個のグループに分割した情報であるプロセッサグルー
    プ分割情報を入力情報として受け取り、入力されたプロ
    セッサグループ分割情報に基づいて、同一のグループ内
    に存在するプロセッサ同士の通信の処理を行い、異なる
    グループに存在するプロセッサ同士の通信の処理行うこ
    と特徴とするプロセッサ間通信処理方法。
  7. 【請求項７】 複数のプロセッサがネットワークで接続
    されて構成される並列計算機システムにおけるプロセッ
    サ間通信処理方法において、前記複数のプロセッサのそ
    れぞれは、並列処理で使用する複数個のプロセッサを複
    数個の多段のグループに分割した情報であるプロセッサ
    グループ分割情報を入力情報として受け取り、入力され
    たプロセッサグループ分割情報に基づいて、最小のグル
    ープ内に存在するプロセッサ同士の通信の処理を行い、
    同一レベルであって異なるグループに存在するプロセッ
    サ同士の通信を、小さいグループから順に処理すること
    を特徴とするプロセッサ間通信処理方法。
  8. 【請求項８】 前記複数のプロセッサを接続するネット
    ワークが、バス状の１本の通信路により構成されるネッ
    トワーク、マトリクス状にＸ方向、Ｙ方向に設けられる
    通信路により構成されるネットワーク、または、３次元
    的に配置された多数のプロセッサを接続するＸ方向、Ｙ
    方向、Ｚ方向に設けられる通信路により構成されるネッ
    トワークであることを特徴とする請求項６または７記載
    のプロセッサ間通信処理方法。
  9. 【請求項９】 前記グループ内に含まれる複数のプロセ
    ッサは、矩形状、あるいは、３次元矩形状に配置される
    ことを特徴とする請求項６、７または８記載のプロセッ
    サ間通信処理方法。
  10. 【請求項１０】 前記プロセッサグループ分割情報が、
    前記ネットワークの座標位置によって示されており、前
    記座標位置からプロセッサ番号を算出することを特徴と
    する請求項６ないし９のうちいずれか１記載のプロセッ
    サ間通信処理方法。
  11. 【請求項１１】 並列処理で使用する複数個のプロセッ
    サを複数個のグループに分割した情報であるプロセッサ
    グループ分割情報を入力情報として受け取る処理プログ
    ラムと、入力されたプロセッサグループ分割情報に基づ
    いて、同一のグループ内に存在するプロセッサ同士の通
    信の処理を行う処理プログラムと、異なるグループに存
    在するプロセッサ同士の通信の処理行う処理プログラム
    と、前記プロセッサグループ分割情報が、前記ネットワ
    ークの座標位置によって示されていた場合に、前記座標
    位置からプロセッサ番号を算出する処理プログラムとを
    備え、請求項１ないし１０のうちいずれか１記載のプロ
    セッサ間通信処理方法を実現することを特徴とする処理
    プログラム。
JP2001259800A 2001-08-29 2001-08-29 並列計算機システム及びプロセッサ間通信処理方法 Pending JP2003067354A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2001259800A JP2003067354A (ja) 2001-08-29 2001-08-29 並列計算機システム及びプロセッサ間通信処理方法
US10/132,310 US20030046512A1 (en) 2001-08-29 2002-04-26 Parallel computer system and method for assigning processor groups to the parallel computer system
EP02253008A EP1293902A3 (en) 2001-08-29 2002-04-29 Parallel computer system and method for assigning processor groups to the parallel computer system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001259800A JP2003067354A (ja) 2001-08-29 2001-08-29 並列計算機システム及びプロセッサ間通信処理方法

Publications (1)

Publication Number Publication Date
JP2003067354A true JP2003067354A (ja) 2003-03-07

Family

ID=19087118

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001259800A Pending JP2003067354A (ja) 2001-08-29 2001-08-29 並列計算機システム及びプロセッサ間通信処理方法

Country Status (3)

Country Link
US (1) US20030046512A1 (ja)
EP (1) EP1293902A3 (ja)
JP (1) JP2003067354A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008114440A1 (ja) * 2007-03-20 2008-09-25 Fujitsu Limited 一意情報集団通信プログラム、コンピュータ、一意情報集団通信方法、および記録媒体
JP2012190389A (ja) * 2011-03-14 2012-10-04 Ricoh Co Ltd プロセッサ装置及びその演算方法
US10616140B2 (en) 2017-06-27 2020-04-07 Fujitsu Limited Information processing system and information processing method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5790526B2 (ja) * 2012-02-06 2015-10-07 富士通株式会社 分散処理方法および分散処理システム
WO2020150728A1 (en) 2019-01-18 2020-07-23 Quadric. Io, Inc. Systems and methods for virtually partitioning a machine perception and dense algorithm integrated circuit
US11516087B2 (en) 2020-11-30 2022-11-29 Google Llc Connecting processors using twisted torus configurations
CN115809685B (zh) * 2023-02-09 2023-07-25 鹏城实验室 一种npu集群网络结构和网络互连方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0581216A (ja) * 1991-09-20 1993-04-02 Hitachi Ltd 並列プロセツサ
US5659778A (en) * 1992-02-03 1997-08-19 Tm Patents, L.P. System and method of mapping an array to processing elements
JPH06243113A (ja) * 1993-02-19 1994-09-02 Fujitsu Ltd 並列計算機における計算モデルのマッピング法
JPH06290158A (ja) * 1993-03-31 1994-10-18 Fujitsu Ltd 再構成可能なトーラス・ネットワーク方式
JP3322754B2 (ja) * 1994-05-17 2002-09-09 富士通株式会社 並列計算機
US5842034A (en) * 1996-12-20 1998-11-24 Raytheon Company Two dimensional crossbar mesh for multi-processor interconnect
US6167502A (en) * 1997-10-10 2000-12-26 Billions Of Operations Per Second, Inc. Method and apparatus for manifold array processing
JP3036489B2 (ja) * 1997-10-24 2000-04-24 日本電気株式会社 マルチプロセッサシステムにおける集団通信装置
JPH11259441A (ja) * 1998-03-13 1999-09-24 Hitachi Ltd 並列計算機における全対全通信方法
US6631421B1 (en) * 1999-06-02 2003-10-07 Sun Microsystems, Inc. Recursive partitioning of networks

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008114440A1 (ja) * 2007-03-20 2008-09-25 Fujitsu Limited 一意情報集団通信プログラム、コンピュータ、一意情報集団通信方法、および記録媒体
US8185656B2 (en) 2007-03-20 2012-05-22 Fujitsu Limited Process and computer for collectively transmitting unique messages, and recording medium storing a program for collectively transmitting unique messages
JP5056844B2 (ja) * 2007-03-20 2012-10-24 富士通株式会社 一意情報集団通信プログラム、計算ノード、および一意情報集団通信方法
JP2012190389A (ja) * 2011-03-14 2012-10-04 Ricoh Co Ltd プロセッサ装置及びその演算方法
US10616140B2 (en) 2017-06-27 2020-04-07 Fujitsu Limited Information processing system and information processing method

Also Published As

Publication number Publication date
US20030046512A1 (en) 2003-03-06
EP1293902A3 (en) 2005-12-07
EP1293902A2 (en) 2003-03-19

Similar Documents

Publication Publication Date Title
JP4676463B2 (ja) 並列計算機システム
TW202022644A (zh) 一種運算裝置和運算方法
US20160328357A1 (en) Computer subsystem and computer system with composite nodes in an interconnection structure
US10430375B2 (en) Parallel computing system and communication control program
US11017290B2 (en) Signal processing module, especially for a neural network and a neuronal circuit
Wang et al. Image processing on the OTIS-mesh optoelectronic computer
US20040103264A1 (en) Array-type processor
Greenberg The fat-pyramid and universal parallel computation independent of wire delay
JP2007220100A (ja) 複数のクロスバーを使用する分散クロスバーネットワークのシステム及び方法
EP3968237A1 (en) Grouped convolution using point-to-point connected channel convolution engines
JP2003067354A (ja) 並列計算機システム及びプロセッサ間通信処理方法
US10013393B2 (en) Parallel computer system, parallel computing method, and program storage medium
Johnsson et al. Optimal communication channel utilization for matrix transposition and related permutations on binary cubes
US5142686A (en) Multiprocessor system having processors and switches with each pair of processors connected through a single switch using Latin square matrix
Pan et al. Singular value decomposition on processor arrays with a pipelined bus system
CN112099850A (zh) 一种多核Hourglass网络加速方法
Wang et al. Parallel algorithms for arbitrary dimensional Euclidean distance transforms with applications on arrays with reconfigurable optical buses
Olariu et al. Data movement techniques on reconfigurable meshes, with applications
JP3532102B2 (ja) 間接ローテータグラフネットワーク及び間接ローテータグラフネットワークにおける伝送経路の設定方法
JP3519489B2 (ja) 演算処理装置間の並列通信方法
CN107040394B (zh) 网络拓扑系统及方法
JPH05314082A (ja) 分子動力学法のための超並列計算機システム
WO2020049637A1 (ja) 学習装置
JPH05158895A (ja) 並列計算機システムにおけるループ計算の効率向上方式
Lin et al. Bounds on the diameter of one-dimensional PEC networks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040811

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060424

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060801