JP2008176394A

JP2008176394A - Multiprocessor system

Info

Publication number: JP2008176394A
Application number: JP2007007098A
Authority: JP
Inventors: Tatsuichiro Seki; 辰一郎関; Takashi Nishiyama; 隆西山
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2007-01-16
Filing date: 2007-01-16
Publication date: 2008-07-31

Abstract

<P>PROBLEM TO BE SOLVED: To enable interconnection between nodes of higher performance even if nodes so designed that the number of nodes making up a multiprocessor system matches the maximum number of nodes are used in a multiprocessor system having nodes in a number smaller than the maximum number. <P>SOLUTION: Each of the nodes making up a multiprocessor comprises a plurality of ports 301 to 303 for interconnection with other nodes, a configuration unit 500, a transaction sending unit 504, and a transaction receiving unit 505. A CU 500 directs a TXU 504 and an RXU 505 to define a plurality of kinds of transaction, classify bits for use in the ports according to the kinds of transaction, changes the destinations of the ports, and varies bit width for use in each of the kinds of transaction. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、マルチプロセッサシステムに係り、特に、複数のノードを相互接続して構成されるマルチプロセッサシステムに関する。 The present invention relates to a multiprocessor system, and more particularly to a multiprocessor system configured by interconnecting a plurality of nodes.

複数のポートを持つノードの複数を相互に接続して構成されるマルチプロセッサシステム（以下、ＳＭＰシステムという）は、ノード間の相互接続の性能がシステムの性能に極めて大きな影響を与えている。ある程度小規模で、レイテンシ及びバンド幅の要求が厳しいＳＭＰシステムは、ノード相互間を完全メッシュに相互接続して構成される場合が多い。しかし、完全メッシュのトポロジを採用する場合、ノード間の相互接続に用意される各ノードのポート数は、ＳＭＰシステムを構成する最大のノード数に合わせて設計されるため、ある数のノード数に合わせて設計したノードを、その最大数に満たないノード数のＳＭＰシステムに採用してＳＭＰシステムを構成すると、モードが持つポートが余ってしまうことになる。 In a multiprocessor system (hereinafter referred to as an SMP system) configured by connecting a plurality of nodes having a plurality of ports to each other, the performance of the interconnection between the nodes has a great influence on the performance of the system. An SMP system that is small to some extent and has high latency and bandwidth requirements is often configured by interconnecting nodes in a complete mesh. However, when adopting a full mesh topology, the number of ports of each node prepared for interconnection between nodes is designed according to the maximum number of nodes constituting the SMP system. If the SMP system is configured by adopting the nodes designed together in the SMP system having the number of nodes less than the maximum number, the ports of the mode are left over.

このような問題を回避する方法に関する従来技術として、例えば、非特許文献１等に記載された技術が知られている。この従来技術は、完全メッシュで接続するＳＭＰシステムのノード数に応じてハイパートランスポートのリンク幅を変化させるというものである。
2006 Technology Analyst Day http://www.amd.com/us-en/assets/content_type/DownloadableAssets/PhilHesterAMDAnalystDayV2.pdf As a conventional technique related to a method for avoiding such a problem, for example, a technique described in Non-Patent Document 1 or the like is known. This prior art is to change the link width of the hyper transport according to the number of nodes of the SMP system connected by a complete mesh.
2006 Technology Analyst Day http://www.amd.com/us-en/assets/content_type/DownloadableAssets/PhilHesterAMDAnalystDayV2.pdf

一般に、ＳＭＰシステム内を流れるトランザクションは、その性質からブロードキャスト、マルチキャスト、ユニキャスト等に分類することができる。複数のノードを備えて構成されるＳＭＰシステムは、コヒーレンシ制御の簡易さ等の理由から、ノード間の相互接続を、前述のトランザクションの分類毎にパスを分けて設計する手法が採用されることがある。一方で、ノード数毎に各トランザクション種に必要なバンド幅の比率は変化する。 In general, transactions flowing in the SMP system can be classified into broadcast, multicast, unicast, and the like because of their nature. In an SMP system configured with a plurality of nodes, a method of designing interconnections between nodes for each of the above-described transaction classifications may be adopted for reasons such as easy coherency control. is there. On the other hand, the bandwidth ratio required for each transaction type changes for each number of nodes.

このため、最大ノード数でのパスのバンド幅の比率では、最大未満のノード数で構成されたＳＭＰシステムは、最適なバンド幅の比率とならない場合があるという問題点を生じさせる。 For this reason, the path bandwidth ratio with the maximum number of nodes causes a problem that an SMP system configured with a node number less than the maximum may not have an optimal bandwidth ratio.

本発明の目的は、前述したような点に鑑み、ＳＭＰシステムを構成するノード数に応じて、ノード相互間接続におけるトランザクション種へのビット割り当てを変更可能とすることにより、ＳＭＰシステムを構成する最大数のノード数に合わせて設計したノードを、その最大数に満たない数備えてＳＭＰシステムを構成した場合にも、より高性能なノード間の相互接続を行うことができるマルチプロセッサシステムを提供することにある。 In view of the above-described points, the object of the present invention is to make it possible to change the bit allocation to the transaction type in the node-to-node connection according to the number of nodes constituting the SMP system. Provided is a multiprocessor system capable of performing higher-performance interconnection between nodes even when an SMP system is configured with less than the maximum number of nodes designed to match the number of nodes. There is.

本発明によれば前記目的は、複数のノードを相互に接続して構成されるマルチプロセッサシステムにおいて、前記複数のノードのそれぞれは、他のノードと相互接続するための複数のポートと、コンフィグレーションユニットと、トランザクション送信ユニットと、トランザクション受信ユニットとを備えて構成され、前記コンフィグレーションユニットは、複数のトランザクション種を定義し、トランザクション種によって前記ポートにおいて使用するビットを分別すると共にポートの宛先を変更するように、トランザクション送信ユニットと、トランザクション受信ユニットとに指示を行い、また、ポート内のビット割り付けを変更して、トランザクション種毎に使用するビット幅を変更するように、トランザクション送信ユニットと、トランザクション受信ユニットとに指示を行うことにより達成される。 According to the present invention, the object is to provide a multiprocessor system configured by connecting a plurality of nodes to each other, wherein each of the plurality of nodes includes a plurality of ports for interconnecting with other nodes, and a configuration. The configuration unit comprises a transaction unit, a transaction transmission unit, and a transaction reception unit. The configuration unit defines a plurality of transaction types, sorts bits used in the port according to transaction types, and changes the port destination. To instruct the transaction transmission unit and the transaction reception unit, and change the bit allocation in the port to change the bit width to be used for each transaction type, It is achieved by giving an instruction to the transaction receiving unit.

本発明によれば、マルチプロセッサシステムを構成する最大数のノード数に合わせて設計したノードを、その最大数に満たない数備えてマルチプロセッサシステムを構成した場合にも、より高性能なノード間の相互接続を行うことができる。 According to the present invention, even when a multiprocessor system is configured with less than the maximum number of nodes designed for the maximum number of nodes constituting the multiprocessor system, it is possible to achieve higher performance between nodes. Can be interconnected.

以下、本発明によるマルチプロセッサシステム（以下、ＳＭＰシステムという）の実施形態を図面により詳細に説明する。 Embodiments of a multiprocessor system (hereinafter referred to as an SMP system) according to the present invention will be described below in detail with reference to the drawings.

図１は本発明の第１の実施形態によるＳＭＰシステムの構成を示すブロック図である。このＳＭＰシステム１００は、４つのノードが完全メッシュに相互接続されて構成されている例である。 FIG. 1 is a block diagram showing the configuration of the SMP system according to the first embodiment of the present invention. This SMP system 100 is an example in which four nodes are interconnected in a complete mesh.

すなわち、図１に示すＳＭＰシステム１００は、それぞれがＬＳＩにより構成される計算機装置としての第１のノード２０１と、第２のノード２０２と、第３のノード２０３と、第４のノード２０４との合計４個のノードを有して構成されている。ノード２０１〜２０４のそれぞれは、ノードコントローラ３００、少なくとも１個のプロセッサ３１０、典型的にはメモリサブシステム３２０、Ｉ／Ｏサブシステム３３０を備えて構成される。各ノードのノードコントローラ３００は、ワイヤのみから構成されるパッシブバックプレーン４００によって相互接続ネットワーク４１０を形成して相互に接続されている。相互接続ネットワーク４１０のトポロジは、完全メッシュ型である。 That is, the SMP system 100 shown in FIG. 1 includes a first node 201, a second node 202, a third node 203, and a fourth node 204 as computer devices each configured by an LSI. It has a total of four nodes. Each of the nodes 201 to 204 includes a node controller 300, at least one processor 310, typically a memory subsystem 320 and an I / O subsystem 330. The node controllers 300 of the nodes are connected to each other by forming an interconnection network 410 by a passive backplane 400 composed only of wires. The topology of the interconnect network 410 is a fully meshed type.

そして、各ノードのノードコントローラ３００は、ポートＡ３０１、ポートＢ３０２、ポートＣ３０３の合計３ポートを備えている。ノード２０１のポートＡ３０１とノード２０２のポートＡ３０１とは、パッシブバックプレーン４００の中のワイヤ４０１により接続され、同様に、他のポート相互間もワイヤ４０２〜４０６により図１に示す形態で接続されてネットワーク４１０を形成している。 The node controller 300 of each node has a total of three ports: a port A301, a port B302, and a port C303. The port A301 of the node 201 and the port A301 of the node 202 are connected by a wire 401 in the passive backplane 400. Similarly, other ports are also connected by wires 402 to 406 in the form shown in FIG. A network 410 is formed.

図２は本発明の第２の実施形態によるＳＭＰシステムの構成を示すブロック図である。このＳＭＰシステム１０１は、１個のメインボード上に、図１に示したと同一の構成を持つノードを２つ設けて構成されている例である。 FIG. 2 is a block diagram showing the configuration of the SMP system according to the second embodiment of the present invention. This SMP system 101 is an example in which two nodes having the same configuration as shown in FIG. 1 are provided on one main board.

すなわち、図２に示すＳＭＰシステム１０１は、２個のノードコントローラ３００ａ、３００ｂを含んで構成され、ノードコントローラ３００ａ、３００ｂは、図１に示したノードコントローラ３００と同じＬＳＩであり、それぞれに、プロセッサ３１０ａ、３１０ｂ、メモリサブシステム３２０ａ、３２０ｂ、Ｉ／Ｏサブシステム３３０ａ、３３０ｂが接続されている。 That is, the SMP system 101 shown in FIG. 2 includes two node controllers 300a and 300b, and the node controllers 300a and 300b are the same LSI as the node controller 300 shown in FIG. 310a and 310b, memory subsystems 320a and 320b, and I / O subsystems 330a and 330b are connected.

そして、このＳＭＰシステム１０１は、ノードコントローラ３００ａのポートＡ３０１ａ〜Ｃ３０３ａと、ノードコントローラ３００ｂのポートＡ３０１ｂ〜Ｃ３０３ｂとをメインボード上のワイヤ４２１〜４２３により相互に接続して構成される。 The SMP system 101 is configured by connecting the ports A301a to C303a of the node controller 300a and the ports A301b to C303b of the node controller 300b with wires 421 to 423 on the main board.

本発明は、同一構成のノードを使用して図１に示すＳＭＰシステムを構成した場合にも、また、図２に示すＳＭＰシステムを構成した場合にも、より高性能なノード間の相互接続を行うことができるマルチプロセッサシステムを提供するものであり、次に、そのためのノードの構成について説明する。 In the present invention, even when the SMP system shown in FIG. 1 is configured using nodes having the same configuration, and when the SMP system shown in FIG. A multiprocessor system that can be performed is provided. Next, a configuration of a node for this purpose will be described.

図３はノードが備えるノードコントローラ３００（３００ａ、３００ｂも同様）の構成を示すブロック図である。ノードコントローラは、プロセッサインターフェースユニット（以下、ＰＩＵという）５０１、メモリインターフェースユニット（以下、ＭＩＵという）５０２、Ｉ／Ｏインターフェースユニット（以下、ＩＩＵという）５０３、トランザクション送信ユニット（以下、ＴＸＵという）５０４、トランザクション受信ユニット（以下、ＲＸＵという）５０５、コンフィグレーションユニット（以下、ＣＵという）５００の６個のユニットから構成される。 FIG. 3 is a block diagram showing a configuration of a node controller 300 (same for 300a and 300b) included in the node. The node controller includes a processor interface unit (hereinafter referred to as PIU) 501, a memory interface unit (hereinafter referred to as MIU) 502, an I / O interface unit (hereinafter referred to as IIU) 503, a transaction transmission unit (hereinafter referred to as TXU) 504, A transaction receiving unit (hereinafter referred to as RXU) 505 and a configuration unit (hereinafter referred to as CU) 500 are composed of six units.

図１、図２に示したＳＭＰシステム１００、１０１において、ノードコントローラ内及びノードコントローラ間のトランザクションは、自己を含めブロードキャストを必要とするトランザクション（以下、ＢＣトランザクションという）と、１つの要求元と１つ宛先との間で転送を行うトランザクション（以下、１ｔｏ１トランザクションという）と、ＢＣに対するコヒーレンシ応答トランザクション（以下、ＧＣｏＨトランザクションという）に大別される。これに伴いノードコントローラ内部のユニット間パス５１１〜５１３、５２１〜５２３、５３１〜５３３、５４１〜５４３を含めたノード間相互接続、ＴＸＵ５０４とＲＸＵ５０５との間のループバックパス５３４は、それぞれ、ＢＣトランザクション、１ｔｏ１トランザクション、ＧＣｏＨトランザクション用に独立したパスが設けられている。但し、以下に説明する本発明の実施形態ではＧＣｏＨトランザクションのパスについては記述を省略している。 In the SMP systems 100 and 101 shown in FIG. 1 and FIG. 2, transactions within a node controller and between node controllers include a transaction that requires broadcast including itself (hereinafter referred to as a BC transaction), one request source, Transactions that transfer data to and from one destination (hereinafter referred to as 1to1 transaction) and coherency response transactions for BC (hereinafter referred to as GCoH transaction). Accordingly, inter-node interconnections including inter-unit paths 511 to 513, 521 to 523, 531 to 533, and 541 to 543 in the node controller, and the loopback path 534 between the TXU 504 and the RXU 505 are respectively BC transactions. Independent paths are provided for 1 to 1 transactions and GCoH transactions. However, in the embodiment of the present invention described below, the description of the GCoH transaction path is omitted.

図４はＴＸＵ５０４の構成を示すブロック図である。図４に示すＴＸＵ５０４において、図３に示したＰＩＵ５０１からＴＸＵ５０４へのパス５１１は、１２８ｂｉｔ幅の１ｔｏ１アドレスパス５１１ａ、２５６ｂｉｔ幅の１ｔｏ１データパス５１１ｂ、１２８ｂｉｔ幅のＢＣパス５１１ｃにさらに分かれる。ＭＩＵ５０２及びＩＩＵ５０３からのパスについても同様である。ここで、１ｔｏ１アドレスパス５１１ａ〜５１３ａ及びＢＣパス５１１ｃ〜５１３ｃに転送されてくる情報は、データ以外の情報をも含み、コマンド、ランザクション情報、メモリアドレスが含まれる。各ユニットからの１ｔｏ１トランザクションは、そのアドレスが１ｔｏ１送信調停器６１０に入力されると共に、対応するデータがデータキュー６２１〜６２３に格納される。１ｔｏ１送信調停器６１０は、入力される各ユニットからのトランザクションの調停を行い、勝った１ｔｏ１トランザクションをＣＵ５００により設定されたルーティング情報パス５５４ａのルーティング情報と、Ｎ２モードパス５５４ｂのモード情報（ＳＭＰシステムが４ノードで構成されているか、２ノードで構成されているかを示す信号）とに従って宛先ノードから宛先ポートを解決しコマンドを含むアドレスの送信を開始すると共に、セレクタ６３１〜６３５、６４２〜６４４、６５２、６５３をセレクトして、データキュー６２１〜６２３内のデータの送信を開始する。各ユニットからのＢＣトランザクションは、ＢＣ送信調停器６００に入力され、調停されたトランザクションは、すべての有効なポートにブロードキャストされる。１ｔｏ１トランザクション、ＢＣトランザクションは、それぞれ、ＴＸＵ５０４からの出力時にポート単位に纏められるが、互いに独立したタイミングで転送される。 FIG. 4 is a block diagram showing the configuration of the TXU 504. In the TXU 504 shown in FIG. 4, the path 511 from the PIU 501 to the TXU 504 shown in FIG. 3 is further divided into a 128-bit wide 1to1 address path 511a, a 256-bit wide 1to1 data path 511b, and a 128-bit wide BC path 511c. The same applies to paths from MIU 502 and IIU 503. Here, information transferred to the 1to1 address paths 511a to 513a and the BC paths 511c to 513c includes information other than data, and includes commands, transaction information, and memory addresses. As for the 1to1 transaction from each unit, the address is input to the 1to1 transmission arbiter 610 and the corresponding data is stored in the data queues 621 to 623. The 1to1 transmission arbiter 610 arbitrates transactions from each input unit, and the routing information path 554a routing information set by the CU 500 and the N2 mode path 554b mode information (the SMP system sets the winning 1to1 transaction). The destination port is resolved from the destination node and transmission of the address including the command is started, and selectors 631 to 635, 642 to 644 and 652 are started. , 653 are selected, and transmission of data in the data queues 621 to 623 is started. The BC transaction from each unit is input to the BC transmission arbiter 600, and the arbitrated transaction is broadcast to all valid ports. The 1 to 1 transaction and the BC transaction are collected in units of ports at the time of output from the TXU 504, but are transferred at timings independent of each other.

図５はＲＸＵ５０５の構成を示すブロック図である。図５に示すＲＸＵ５０５において、図３に示すノードコントローラのポートＡ３０１〜Ｃ３０３から受信したトランザクションは、内部パス５４１〜５４３を通りＲＸＵ５０５に入力される。ＴＸＵ５０４からループバック用として出力されたトランザクションはポートＤを経て、ＬＳＩ内のループバックパス５３４を通してＲＸＵ５０５に入力される。１ｔｏ１トランザクションは、アドレス、データ共に受信ポートＡ５４１〜Ｃ５４３、Ｄ５３４に対応した受信バッファ７４１〜７４４に格納される。受信バッファの先頭のエントリから１ｔｏ１アドレスの情報が１ｔｏ１受信調停器７１０に入力されると、それらのエントリが調停に参加する。１ｔｏ１受信調停器７１０は、あるエントリが調停に勝つと、１ｔｏ１アドレスパス５２１ａ〜５２３ａの中から宛先に対応したパスにトランザクションを出力する。さらに、当該エントリがデータ付きのトランザクションの場合、セレクタ７２１〜７２３を制御し、受信バッファ７４１〜７４４内のデータを、同時に１ｔｏ１データパス５２１ｂ〜５２３ｂの内の対応するパスへアドレス内にあるトランザクション情報のデータ長に応じた長さのデータとして出力を開始する。１ｔｏ１受信調停器７１０は、アドレス及びデータの出力が完了すると、受信バッファのリードポインタを次のエントリに進める。一方、ＲＸＵ５０５に入力されたＢＣトランザクションは、ＢＣ受信調停器７００に入力され、ルーティング情報パス５５５ｂのルーティング情報とＮ２モードパス５５５ａのＮ２モードの情報に従って有効なポートからのＢＣトランザクションを調停し、内部ユニットＰＩＵ５０１、ＭＩＵ５０２、ＩＩＵ５０３にブロードキャストする。 FIG. 5 is a block diagram showing the configuration of the RXU 505. In the RXU 505 illustrated in FIG. 5, the transactions received from the port A301 to C303 of the node controller illustrated in FIG. 3 are input to the RXU 505 through the internal paths 541 to 543. The transaction output from the TXU 504 for loopback is input to the RXU 505 through the port D through the loopback path 534 in the LSI. The 1 to 1 transaction is stored in the reception buffers 741 to 744 corresponding to the reception ports A541 to C543 and D534 for both addresses and data. When 1to1 address information is input to the 1to1 reception arbiter 710 from the top entry of the reception buffer, these entries participate in arbitration. When an entry wins arbitration, the 1to1 reception arbiter 710 outputs a transaction to one of the 1to1 address paths 521a to 523a corresponding to the destination. Further, when the entry is a transaction with data, the selectors 721 to 723 are controlled, and the data in the reception buffers 741 to 744 are simultaneously transferred to the corresponding paths in the 1to1 data paths 521b to 523b. Output is started as data having a length corresponding to the data length. When the output of the address and data is completed, the 1to1 reception arbiter 710 advances the read buffer read pointer to the next entry. On the other hand, the BC transaction input to the RXU 505 is input to the BC reception arbitrator 700, and arbitrates the BC transaction from the valid port according to the routing information of the routing information path 555b and the information of the N2 mode of the N2 mode path 555a. Broadcast to the units PIU 501, MIU 502, and IIU 503.

次に、前述のように構成されるノードを４個使用して図１に示して説明したＳＭＰシステム１００を構成した場合のトランザクションの処理の流れについて説明する。 Next, the flow of transaction processing when the SMP system 100 shown in FIG. 1 is configured using four nodes configured as described above will be described.

図６はＳＭＰシステム１００のそれぞれのノード２０１〜２０４において、ＣＵ５００からＴＸＵ５０４及びＲＸＵ５０５に渡されるルーティング情報及びＮ２モードの設定情報を説明する図である。 FIG. 6 is a diagram illustrating routing information and N2 mode setting information passed from the CU 500 to the TXU 504 and the RXU 505 in each of the nodes 201 to 204 of the SMP system 100.

ノード２０１〜２０４によりＳＭＰシステム１００が構成されている場合、ノード２０１には、図６（ａ）に示すようにように、ルーティング情報として自ノード番号“０”、ポートＡ３０１〜ポートＣ３０３の各ポートの宛先ノード番号としてそれぞれに１、２、３が設定され、各ポートの有効を示す“１”が設定される。また、Ｎ２モードには、無効を示す“０”が設定される。同様に、ノード２０２には、図６（ｂ）に示すように、ルーティング情報として自ノード番号“１”、ポートＡ３０１〜ポートＣ３０３の各ポートの宛先ノード番号としてそれぞれに０、３、２が設定され、各ポートの有効を示す“１”が設定される。また、Ｎ２モードには、無効を示す“０”が設定される。同様に、ノード２０３には、図６（ｃ）に示すように、ルーティング情報として自ノード番号“２”、ポートＡ３０１〜ポートＣ３０３の各ポートの宛先ノード番号としてそれぞれに３、０、１が設定され、各ポートの有効を示す“１”が設定される。また、Ｎ２モードには、無効を示す“０”が設定される。同様に、ノード２０４には、図６（ｄ）に示すように、ルーティング情報として自ノード番号“３”、ポートＡ３０１〜ポートＣ３０３の各ポートの宛先ノード番号としてそれぞれに２、１、０が設定され、各ポートの有効を示す“１”が設定される。また、Ｎ２モードには、無効を示す“０”が設定される。 When the SMP system 100 is configured by the nodes 201 to 204, as shown in FIG. 6A, the node 201 includes the own node number “0” as the routing information and the ports A301 to C303. 1, 2, and 3 are set as destination node numbers, and “1” indicating the validity of each port is set. In the N2 mode, “0” indicating invalidity is set. Similarly, in the node 202, as shown in FIG. 6B, the own node number “1” is set as the routing information, and the destination node numbers of the ports A301 to C303 are set to 0, 3, and 2, respectively. Then, “1” indicating the validity of each port is set. In the N2 mode, “0” indicating invalidity is set. Similarly, in the node 203, as shown in FIG. 6C, the own node number “2” is set as routing information, and the destination node numbers of the ports A301 to C303 are set to 3, 0, and 1, respectively. Then, “1” indicating the validity of each port is set. In the N2 mode, “0” indicating invalidity is set. Similarly, in the node 204, as shown in FIG. 6D, the own node number “3” is set as routing information, and the destination node numbers of ports A301 to C303 are set to 2, 1, and 0, respectively. Then, “1” indicating the validity of each port is set. In the N2 mode, “0” indicating invalidity is set.

次に、前述のような設定がされたＳＭＰシステム１００でのトランザクション処理の流れをＴＸＵ、ＲＸＵでの動作を中心に説明する。 Next, the flow of transaction processing in the SMP system 100 set as described above will be described focusing on operations in TXU and RXU.

まず、１ｔｏ１トランザクション処理の例として、ノード２０１のプロセッサ３１０にからノード２０２のメモリサブシステム３２０へ１２８Ｂｙｔｅのライト要求が発行されたものとして、この場合の処理について説明する。 First, as an example of 1to1 transaction processing, the processing in this case will be described assuming that a 128-byte write request is issued from the processor 310 of the node 201 to the memory subsystem 320 of the node 202.

ノード２０１のＰＩＵ５０１は、プロセッサ３１０からのライト要求を内部トランザクションとして１２８Ｂｙｔｅのデータ付１ｔｏ１トランザクションに変換し、アドレスをパス５１１ａに発行し、データをパス５１１ｂに発行する。このトランザクションは、アドレスとして１６Ｂｙｔｅを持ち、データとして１２８Ｂｙｔｅを持つ。ノード２０１のＴＸＵ５０４は、パス５１１ａからアドレスを受信すると、これを１ｔｏ１送信調停器６１０に入力して調停に参加させる。このトランザクションが１ｔｏ１送信調停器６１０により発行可となると、宛先ノードが“１”である、ポートＡ３０１の送信パス５３１に対してアドレス及びデータをルーティングする。具体的には、１ｔｏ１送信調停器６１０は、まず、セレクタ６４１をアドレス側に選択し、ポートＡ３０１の送信パス５３１にアドレス１６Ｂｙｔｅを２サイクルで送信する。次に、セレクタ６４１をデータ側に選択し、１２８Ｂｙｔｅのデータを１６サイクルで送信する。 The PIU 501 of the node 201 converts the write request from the processor 310 into a 1-to-1 transaction with data of 128 bytes as an internal transaction, issues an address to the path 511a, and issues data to the path 511b. This transaction has 16 bytes as an address and 128 bytes as data. When receiving the address from the path 511a, the TXU 504 of the node 201 inputs the address to the 1to1 transmission arbiter 610 to participate in the arbitration. When this transaction can be issued by the 1to1 transmission arbiter 610, the address and data are routed to the transmission path 531 of the port A 301 whose destination node is “1”. Specifically, the 1to1 transmission arbiter 610 first selects the selector 641 on the address side, and transmits the address 16 bytes to the transmission path 531 of the port A301 in two cycles. Next, the selector 641 is selected on the data side, and 128 bytes of data are transmitted in 16 cycles.

図８はＳＭＰシステム１００で１ｔｏ１トランザクション処理を行う場合のノード２０１の送信パス５３１及びノード２０２のポートＡ受信パス５４１の様子を示す図である。送信パス５３１及び受信パス５４１は、９６ビット幅を持つが、図８に示すように、１ｔｏ１トランザクション処理で使用されるのは、その内の６４ビット幅であり、パスの６４ビット幅分を用いて、前述したように、アドレス１６Ｂｙｔｅ及びデータ１２８Ｂｙｔｅを１８サイクルで送信している。なお、後述するが、残りの３２ビットは、ＢＣトランザクションのために使用される。このように、１ｔｏ１トランザクションと、ＢＣトランザクションとが、パス上のビット幅を分割して割り付けられて利用しているので、１ｔｏ１トランザクションと、ＢＣトランザクションとは、同時に処理することができる。 FIG. 8 is a diagram illustrating a state of the transmission path 531 of the node 201 and the port A reception path 541 of the node 202 when the SMP system 100 performs 1 to 1 transaction processing. Although the transmission path 531 and the reception path 541 have a 96-bit width, as shown in FIG. 8, the 64-bit width is used in the 1to1 transaction process, and the 64-bit width of the path is used. As described above, the address 16 bytes and the data 128 bytes are transmitted in 18 cycles. As will be described later, the remaining 32 bits are used for BC transactions. In this way, since the 1to1 transaction and the BC transaction are allocated and used by dividing the bit width on the path, the 1to1 transaction and the BC transaction can be processed simultaneously.

ノード２０２のＲＸＵ５０５は、ポートＡ３０１の受信パス５４１からのトランザクションを受信して、逐次、受信バッファ７４１に格納する。そして、１ｔｏ１アドレスが１ｔｏ１受信調停器７１０に読み出され、１ｔｏ１受信調停器７１０により、このトランザクションが調停されると、アドレスに含まれる宛先がＭＩＵ５０２となっているため、このトランザクションをＭＩＵ５０２に対してルーティングする。具体的には、１ｔｏ１アドレスをＭＩＵ５０２宛１ｔｏ１アドレスパス５２２ａに１サイクルで送信し、１ｔｏ１データをＭＩＵ５０２宛１ｔｏ１データパス５２２ｂに３２Ｂｙｔｅずつ４サイクルで送信する。ノード２０２のＭＩＵ５０２は、このトランザクションを受け取ると、アドレスに含まれるメモリアドレスに対し１ｔｏ１データとして送られてきた１２８Ｂｙｔｅのデータをメモリサブシステム３２０に書き込み、このトランザクションの処理を完了する。 The RXU 505 of the node 202 receives the transaction from the reception path 541 of the port A 301 and sequentially stores it in the reception buffer 741. When the 1to1 address is read to the 1to1 reception arbiter 710 and this transaction is arbitrated by the 1to1 reception arbiter 710, the destination included in the address is the MIU 502. Route. Specifically, the 1 to 1 address is transmitted to the 1 to 1 address path 522a addressed to the MIU 502 in one cycle, and the 1 to 1 data is transmitted to the 1 to 1 data path 522b addressed to the MIU 502 in 32 cycles. Upon receiving this transaction, the MIU 502 of the node 202 writes 128 bytes of data sent as 1 to 1 data to the memory address included in the address in the memory subsystem 320 and completes the processing of this transaction.

次に、ＢＣトランザクション処理の例として、ノード２０１のプロセッサ３１０からあるキャッシュラインのフラッシュ要求が発行されたものとして、この場合の処理について説明する。 Next, as an example of the BC transaction process, a process in this case will be described assuming that a cache line flush request is issued from the processor 310 of the node 201.

ノード２０１のＰＩＵ５０１は、プロセッサ３１０からのキャッシュラインのフラッシュ要求を内部トランザクションとしてＢＣトランザクションに変換し、このＢＣトランザクションをＢＣパス５１１ｃに送信する。このＢＣトランザクションは、１６Ｂｙｔｅのアドレスを持つ。ＴＸＵ５０４は、ＢＣパス５１１ｃからこのＢＣトランザクションを受信すると、ＢＣ送信調停器６００に入力して調停に参加させる。ＴＸＵ５０４は、ＢＣ送信調停器６００により、このＢＣトランザクションが発行可能となると、このＢＣトランザクションをポートＡ５３１〜Ｄ５３４の送信パスの全てに４サイクルで同時に送信する。ＳＭＰシステム１００の場合、図６により説明したように、Ｎ２モードは無効に設定されているため、セレクタ６５２、６５３は、パス５５４ｂ上のＮ２モードの信号により常にＢＣトランザクションを選択する。 The PIU 501 of the node 201 converts the cache line flush request from the processor 310 into a BC transaction as an internal transaction, and transmits this BC transaction to the BC path 511c. This BC transaction has an address of 16 bytes. When the TXU 504 receives this BC transaction from the BC path 511c, the TXU 504 inputs the BC transaction to the BC transmission arbiter 600 and participates in the arbitration. When this BC transaction can be issued by the BC transmission arbiter 600, the TXU 504 transmits this BC transaction simultaneously to all the transmission paths of the ports A531 to D534 in four cycles. In the case of the SMP system 100, as described with reference to FIG. 6, since the N2 mode is set to invalid, the selectors 652 and 653 always select a BC transaction based on the N2 mode signal on the path 554b.

図９はＳＭＰシステム１００で、ＢＣトランザクションを各ノード２０２〜２０４に転送する場合のポートＡ〜Ｃの様子を示す図である。各ポートを接続するパスは、図８でも説明したように、９６ビット幅を持つが、図９に示すように、ＢＣトランザクションの転送には、その内の３２ビットだけが使用されて、前述したように、１６Ｂｙｔｅのアドレスが４サイクルで送信される。 FIG. 9 is a diagram illustrating the states of ports A to C when the BC transaction is transferred to each of the nodes 202 to 204 in the SMP system 100. As described in FIG. 8, the path connecting each port has a 96-bit width, but as shown in FIG. 9, only 32 bits are used for the transfer of the BC transaction. Thus, a 16-byte address is transmitted in four cycles.

送信されたＢＣトランザクションは、ノード２０１自身のＲＸＵ５０５へはポートＤのループバックパス５３４により転送される。ノード２０１〜２０４のＲＸＵ５０５は、このＢＣトランザクションを受信すると、このＢＣトランザクションをＢＣ受信調停器７００に入力して調停に参加させる。ＢＣ受信調停器７００により、このＢＣトランザクションが発行可能になると、５２１ｃ〜５２３ｃの全てのパスに対してこのＢＣトランザクションの送信を行う。ノード２０１〜２０４のＰＩＵ５０１、ＩＩＵ５０３は、このトランザクションの処理結果をＧＣｏＨトランザクションのパスを用いて要求元に返送する。ノード２０１のＰＩＵ５０１は、全てのユニットからのＧＣｏＨトランザクションを受け取ると、このトランザクションの終了処理を行う。 The transmitted BC transaction is transferred to the RXU 505 of the node 201 itself through the loopback path 534 of the port D. When receiving the BC transaction, the RXU 505 of the nodes 201 to 204 inputs the BC transaction to the BC reception arbiter 700 and participates in the arbitration. When this BC transaction can be issued by the BC reception arbiter 700, the BC transaction is transmitted to all paths 521c to 523c. The PIU 501 and IIU 503 of the nodes 201 to 204 return the processing result of this transaction to the request source using the path of the GCoH transaction. When the PIU 501 of the node 201 receives the GCoH transaction from all the units, it ends the transaction.

次に、ＳＭＰシステム１００の場合と同様に構成されたノードを２個使用して図２に示して説明したＳＭＰシステム１０１を構成した場合のトランザクションの処理の流れについて説明する。 Next, the flow of transaction processing when the SMP system 101 described with reference to FIG. 2 is configured using two nodes configured in the same manner as in the SMP system 100 will be described.

図７はＳＭＰシステム１０１のそれぞれのノードコントローラ３００ａ、３００ｂに設定されるルーティング情報及びＮ２モード設定を説明する図である。 FIG. 7 is a diagram for explaining routing information and N2 mode setting set in the respective node controllers 300a and 300b of the SMP system 101.

ノードコントローラ３００ａ、３００ｂを含むノードによりＳＭＰシステム１０１が構成されている場合、ノードコントローラ３００ａには、図７（ａ）に示すように、仮想的にノード番号“０”が設定される。また、ポートＡ３０１ａ〜Ｃ３０３ｃの各ポートの宛先ノード番号として全てに“１”が設定され、ポートの有効を示す“１”が設定される。Ｎ２モードには、有効を示す“１”が設定される。同様に、ノードコントローラ３００ｂには、図７（ｂ）に示すように、仮想的にノード番号“１”が設定される。また、ポートＡ３０１ａ〜Ｃ３０３ｃの各ポートの宛先ノード番号として全てに“０”が設定され、ポートの有効を示す“１”が設定される。Ｎ２モードには、有効を示す“１”が設定される。 When the SMP system 101 is configured by nodes including the node controllers 300a and 300b, a node number “0” is virtually set in the node controller 300a as shown in FIG. Further, “1” is set for all the destination node numbers of the ports A301a to C303c, and “1” indicating the validity of the port is set. In the N2 mode, “1” indicating validity is set. Similarly, a node number “1” is virtually set in the node controller 300b as shown in FIG. Further, “0” is set for all the destination node numbers of the ports A301a to C303c, and “1” indicating the validity of the port is set. In the N2 mode, “1” indicating validity is set.

次に、前述のような設定がされたＳＭＰシステム１０１でのトランザクション処理の流れをＴＸＵ、ＲＸＵでの動作を中心に説明する。 Next, the flow of transaction processing in the SMP system 101 set as described above will be described focusing on operations in TXU and RXU.

まず、１ｔｏ１トランザクション処理の例として、ＳＭＰシステム１００の場合と同様に、ノードコントローラ３００ａのプロセッサ３１０によりノードコントローラ３００ｂのメモリサブシステム３２０へ１２８Ｂｙｔｅのライト要求が発行されたものとして、この場合の処理について説明する。 First, as an example of 1to1 transaction processing, it is assumed that a 128-byte write request is issued to the memory subsystem 320 of the node controller 300b by the processor 310 of the node controller 300a as in the case of the SMP system 100. explain.

ノードコントローラ３００ａのＰＩＵ５０１は、プロセッサ３１０からのライト要求を内部トランザクションとして１２８Ｂｙｔｅデータ付１ｔｏ１トランザクションに変換し、アドレスをパス５１１ａに発行し、データをパス５１１ｂに発行する。ノードコントローラ３００ａのＴＸＵ５０４は、パス５１１ａからアドレスを受信すると、このアドレスを１ｔｏ１送信調停器６１０に入力して調停に参加させる。１ｔｏ１送信調停器６１０により、このトランザクションが発行可となると、宛先ノードが“１”となっているトランザクションに対して、ポートＡ〜Ｃの宛先は、図７により説明したように、全てノード“１”宛に設定されているので、ポートＡ５３１〜Ｃ５３３の送信パスに対してアドレス及びデータをルーティングする。 The PIU 501 of the node controller 300a converts the write request from the processor 310 as an internal transaction into a 1-to-1 transaction with 128-byte data, issues an address to the path 511a, and issues data to the path 511b. When receiving the address from the path 511a, the TXU 504 of the node controller 300a inputs this address to the 1to1 transmission arbiter 610 to participate in the arbitration. When this transaction can be issued by the 1 to 1 transmission arbiter 610, the destinations of the ports A to C are all the node “1” as described with reference to FIG. 7 for the transaction whose destination node is “1”. Since the address and data are routed to the transmission paths of the ports A531 to C533.

すなわち、１ｔｏ１送信調停器６１０は、まず、セレクタ６４１、６４２をアドレス側に選択し、ポートＡ５３１、Ｂ５３２の送信パスにアドレス１６Ｂｙｔｅを１サイクルで送信する。次に、１ｔｏ１送信調停器６１０は、セレクタ６４１〜６４３をデータ側に選択し、さらに、パス５５４ｂ上のＮ２モードが有効となっているため、ＳＭＰシステム１００の場合にＢＣ送信ポートＢ、Ｃとして使用されていたパスを１本の１ｔｏ１データ送信ポートＸとして使用する。この結果、１ｔｏ１データ送信ポートは、合計で３２Ｂｙｔｅ幅となるので、１２８Ｂｙｔｅのデータを４ｃｙｃｌｅで送信することができる。 That is, the 1to1 transmission arbiter 610 first selects the selectors 641 and 642 on the address side, and transmits the address 16 bytes to the transmission paths of the ports A531 and B532 in one cycle. Next, the 1to1 transmission arbiter 610 selects the selectors 641 to 643 to the data side, and further, since the N2 mode on the path 554b is valid, in the case of the SMP system 100, as the BC transmission ports B and C, The used path is used as one 1 to 1 data transmission port X. As a result, since the 1 to 1 data transmission port has a total width of 32 bytes, 128 bytes of data can be transmitted in 4 cycles.

図１０はＳＭＰシステム１０１で１ｔｏ１トランザクション処理を行う場合のポートＡ〜Ｃの様子を示す図である。図１０から判るように、ＳＭＰシステム１０１では、１２８Ｂｙｔｅデータ付の１ｔｏ１トランザクションは、５サイクルで転送することが可能となる。そして、この場合、ポートＡの３２ビット分がＢＣトランザクションに割り振られている。 FIG. 10 is a diagram showing the states of ports A to C when 1to1 transaction processing is performed in the SMP system 101. As can be seen from FIG. 10, in the SMP system 101, a 1 to 1 transaction with 128 bytes of data can be transferred in 5 cycles. In this case, 32 bits of port A are allocated to the BC transaction.

ノードコントローラ３００ｂのＲＸＵは、ポートＡ受信パス５４１〜ポートＣ受信パス５４３からトランザクションを受信し、このトランザクションを逐次受信バッファ７４１〜７４３に格納する。さらに、Ｎ２モードが有効に設定されているため、ポートＸに相当するデータを受信バッファ７４５に格納する。１ｔｏ１受信調停器７１０は、Ｎ２モードが有効に設定されていると、１ｔｏ１アドレスが受信バッファ７４１、７４２からの読み出しを結合し、ノード“０”からの１ｔｏ１アドレスとして調停を行う。このアドレスに含まれる宛先がＭＩＵ５０２となっているため、このトランザクションは、調停後ＭＩＵ５０２に対してルーティングされる。 The RXU of the node controller 300b receives a transaction from the port A reception path 541 to the port C reception path 543, and stores this transaction in the sequential reception buffers 741 to 743. Further, since the N2 mode is set to be valid, data corresponding to the port X is stored in the reception buffer 745. When the N2 mode is set to be valid, the 1to1 reception arbiter 710 combines the reading from the reception buffers 741 and 742 with the 1to1 address, and performs the arbitration as the 1to1 address from the node “0”. Since the destination included in this address is MIU 502, this transaction is routed to MIU 502 after arbitration.

前述で説明した本発明の第１、第２の実施形態において、１つのノードコントローラが、各サブシステムから受け取るノード間１ｔｏ１トランザクションの数をｘ、ＢＣトランザクションの数をｙとすると、ｎ個のノード間で発生するトランザクション数は、１ｔｏ１ではｎｘ、ＢＣではｎｙ（ｎ−１）となる。従って、前述で説明した第１の実施形態によるＳＭＰシステム１００と第２の実施形態による１０１ＳＭＰシステムとでｘ、ｙが変化しないとすれば、ＳＭＰシステム１０１におけるノード間トランザクション数は、ＳＭＰシステム１００におけるノード間のトランザクション数と比較して、１ｔｏ１では１／２、ＢＣでは１／６となる。 In the first and second embodiments of the present invention described above, assuming that the number of 1 to 1 transactions between nodes received by each node controller is x and the number of BC transactions is y, n nodes The number of transactions occurring between them is nx for 1to1, and ny (n-1) for BC. Therefore, if x and y do not change between the SMP system 100 according to the first embodiment and the 101 SMP system according to the second embodiment described above, the number of transactions between nodes in the SMP system 101 is Compared to the number of transactions between nodes, it is 1/2 for 1to1 and 1/6 for BC.

これに対して、本発明の第２の実施形態によるＳＭＰシステム１０１の持つ帯域は、３本のポートをＳＭＰシステム１００の場合と同じ割当てで使用した場合、１ｔｏ１、ＢＣ共に１／２となるので、ＳＭＰシステム１００のノード間トランザクション数当たりの帯域と比較すると１ｔｏ１では等倍、ＢＣでは３倍となり、ＢＣが相対的に余裕がある状態となる。 On the other hand, the bandwidth of the SMP system 101 according to the second embodiment of the present invention is halved for both 1to1 and BC when the three ports are used with the same allocation as in the SMP system 100. Compared to the bandwidth per number of inter-node transactions in the SMP system 100, 1 to 1 is the same size and BC is 3 times, so that BC has a relatively large margin.

一方、Ｎ２モードを有効とした場合、帯域は、１ｔｏ１では４／３、ＢＣでは１／６となり、ＳＭＰシステム１００のノード間のトランザクション数当たりの帯域との比較では、ＳＭＰシステム１０１は、１ｔｏ１では８／３倍、ＢＣでは等倍となり、システム１００と比較して、１ｔｏ１の帯域に余裕ができる状態となる。１ｔｏ１トランザクションでは、付属するデータ長が大きくなるほど１トランザクションでより多くの帯域を消費するため、本発明の第２の実施形態によるＳＭＰシステム１０１は、１ｔｏ１の帯域に余裕を持たせたＮ２モードの方がトータルのノード間のスループットをより向上させることができる。 On the other hand, when the N2 mode is enabled, the bandwidth is 4/3 for 1 to 1 and 1/6 for BC. In comparison with the bandwidth per number of transactions between nodes of the SMP system 100, the SMP system 101 is 1 to 1. Compared with the system 100, the band of 1 to 1 is in a state where there is a margin. In the 1 to 1 transaction, the larger the attached data length, the more bandwidth is consumed in one transaction. Therefore, the SMP system 101 according to the second embodiment of the present invention uses the N2 mode with a margin of 1 to 1 bandwidth. However, it is possible to further improve the throughput between the total nodes.

本発明の第１の実施形態によるＳＭＰシステムの構成を示すブロック図である。It is a block diagram which shows the structure of the SMP system by the 1st Embodiment of this invention. 本発明の第２の実施形態によるＳＭＰシステムの構成を示すブロック図である。It is a block diagram which shows the structure of the SMP system by the 2nd Embodiment of this invention. ノードが備えるノードコントローラの構成を示すブロック図である。It is a block diagram which shows the structure of the node controller with which a node is provided. ＴＸＵの構成を示すブロック図である。It is a block diagram which shows the structure of TXU. ＲＸＵの構成を示すブロック図である。It is a block diagram which shows the structure of RXU. 第１の実施形態によるＳＭＰシステムの各ノードにおいて、ＣＵからＴＸＵ及びＲＸＵに渡されるルーティング情報及びＮ２モードの設定情報を説明する図である。It is a figure explaining the routing information passed from CU to TXU and RXU, and setting information of N2 mode in each node of the SMP system by a 1st embodiment. 第２の実施形態によるＳＭＰシステムのそれぞれのノードコントローラに設定されるルーティング情報及びＮ２モードの設定情報を説明する図である。It is a figure explaining the routing information set to each node controller of the SMP system by 2nd Embodiment, and the setting information of N2 mode. 第１の実施形態によるＳＭＰシステムで１ｔｏ１トランザクション処理を行う場合の送信元ノードの送信パス及び送信先ノードの受信パスの様子を示す図である。It is a figure which shows the mode of the transmission path of a transmission source node, and the reception path of a transmission destination node in the case of performing a 1 to 1 transaction process with the SMP system by 1st Embodiment. 第１の実施形態によるＳＭＰシステムで、ＢＣトランザクションを各ノードに転送する場合のポートＡ〜Ｃの様子を示す図である。It is a figure which shows the mode of the ports AC in the case of transferring a BC transaction to each node in the SMP system by 1st Embodiment. 第２の実施形態によるＳＭＰシステムで１ｔｏ１トランザクション処理を行う場合のポートＡ〜Ｃの様子を示す図である。It is a figure which shows the mode of the ports AC in the case of performing a 1 to 1 transaction process with the SMP system by 2nd Embodiment.

Explanation of symbols

１００、１０１ＳＭＰシステム
２０１〜２０４ノード
３００、３００ａ、３００ｂノードコントローラ
３０１〜３０３、３０１ａ〜３０３ａ、３０１ｂ〜３０３ｂポートＡ〜Ｃ
３１０、３１０ａ、３１０ｂプロセッサ
３２０、３２０ａ、３２０ｂメモリサブシステム
３３０、３３０ａ、３３０ｂＩ／Ｏサブシステム
４００パッシブバックプレーン
５００コンフィグレーションユニット
５０１プロセッサインタフェースユニット（ＰＩＵ）
５０２メモリインタフェースユニット（ＭＩＵ）
５０３Ｉ／Ｏインタフェースユニット（ＩＩＵ）
５０４トランザクション送信ユニット（ＴＸＵ）
５０５トランザクション受信ユニット（ＲＸＵ） 100, 101 SMP system 201-204 Node 300, 300a, 300b Node controller 301-303, 301a-303a, 301b-303b Ports A-C
310, 310a, 310b Processor 320, 320a, 320b Memory subsystem 330, 330a, 330b I / O subsystem 400 Passive backplane 500 Configuration unit 501 Processor interface unit (PIU)
502 Memory Interface Unit (MIU)
503 I / O interface unit (IIU)
504 Transaction sending unit (TXU)
505 Transaction receiving unit (RXU)

Claims

In a multiprocessor system configured by connecting a plurality of nodes to each other,
Each of the plurality of nodes includes a plurality of ports for interconnecting with other nodes, a configuration unit, a transaction transmission unit, and a transaction reception unit.
The configuration unit defines a plurality of transaction types, sorts the bits used in the port according to the transaction types, and instructs the transaction sending unit and the transaction receiving unit to change the port destination, A multiprocessor system characterized by instructing a transaction transmission unit and a transaction reception unit to change a bit allocation in a port and change a bit width used for each transaction type.

Whether the port destination change and bit width change instructions are configured by a multiprocessor system interconnecting nodes in a full mesh using nodes designed for the maximum number of nodes. 2. The multiprocessor system according to claim 1, wherein the multiprocessor system is performed in accordance with mode information indicating whether the number of nodes having the same configuration is less than the maximum number.