JP2019139719A

JP2019139719A - node

Info

Publication number: JP2019139719A
Application number: JP2018025269A
Authority: JP
Inventors: 憲行安藤; Noriyuki Ando
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2018-02-15
Filing date: 2018-02-15
Publication date: 2019-08-22
Anticipated expiration: 2038-02-15
Also published as: JP7031349B2

Abstract

To provide a method for appropriately controlling synchronization between a DMA transfer device and a plurality of CPUs.SOLUTION: A node 100 comprises a plurality of first to n-th CPUs, a plurality of first to n-th memory control devices connected to the plurality of CPUs in a one-to-one manner, a plurality of memory devices connected to the plurality of memory control devices in a one-to-one manner, a plurality of synchronous registers connected to the plurality of CPUs and the plurality of memory control devices in a one-to-one manner, and a DMA transfer device 150 connected to the n-th memory control device. The plurality of memory control devices are connected in a numerical order from the first device to the n-th device in a line. After write access to the plurality of memory devices via the plurality of memory control devices, the DMA transfer device sets a value indicating completion of the write access in the synchronous registers via the plurality of memory control devices. Each of the plurality of CPUs determines the propriety of read access to the write-accessed data by referring to a value of a corresponding synchronous register.SELECTED DRAWING: Figure 1

Description

本発明は、複数のＣＰＵとメモリ等を有するノード、およびノードにおける同期制御方法に関する。 The present invention relates to a node having a plurality of CPUs and memories, and a synchronization control method in the node.

計算機において、メモリに対するストアアクセスとロードアクセスとに依存関係がある場合、ストアアクセスの完了を待ってロードアクセスを行う必要がある。このように先行のアクセスの完了を判断し、後続のアクセスを制御することは、オーダリング制御あるいは同期制御と呼ばれている。 In a computer, when there is a dependency between store access and load access to a memory, it is necessary to wait for the store access to be completed before performing load access. The determination of completion of preceding access and control of subsequent access in this manner is called ordering control or synchronization control.

例えば特許文献１に、複数のＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）でメモリを共有するマルチプロセッサシステムにおいて、メモリに対する或るＣＰＵからのストアアクセスと別ＣＰＵからのロードアクセスとの間の同期制御方法が開示されている。 For example, Patent Document 1 discloses a synchronization control method between store access from one CPU and load access from another CPU in a multiprocessor system in which a plurality of CPUs (Central Processing Units) share a memory. ing.

特開平１１−１６７５５７号公報JP-A-11-167557

ところで、メモリに対するアクセスはＣＰＵからだけでなくＤＭＡ（ＤｉｒｅｃｔＭｅｍｏｒｙＡｃｃｅｓｓ）転送装置から行われる場合がある。例えば、複数のＣＰＵと各ＣＰＵからアクセス可能は複数のメモリとＤＭＡ転送装置とを有する複数のノードが、ノード間通信路を通じて相互に接続された並列計算機システムがある。そのような計算機システムにおける各ノードでは、他のノードから受信したデータをＤＭＡ転送装置がノード内の各メモリにストアし、そのストアしたデータをノード内の各ＣＰＵがロードすることを保証する場合、同期制御が必要になる。しかしながら、そのようなＤＭＡ転送装置と複数のＣＰＵとの間に適用可能な同期制御を記載した文献は知られていない。そのため、ＤＭＡ転送装置と複数のＣＰＵとの間の同期を適切に制御する方法の実現が望まれている。 Incidentally, access to the memory may be performed not only from the CPU but also from a DMA (Direct Memory Access) transfer device. For example, there is a parallel computer system in which a plurality of nodes each having a plurality of CPUs and a plurality of memories and DMA transfer devices accessible from each CPU are connected to each other through inter-node communication paths. In each node in such a computer system, when it is guaranteed that the DMA transfer device stores data received from other nodes in each memory in the node, and each CPU in the node loads the stored data. Synchronous control is required. However, there is no known document describing synchronization control applicable between such a DMA transfer apparatus and a plurality of CPUs. Therefore, it is desired to realize a method for appropriately controlling the synchronization between the DMA transfer apparatus and a plurality of CPUs.

本発明の目的は、ＤＭＡ転送装置と複数のＣＰＵとの間の同期を適切に制御する方法の実現が望まれている、という課題を解決するノードを提供することにある。 An object of the present invention is to provide a node that solves the problem that it is desired to implement a method for appropriately controlling synchronization between a DMA transfer apparatus and a plurality of CPUs.

本発明の一形態に係るノードは、
１番からｎ番までの複数のＣＰＵと、前記複数のＣＰＵに１対１に接続された１番からｎ番までの複数のメモリ制御装置と、前記複数のメモリ制御装置に１対１に接続された複数のメモリ装置と、前記複数のＣＰＵおよび前記複数のメモリ制御装置に１対１に接続された複数の同期レジスタとを備え、
前記複数のメモリ制御装置は、１番からｎ番まで番号順に一列に接続されており、
ｎ番の前記メモリ制御装置に接続され、複数の前記メモリ制御装置を経由して複数の前記メモリ装置をライトアクセスした後、複数の前記メモリ制御装置を経由して前記同期レジスタに前記ライトアクセスが完了したことを示す値を設定するＤＭＡ転送装置を備え、
前記複数のＣＰＵのそれぞれは、対応する前記同期レジスタの前記値を参照して前記ライトアクセスされたデータのリードアクセスの可否を決定する。 A node according to an aspect of the present invention is:
A plurality of CPUs from No. 1 to n, a plurality of memory control devices from No. 1 to n connected to the plurality of CPUs on a one-to-one basis, and a one-to-one connection to the plurality of memory control devices A plurality of memory devices, and a plurality of synchronous registers connected to the plurality of CPUs and the plurality of memory control devices on a one-to-one basis,
The plurality of memory control devices are connected in a row in order of numbers from No. 1 to No. n.
The nth memory control device is connected to the plurality of memory control devices via the plurality of memory control devices, and then the write access to the synchronization register is performed via the plurality of memory control devices. A DMA transfer device for setting a value indicating completion;
Each of the plurality of CPUs refers to the value of the corresponding synchronization register to determine whether or not read access of the write-accessed data is possible.

また本発明の他の形態に係るノードは、
１番からｎ番までの複数のＣＰＵと、前記複数のＣＰＵに１対１に接続された１番からｎ番までの複数のメモリ制御装置と、前記複数のメモリ制御装置に１対１に接続された複数のメモリ装置と、前記複数のＣＰＵと１番の前記メモリ制御装置との間に接続された同期レジスタとを備え、
前記複数のメモリ制御装置は、１番からｎ番まで番号順に一列に接続されており、
ｎ番の前記メモリ制御装置に接続され、複数の前記メモリ制御装置を経由して複数の前記メモリ装置をライトアクセスした後、複数の前記メモリ制御装置を経由して前記同期レジスタに前記ライトアクセスが完了したことを示す値を設定するＤＭＡ転送装置を備え、
前記複数のＣＰＵのそれぞれは、前記同期レジスタの前記値を参照して前記ライトアクセスされたデータのリードアクセスの可否を決定する。 A node according to another embodiment of the present invention includes:
A plurality of CPUs from No. 1 to n, a plurality of memory control devices from No. 1 to n connected to the plurality of CPUs on a one-to-one basis, and a one-to-one connection to the plurality of memory control devices A plurality of memory devices, and a synchronization register connected between the plurality of CPUs and the first memory control device,
The plurality of memory control devices are connected in a row in order of numbers from No. 1 to No. n.
The nth memory control device is connected to the plurality of memory control devices via the plurality of memory control devices, and then the write access to the synchronization register is performed via the plurality of memory control devices. A DMA transfer device for setting a value indicating completion;
Each of the plurality of CPUs determines whether or not read access to the write-accessed data is made with reference to the value of the synchronization register.

また本発明の他の形態に係る同期制御方法は、
１番からｎ番までの複数のＣＰＵと、前記複数のＣＰＵに１対１に接続された１番からｎ番までの複数のメモリ制御装置と、前記複数のメモリ制御装置に１対１に接続された複数のメモリ装置と、前記複数のＣＰＵおよび前記複数のメモリ制御装置に１対１に接続された複数の同期レジスタと、ｎ番の前記メモリ制御装置に接続されたＤＭＡ転送装置とを備え、前記複数のメモリ制御装置は、１番からｎ番まで番号順に一列に接続されている、ノードが実行する同期制御方法であって、
前記ＤＭＡ転送装置は、複数の前記メモリ制御装置を経由して複数の前記メモリ装置をライトアクセスした後、複数の前記メモリ制御装置を経由して前記同期レジスタに前記ライトアクセスが完了したことを示す値を設定し、
前記複数のＣＰＵのそれぞれは、対応する前記同期レジスタの前記値を参照して前記ライトアクセスされたデータのリードアクセスの可否を決定する。 A synchronization control method according to another embodiment of the present invention includes:
A plurality of CPUs from No. 1 to n, a plurality of memory control devices from No. 1 to n connected to the plurality of CPUs on a one-to-one basis, and a one-to-one connection to the plurality of memory control devices A plurality of memory devices, a plurality of synchronous registers connected to the plurality of CPUs and the plurality of memory control devices on a one-to-one basis, and a DMA transfer device connected to the nth memory control device. The plurality of memory control devices are connected in a line in order from number 1 to number n, and are synchronized control methods executed by nodes.
The DMA transfer device performs write access to the plurality of memory devices via the plurality of memory control devices, and then indicates that the write access to the synchronization register is completed via the plurality of memory control devices. Set the value
Each of the plurality of CPUs refers to the value of the corresponding synchronization register to determine whether or not read access of the write-accessed data is possible.

また本発明の他の形態に係る同期制御方法は、
１番からｎ番までの複数のＣＰＵと、前記複数のＣＰＵに１対１に接続された１番からｎ番までの複数のメモリ制御装置と、前記複数のメモリ制御装置に１対１に接続された複数のメモリ装置と、前記複数のＣＰＵと１番の前記メモリ制御装置との間に接続された同期レジスタと、ｎ番の前記メモリ制御装置に接続されたＤＭＡ転送装置とを備え、前記複数のメモリ制御装置は、１番からｎ番まで番号順に一列に接続されている、ノードが実行する同期制御方法であって、
前記ＤＭＡ転送装置は、複数の前記メモリ制御装置を経由して複数の前記メモリ装置をライトアクセスした後、複数の前記メモリ制御装置を経由して前記同期レジスタに前記ライトアクセスが完了したことを示す値を設定し、
前記複数のＣＰＵのそれぞれは、前記同期レジスタの前記値を参照して前記ライトアクセスされたデータのリードアクセスの可否を決定する。 A synchronization control method according to another embodiment of the present invention includes:
A plurality of CPUs from No. 1 to n, a plurality of memory control devices from No. 1 to n connected to the plurality of CPUs on a one-to-one basis, and a one-to-one connection to the plurality of memory control devices A plurality of memory devices, a synchronization register connected between the plurality of CPUs and the first memory control device, and a DMA transfer device connected to the nth memory control device, The plurality of memory control devices are connected in a line in order from number 1 to number n, and are synchronized control methods executed by nodes.
The DMA transfer device performs write access to the plurality of memory devices via the plurality of memory control devices, and then indicates that the write access to the synchronization register is completed via the plurality of memory control devices. Set the value
Each of the plurality of CPUs determines whether or not read access to the write-accessed data is made with reference to the value of the synchronization register.

本発明は、上述したような構成を有することにより、ＤＭＡ転送装置とＣＰＵ間の同期時間の高速化が可能である。 According to the present invention, the synchronization time between the DMA transfer apparatus and the CPU can be increased by having the configuration as described above.

本発明の第１の実施形態に係るノードのブロック図である。It is a block diagram of a node concerning a 1st embodiment of the present invention. 本発明の第１の実施形態に係るノードのメモリ制御装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the memory control apparatus of the node which concerns on the 1st Embodiment of this invention. 本発明に関連するノードのブロック図である。It is a block diagram of the node relevant to this invention. 本発明の第２の実施形態に係るノードのブロック図である。It is a block diagram of a node concerning a 2nd embodiment of the present invention. 本発明の第３の実施形態に係るノードのブロック図である。It is a block diagram of a node concerning a 3rd embodiment of the present invention. 本発明の第４の実施形態に係るノードのブロック図である。It is a block diagram of a node concerning a 4th embodiment of the present invention.

次に本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]
図１は、本発明の第１の実施形態に係るノード１００のブロック図である。図１を参照すると、ノード１００は、１番からｎ番までの複数のＣＰＵ１１０−１〜１１０−ｎと、１番からｎ番までの複数のメモリ制御装置１２０−１〜１２０−ｎと、１番からｎ番までの複数のＲＡＭ等のメモリ装置１３０−ｎと、１番からｎ番までの複数の同期レジスタ１４０−１〜１４０−ｎと、ＤＭＡ転送装置１５０とを含んで構成されている。以下、同じ複数の構成要素の何れであるかを特定しない場合、ＣＰＵ１１０などのように、符号のハイフン以下を省略して記載する。 Next, embodiments of the present invention will be described in detail with reference to the drawings.
[First embodiment]
FIG. 1 is a block diagram of a node 100 according to the first embodiment of the present invention. Referring to FIG. 1, the node 100 includes a plurality of CPUs 110-1 to 110-n from No. 1 to n, a plurality of memory control devices 120-1 to 120-n from No. 1 to n, and 1 A plurality of memory devices 130-n such as RAM from No. 1 to n, a plurality of synchronization registers 140-1 to 140-n from No. 1 to n, and a DMA transfer device 150. . Hereinafter, when it is not specified which of the same plurality of constituent elements is specified, the hyphens below the reference numerals are omitted as in the case of the CPU 110 and the like.

同じ番号のＣＰＵ１１０とメモリ制御装置１２０とメモリ装置１３０と同期レジスタ１４０とは１対１に対応している。ＣＰＵ１１０とそれに対応するメモリ制御装置１２０とは信号線１６１で接続されている。メモリ制御装置１２０とそれに対応するメモリ装置１３０とは信号線１６２で接続されている。ＣＰＵ１１０およびメモリ制御装置１２０とそれに対応する同期レジスタ１４０とは信号線１６３および信号線１６４で接続されている。 The CPU 110, the memory control device 120, the memory device 130, and the synchronization register 140 having the same number correspond one-to-one. The CPU 110 and the corresponding memory control device 120 are connected by a signal line 161. The memory control device 120 and the corresponding memory device 130 are connected by a signal line 162. The CPU 110 and the memory control device 120 and the corresponding synchronization register 140 are connected by a signal line 163 and a signal line 164.

また、複数のメモリ制御装置１２０は、線状に接続されている。即ち、複数のメモリ制御装置１２０は、１番からｎ番まで番号順に信号線１６５で一列に接続されている。さらに、ｎ番のメモリ制御装置１２０−ｎとＤＭＡ転送装置１５０は信号線１６５−ｎで接続されている。また、ＤＭＡ転送装置１５０は、図示しない他のノードのＤＭＡ転送装置とノード間通信路１６６で接続されている。 The plurality of memory control devices 120 are connected in a line. That is, the plurality of memory control devices 120 are connected in a line through the signal lines 165 in order of numbers from 1 to n. Further, the nth memory control device 120-n and the DMA transfer device 150 are connected by a signal line 165-n. The DMA transfer device 150 is connected to a DMA transfer device of another node (not shown) through an inter-node communication path 166.

複数のメモリ装置１３０には、１つのメモリ空間をｎ分割した各分割領域のメモリアドレスが割り当てられている。それぞれのメモリ装置１３０に対するアクセスは、対応するメモリ制御装置１２０により制御される。即ち、メモリ制御装置１２０は、ＣＰＵ１１０およびＤＭＡ転送装置１５０から受信したメモリアクセスリクエストに従って、対応するメモリ装置１３０のアクセスを制御する。また、メモリ制御装置１２０は、受信したメモリアクセスリクエストに含まれるメモリアドレスに基づいて、対応するメモリ装置１３０をアクセスするか、隣接するメモリ制御装置１２０へメモリアクセスリクエストを転送するかを判断する。このようにして、ＤＭＡ転送装置１５０から信号線１６５−ｎに送出されたメモリアクセスリクエストおよびＣＰＵ１１０から信号線１６１に送出されたメモリアクセスリクエストは、アクセス先のメモリ装置１３０に接続されたメモリ制御装置１２０まで中継される。 A plurality of memory devices 130 are assigned memory addresses of respective divided areas obtained by dividing one memory space into n. Access to each memory device 130 is controlled by the corresponding memory control device 120. That is, the memory control device 120 controls access to the corresponding memory device 130 according to the memory access request received from the CPU 110 and the DMA transfer device 150. Further, the memory control device 120 determines whether to access the corresponding memory device 130 or to transfer the memory access request to the adjacent memory control device 120 based on the memory address included in the received memory access request. In this way, the memory access request sent from the DMA transfer device 150 to the signal line 165-n and the memory access request sent from the CPU 110 to the signal line 161 are the memory control devices connected to the access destination memory device 130. Relay to 120.

例えば、ｎ番のＣＰＵ１１０−ｎからｎ番のメモリ装置１３０−ｎのメモリアドレスを含むメモリアクセスリクエストが信号線１６１−ｎに送出されると、そのメモリアクセスリクエストを信号線１６１−ｎを通じて受信したメモリ制御装置１２０−ｎは、そのメモリアクセスリクエストに従ってメモリ装置１３０−ｎをアクセスする。そして、リードアクセスリクエストのときは、メモリ制御装置１２０−ｎは、メモリ装置１３０−ｎからリードしたデータを含むリプライデータをリクエスト元のＣＰＵ１１０−ｎへ信号線１６１−ｎを通じて返却する。 For example, when a memory access request including the memory address of the nth memory device 130-n is sent from the nth CPU 110-n to the signal line 161-n, the memory access request is received through the signal line 161-n. The memory control device 120-n accesses the memory device 130-n according to the memory access request. In the case of a read access request, the memory control device 120-n returns reply data including data read from the memory device 130-n to the requesting CPU 110-n through the signal line 161-n.

また、例えば、ｎ番のＣＰＵ１１０−ｎから１番のメモリ装置１３０−１のメモリアドレスを含むメモリアクセスリクエストが信号線１６１−ｎに送出されると、そのメモリアクセスリクエストを信号線１６１−ｎを通じて受信したメモリ制御装置１２０−ｎは、そのメモリアクセスリクエストのメモリアドレスに従って信号線１６５−ｎ−１を通じて隣接するメモリ制御装置１２０−ｎ−１に転送する。信号線１６５−ｎ−１を通じてメモリアクセスリクエストを受信したメモリ制御装置１２０−ｎ−１も同様の判断を行う。このようにして、メモリアクセスリクエストは最終的に信号線１６５−１を通じてメモリ制御装置１２０−１に到達する。そして、メモリ制御装置１２０−１は、そのメモリアクセスリクエストに従ってメモリ装置１３０−１をアクセスする。そして、リードアクセスリクエストのときは、メモリ制御装置１２０−１は、メモリ装置１３０−１からリードしたデータを含むリプライデータをリクエスト元のＣＰＵ１１０−ｎに返却するために信号線１６５−１を通じて隣接するメモリ制御装置１２０−２へ送出する。メモリ制御装置１２０−２は、返却先がＣＰＵ１１０−ｎであるため、受信したリプライデータを、信号線１６５−２を通じて隣接するメモリ制御装置１２０−３へ送出する。このようにして、リプライデータは最終的に信号線１６５−ｎ−１を通じてメモリ制御装置１２０−ｎに到達し、このメモリ制御装置１２０−ｎから信号線１６１−１を通じて要求元のＣＰＵ１１０−ｎに返却される。 For example, when a memory access request including the memory address of the first memory device 130-1 is sent from the nth CPU 110-n to the signal line 161-n, the memory access request is transmitted through the signal line 161-n. The received memory control device 120-n transfers to the adjacent memory control device 120-n-1 through the signal line 165-n-1 according to the memory address of the memory access request. The memory control device 120-n-1 that has received the memory access request through the signal line 165-n-1 also makes the same determination. In this way, the memory access request finally reaches the memory control device 120-1 through the signal line 165-1. Then, the memory control device 120-1 accesses the memory device 130-1 according to the memory access request. In the case of a read access request, the memory control device 120-1 is adjacent through the signal line 165-1 in order to return reply data including data read from the memory device 130-1 to the requesting CPU 110-n. It is sent to the memory control device 120-2. Since the return destination is the CPU 110-n, the memory control device 120-2 sends the received reply data to the adjacent memory control device 120-3 through the signal line 165-2. In this way, the reply data finally reaches the memory control device 120-n through the signal line 165-n-1, and the memory control device 120-n sends the request data to the requesting CPU 110-n through the signal line 161-1. Returned.

以上のようにして、一般的に、ｋ番目のＣＰＵ１１０−ｋがｊ番目のメモリ装置１３０−ｊをアクセスするとき、そのメモリアクセスリクエストおよびリプライデータは、ｊ≦ｋのときは、ｊ番以上、ｋ番以下のメモリ制御装置１２０を経由し、ｊ＞ｋのときは、ｋ番以上、ｊ番以下のメモリ制御装置１２０を経由する。 As described above, generally, when the kth CPU 110-k accesses the jth memory device 130-j, the memory access request and reply data are jth or more when j ≦ k. It goes through the memory control device 120 of number k or less, and when j> k, it goes through the memory control device 120 of number k or more and j or less.

他方、ＤＭＡ転送装置１５０からｎ番のメモリ装置１３０−ｎのメモリアドレスを含むメモリアクセスリクエストが信号線１６５−ｎに送出されると、そのメモリアクセスリクエストを、信号線１６５−ｎを通じて受信したメモリ制御装置１２０−ｎは、そのメモリアクセスリクエストに従ってメモリ装置１３０−ｎをアクセスする。そして、リードアクセスリクエストのときは、メモリ制御装置１２０−ｎは、メモリ装置１３０−ｎからリードしたデータを含むリプライデータをリクエスト元のＤＭＡ転送装置１５０へ信号線１６５−ｎを通じて返却する。 On the other hand, when a memory access request including the memory address of the nth memory device 130-n is sent from the DMA transfer device 150 to the signal line 165-n, the memory that has received the memory access request through the signal line 165-n. The control device 120-n accesses the memory device 130-n according to the memory access request. In the case of a read access request, the memory control device 120-n returns reply data including data read from the memory device 130-n to the requesting DMA transfer device 150 through the signal line 165-n.

また、ＤＭＡ転送装置１５０から例えば１番のメモリ装置１３０−１のメモリアドレスを含むメモリアクセスリクエストが信号線１６５−ｎに送出されると、そのメモリアクセスリクエストを、信号線１６５−ｎを通じて受信したメモリ制御装置１２０−ｎは、そのメモリアクセスリクエストのメモリアドレスに従って信号線１６５−ｎ−１を通じて隣接するメモリ制御装置１２０−ｎ−１に転送する。信号線１６５−ｎ−１を通じてメモリアクセスリクエストを受信したメモリ制御装置１２０−ｎ−１も同様の判断を行う。このようにして、メモリアクセスリクエストは最終的に信号線１６５−１を通じてメモリ制御装置１２０−１に到達する。そして、メモリ制御装置１２０−１は、そのメモリアクセスリクエストに従ってメモリ装置１３０−１をアクセスする。そして、リードアクセスリクエストのときは、メモリ制御装置１２０−１は、メモリ装置１３０−１からリードしたデータを含むリプライデータをリクエスト元のＤＭＡ転送装置１５０に返却するために信号線１６５−１を通じて隣接するメモリ制御装置１２０−２へ送出する。メモリ制御装置１２０−２は、返却先がＤＭＡ転送装置１５０であるため、受信したリプライデータを、信号線１６５−２を通じて隣接するメモリ制御装置１２０−３へ送出する。このようにして、リプライデータは最終的に信号線１６５−ｎ−１を通じてメモリ制御装置１２０−ｎに到達し、このメモリ制御装置１２０−ｎから信号線１６５−ｎを通じて要求元のＤＭＡ転送装置１５０に返却される。 For example, when a memory access request including the memory address of the first memory device 130-1 is sent from the DMA transfer device 150 to the signal line 165-n, the memory access request is received through the signal line 165-n. The memory control device 120-n transfers to the adjacent memory control device 120-n-1 through the signal line 165-n-1 according to the memory address of the memory access request. The memory control device 120-n-1 that has received the memory access request through the signal line 165-n-1 also makes the same determination. In this way, the memory access request finally reaches the memory control device 120-1 through the signal line 165-1. Then, the memory control device 120-1 accesses the memory device 130-1 according to the memory access request. In the case of a read access request, the memory control device 120-1 is connected through the signal line 165-1 in order to return reply data including the data read from the memory device 130-1 to the requesting DMA transfer device 150. To the memory control device 120-2. Since the return destination is the DMA transfer device 150, the memory control device 120-2 sends the received reply data to the adjacent memory control device 120-3 through the signal line 165-2. In this way, the reply data finally reaches the memory control device 120-n through the signal line 165-n-1, and the requesting DMA transfer device 150 from the memory control device 120-n through the signal line 165-n. Returned to.

以上のようにして、一般的に、ＤＭＡ転送装置１５０がｊ番目のメモリ装置１３０−ｊをアクセスするとき、そのメモリアクセスリクエストおよびリプライデータは、ｊ番以上のメモリ制御装置１２０を経由する。 As described above, generally, when the DMA transfer device 150 accesses the jth memory device 130-j, the memory access request and reply data pass through the jth or more memory control device 120.

また、ＤＭＡ転送装置１５０は、メモリ装置１３０に対する一連のストアアクセスリクエストとその後に行われるＣＰＵ１１０のロードアクセスリクエストとの同期をとる場合、一連のストアアクセスリクエストの完了後に、同期リクエストを信号線１６５−ｎに送出するように構成されている。 When the DMA transfer device 150 synchronizes a series of store access requests to the memory device 130 and a subsequent load access request of the CPU 110, the DMA transfer device 150 sends a synchronization request to the signal line 165- after the completion of the series of store access requests. It is configured to send to n.

また、メモリ制御装置１２０は、信号線１６５を通じて同期リクエストを受信すると、同期リクエストのコピーを、信号線１６４を通じて対応する同期レジスタ１４０に送出すると共に、自装置よりも番号の小さなメモリ制御装置１２０が隣接している場合、受信した同期リクエストのコピーを、信号線１６５を通じて隣接するメモリ制御装置１２０へ送出するように構成されている。同期レジスタ１４０は、同期リクエストを、信号線１６４を通じて受信すると、同期フラグをＯＮ（オン）にするように構成されている。そのため、ＤＭＡ転送装置１５０から信号線１６５−ｎに同期リクエストが送出されると、先ず、メモリ制御装置１２０−ｎは信号線１６５−ｎを通じて同期リクエストを受信し、同期レジスタ１４０−ｎに同期リクエストを送出すると共に同期リクエストを信号線１６５−ｎ−１を通じて隣接するメモリ制御装置１２０−ｎ−１に転送する。その結果、同期レジスタ１４０−ｎの同期フラグがＯＮになる。また、メモリ制御装置１２０−ｎ−１は、同期リクエストを受信すると、それを同期レジスタ１４０−ｎ−１に送出し、さらに隣接するメモリ制御装置１２０−ｎ−２へ同期リスエストを転送する。その結果、同期レジスタ１４０−ｎ−１の同期フラグがＯＮになる。このようにして、最終的にメモリ制御装置１２０−１まで同期リクエストが転送され、同期レジスタ１４０−ｎ−３〜１４０−１の同期フラグがＯＮされる。 Further, when the memory control device 120 receives the synchronization request through the signal line 165, the memory control device 120 sends a copy of the synchronization request to the corresponding synchronization register 140 through the signal line 164, and the memory control device 120 having a smaller number than that of the own device. If adjacent, a copy of the received synchronization request is sent to the adjacent memory control device 120 via the signal line 165. The synchronization register 140 is configured to turn on a synchronization flag when a synchronization request is received through the signal line 164. Therefore, when a synchronization request is sent from the DMA transfer device 150 to the signal line 165-n, first, the memory control device 120-n receives the synchronization request through the signal line 165-n and sends the synchronization request to the synchronization register 140-n. And the synchronization request is transferred to the adjacent memory control device 120-n-1 through the signal line 165-n-1. As a result, the synchronization flag of the synchronization register 140-n is turned on. Further, when the memory control device 120-n-1 receives the synchronization request, it sends it to the synchronization register 140-n-1, and further transfers the synchronization request to the adjacent memory control device 120-n-2. As a result, the synchronization flag of the synchronization register 140-n-1 is turned ON. In this way, the synchronization request is finally transferred to the memory control device 120-1, and the synchronization flags of the synchronization registers 140-n-3 to 140-1 are turned ON.

ＣＰＵ１１０は、ＤＭＡ転送装置１５０がメモリ装置１３０にストアしたデータをロードする場合、信号線１６３を通じて対応する同期レジスタ１４０の同期フラグがＯＮになるのを待ち合わせる。そして、ＣＰＵ１１０は、対応する同期レジスタ１４０の同期フラグがＯＮになると、メモリ装置１３０に対するロードアクセスリクエストを送出するように構成されている。 When loading data stored in the memory device 130 by the DMA transfer device 150, the CPU 110 waits for the synchronization flag of the corresponding synchronization register 140 to be turned on via the signal line 163. The CPU 110 is configured to send a load access request to the memory device 130 when the synchronization flag of the corresponding synchronization register 140 is turned ON.

要するに、本実施形態に係るノード１００は、以下のように構成され、動作する。 In short, the node 100 according to the present embodiment is configured and operates as follows.

同期レジスタ１４０は、ＣＰＵ１１０毎に各々分散させて構成され、各同期レジスタ１４０はＣＰＵ１１０とメモリ制御装置１２０に接続される。 The synchronization register 140 is configured to be distributed for each CPU 110, and each synchronization register 140 is connected to the CPU 110 and the memory control device 120.

ＤＭＡ転送装置１５０が発行したストアリクエストは、メモリ制御装置１２０を経由して、各メモリ装置１３０に到達し、メモリ書き込み動作がされる。この後、ライトアクセスを完了したことを示すストアリプライをＤＭＡ転送装置１５０に返却する処理は行わない。 The store request issued by the DMA transfer device 150 reaches each memory device 130 via the memory control device 120, and a memory write operation is performed. Thereafter, the process of returning the store reply indicating the completion of the write access to the DMA transfer apparatus 150 is not performed.

ＤＭＡ転送装置１５０は、全てのストアリクエストを発行したならば、ストアリクエストを発行したメモリ制御装置１２０の接続パスと同一パスを使用し、各同期レジスタ１４０に対し、全てのストアアクセスが完了したことを示す、同期レジスタ１４０のフラグＯＮの操作リクエスト（同期リクエスト）を発行する。なお、ストアリクエストと、同期レジスタフラグＯＮ操作リクエスト（同期リクエスト）で、メモリ制御装置１２０の接続パス上での追い抜きは起こらない構成である。 If the DMA transfer device 150 has issued all the store requests, the DMA transfer device 150 uses the same path as the connection path of the memory control device 120 that issued the store request, and all store accesses to the respective synchronization registers 140 have been completed. The operation request (synchronization request) of the flag ON of the synchronization register 140 is issued. The store request and the synchronization register flag ON operation request (synchronization request) do not cause overtaking on the connection path of the memory control device 120.

各メモリ制御装置１２０は、同期レジスタフラグＯＮ操作リクエスト（同期リクエスト）が到達したならば、これを、左隣りのメモリ制御装置１２０に伝達すると共に、同期レジスタフラグＯＮ操作リクエスト（同期リクエスト）のコピーを、自身のメモリ制御装置１２０に接続される同期レジスタ１４０に通達する。 Each memory control device 120, when a synchronization register flag ON operation request (synchronization request) arrives, transmits this to the memory control device 120 on the left and copies the synchronization register flag ON operation request (synchronization request). To the synchronization register 140 connected to its own memory controller 120.

同期レジスタ１４０は、同期レジスタフラグＯＮ操作リクエスト（同期リクエスト）を受け取ったならば、自身の同期レジスタのフラグをＯＮにする。なお、各同期レジスタ１４０は、同一内容であるが、上記動作での同期レジスタのフラグをＯＮになるタイミングは、各同期レジスタで異なり、ＤＭＡ転送装置１５０に一番近いｎ番の同期レジスタ１４０−ｎが一番早くフラグがＯＮになることができ、ＤＭＡ転送装置１５０に一番遠い１番の同期レジスタ１４０−１が一番遅くフラグがＯＮになる。 When receiving the synchronization register flag ON operation request (synchronization request), the synchronization register 140 turns on the flag of its own synchronization register. Although each synchronization register 140 has the same contents, the timing at which the synchronization register flag is turned ON in the above operation is different for each synchronization register, and the nth synchronization register 140-closest to the DMA transfer device 150- The flag can be turned ON the first n, and the first synchronous register 140-1 farthest from the DMA transfer device 150 is turned ON the latest.

各ＣＰＵ１１０は、各ＣＰＵ１１０に接続された同期レジスタ１４０のフラグを読み出すことで、ＤＭＡ転送のストア処理が完了したことを認識することでき、その後、各ＣＰＵ１１０は、各メモリ装置１３０にストアされたデータのロード処理を開始する。 Each CPU 110 can recognize that the DMA transfer store processing has been completed by reading the flag of the synchronization register 140 connected to each CPU 110, and then each CPU 110 can store the data stored in each memory device 130. Start the loading process.

例えば、ｎ番のＣＰＵ１１０−ｎは、ｎ番の同期レジスタ１４０−ｎの同期フラグがＯＮになったことを確認し、各メモリ装置１３０のロードアクセスを開始する。この時、ｎ−１番のメモリ装置１３０−ｎ−１、…、１番のメモリ装置１３０−１のＤＭＡ転送装置１５０からのメモリストア処理は完了していないタイミングであっても、ｎ番のＣＰＵ１１０−ｎは、ＤＭＡ転送装置１５０によってストアされたデータをｎ−１番のメモリ装置１３０−ｎ−１、…、１番のメモリ装置１３０−１から読み出すことができる。その理由は、ＤＭＡ転送装置１５０からのメモリストアとｎ番のＣＰＵ１１０−ｎのロードアクセスは、同一のメモリ制御装置１２０間のパスを使用するので、ｎ番のＣＰＵ１１０−ｎのロードアクセスがＤＭＡ転送装置１５０からのメモリストアを追い抜くことは無いためである。その結果、ＤＭＡ転送装置１５０からの１番のメモリ装置１３０−１、…、ｎ−１番のメモリ装置１３０−ｎ−１にストアされたストアアクセスのデータを、ｎ番のＣＰＵ１１０−ｎは確実に読み出すことができる。 For example, the n-th CPU 110-n confirms that the synchronization flag of the n-th synchronization register 140-n is turned on, and starts load access of each memory device 130. At this time, even when the memory store process from the DMA transfer device 150 of the first memory device 130-1 is not completed, the nth memory device 130-n-1,. The CPU 110-n can read the data stored by the DMA transfer device 150 from the n-1th memory device 130-n-1, ..., the 1st memory device 130-1. The reason is that the memory store from the DMA transfer device 150 and the load access of the nth CPU 110-n use the same path between the memory control devices 120, so that the load access of the nth CPU 110-n is DMA transfer. This is because the memory store from the device 150 is not overtaken. As a result, the n-th CPU 110-n ensures the store access data stored in the first memory device 130-1,..., N-1th memory device 130-n-1 from the DMA transfer device 150. Can be read out.

図２は、メモリ制御装置１２０の構成例を示すブロック図である。なお、メモリ制御装置１２０は、図２に示した構成に限定されず、その他各種の構成を採用することが可能である。 FIG. 2 is a block diagram illustrating a configuration example of the memory control device 120. Note that the memory control device 120 is not limited to the configuration shown in FIG. 2, and various other configurations can be employed.

図２を参照すると、メモリ制御装置１２０は、スイッチ１２１とメモリコントローラ１２２とを含んで構成されている。スイッチ１２１は、信号線１６１を通じて対応するＣＰＵ１１０に接続され、信号線１６４を通じて対応する同期レジスタ１４０に接続され、信号線１６５を通じて他のメモリ制御装置１２０またはＤＭＡ転送装置１５０に接続され、内部信号線１２３を通じてメモリコントローラ１２２に接続されている。スイッチ１２１は、信号線１６１、１６５を通じて入力されるストアリクエストやロードリクエスト等のリクエストを解析し、リクエスト先が対応するメモリ装置１３０であれば内部信号線１２３を通じてリクエストをメモリコントローラ１２２に送出し、それ以外はリクエスト先に応じて左右のメモリ制御装置１２０にリクエストを転送する。また、スイッチ１２１は、信号線１６５を通じて左右のメモリ制御装置１２０から入力されるリプライおよび内部信号線１２３を通じてメモリコントローラ１２２から入力されるリプライを解析し、リプライ先が対応するＣＰＵ１１０であれば信号線１６１を通じてリプライを対応するＣＰＵ１１０に送出し、それ以外はリプライ先に応じて左右のメモリ制御装置１２０あるいはＤＭＡ転送装置１５０にリプライを転送する。さらに、スイッチ１２１は、右側の信号線１６５を通じて同期リクエストを入力すると、そのコピーをとり、２つの同一の同期リクエストの一方を、信号線１６４を通じて対応する同期レジスタ１４０へ送出し、他方を左側の信号線１６５を通じて隣接するメモリ制御装置１２０へ転送する。 Referring to FIG. 2, the memory control device 120 includes a switch 121 and a memory controller 122. The switch 121 is connected to the corresponding CPU 110 through the signal line 161, is connected to the corresponding synchronization register 140 through the signal line 164, is connected to another memory control device 120 or the DMA transfer device 150 through the signal line 165, and is connected to the internal signal line. 123 is connected to the memory controller 122. The switch 121 analyzes a request such as a store request or a load request input through the signal lines 161 and 165, and sends a request to the memory controller 122 through the internal signal line 123 if the request destination corresponds to the memory device 130. Otherwise, the request is transferred to the left and right memory control devices 120 according to the request destination. The switch 121 analyzes the reply input from the left and right memory control devices 120 through the signal line 165 and the reply input from the memory controller 122 through the internal signal line 123. If the reply destination is the CPU 110, the switch 121 analyzes the signal line. The reply is sent to the corresponding CPU 110 through 161, and otherwise the reply is transferred to the left and right memory control devices 120 or the DMA transfer device 150 according to the reply destination. Furthermore, when the synchronization request is input through the signal line 165 on the right side, the switch 121 makes a copy, sends one of two identical synchronization requests to the corresponding synchronization register 140 through the signal line 164, and sends the other to the corresponding synchronization register 140. The data is transferred to the adjacent memory control device 120 through the signal line 165.

メモリコントローラ１２２は、スイッチ１２１から内部信号線１２３を通じて入力されるリクエストに従って信号線１６２で接続されたメモリ装置１３０をアクセスする。またメモリコントローラ１２２は、メモリ装置１３０からリードデータを入力すると、リプライ先のアドレスを含むリプライを、内部信号線１２３を通じてスイッチ１２１へ送出する。 The memory controller 122 accesses the memory device 130 connected through the signal line 162 in accordance with a request input from the switch 121 through the internal signal line 123. In addition, when the read data is input from the memory device 130, the memory controller 122 sends a reply including the reply destination address to the switch 121 through the internal signal line 123.

次に、本実施形態のノード１００の効果を説明する。 Next, the effect of the node 100 of this embodiment will be described.

図３は、本発明に関連するノード２００の構成を示す。図３を参照すると、ノード２００は、複数のＣＰＵ２１０と、複数のメモリ制御装置２２０と、複数のメモリ装置２３０と、同期レジスタ２４０と、ＤＭＡ転送装置２５０とを含んで構成されている。同期レジスタ２４０は、ＤＭＡ転送装置２５０および全てのＣＰＵ２１０からアクセス可能である。また各メモリ制御装置２２０は、ストアアクセスのリプライを返却するように構成されている。 FIG. 3 shows a configuration of the node 200 related to the present invention. Referring to FIG. 3, the node 200 includes a plurality of CPUs 210, a plurality of memory control devices 220, a plurality of memory devices 230, a synchronization register 240, and a DMA transfer device 250. The synchronization register 240 is accessible from the DMA transfer device 250 and all the CPUs 210. Each memory control device 220 is configured to return a store access reply.

ＤＭＡ転送装置２５０は、各メモリ装置２３０に対して発行した全てのストアアクセスが完了したことを、ストアアクセスのリプライの個数をカウントすることで認識する。即ち、発行ストアアクセス数とストアリプライ数が等しいならば、発行した全てのストアリクエストがアクセス完了したと認識する。そして、ＤＭＡ転送装置２５０は、発行した全てのストアリクエストの完了を認識すると、同期レジスタ２４０の同期フラグをＯＮにする。各ＣＰＵ２１０は、同期レジスタ２４０の同期フラグを確認し、ＯＮになっていれば、ＤＭＡ転送装置２５０によってストアされたデータを各メモリ装置２３０からロードアクセスする処理を開始する。 The DMA transfer device 250 recognizes that all store accesses issued to each memory device 230 have been completed by counting the number of store access replies. That is, if the number of issued store accesses is equal to the number of store replies, it is recognized that all issued store requests have been accessed. When the DMA transfer device 250 recognizes completion of all issued store requests, the DMA transfer device 250 turns on the synchronization flag of the synchronization register 240. Each CPU 210 confirms the synchronization flag of the synchronization register 240, and if it is ON, starts a process of load-accessing the data stored by the DMA transfer device 250 from each memory device 230.

図３に示した関連技術では、全てのストアアクセスのリプライをＤＭＡ転送装置２５０は待つ必要がある。特に、メモリ制御装置２２０−１からのリプライは多くのメモリ制御装置２２０によって中継されるためＤＭＡ転送装置２５０に到着するまでに時間を要する。その結果、同期制御のオーバヘッド時間が増大するという課題がある。 In the related technique shown in FIG. 3, the DMA transfer device 250 needs to wait for all store access replies. In particular, the reply from the memory control device 220-1 is relayed by many memory control devices 220, so it takes time to reach the DMA transfer device 250. As a result, there is a problem that the overhead time of synchronization control increases.

これに対して本実施形態に係るノード１００では、前述したように、各ＣＰＵ１１０に対し、各ＣＰＵ１１０に対応する同期レジスタ１４０を、ＣＰＵ１１０とメモリ制御装置１２０間に接続させている。また、ＤＭＡ転送装置１５０は、メモリストアアクセスを発行後、継続して同期レジスタ１４０への書き込みのために同期リクエストを発行する。この同期リクエストもメモリストアアクセスと同一のパスを使用する（メモリストアアクセスと同期リクエストの追い越しは起きない構成である）。各メモリ制御装置１２０は、各配下のメモリ装置１３０に対しメモリストアが完了したならば、続いて入力される同期リクエストを同期レジスタ１４０に送出し、その結果、同期レジスタ１４０の同期フラグがＯＮにされる。各ＣＰＵ１１０は、ＣＰＵ配下の同期レジスタ１４０の内容をリードすることで、ＤＭＡ転送装置１５０が発行したメモリストアアクセスが完了したことを認識し、該メモリストア内容の読出し処理を行うことができる。各ＣＰＵ１１０に対応する同期レジスタ１４０は、同一のコピーとなるが、上述した通り、同期レジスタ１４０の同期フラグをＯＮするタイミングは、ＤＭＡ転送装置１５０からのストアアクセスが、同期レジスタ配下のメモリ制御装置１２０でのメモリストア完了タイミングであり、同期レジスタ１４０へのライトアクセスタイミングは各々異なるタイミングになる（ＤＭＡ転送装置から近いものから早く同期レジスタへのライトが行われる）。 On the other hand, in the node 100 according to the present embodiment, as described above, the synchronization register 140 corresponding to each CPU 110 is connected between the CPU 110 and the memory control device 120 for each CPU 110. Further, after issuing the memory store access, the DMA transfer device 150 continuously issues a synchronization request for writing to the synchronization register 140. This synchronization request also uses the same path as the memory store access (a configuration in which the memory store access and the synchronization request are not overtaken). When the memory store for each subordinate memory device 130 is completed, each memory control device 120 sends a synchronization request that is subsequently input to the synchronization register 140. As a result, the synchronization flag of the synchronization register 140 is turned ON. Is done. Each CPU 110 can recognize that the memory store access issued by the DMA transfer device 150 has been completed by reading the contents of the synchronization register 140 under the CPU, and can read the memory store contents. The synchronization register 140 corresponding to each CPU 110 is the same copy, but as described above, the timing at which the synchronization flag of the synchronization register 140 is turned on is determined by the store access from the DMA transfer device 150 being a memory control device under the synchronization register. This is the memory store completion timing at 120, and the write access timing to the synchronization register 140 is different from each other (write to the synchronization register is performed earlier from the closest to the DMA transfer device).

以上の結果、本実施形態に係るノード１００は、全てのストアアクセスのリプライを待って同期レジスタ２４０の同期フラグをＯＮする図３に示した関連技術と比較して、同期制御のオーバヘッド時間を大幅に短縮することができる。即ち、ＤＭＡ転送装置とＣＰＵ間の同期時間の高速化の効果が得られる。 As a result, the node 100 according to the present embodiment greatly increases the synchronization control overhead time as compared with the related technique shown in FIG. 3 in which the synchronization flag of the synchronization register 240 is turned on after waiting for all store access replies. Can be shortened. That is, the effect of increasing the synchronization time between the DMA transfer apparatus and the CPU can be obtained.

[第２の実施形態]
図４は本発明の第２の実施形態に係るノード３００のブロック図であり、図１と同一符号は同一部分を示す。ノード３００は、全てのＣＰＵ１１０で共通な１個の同期レジスタ１４０を１番のメモリ制御装置１２０−１と全ＣＰＵ１１０との間に接続している点で、各ＣＰＵ１１０に個別に同期レジスタ１４０を設けている図１の実施形態と相違する。 [Second Embodiment]
FIG. 4 is a block diagram of a node 300 according to the second exemplary embodiment of the present invention. The same reference numerals as those in FIG. 1 denote the same parts. The node 300 is provided with a synchronization register 140 individually for each CPU 110 in that one synchronization register 140 common to all CPUs 110 is connected between the first memory control device 120-1 and all CPUs 110. 1 is different from the embodiment of FIG.

ＤＭＡ転送装置１５０は、全てのストアリクエストの送出を完了後、１番のメモリ制御装置１２０−１に向けて同期レジスタフラグＯＮ操作リクエスト（同期リクエスト）を送出する。同期レジスタフラグＯＮ操作リクエスト（同期リクエスト）は、ｎ番のメモリ制御装置１２０−ｎ、ｎ−１番のメモリ制御装置１２０−ｎ−１、…、２番のメモリ制御装置１２０−２を通過し、１番のメモリ制御装置１２０−１に到着する。１番のメモリ制御装置１２０−１は、到着した同期レジスタフラグＯＮ操作リクエスト（同期リクエスト）を同期レジスタ１４０に送出する。同期レジスタ１４０は、同期レジスタフラグＯＮ操作リクエスト（同期リクエスト）が入力されると、同期レジスタ内の同期フラグをＯＮにする。各ＣＰＵ１１０は、同期レジスタ１４０の同期フラグがＯＮになったことを確認し、ＤＭＡ転送装置１５０がストアしたデータをロードするために各メモリ装置１３０のロードアクセスを開始する。 After completing the transmission of all the store requests, the DMA transfer device 150 transmits a synchronization register flag ON operation request (synchronization request) to the first memory control device 120-1. The synchronization register flag ON operation request (synchronization request) passes through the nth memory control device 120-n, the n-1th memory control device 120-n-1, ..., the second memory control device 120-2. The first memory control device 120-1 arrives. The first memory control device 120-1 sends the synchronization register flag ON operation request (synchronization request) that has arrived to the synchronization register 140. When the synchronization register flag ON operation request (synchronization request) is input, the synchronization register 140 turns on the synchronization flag in the synchronization register. Each CPU 110 confirms that the synchronization flag of the synchronization register 140 is ON, and starts load access of each memory device 130 in order to load the data stored by the DMA transfer device 150.

ＤＭＡ転送装置１５０からのストアリクエストと、同期レジスタフラグＯＮ操作リクエスト（同期リクエスト）は、ｎ番のメモリ制御装置１２０−ｎ、…、１番のメモリ制御装置１２０−１の間において追い越しは発生せず、同期レジスタ１４０に同期レジスタフラグＯＮ操作リクエスト（同期リクエスト）が到着したタイミングにおいては、全てのストアリクエストは完了していることが保障されている。そのため、ＣＰＵ１１０が同期レジスタ１４０の同期フラグのＯＮを確認した後、読出しを開始することで、ＤＭＡ転送装置１５０がメモリ装置１３０にストアしたデータを、各ＣＰＵ１１０は確実に読み出すことができる。 The store request from the DMA transfer device 150 and the synchronization register flag ON operation request (synchronization request) are not overtaken between the nth memory control device 120-n,..., The first memory control device 120-1. At the timing when the synchronization register flag ON operation request (synchronization request) arrives at the synchronization register 140, it is guaranteed that all store requests are completed. For this reason, each CPU 110 can reliably read the data stored in the memory device 130 by the DMA transfer device 150 by starting reading after the CPU 110 confirms that the synchronization flag of the synchronization register 140 is ON.

本実施形態に係るノード３００は、全てのストアアクセスのリプライを待って同期レジスタ２４０の同期フラグをＯＮする図３に示した関連技術と比較して、同期制御のオーバヘッド時間を短縮することができる。但し、番号の大きなＣＰＵ、例えばｎ番のＣＰＵ１１０−ｎに関しては、同期制御のオーバヘッド時間は図１の構成より長くなる。その理由は、図１の構成では同期リクエストがメモリ制御装置１２０−ｎを通過して同期レジスタ１４０−ｎに到達し同期フラグがＯＮされるタイミング以降であればロードアクセスを開始することができるのに対して、図４の構成では、同期リクエストがさらにｎ−１のメモリ制御装置１２０−ｎ−１、…、１番のメモリ制御装置１２０−１を通過して同期レジスタ１４０に到着し同期フラグがＯＮされるタイミングまでロードアクセスを開始することができないためである。 The node 300 according to the present embodiment can reduce the overhead time of synchronization control as compared with the related technique shown in FIG. 3 in which the synchronization flag of the synchronization register 240 is turned on after waiting for all store access replies. . However, with respect to a CPU having a large number, for example, the n-th CPU 110-n, the synchronization control overhead time is longer than that in the configuration of FIG. The reason is that in the configuration of FIG. 1, the load access can be started after the timing when the synchronization request passes through the memory control device 120-n and reaches the synchronization register 140-n and the synchronization flag is turned ON. On the other hand, in the configuration of FIG. 4, the synchronization request further passes through the n-1 memory control device 120-n-1,... This is because the load access cannot be started until the timing of turning on.

以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。 Although the present invention has been described with reference to the above embodiments, the present invention is not limited to the above-described embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.

[第３の実施形態]
図５を参照すると、本発明の第３の実施形態に係るノード４００は、１番からｎ番までの複数のＣＰＵ４１０と、複数のＣＰＵ４１０に１対１に接続された１番からｎ番までの複数のメモリ制御装置４２０と、複数のメモリ制御装置４２０に１対１に接続された複数のメモリ装置４３０と、複数のＣＰＵ４１０および複数のメモリ制御装置４２０に１対１に接続された複数の同期レジスタ４４０とを備えている。また、複数のメモリ制御装置４２０は、１番からｎ番まで番号順に一列に接続されている。そして、ＤＭＡ転送装置４５０が、ｎ番のメモリ制御装置４２０−ｎに接続されている。 [Third embodiment]
Referring to FIG. 5, a node 400 according to the third embodiment of the present invention includes a plurality of CPUs 410 from number 1 to number n, and from number 1 to number n connected to the plurality of CPUs 410 on a one-to-one basis. A plurality of memory control devices 420, a plurality of memory devices 430 connected one-to-one to the plurality of memory control devices 420, and a plurality of synchronization connected one-to-one to the plurality of CPUs 410 and the plurality of memory control devices 420. And a register 440. The plurality of memory control devices 420 are connected in a line from the first to the nth in the order of numbers. The DMA transfer device 450 is connected to the nth memory control device 420-n.

ＤＭＡ転送装置４５０は、複数のメモリ制御装置４２０を経由して複数のメモリ装置４３０をライトアクセスした後、複数のメモリ制御装置４２０を経由して同期レジスタ４４０に上記ライトアクセスが完了したことを示す値を設定するように構成されている。また、複数のＣＰＵ４１０のそれぞれは、対応する同期レジスタ４４０の上記値を参照して上記ライトアクセスされたデータのリードアクセスの可否を決定するように構成されている。 The DMA transfer device 450 indicates that the write access to the synchronization register 440 is completed via the plurality of memory control devices 420 after performing write access to the plurality of memory devices 430 via the plurality of memory control devices 420. Configured to set a value. In addition, each of the plurality of CPUs 410 is configured to determine whether or not read access of the write-accessed data is made with reference to the value of the corresponding synchronization register 440.

このように構成されたノード４００は、ＤＭＡ転送装置４５０が各メモリ装置４３０にデータをストアし、そのストアしたデータを各ＣＰＵ４１０がロードすることを保証する場合、以下のような同期制御を行う。即ち、ＤＭＡ転送装置４５０は、複数のメモリ制御装置４２０を経由して複数のメモリ装置４３０をライトアクセスした後、複数のメモリ制御装置４２０を経由して同期レジスタ４４０に上記ライトアクセスが完了したことを示す値を設定する。複数のＣＰＵ４１０のそれぞれは、対応する同期レジスタ４４０の値を参照して上記ライトアクセスされたデータのリードアクセスの可否を決定する。 The node 400 configured as described above performs the following synchronous control when the DMA transfer device 450 stores data in each memory device 430 and ensures that each CPU 410 loads the stored data. That is, the DMA transfer device 450 performs write access to the plurality of memory devices 430 via the plurality of memory control devices 420, and then completes the write access to the synchronization register 440 via the plurality of memory control devices 420. Set the value indicating. Each of the plurality of CPUs 410 refers to the value of the corresponding synchronization register 440 to determine whether or not read access of the data that has been write-accessed is possible.

図３に示した関連技術では、ＤＭＡ転送装置２５０は、全てのストアアクセスのリプライを待ち合わせ、全てのストアアクセスのリプライが到着してから同期レジスタ２４０の同期フラグをＯＮにする。しかし、メモリ制御装置２２０−１からのリプライは多くのメモリ制御装置２２０によって中継されるためＤＭＡ転送装置２５０に到着するまでに時間を要する。その結果、同期レジスタ２４０の同期フラグをＯＮするタイミングが遅れ、その分だけ同期制御のオーバヘッド時間が増大するという課題がある。 In the related art shown in FIG. 3, the DMA transfer apparatus 250 waits for all store access replies, and turns on the synchronization flag of the synchronization register 240 after all store access replies arrive. However, since the reply from the memory control device 220-1 is relayed by many memory control devices 220, it takes time to arrive at the DMA transfer device 250. As a result, there is a problem that the timing for turning on the synchronization flag of the synchronization register 240 is delayed, and the overhead time of the synchronization control increases accordingly.

これに対して本実施形態に係るノード４００では、ＤＭＡ転送装置４５０は、複数のメモリ制御装置４２０を経由して複数のメモリ装置４３０をライトアクセスした後、全てのストアアクセスのリプライを待たずに、複数のメモリ制御装置４２０を経由して同期レジスタ４４０に上記ライトアクセスが完了したことを示す値を設定する。そして、各ＣＰＵ４１０は、対応する同期レジスタ４４０の値を確認して、ロードアクセスを開始する。その際、ＤＭＡ転送装置４５０のライトアクセスに係るリクエストをＣＰＵ４１０のロードアクセスに係るリクエストが追い越すことはない。その結果、同期レジスタ４４０に上記ライトアクセスが完了したことを示す値を早期に設定できる分だけ、同期制御のオーバヘッド時間を図３に示した関連技術に比べて短縮することができる。 On the other hand, in the node 400 according to the present embodiment, the DMA transfer device 450 performs write access to the plurality of memory devices 430 via the plurality of memory control devices 420 and then does not wait for all store access replies. Then, a value indicating that the write access is completed is set in the synchronization register 440 via the plurality of memory control devices 420. Each CPU 410 confirms the value of the corresponding synchronization register 440 and starts load access. At this time, the request related to the write access of the DMA transfer device 450 is not overtaken by the request related to the load access of the CPU 410. As a result, the synchronization control overhead time can be shortened compared to the related art shown in FIG. 3 by the amount that the value indicating that the write access has been completed can be set earlier in the synchronization register 440.

[第４の実施形態]
図６を参照すると、本発明の第４の実施形態に係るノード５００は、１番からｎ番までの複数のＣＰＵ５１０と、複数のＣＰＵ５１０に１対１に接続された１番からｎ番までの複数のメモリ制御装置５２０と、複数のメモリ制御装置５２０に１対１に接続された複数のメモリ装置５３０と、複数のＣＰＵ５１０と１番のメモリ制御装置５２０との間に接続された同期レジスタ５４０とを備えている。また、複数のメモリ制御装置５２０は、１番からｎ番まで番号順に一列に接続されている。そして、ｎ番のメモリ制御装置５２０−ｎにＤＭＡ転送装置５５０が接続されている。 [Fourth Embodiment]
Referring to FIG. 6, a node 500 according to the fourth embodiment of the present invention includes a plurality of CPUs 510 having a number 1 to a number n and a number 1 to a number n connected to the plurality of CPUs 510 on a one-to-one basis. A plurality of memory control devices 520, a plurality of memory devices 530 connected to the plurality of memory control devices 520 on a one-to-one basis, and a synchronization register 540 connected between the plurality of CPUs 510 and the first memory control device 520 And. Further, the plurality of memory control devices 520 are connected in a line in order of numbers from 1 to n. A DMA transfer device 550 is connected to the nth memory control device 520-n.

ＤＭＡ転送装置５５０は、複数のメモリ制御装置５２０を経由して複数のメモリ装置５３０をライトアクセスした後、複数のメモリ制御装置５２０を経由して同期レジスタ５４０に上記ライトアクセスが完了したことを示す値を設定するように構成されている。また、複数のＣＰＵ５１０のそれぞれは、同期レジスタ５４０の値を参照して上記ライトアクセスされたデータのリードアクセスの可否を決定するように構成されている。 The DMA transfer device 550 indicates that the write access to the synchronization register 540 has been completed via the plurality of memory control devices 520 after performing write access to the plurality of memory devices 530 via the plurality of memory control devices 520. Configured to set a value. Each of the plurality of CPUs 510 is configured to refer to the value of the synchronization register 540 to determine whether or not read access of the data that has been write-accessed is possible.

このように構成されたノード５００は、ＤＭＡ転送装置５５０が各メモリ装置５３０にデータをストアし、そのストアしたデータを各ＣＰＵ５１０がロードすることを保証する場合、以下のような同期制御を行う。即ち、ＤＭＡ転送装置５５０は、複数のメモリ制御装置５２０を経由して複数のメモリ装置５３０をライトアクセスした後、複数のメモリ制御装置５２０を経由して同期レジスタ５４０に上記ライトアクセスが完了したことを示す値を設定する。複数のＣＰＵ５１０のそれぞれは、同期レジスタ５４０の値を参照してライトアクセスされたデータのリードアクセスの可否を決定する。 The node 500 configured as described above performs the following synchronous control when the DMA transfer device 550 stores data in each memory device 530 and guarantees that each CPU 510 loads the stored data. That is, the DMA transfer device 550 performs write access to the plurality of memory devices 530 via the plurality of memory control devices 520, and then completes the write access to the synchronization register 540 via the plurality of memory control devices 520. Set the value indicating. Each of the plurality of CPUs 510 refers to the value of the synchronization register 540 and determines whether or not the read access of the data accessed for write access is possible.

図３に示した関連技術では、ＤＭＡ転送装置２５０は、全てのストアアクセスのリプライを待ち合わせ、全てのストアアクセスのリプライが到着してから同期レジスタ２４０の同期フラグをＯＮにする。しかし、メモリ制御装置１２０−１からのリプライは多くのメモリ制御装置１２０によって中継されるためＤＭＡ転送装置２５０に到着するまでに時間を要する。その結果、同期レジスタ２４０の同期フラグをＯＮするタイミングが遅れ、その分、同期制御のオーバヘッド時間が増大するという課題がある。 In the related art shown in FIG. 3, the DMA transfer apparatus 250 waits for all store access replies, and turns on the synchronization flag of the synchronization register 240 after all store access replies arrive. However, since the reply from the memory control device 120-1 is relayed by many memory control devices 120, it takes time to arrive at the DMA transfer device 250. As a result, there is a problem that the timing for turning on the synchronization flag of the synchronization register 240 is delayed, and the overhead time of the synchronization control is increased accordingly.

これに対して本実施形態に係るノード５００では、ＤＭＡ転送装置５５０は、複数のメモリ制御装置５２０を経由して複数のメモリ装置５３０をライトアクセスした後、全てのストアアクセスのリプライを待たずに、複数のメモリ制御装置５２０を経由して同期レジスタ５４０に上記ライトアクセスが完了したことを示す値を設定する。そして、各ＣＰＵ５１０は、同期レジスタ５４０の値を確認して、ロードアクセスを開始する。その際、ＤＭＡ転送装置５５０のライトアクセスに係るリクエストをＣＰＵ５１０のロードアクセスに係るリクエストが追い越すことはない。その結果、同期レジスタ５４０に上記ライトアクセスが完了したことを示す値を早期に設定できる分だけ、同期制御のオーバヘッド時間を図３に示した関連技術に比べて短縮することができる。 On the other hand, in the node 500 according to the present embodiment, the DMA transfer device 550 does not wait for reply of all store accesses after performing write access to the plurality of memory devices 530 via the plurality of memory control devices 520. Then, a value indicating that the write access is completed is set in the synchronization register 540 via the plurality of memory control devices 520. Then, each CPU 510 confirms the value of the synchronization register 540 and starts load access. At this time, the request related to the write access of the DMA transfer device 550 is not overtaken by the request related to the load access of the CPU 510. As a result, the synchronization control overhead time can be shortened compared to the related art shown in FIG. 3 by the amount that the value indicating that the write access has been completed can be set earlier in the synchronization register 540.

本発明は、並列計算機の同期制御に利用でき、特にＤＭＡ転送装置によるストアメモリアクセスとＣＰＵによるロードメモリアクセスの同期制御に利用できる。 The present invention can be used for synchronous control of parallel computers, and in particular for synchronous control of store memory access by a DMA transfer device and load memory access by a CPU.

１００…ノード
１１０−１〜１１０−ｎ…ＣＰＵ
１２０−１〜１２０−ｎ…メモリ制御装置
１３０−１〜１３０−ｎ…メモリ装置
１４０…同期レジスタ
１４０−１〜１４０−ｎ…同期レジスタ
１５０…ＤＭＡ転送装置
１６１−１〜１６１−ｎ…信号線
１６２−１〜１６２−ｎ…信号線
１６３−１〜１６３−ｎ…信号線
１６４−１〜１６４−ｎ…信号線
１６５−１〜１６５−ｎ…信号線
１６６…ノード間通信路
２００…ノード
２１０−１〜２１０−ｎ…ＣＰＵ
２２０−１〜２２０−ｎ…メモリ制御装置
２３０−１〜２３０−ｎ…メモリ装置
２１４…同期レジスタ
２５０…ＤＭＡ転送装置
３００…ノード
４００…ノード
４１０−１〜４１０−ｎ…ＣＰＵ
４２０−１〜４２０−ｎ…メモリ制御装置
４３０−１〜４３０−ｎ…メモリ装置
４４０−１〜４４０−ｎ…同期レジスタ
４５０…ＤＭＡ転送装置
５００…ノード
５１０−１〜５１０−ｎ…ＣＰＵ
５２０−１〜５２０−ｎ…メモリ制御装置
５３０−１〜５３０−ｎ…メモリ装置
５４０…同期レジスタ
５５０…ＤＭＡ転送装置 100: Nodes 110-1 to 110-n: CPU
120-1 to 120-n Memory control devices 130-1 to 130-n Memory device 140 Synchronization registers 140-1 to 140-n Synchronization register 150 DMA transfer devices 161-1 to 161-n Signal lines 162-1 to 162-n ... signal lines 163-1 to 163-n ... signal lines 164-1 to 164-n ... signal lines 165-1 to 165-n ... signal lines 166 ... inter-node communication path 200 ... node 210 -1-210-n ... CPU
220-1 to 220-n Memory control devices 230-1 to 230-n Memory device 214 Synchronous register 250 DMA transfer device 300 Node 400 Node 410-1 to 410-n CPU
420-1 to 420-n ... Memory control devices 430-1 to 430-n ... Memory devices 440-1 to 440-n ... Synchronous register 450 ... DMA transfer device 500 ... Nodes 510-1 to 510-n ... CPU
520-1 to 520-n Memory control devices 530-1 to 530-n Memory device 540 Synchronous register 550 DMA transfer device

Claims

A plurality of CPUs from No. 1 to n, a plurality of memory control devices from No. 1 to n connected to the plurality of CPUs on a one-to-one basis, and a one-to-one connection to the plurality of memory control devices A plurality of memory devices, and a plurality of synchronous registers connected to the plurality of CPUs and the plurality of memory control devices on a one-to-one basis,
The plurality of memory control devices are connected in a row in order of numbers from No. 1 to No. n.
The nth memory control device is connected to the plurality of memory control devices via the plurality of memory control devices, and then the write access to the synchronization register is performed via the plurality of memory control devices. A DMA transfer device for setting a value indicating completion;
Each of the plurality of CPUs determines whether or not read access of the write-accessed data is performed with reference to the corresponding value of the synchronization register.
node.

When each of the memory control devices receives a synchronization request for setting the value in the synchronization register from the adjacent memory control device, the memory control device copies the synchronization request and corresponds to one of the same two synchronization requests. Configured to send to the synchronous register and send the other to the adjacent memory controller on the opposite side,
The node according to claim 1.

The store request for the write access via the plurality of memory control devices input to the nth memory control device from the DMA transfer device and the synchronization request for setting the value in the synchronization register are a plurality of Is configured to perform overtaking on the way through the memory control device.
The node according to claim 1 or 2.

A plurality of CPUs from No. 1 to n, a plurality of memory control devices from No. 1 to n connected to the plurality of CPUs on a one-to-one basis, and a one-to-one connection to the plurality of memory control devices A plurality of memory devices, a plurality of synchronous registers connected to the plurality of CPUs and the plurality of memory control devices on a one-to-one basis, and a DMA transfer device connected to the nth memory control device. The plurality of memory control devices are connected in a line in order from number 1 to number n, and are synchronized control methods executed by nodes.
The DMA transfer device performs write access to the plurality of memory devices via the plurality of memory control devices, and then indicates that the write access to the synchronization register is completed via the plurality of memory control devices. Set the value
Each of the plurality of CPUs determines whether or not read access of the write-accessed data is performed with reference to the corresponding value of the synchronization register.
Synchronous control method.

When each of the memory control devices receives a synchronization request for setting the value in the synchronization register from the adjacent memory control device, the memory control device copies the synchronization request and corresponds to one of the same two synchronization requests. Send to the sync register and send the other to the adjacent memory controller on the opposite side,
The synchronization control method according to claim 4.

The node includes a store request for the write access that is input from the DMA transfer device to the nth memory control device, and a synchronization request that sets the value in the synchronization register. Is configured to perform overtaking on the way through a plurality of the memory control devices,
The synchronization control method according to claim 4 or 5.

A plurality of CPUs from No. 1 to n, a plurality of memory control devices from No. 1 to n connected to the plurality of CPUs on a one-to-one basis, and a one-to-one connection to the plurality of memory control devices A plurality of memory devices, and a synchronization register connected between the plurality of CPUs and the first memory control device,
The plurality of memory control devices are connected in a row in order of numbers from No. 1 to No. n.
The nth memory control device is connected to the plurality of memory control devices via the plurality of memory control devices, and then the write access to the synchronization register is performed via the plurality of memory control devices. A DMA transfer device for setting a value indicating completion;
Each of the plurality of CPUs determines whether or not read access to the write-accessed data is performed with reference to the value of the synchronization register.
node.

A plurality of CPUs from No. 1 to n, a plurality of memory control devices from No. 1 to n connected to the plurality of CPUs on a one-to-one basis, and a one-to-one connection to the plurality of memory control devices A plurality of memory devices, a synchronization register connected between the plurality of CPUs and the first memory control device, and a DMA transfer device connected to the nth memory control device, The plurality of memory control devices are connected in a line in order from number 1 to number n, and are synchronized control methods executed by nodes.
The DMA transfer device performs write access to the plurality of memory devices via the plurality of memory control devices, and then indicates that the write access to the synchronization register is completed via the plurality of memory control devices. Set the value
Each of the plurality of CPUs determines whether or not read access to the write-accessed data is performed with reference to the value of the synchronization register.
Synchronous control method.