JP2019139719A - node - Google Patents

node Download PDF

Info

Publication number
JP2019139719A
JP2019139719A JP2018025269A JP2018025269A JP2019139719A JP 2019139719 A JP2019139719 A JP 2019139719A JP 2018025269 A JP2018025269 A JP 2018025269A JP 2018025269 A JP2018025269 A JP 2018025269A JP 2019139719 A JP2019139719 A JP 2019139719A
Authority
JP
Japan
Prior art keywords
memory control
memory
synchronization
control devices
cpus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018025269A
Other languages
Japanese (ja)
Other versions
JP7031349B2 (en
Inventor
憲行 安藤
Noriyuki Ando
憲行 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2018025269A priority Critical patent/JP7031349B2/en
Publication of JP2019139719A publication Critical patent/JP2019139719A/en
Application granted granted Critical
Publication of JP7031349B2 publication Critical patent/JP7031349B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Systems (AREA)
  • Memory System (AREA)
  • Executing Machine-Instructions (AREA)
  • Multi Processors (AREA)
  • Bus Control (AREA)

Abstract

To provide a method for appropriately controlling synchronization between a DMA transfer device and a plurality of CPUs.SOLUTION: A node 100 comprises a plurality of first to n-th CPUs, a plurality of first to n-th memory control devices connected to the plurality of CPUs in a one-to-one manner, a plurality of memory devices connected to the plurality of memory control devices in a one-to-one manner, a plurality of synchronous registers connected to the plurality of CPUs and the plurality of memory control devices in a one-to-one manner, and a DMA transfer device 150 connected to the n-th memory control device. The plurality of memory control devices are connected in a numerical order from the first device to the n-th device in a line. After write access to the plurality of memory devices via the plurality of memory control devices, the DMA transfer device sets a value indicating completion of the write access in the synchronous registers via the plurality of memory control devices. Each of the plurality of CPUs determines the propriety of read access to the write-accessed data by referring to a value of a corresponding synchronous register.SELECTED DRAWING: Figure 1

Description

本発明は、複数のCPUとメモリ等を有するノード、およびノードにおける同期制御方法に関する。   The present invention relates to a node having a plurality of CPUs and memories, and a synchronization control method in the node.

計算機において、メモリに対するストアアクセスとロードアクセスとに依存関係がある場合、ストアアクセスの完了を待ってロードアクセスを行う必要がある。このように先行のアクセスの完了を判断し、後続のアクセスを制御することは、オーダリング制御あるいは同期制御と呼ばれている。   In a computer, when there is a dependency between store access and load access to a memory, it is necessary to wait for the store access to be completed before performing load access. The determination of completion of preceding access and control of subsequent access in this manner is called ordering control or synchronization control.

例えば特許文献1に、複数のCPU(Central Processing Unit)でメモリを共有するマルチプロセッサシステムにおいて、メモリに対する或るCPUからのストアアクセスと別CPUからのロードアクセスとの間の同期制御方法が開示されている。   For example, Patent Document 1 discloses a synchronization control method between store access from one CPU and load access from another CPU in a multiprocessor system in which a plurality of CPUs (Central Processing Units) share a memory. ing.

特開平11−167557号公報JP-A-11-167557

ところで、メモリに対するアクセスはCPUからだけでなくDMA(Direct Memory Access)転送装置から行われる場合がある。例えば、複数のCPUと各CPUからアクセス可能は複数のメモリとDMA転送装置とを有する複数のノードが、ノード間通信路を通じて相互に接続された並列計算機システムがある。そのような計算機システムにおける各ノードでは、他のノードから受信したデータをDMA転送装置がノード内の各メモリにストアし、そのストアしたデータをノード内の各CPUがロードすることを保証する場合、同期制御が必要になる。しかしながら、そのようなDMA転送装置と複数のCPUとの間に適用可能な同期制御を記載した文献は知られていない。そのため、DMA転送装置と複数のCPUとの間の同期を適切に制御する方法の実現が望まれている。   Incidentally, access to the memory may be performed not only from the CPU but also from a DMA (Direct Memory Access) transfer device. For example, there is a parallel computer system in which a plurality of nodes each having a plurality of CPUs and a plurality of memories and DMA transfer devices accessible from each CPU are connected to each other through inter-node communication paths. In each node in such a computer system, when it is guaranteed that the DMA transfer device stores data received from other nodes in each memory in the node, and each CPU in the node loads the stored data. Synchronous control is required. However, there is no known document describing synchronization control applicable between such a DMA transfer apparatus and a plurality of CPUs. Therefore, it is desired to realize a method for appropriately controlling the synchronization between the DMA transfer apparatus and a plurality of CPUs.

本発明の目的は、DMA転送装置と複数のCPUとの間の同期を適切に制御する方法の実現が望まれている、という課題を解決するノードを提供することにある。   An object of the present invention is to provide a node that solves the problem that it is desired to implement a method for appropriately controlling synchronization between a DMA transfer apparatus and a plurality of CPUs.

本発明の一形態に係るノードは、
1番からn番までの複数のCPUと、前記複数のCPUに1対1に接続された1番からn番までの複数のメモリ制御装置と、前記複数のメモリ制御装置に1対1に接続された複数のメモリ装置と、前記複数のCPUおよび前記複数のメモリ制御装置に1対1に接続された複数の同期レジスタとを備え、
前記複数のメモリ制御装置は、1番からn番まで番号順に一列に接続されており、
n番の前記メモリ制御装置に接続され、複数の前記メモリ制御装置を経由して複数の前記メモリ装置をライトアクセスした後、複数の前記メモリ制御装置を経由して前記同期レジスタに前記ライトアクセスが完了したことを示す値を設定するDMA転送装置を備え、
前記複数のCPUのそれぞれは、対応する前記同期レジスタの前記値を参照して前記ライトアクセスされたデータのリードアクセスの可否を決定する。
A node according to an aspect of the present invention is:
A plurality of CPUs from No. 1 to n, a plurality of memory control devices from No. 1 to n connected to the plurality of CPUs on a one-to-one basis, and a one-to-one connection to the plurality of memory control devices A plurality of memory devices, and a plurality of synchronous registers connected to the plurality of CPUs and the plurality of memory control devices on a one-to-one basis,
The plurality of memory control devices are connected in a row in order of numbers from No. 1 to No. n.
The nth memory control device is connected to the plurality of memory control devices via the plurality of memory control devices, and then the write access to the synchronization register is performed via the plurality of memory control devices. A DMA transfer device for setting a value indicating completion;
Each of the plurality of CPUs refers to the value of the corresponding synchronization register to determine whether or not read access of the write-accessed data is possible.

また本発明の他の形態に係るノードは、
1番からn番までの複数のCPUと、前記複数のCPUに1対1に接続された1番からn番までの複数のメモリ制御装置と、前記複数のメモリ制御装置に1対1に接続された複数のメモリ装置と、前記複数のCPUと1番の前記メモリ制御装置との間に接続された同期レジスタとを備え、
前記複数のメモリ制御装置は、1番からn番まで番号順に一列に接続されており、
n番の前記メモリ制御装置に接続され、複数の前記メモリ制御装置を経由して複数の前記メモリ装置をライトアクセスした後、複数の前記メモリ制御装置を経由して前記同期レジスタに前記ライトアクセスが完了したことを示す値を設定するDMA転送装置を備え、
前記複数のCPUのそれぞれは、前記同期レジスタの前記値を参照して前記ライトアクセスされたデータのリードアクセスの可否を決定する。
A node according to another embodiment of the present invention includes:
A plurality of CPUs from No. 1 to n, a plurality of memory control devices from No. 1 to n connected to the plurality of CPUs on a one-to-one basis, and a one-to-one connection to the plurality of memory control devices A plurality of memory devices, and a synchronization register connected between the plurality of CPUs and the first memory control device,
The plurality of memory control devices are connected in a row in order of numbers from No. 1 to No. n.
The nth memory control device is connected to the plurality of memory control devices via the plurality of memory control devices, and then the write access to the synchronization register is performed via the plurality of memory control devices. A DMA transfer device for setting a value indicating completion;
Each of the plurality of CPUs determines whether or not read access to the write-accessed data is made with reference to the value of the synchronization register.

また本発明の他の形態に係る同期制御方法は、
1番からn番までの複数のCPUと、前記複数のCPUに1対1に接続された1番からn番までの複数のメモリ制御装置と、前記複数のメモリ制御装置に1対1に接続された複数のメモリ装置と、前記複数のCPUおよび前記複数のメモリ制御装置に1対1に接続された複数の同期レジスタと、n番の前記メモリ制御装置に接続されたDMA転送装置とを備え、前記複数のメモリ制御装置は、1番からn番まで番号順に一列に接続されている、ノードが実行する同期制御方法であって、
前記DMA転送装置は、複数の前記メモリ制御装置を経由して複数の前記メモリ装置をライトアクセスした後、複数の前記メモリ制御装置を経由して前記同期レジスタに前記ライトアクセスが完了したことを示す値を設定し、
前記複数のCPUのそれぞれは、対応する前記同期レジスタの前記値を参照して前記ライトアクセスされたデータのリードアクセスの可否を決定する。
A synchronization control method according to another embodiment of the present invention includes:
A plurality of CPUs from No. 1 to n, a plurality of memory control devices from No. 1 to n connected to the plurality of CPUs on a one-to-one basis, and a one-to-one connection to the plurality of memory control devices A plurality of memory devices, a plurality of synchronous registers connected to the plurality of CPUs and the plurality of memory control devices on a one-to-one basis, and a DMA transfer device connected to the nth memory control device. The plurality of memory control devices are connected in a line in order from number 1 to number n, and are synchronized control methods executed by nodes.
The DMA transfer device performs write access to the plurality of memory devices via the plurality of memory control devices, and then indicates that the write access to the synchronization register is completed via the plurality of memory control devices. Set the value
Each of the plurality of CPUs refers to the value of the corresponding synchronization register to determine whether or not read access of the write-accessed data is possible.

また本発明の他の形態に係る同期制御方法は、
1番からn番までの複数のCPUと、前記複数のCPUに1対1に接続された1番からn番までの複数のメモリ制御装置と、前記複数のメモリ制御装置に1対1に接続された複数のメモリ装置と、前記複数のCPUと1番の前記メモリ制御装置との間に接続された同期レジスタと、n番の前記メモリ制御装置に接続されたDMA転送装置とを備え、前記複数のメモリ制御装置は、1番からn番まで番号順に一列に接続されている、ノードが実行する同期制御方法であって、
前記DMA転送装置は、複数の前記メモリ制御装置を経由して複数の前記メモリ装置をライトアクセスした後、複数の前記メモリ制御装置を経由して前記同期レジスタに前記ライトアクセスが完了したことを示す値を設定し、
前記複数のCPUのそれぞれは、前記同期レジスタの前記値を参照して前記ライトアクセスされたデータのリードアクセスの可否を決定する。
A synchronization control method according to another embodiment of the present invention includes:
A plurality of CPUs from No. 1 to n, a plurality of memory control devices from No. 1 to n connected to the plurality of CPUs on a one-to-one basis, and a one-to-one connection to the plurality of memory control devices A plurality of memory devices, a synchronization register connected between the plurality of CPUs and the first memory control device, and a DMA transfer device connected to the nth memory control device, The plurality of memory control devices are connected in a line in order from number 1 to number n, and are synchronized control methods executed by nodes.
The DMA transfer device performs write access to the plurality of memory devices via the plurality of memory control devices, and then indicates that the write access to the synchronization register is completed via the plurality of memory control devices. Set the value
Each of the plurality of CPUs determines whether or not read access to the write-accessed data is made with reference to the value of the synchronization register.

本発明は、上述したような構成を有することにより、DMA転送装置とCPU間の同期時間の高速化が可能である。   According to the present invention, the synchronization time between the DMA transfer apparatus and the CPU can be increased by having the configuration as described above.

本発明の第1の実施形態に係るノードのブロック図である。It is a block diagram of a node concerning a 1st embodiment of the present invention. 本発明の第1の実施形態に係るノードのメモリ制御装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the memory control apparatus of the node which concerns on the 1st Embodiment of this invention. 本発明に関連するノードのブロック図である。It is a block diagram of the node relevant to this invention. 本発明の第2の実施形態に係るノードのブロック図である。It is a block diagram of a node concerning a 2nd embodiment of the present invention. 本発明の第3の実施形態に係るノードのブロック図である。It is a block diagram of a node concerning a 3rd embodiment of the present invention. 本発明の第4の実施形態に係るノードのブロック図である。It is a block diagram of a node concerning a 4th embodiment of the present invention.

次に本発明の実施の形態について図面を参照して詳細に説明する。
[第1の実施形態]
図1は、本発明の第1の実施形態に係るノード100のブロック図である。図1を参照すると、ノード100は、1番からn番までの複数のCPU110−1〜110−nと、1番からn番までの複数のメモリ制御装置120−1〜120−nと、1番からn番までの複数のRAM等のメモリ装置130−nと、1番からn番までの複数の同期レジスタ140−1〜140−nと、DMA転送装置150とを含んで構成されている。以下、同じ複数の構成要素の何れであるかを特定しない場合、CPU110などのように、符号のハイフン以下を省略して記載する。
Next, embodiments of the present invention will be described in detail with reference to the drawings.
[First embodiment]
FIG. 1 is a block diagram of a node 100 according to the first embodiment of the present invention. Referring to FIG. 1, the node 100 includes a plurality of CPUs 110-1 to 110-n from No. 1 to n, a plurality of memory control devices 120-1 to 120-n from No. 1 to n, and 1 A plurality of memory devices 130-n such as RAM from No. 1 to n, a plurality of synchronization registers 140-1 to 140-n from No. 1 to n, and a DMA transfer device 150. . Hereinafter, when it is not specified which of the same plurality of constituent elements is specified, the hyphens below the reference numerals are omitted as in the case of the CPU 110 and the like.

同じ番号のCPU110とメモリ制御装置120とメモリ装置130と同期レジスタ140とは1対1に対応している。CPU110とそれに対応するメモリ制御装置120とは信号線161で接続されている。メモリ制御装置120とそれに対応するメモリ装置130とは信号線162で接続されている。CPU110およびメモリ制御装置120とそれに対応する同期レジスタ140とは信号線163および信号線164で接続されている。   The CPU 110, the memory control device 120, the memory device 130, and the synchronization register 140 having the same number correspond one-to-one. The CPU 110 and the corresponding memory control device 120 are connected by a signal line 161. The memory control device 120 and the corresponding memory device 130 are connected by a signal line 162. The CPU 110 and the memory control device 120 and the corresponding synchronization register 140 are connected by a signal line 163 and a signal line 164.

また、複数のメモリ制御装置120は、線状に接続されている。即ち、複数のメモリ制御装置120は、1番からn番まで番号順に信号線165で一列に接続されている。さらに、n番のメモリ制御装置120−nとDMA転送装置150は信号線165−nで接続されている。また、DMA転送装置150は、図示しない他のノードのDMA転送装置とノード間通信路166で接続されている。   The plurality of memory control devices 120 are connected in a line. That is, the plurality of memory control devices 120 are connected in a line through the signal lines 165 in order of numbers from 1 to n. Further, the nth memory control device 120-n and the DMA transfer device 150 are connected by a signal line 165-n. The DMA transfer device 150 is connected to a DMA transfer device of another node (not shown) through an inter-node communication path 166.

複数のメモリ装置130には、1つのメモリ空間をn分割した各分割領域のメモリアドレスが割り当てられている。それぞれのメモリ装置130に対するアクセスは、対応するメモリ制御装置120により制御される。即ち、メモリ制御装置120は、CPU110およびDMA転送装置150から受信したメモリアクセスリクエストに従って、対応するメモリ装置130のアクセスを制御する。また、メモリ制御装置120は、受信したメモリアクセスリクエストに含まれるメモリアドレスに基づいて、対応するメモリ装置130をアクセスするか、隣接するメモリ制御装置120へメモリアクセスリクエストを転送するかを判断する。このようにして、DMA転送装置150から信号線165−nに送出されたメモリアクセスリクエストおよびCPU110から信号線161に送出されたメモリアクセスリクエストは、アクセス先のメモリ装置130に接続されたメモリ制御装置120まで中継される。   A plurality of memory devices 130 are assigned memory addresses of respective divided areas obtained by dividing one memory space into n. Access to each memory device 130 is controlled by the corresponding memory control device 120. That is, the memory control device 120 controls access to the corresponding memory device 130 according to the memory access request received from the CPU 110 and the DMA transfer device 150. Further, the memory control device 120 determines whether to access the corresponding memory device 130 or to transfer the memory access request to the adjacent memory control device 120 based on the memory address included in the received memory access request. In this way, the memory access request sent from the DMA transfer device 150 to the signal line 165-n and the memory access request sent from the CPU 110 to the signal line 161 are the memory control devices connected to the access destination memory device 130. Relay to 120.

例えば、n番のCPU110−nからn番のメモリ装置130−nのメモリアドレスを含むメモリアクセスリクエストが信号線161−nに送出されると、そのメモリアクセスリクエストを信号線161−nを通じて受信したメモリ制御装置120−nは、そのメモリアクセスリクエストに従ってメモリ装置130−nをアクセスする。そして、リードアクセスリクエストのときは、メモリ制御装置120−nは、メモリ装置130−nからリードしたデータを含むリプライデータをリクエスト元のCPU110−nへ信号線161−nを通じて返却する。   For example, when a memory access request including the memory address of the nth memory device 130-n is sent from the nth CPU 110-n to the signal line 161-n, the memory access request is received through the signal line 161-n. The memory control device 120-n accesses the memory device 130-n according to the memory access request. In the case of a read access request, the memory control device 120-n returns reply data including data read from the memory device 130-n to the requesting CPU 110-n through the signal line 161-n.

また、例えば、n番のCPU110−nから1番のメモリ装置130−1のメモリアドレスを含むメモリアクセスリクエストが信号線161−nに送出されると、そのメモリアクセスリクエストを信号線161−nを通じて受信したメモリ制御装置120−nは、そのメモリアクセスリクエストのメモリアドレスに従って信号線165−n−1を通じて隣接するメモリ制御装置120−n−1に転送する。信号線165−n−1を通じてメモリアクセスリクエストを受信したメモリ制御装置120−n−1も同様の判断を行う。このようにして、メモリアクセスリクエストは最終的に信号線165−1を通じてメモリ制御装置120−1に到達する。そして、メモリ制御装置120−1は、そのメモリアクセスリクエストに従ってメモリ装置130−1をアクセスする。そして、リードアクセスリクエストのときは、メモリ制御装置120−1は、メモリ装置130−1からリードしたデータを含むリプライデータをリクエスト元のCPU110−nに返却するために信号線165−1を通じて隣接するメモリ制御装置120−2へ送出する。メモリ制御装置120−2は、返却先がCPU110−nであるため、受信したリプライデータを、信号線165−2を通じて隣接するメモリ制御装置120−3へ送出する。このようにして、リプライデータは最終的に信号線165−n−1を通じてメモリ制御装置120−nに到達し、このメモリ制御装置120−nから信号線161−1を通じて要求元のCPU110−nに返却される。   For example, when a memory access request including the memory address of the first memory device 130-1 is sent from the nth CPU 110-n to the signal line 161-n, the memory access request is transmitted through the signal line 161-n. The received memory control device 120-n transfers to the adjacent memory control device 120-n-1 through the signal line 165-n-1 according to the memory address of the memory access request. The memory control device 120-n-1 that has received the memory access request through the signal line 165-n-1 also makes the same determination. In this way, the memory access request finally reaches the memory control device 120-1 through the signal line 165-1. Then, the memory control device 120-1 accesses the memory device 130-1 according to the memory access request. In the case of a read access request, the memory control device 120-1 is adjacent through the signal line 165-1 in order to return reply data including data read from the memory device 130-1 to the requesting CPU 110-n. It is sent to the memory control device 120-2. Since the return destination is the CPU 110-n, the memory control device 120-2 sends the received reply data to the adjacent memory control device 120-3 through the signal line 165-2. In this way, the reply data finally reaches the memory control device 120-n through the signal line 165-n-1, and the memory control device 120-n sends the request data to the requesting CPU 110-n through the signal line 161-1. Returned.

以上のようにして、一般的に、k番目のCPU110−kがj番目のメモリ装置130−jをアクセスするとき、そのメモリアクセスリクエストおよびリプライデータは、j≦kのときは、j番以上、k番以下のメモリ制御装置120を経由し、j>kのときは、k番以上、j番以下のメモリ制御装置120を経由する。   As described above, generally, when the kth CPU 110-k accesses the jth memory device 130-j, the memory access request and reply data are jth or more when j ≦ k. It goes through the memory control device 120 of number k or less, and when j> k, it goes through the memory control device 120 of number k or more and j or less.

他方、DMA転送装置150からn番のメモリ装置130−nのメモリアドレスを含むメモリアクセスリクエストが信号線165−nに送出されると、そのメモリアクセスリクエストを、信号線165−nを通じて受信したメモリ制御装置120−nは、そのメモリアクセスリクエストに従ってメモリ装置130−nをアクセスする。そして、リードアクセスリクエストのときは、メモリ制御装置120−nは、メモリ装置130−nからリードしたデータを含むリプライデータをリクエスト元のDMA転送装置150へ信号線165−nを通じて返却する。   On the other hand, when a memory access request including the memory address of the nth memory device 130-n is sent from the DMA transfer device 150 to the signal line 165-n, the memory that has received the memory access request through the signal line 165-n. The control device 120-n accesses the memory device 130-n according to the memory access request. In the case of a read access request, the memory control device 120-n returns reply data including data read from the memory device 130-n to the requesting DMA transfer device 150 through the signal line 165-n.

また、DMA転送装置150から例えば1番のメモリ装置130−1のメモリアドレスを含むメモリアクセスリクエストが信号線165−nに送出されると、そのメモリアクセスリクエストを、信号線165−nを通じて受信したメモリ制御装置120−nは、そのメモリアクセスリクエストのメモリアドレスに従って信号線165−n−1を通じて隣接するメモリ制御装置120−n−1に転送する。信号線165−n−1を通じてメモリアクセスリクエストを受信したメモリ制御装置120−n−1も同様の判断を行う。このようにして、メモリアクセスリクエストは最終的に信号線165−1を通じてメモリ制御装置120−1に到達する。そして、メモリ制御装置120−1は、そのメモリアクセスリクエストに従ってメモリ装置130−1をアクセスする。そして、リードアクセスリクエストのときは、メモリ制御装置120−1は、メモリ装置130−1からリードしたデータを含むリプライデータをリクエスト元のDMA転送装置150に返却するために信号線165−1を通じて隣接するメモリ制御装置120−2へ送出する。メモリ制御装置120−2は、返却先がDMA転送装置150であるため、受信したリプライデータを、信号線165−2を通じて隣接するメモリ制御装置120−3へ送出する。このようにして、リプライデータは最終的に信号線165−n−1を通じてメモリ制御装置120−nに到達し、このメモリ制御装置120−nから信号線165−nを通じて要求元のDMA転送装置150に返却される。   For example, when a memory access request including the memory address of the first memory device 130-1 is sent from the DMA transfer device 150 to the signal line 165-n, the memory access request is received through the signal line 165-n. The memory control device 120-n transfers to the adjacent memory control device 120-n-1 through the signal line 165-n-1 according to the memory address of the memory access request. The memory control device 120-n-1 that has received the memory access request through the signal line 165-n-1 also makes the same determination. In this way, the memory access request finally reaches the memory control device 120-1 through the signal line 165-1. Then, the memory control device 120-1 accesses the memory device 130-1 according to the memory access request. In the case of a read access request, the memory control device 120-1 is connected through the signal line 165-1 in order to return reply data including the data read from the memory device 130-1 to the requesting DMA transfer device 150. To the memory control device 120-2. Since the return destination is the DMA transfer device 150, the memory control device 120-2 sends the received reply data to the adjacent memory control device 120-3 through the signal line 165-2. In this way, the reply data finally reaches the memory control device 120-n through the signal line 165-n-1, and the requesting DMA transfer device 150 from the memory control device 120-n through the signal line 165-n. Returned to.

以上のようにして、一般的に、DMA転送装置150がj番目のメモリ装置130−jをアクセスするとき、そのメモリアクセスリクエストおよびリプライデータは、j番以上のメモリ制御装置120を経由する。   As described above, generally, when the DMA transfer device 150 accesses the jth memory device 130-j, the memory access request and reply data pass through the jth or more memory control device 120.

また、DMA転送装置150は、メモリ装置130に対する一連のストアアクセスリクエストとその後に行われるCPU110のロードアクセスリクエストとの同期をとる場合、一連のストアアクセスリクエストの完了後に、同期リクエストを信号線165−nに送出するように構成されている。   When the DMA transfer device 150 synchronizes a series of store access requests to the memory device 130 and a subsequent load access request of the CPU 110, the DMA transfer device 150 sends a synchronization request to the signal line 165- after the completion of the series of store access requests. It is configured to send to n.

また、メモリ制御装置120は、信号線165を通じて同期リクエストを受信すると、同期リクエストのコピーを、信号線164を通じて対応する同期レジスタ140に送出すると共に、自装置よりも番号の小さなメモリ制御装置120が隣接している場合、受信した同期リクエストのコピーを、信号線165を通じて隣接するメモリ制御装置120へ送出するように構成されている。同期レジスタ140は、同期リクエストを、信号線164を通じて受信すると、同期フラグをON(オン)にするように構成されている。そのため、DMA転送装置150から信号線165−nに同期リクエストが送出されると、先ず、メモリ制御装置120−nは信号線165−nを通じて同期リクエストを受信し、同期レジスタ140−nに同期リクエストを送出すると共に同期リクエストを信号線165−n−1を通じて隣接するメモリ制御装置120−n−1に転送する。その結果、同期レジスタ140−nの同期フラグがONになる。また、メモリ制御装置120−n−1は、同期リクエストを受信すると、それを同期レジスタ140−n−1に送出し、さらに隣接するメモリ制御装置120−n−2へ同期リスエストを転送する。その結果、同期レジスタ140−n−1の同期フラグがONになる。このようにして、最終的にメモリ制御装置120−1まで同期リクエストが転送され、同期レジスタ140−n−3〜140−1の同期フラグがONされる。   Further, when the memory control device 120 receives the synchronization request through the signal line 165, the memory control device 120 sends a copy of the synchronization request to the corresponding synchronization register 140 through the signal line 164, and the memory control device 120 having a smaller number than that of the own device. If adjacent, a copy of the received synchronization request is sent to the adjacent memory control device 120 via the signal line 165. The synchronization register 140 is configured to turn on a synchronization flag when a synchronization request is received through the signal line 164. Therefore, when a synchronization request is sent from the DMA transfer device 150 to the signal line 165-n, first, the memory control device 120-n receives the synchronization request through the signal line 165-n and sends the synchronization request to the synchronization register 140-n. And the synchronization request is transferred to the adjacent memory control device 120-n-1 through the signal line 165-n-1. As a result, the synchronization flag of the synchronization register 140-n is turned on. Further, when the memory control device 120-n-1 receives the synchronization request, it sends it to the synchronization register 140-n-1, and further transfers the synchronization request to the adjacent memory control device 120-n-2. As a result, the synchronization flag of the synchronization register 140-n-1 is turned ON. In this way, the synchronization request is finally transferred to the memory control device 120-1, and the synchronization flags of the synchronization registers 140-n-3 to 140-1 are turned ON.

CPU110は、DMA転送装置150がメモリ装置130にストアしたデータをロードする場合、信号線163を通じて対応する同期レジスタ140の同期フラグがONになるのを待ち合わせる。そして、CPU110は、対応する同期レジスタ140の同期フラグがONになると、メモリ装置130に対するロードアクセスリクエストを送出するように構成されている。   When loading data stored in the memory device 130 by the DMA transfer device 150, the CPU 110 waits for the synchronization flag of the corresponding synchronization register 140 to be turned on via the signal line 163. The CPU 110 is configured to send a load access request to the memory device 130 when the synchronization flag of the corresponding synchronization register 140 is turned ON.

要するに、本実施形態に係るノード100は、以下のように構成され、動作する。   In short, the node 100 according to the present embodiment is configured and operates as follows.

同期レジスタ140は、CPU110毎に各々分散させて構成され、各同期レジスタ140はCPU110とメモリ制御装置120に接続される。   The synchronization register 140 is configured to be distributed for each CPU 110, and each synchronization register 140 is connected to the CPU 110 and the memory control device 120.

DMA転送装置150が発行したストアリクエストは、メモリ制御装置120を経由して、各メモリ装置130に到達し、メモリ書き込み動作がされる。この後、ライトアクセスを完了したことを示すストアリプライをDMA転送装置150に返却する処理は行わない。   The store request issued by the DMA transfer device 150 reaches each memory device 130 via the memory control device 120, and a memory write operation is performed. Thereafter, the process of returning the store reply indicating the completion of the write access to the DMA transfer apparatus 150 is not performed.

DMA転送装置150は、全てのストアリクエストを発行したならば、ストアリクエストを発行したメモリ制御装置120の接続パスと同一パスを使用し、各同期レジスタ140に対し、全てのストアアクセスが完了したことを示す、同期レジスタ140のフラグONの操作リクエスト(同期リクエスト)を発行する。なお、ストアリクエストと、同期レジスタフラグON操作リクエスト(同期リクエスト)で、メモリ制御装置120の接続パス上での追い抜きは起こらない構成である。   If the DMA transfer device 150 has issued all the store requests, the DMA transfer device 150 uses the same path as the connection path of the memory control device 120 that issued the store request, and all store accesses to the respective synchronization registers 140 have been completed. The operation request (synchronization request) of the flag ON of the synchronization register 140 is issued. The store request and the synchronization register flag ON operation request (synchronization request) do not cause overtaking on the connection path of the memory control device 120.

各メモリ制御装置120は、同期レジスタフラグON操作リクエスト(同期リクエスト)が到達したならば、これを、左隣りのメモリ制御装置120に伝達すると共に、同期レジスタフラグON操作リクエスト(同期リクエスト)のコピーを、自身のメモリ制御装置120に接続される同期レジスタ140に通達する。   Each memory control device 120, when a synchronization register flag ON operation request (synchronization request) arrives, transmits this to the memory control device 120 on the left and copies the synchronization register flag ON operation request (synchronization request). To the synchronization register 140 connected to its own memory controller 120.

同期レジスタ140は、同期レジスタフラグON操作リクエスト(同期リクエスト)を受け取ったならば、自身の同期レジスタのフラグをONにする。なお、各同期レジスタ140は、同一内容であるが、上記動作での同期レジスタのフラグをONになるタイミングは、各同期レジスタで異なり、DMA転送装置150に一番近いn番の同期レジスタ140−nが一番早くフラグがONになることができ、DMA転送装置150に一番遠い1番の同期レジスタ140−1が一番遅くフラグがONになる。   When receiving the synchronization register flag ON operation request (synchronization request), the synchronization register 140 turns on the flag of its own synchronization register. Although each synchronization register 140 has the same contents, the timing at which the synchronization register flag is turned ON in the above operation is different for each synchronization register, and the nth synchronization register 140-closest to the DMA transfer device 150- The flag can be turned ON the first n, and the first synchronous register 140-1 farthest from the DMA transfer device 150 is turned ON the latest.

各CPU110は、各CPU110に接続された同期レジスタ140のフラグを読み出すことで、DMA転送のストア処理が完了したことを認識することでき、その後、各CPU110は、各メモリ装置130にストアされたデータのロード処理を開始する。   Each CPU 110 can recognize that the DMA transfer store processing has been completed by reading the flag of the synchronization register 140 connected to each CPU 110, and then each CPU 110 can store the data stored in each memory device 130. Start the loading process.

例えば、n番のCPU110−nは、n番の同期レジスタ140−nの同期フラグがONになったことを確認し、各メモリ装置130のロードアクセスを開始する。この時、n−1番のメモリ装置130−n−1、…、1番のメモリ装置130−1のDMA転送装置150からのメモリストア処理は完了していないタイミングであっても、n番のCPU110−nは、DMA転送装置150によってストアされたデータをn−1番のメモリ装置130−n−1、…、1番のメモリ装置130−1から読み出すことができる。その理由は、DMA転送装置150からのメモリストアとn番のCPU110−nのロードアクセスは、同一のメモリ制御装置120間のパスを使用するので、n番のCPU110−nのロードアクセスがDMA転送装置150からのメモリストアを追い抜くことは無いためである。その結果、DMA転送装置150からの1番のメモリ装置130−1、…、n−1番のメモリ装置130−n−1にストアされたストアアクセスのデータを、n番のCPU110−nは確実に読み出すことができる。   For example, the n-th CPU 110-n confirms that the synchronization flag of the n-th synchronization register 140-n is turned on, and starts load access of each memory device 130. At this time, even when the memory store process from the DMA transfer device 150 of the first memory device 130-1 is not completed, the nth memory device 130-n-1,. The CPU 110-n can read the data stored by the DMA transfer device 150 from the n-1th memory device 130-n-1, ..., the 1st memory device 130-1. The reason is that the memory store from the DMA transfer device 150 and the load access of the nth CPU 110-n use the same path between the memory control devices 120, so that the load access of the nth CPU 110-n is DMA transfer. This is because the memory store from the device 150 is not overtaken. As a result, the n-th CPU 110-n ensures the store access data stored in the first memory device 130-1,..., N-1th memory device 130-n-1 from the DMA transfer device 150. Can be read out.

図2は、メモリ制御装置120の構成例を示すブロック図である。なお、メモリ制御装置120は、図2に示した構成に限定されず、その他各種の構成を採用することが可能である。   FIG. 2 is a block diagram illustrating a configuration example of the memory control device 120. Note that the memory control device 120 is not limited to the configuration shown in FIG. 2, and various other configurations can be employed.

図2を参照すると、メモリ制御装置120は、スイッチ121とメモリコントローラ122とを含んで構成されている。スイッチ121は、信号線161を通じて対応するCPU110に接続され、信号線164を通じて対応する同期レジスタ140に接続され、信号線165を通じて他のメモリ制御装置120またはDMA転送装置150に接続され、内部信号線123を通じてメモリコントローラ122に接続されている。スイッチ121は、信号線161、165を通じて入力されるストアリクエストやロードリクエスト等のリクエストを解析し、リクエスト先が対応するメモリ装置130であれば内部信号線123を通じてリクエストをメモリコントローラ122に送出し、それ以外はリクエスト先に応じて左右のメモリ制御装置120にリクエストを転送する。また、スイッチ121は、信号線165を通じて左右のメモリ制御装置120から入力されるリプライおよび内部信号線123を通じてメモリコントローラ122から入力されるリプライを解析し、リプライ先が対応するCPU110であれば信号線161を通じてリプライを対応するCPU110に送出し、それ以外はリプライ先に応じて左右のメモリ制御装置120あるいはDMA転送装置150にリプライを転送する。さらに、スイッチ121は、右側の信号線165を通じて同期リクエストを入力すると、そのコピーをとり、2つの同一の同期リクエストの一方を、信号線164を通じて対応する同期レジスタ140へ送出し、他方を左側の信号線165を通じて隣接するメモリ制御装置120へ転送する。   Referring to FIG. 2, the memory control device 120 includes a switch 121 and a memory controller 122. The switch 121 is connected to the corresponding CPU 110 through the signal line 161, is connected to the corresponding synchronization register 140 through the signal line 164, is connected to another memory control device 120 or the DMA transfer device 150 through the signal line 165, and is connected to the internal signal line. 123 is connected to the memory controller 122. The switch 121 analyzes a request such as a store request or a load request input through the signal lines 161 and 165, and sends a request to the memory controller 122 through the internal signal line 123 if the request destination corresponds to the memory device 130. Otherwise, the request is transferred to the left and right memory control devices 120 according to the request destination. The switch 121 analyzes the reply input from the left and right memory control devices 120 through the signal line 165 and the reply input from the memory controller 122 through the internal signal line 123. If the reply destination is the CPU 110, the switch 121 analyzes the signal line. The reply is sent to the corresponding CPU 110 through 161, and otherwise the reply is transferred to the left and right memory control devices 120 or the DMA transfer device 150 according to the reply destination. Furthermore, when the synchronization request is input through the signal line 165 on the right side, the switch 121 makes a copy, sends one of two identical synchronization requests to the corresponding synchronization register 140 through the signal line 164, and sends the other to the corresponding synchronization register 140. The data is transferred to the adjacent memory control device 120 through the signal line 165.

メモリコントローラ122は、スイッチ121から内部信号線123を通じて入力されるリクエストに従って信号線162で接続されたメモリ装置130をアクセスする。またメモリコントローラ122は、メモリ装置130からリードデータを入力すると、リプライ先のアドレスを含むリプライを、内部信号線123を通じてスイッチ121へ送出する。   The memory controller 122 accesses the memory device 130 connected through the signal line 162 in accordance with a request input from the switch 121 through the internal signal line 123. In addition, when the read data is input from the memory device 130, the memory controller 122 sends a reply including the reply destination address to the switch 121 through the internal signal line 123.

次に、本実施形態のノード100の効果を説明する。   Next, the effect of the node 100 of this embodiment will be described.

図3は、本発明に関連するノード200の構成を示す。図3を参照すると、ノード200は、複数のCPU210と、複数のメモリ制御装置220と、複数のメモリ装置230と、同期レジスタ240と、DMA転送装置250とを含んで構成されている。同期レジスタ240は、DMA転送装置250および全てのCPU210からアクセス可能である。また各メモリ制御装置220は、ストアアクセスのリプライを返却するように構成されている。   FIG. 3 shows a configuration of the node 200 related to the present invention. Referring to FIG. 3, the node 200 includes a plurality of CPUs 210, a plurality of memory control devices 220, a plurality of memory devices 230, a synchronization register 240, and a DMA transfer device 250. The synchronization register 240 is accessible from the DMA transfer device 250 and all the CPUs 210. Each memory control device 220 is configured to return a store access reply.

DMA転送装置250は、各メモリ装置230に対して発行した全てのストアアクセスが完了したことを、ストアアクセスのリプライの個数をカウントすることで認識する。即ち、発行ストアアクセス数とストアリプライ数が等しいならば、発行した全てのストアリクエストがアクセス完了したと認識する。そして、DMA転送装置250は、発行した全てのストアリクエストの完了を認識すると、同期レジスタ240の同期フラグをONにする。各CPU210は、同期レジスタ240の同期フラグを確認し、ONになっていれば、DMA転送装置250によってストアされたデータを各メモリ装置230からロードアクセスする処理を開始する。   The DMA transfer device 250 recognizes that all store accesses issued to each memory device 230 have been completed by counting the number of store access replies. That is, if the number of issued store accesses is equal to the number of store replies, it is recognized that all issued store requests have been accessed. When the DMA transfer device 250 recognizes completion of all issued store requests, the DMA transfer device 250 turns on the synchronization flag of the synchronization register 240. Each CPU 210 confirms the synchronization flag of the synchronization register 240, and if it is ON, starts a process of load-accessing the data stored by the DMA transfer device 250 from each memory device 230.

図3に示した関連技術では、全てのストアアクセスのリプライをDMA転送装置250は待つ必要がある。特に、メモリ制御装置220−1からのリプライは多くのメモリ制御装置220によって中継されるためDMA転送装置250に到着するまでに時間を要する。その結果、同期制御のオーバヘッド時間が増大するという課題がある。   In the related technique shown in FIG. 3, the DMA transfer device 250 needs to wait for all store access replies. In particular, the reply from the memory control device 220-1 is relayed by many memory control devices 220, so it takes time to reach the DMA transfer device 250. As a result, there is a problem that the overhead time of synchronization control increases.

これに対して本実施形態に係るノード100では、前述したように、各CPU110に対し、各CPU110に対応する同期レジスタ140を、CPU110とメモリ制御装置120間に接続させている。また、DMA転送装置150は、メモリストアアクセスを発行後、継続して同期レジスタ140への書き込みのために同期リクエストを発行する。この同期リクエストもメモリストアアクセスと同一のパスを使用する(メモリストアアクセスと同期リクエストの追い越しは起きない構成である)。各メモリ制御装置120は、各配下のメモリ装置130に対しメモリストアが完了したならば、続いて入力される同期リクエストを同期レジスタ140に送出し、その結果、同期レジスタ140の同期フラグがONにされる。各CPU110は、CPU配下の同期レジスタ140の内容をリードすることで、DMA転送装置150が発行したメモリストアアクセスが完了したことを認識し、該メモリストア内容の読出し処理を行うことができる。各CPU110に対応する同期レジスタ140は、同一のコピーとなるが、上述した通り、同期レジスタ140の同期フラグをONするタイミングは、DMA転送装置150からのストアアクセスが、同期レジスタ配下のメモリ制御装置120でのメモリストア完了タイミングであり、同期レジスタ140へのライトアクセスタイミングは各々異なるタイミングになる(DMA転送装置から近いものから早く同期レジスタへのライトが行われる)。   On the other hand, in the node 100 according to the present embodiment, as described above, the synchronization register 140 corresponding to each CPU 110 is connected between the CPU 110 and the memory control device 120 for each CPU 110. Further, after issuing the memory store access, the DMA transfer device 150 continuously issues a synchronization request for writing to the synchronization register 140. This synchronization request also uses the same path as the memory store access (a configuration in which the memory store access and the synchronization request are not overtaken). When the memory store for each subordinate memory device 130 is completed, each memory control device 120 sends a synchronization request that is subsequently input to the synchronization register 140. As a result, the synchronization flag of the synchronization register 140 is turned ON. Is done. Each CPU 110 can recognize that the memory store access issued by the DMA transfer device 150 has been completed by reading the contents of the synchronization register 140 under the CPU, and can read the memory store contents. The synchronization register 140 corresponding to each CPU 110 is the same copy, but as described above, the timing at which the synchronization flag of the synchronization register 140 is turned on is determined by the store access from the DMA transfer device 150 being a memory control device under the synchronization register. This is the memory store completion timing at 120, and the write access timing to the synchronization register 140 is different from each other (write to the synchronization register is performed earlier from the closest to the DMA transfer device).

以上の結果、本実施形態に係るノード100は、全てのストアアクセスのリプライを待って同期レジスタ240の同期フラグをONする図3に示した関連技術と比較して、同期制御のオーバヘッド時間を大幅に短縮することができる。即ち、DMA転送装置とCPU間の同期時間の高速化の効果が得られる。   As a result, the node 100 according to the present embodiment greatly increases the synchronization control overhead time as compared with the related technique shown in FIG. 3 in which the synchronization flag of the synchronization register 240 is turned on after waiting for all store access replies. Can be shortened. That is, the effect of increasing the synchronization time between the DMA transfer apparatus and the CPU can be obtained.

[第2の実施形態]
図4は本発明の第2の実施形態に係るノード300のブロック図であり、図1と同一符号は同一部分を示す。ノード300は、全てのCPU110で共通な1個の同期レジスタ140を1番のメモリ制御装置120−1と全CPU110との間に接続している点で、各CPU110に個別に同期レジスタ140を設けている図1の実施形態と相違する。
[Second Embodiment]
FIG. 4 is a block diagram of a node 300 according to the second exemplary embodiment of the present invention. The same reference numerals as those in FIG. 1 denote the same parts. The node 300 is provided with a synchronization register 140 individually for each CPU 110 in that one synchronization register 140 common to all CPUs 110 is connected between the first memory control device 120-1 and all CPUs 110. 1 is different from the embodiment of FIG.

DMA転送装置150は、全てのストアリクエストの送出を完了後、1番のメモリ制御装置120−1に向けて同期レジスタフラグON操作リクエスト(同期リクエスト)を送出する。同期レジスタフラグON操作リクエスト(同期リクエスト)は、n番のメモリ制御装置120−n、n−1番のメモリ制御装置120−n−1、…、2番のメモリ制御装置120−2を通過し、1番のメモリ制御装置120−1に到着する。1番のメモリ制御装置120−1は、到着した同期レジスタフラグON操作リクエスト(同期リクエスト)を同期レジスタ140に送出する。同期レジスタ140は、同期レジスタフラグON操作リクエスト(同期リクエスト)が入力されると、同期レジスタ内の同期フラグをONにする。各CPU110は、同期レジスタ140の同期フラグがONになったことを確認し、DMA転送装置150がストアしたデータをロードするために各メモリ装置130のロードアクセスを開始する。   After completing the transmission of all the store requests, the DMA transfer device 150 transmits a synchronization register flag ON operation request (synchronization request) to the first memory control device 120-1. The synchronization register flag ON operation request (synchronization request) passes through the nth memory control device 120-n, the n-1th memory control device 120-n-1, ..., the second memory control device 120-2. The first memory control device 120-1 arrives. The first memory control device 120-1 sends the synchronization register flag ON operation request (synchronization request) that has arrived to the synchronization register 140. When the synchronization register flag ON operation request (synchronization request) is input, the synchronization register 140 turns on the synchronization flag in the synchronization register. Each CPU 110 confirms that the synchronization flag of the synchronization register 140 is ON, and starts load access of each memory device 130 in order to load the data stored by the DMA transfer device 150.

DMA転送装置150からのストアリクエストと、同期レジスタフラグON操作リクエスト(同期リクエスト)は、n番のメモリ制御装置120−n、…、1番のメモリ制御装置120−1の間において追い越しは発生せず、同期レジスタ140に同期レジスタフラグON操作リクエスト(同期リクエスト)が到着したタイミングにおいては、全てのストアリクエストは完了していることが保障されている。そのため、CPU110が同期レジスタ140の同期フラグのONを確認した後、読出しを開始することで、DMA転送装置150がメモリ装置130にストアしたデータを、各CPU110は確実に読み出すことができる。   The store request from the DMA transfer device 150 and the synchronization register flag ON operation request (synchronization request) are not overtaken between the nth memory control device 120-n,..., The first memory control device 120-1. At the timing when the synchronization register flag ON operation request (synchronization request) arrives at the synchronization register 140, it is guaranteed that all store requests are completed. For this reason, each CPU 110 can reliably read the data stored in the memory device 130 by the DMA transfer device 150 by starting reading after the CPU 110 confirms that the synchronization flag of the synchronization register 140 is ON.

本実施形態に係るノード300は、全てのストアアクセスのリプライを待って同期レジスタ240の同期フラグをONする図3に示した関連技術と比較して、同期制御のオーバヘッド時間を短縮することができる。但し、番号の大きなCPU、例えばn番のCPU110−nに関しては、同期制御のオーバヘッド時間は図1の構成より長くなる。その理由は、図1の構成では同期リクエストがメモリ制御装置120−nを通過して同期レジスタ140−nに到達し同期フラグがONされるタイミング以降であればロードアクセスを開始することができるのに対して、図4の構成では、同期リクエストがさらにn−1のメモリ制御装置120−n−1、…、1番のメモリ制御装置120−1を通過して同期レジスタ140に到着し同期フラグがONされるタイミングまでロードアクセスを開始することができないためである。   The node 300 according to the present embodiment can reduce the overhead time of synchronization control as compared with the related technique shown in FIG. 3 in which the synchronization flag of the synchronization register 240 is turned on after waiting for all store access replies. . However, with respect to a CPU having a large number, for example, the n-th CPU 110-n, the synchronization control overhead time is longer than that in the configuration of FIG. The reason is that in the configuration of FIG. 1, the load access can be started after the timing when the synchronization request passes through the memory control device 120-n and reaches the synchronization register 140-n and the synchronization flag is turned ON. On the other hand, in the configuration of FIG. 4, the synchronization request further passes through the n-1 memory control device 120-n-1,... This is because the load access cannot be started until the timing of turning on.

以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。   Although the present invention has been described with reference to the above embodiments, the present invention is not limited to the above-described embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.

[第3の実施形態]
図5を参照すると、本発明の第3の実施形態に係るノード400は、1番からn番までの複数のCPU410と、複数のCPU410に1対1に接続された1番からn番までの複数のメモリ制御装置420と、複数のメモリ制御装置420に1対1に接続された複数のメモリ装置430と、複数のCPU410および複数のメモリ制御装置420に1対1に接続された複数の同期レジスタ440とを備えている。また、複数のメモリ制御装置420は、1番からn番まで番号順に一列に接続されている。そして、DMA転送装置450が、n番のメモリ制御装置420−nに接続されている。
[Third embodiment]
Referring to FIG. 5, a node 400 according to the third embodiment of the present invention includes a plurality of CPUs 410 from number 1 to number n, and from number 1 to number n connected to the plurality of CPUs 410 on a one-to-one basis. A plurality of memory control devices 420, a plurality of memory devices 430 connected one-to-one to the plurality of memory control devices 420, and a plurality of synchronization connected one-to-one to the plurality of CPUs 410 and the plurality of memory control devices 420. And a register 440. The plurality of memory control devices 420 are connected in a line from the first to the nth in the order of numbers. The DMA transfer device 450 is connected to the nth memory control device 420-n.

DMA転送装置450は、複数のメモリ制御装置420を経由して複数のメモリ装置430をライトアクセスした後、複数のメモリ制御装置420を経由して同期レジスタ440に上記ライトアクセスが完了したことを示す値を設定するように構成されている。また、複数のCPU410のそれぞれは、対応する同期レジスタ440の上記値を参照して上記ライトアクセスされたデータのリードアクセスの可否を決定するように構成されている。   The DMA transfer device 450 indicates that the write access to the synchronization register 440 is completed via the plurality of memory control devices 420 after performing write access to the plurality of memory devices 430 via the plurality of memory control devices 420. Configured to set a value. In addition, each of the plurality of CPUs 410 is configured to determine whether or not read access of the write-accessed data is made with reference to the value of the corresponding synchronization register 440.

このように構成されたノード400は、DMA転送装置450が各メモリ装置430にデータをストアし、そのストアしたデータを各CPU410がロードすることを保証する場合、以下のような同期制御を行う。即ち、DMA転送装置450は、複数のメモリ制御装置420を経由して複数のメモリ装置430をライトアクセスした後、複数のメモリ制御装置420を経由して同期レジスタ440に上記ライトアクセスが完了したことを示す値を設定する。複数のCPU410のそれぞれは、対応する同期レジスタ440の値を参照して上記ライトアクセスされたデータのリードアクセスの可否を決定する。   The node 400 configured as described above performs the following synchronous control when the DMA transfer device 450 stores data in each memory device 430 and ensures that each CPU 410 loads the stored data. That is, the DMA transfer device 450 performs write access to the plurality of memory devices 430 via the plurality of memory control devices 420, and then completes the write access to the synchronization register 440 via the plurality of memory control devices 420. Set the value indicating. Each of the plurality of CPUs 410 refers to the value of the corresponding synchronization register 440 to determine whether or not read access of the data that has been write-accessed is possible.

図3に示した関連技術では、DMA転送装置250は、全てのストアアクセスのリプライを待ち合わせ、全てのストアアクセスのリプライが到着してから同期レジスタ240の同期フラグをONにする。しかし、メモリ制御装置220−1からのリプライは多くのメモリ制御装置220によって中継されるためDMA転送装置250に到着するまでに時間を要する。その結果、同期レジスタ240の同期フラグをONするタイミングが遅れ、その分だけ同期制御のオーバヘッド時間が増大するという課題がある。   In the related art shown in FIG. 3, the DMA transfer apparatus 250 waits for all store access replies, and turns on the synchronization flag of the synchronization register 240 after all store access replies arrive. However, since the reply from the memory control device 220-1 is relayed by many memory control devices 220, it takes time to arrive at the DMA transfer device 250. As a result, there is a problem that the timing for turning on the synchronization flag of the synchronization register 240 is delayed, and the overhead time of the synchronization control increases accordingly.

これに対して本実施形態に係るノード400では、DMA転送装置450は、複数のメモリ制御装置420を経由して複数のメモリ装置430をライトアクセスした後、全てのストアアクセスのリプライを待たずに、複数のメモリ制御装置420を経由して同期レジスタ440に上記ライトアクセスが完了したことを示す値を設定する。そして、各CPU410は、対応する同期レジスタ440の値を確認して、ロードアクセスを開始する。その際、DMA転送装置450のライトアクセスに係るリクエストをCPU410のロードアクセスに係るリクエストが追い越すことはない。その結果、同期レジスタ440に上記ライトアクセスが完了したことを示す値を早期に設定できる分だけ、同期制御のオーバヘッド時間を図3に示した関連技術に比べて短縮することができる。   On the other hand, in the node 400 according to the present embodiment, the DMA transfer device 450 performs write access to the plurality of memory devices 430 via the plurality of memory control devices 420 and then does not wait for all store access replies. Then, a value indicating that the write access is completed is set in the synchronization register 440 via the plurality of memory control devices 420. Each CPU 410 confirms the value of the corresponding synchronization register 440 and starts load access. At this time, the request related to the write access of the DMA transfer device 450 is not overtaken by the request related to the load access of the CPU 410. As a result, the synchronization control overhead time can be shortened compared to the related art shown in FIG. 3 by the amount that the value indicating that the write access has been completed can be set earlier in the synchronization register 440.

[第4の実施形態]
図6を参照すると、本発明の第4の実施形態に係るノード500は、1番からn番までの複数のCPU510と、複数のCPU510に1対1に接続された1番からn番までの複数のメモリ制御装置520と、複数のメモリ制御装置520に1対1に接続された複数のメモリ装置530と、複数のCPU510と1番のメモリ制御装置520との間に接続された同期レジスタ540とを備えている。また、複数のメモリ制御装置520は、1番からn番まで番号順に一列に接続されている。そして、n番のメモリ制御装置520−nにDMA転送装置550が接続されている。
[Fourth Embodiment]
Referring to FIG. 6, a node 500 according to the fourth embodiment of the present invention includes a plurality of CPUs 510 having a number 1 to a number n and a number 1 to a number n connected to the plurality of CPUs 510 on a one-to-one basis. A plurality of memory control devices 520, a plurality of memory devices 530 connected to the plurality of memory control devices 520 on a one-to-one basis, and a synchronization register 540 connected between the plurality of CPUs 510 and the first memory control device 520 And. Further, the plurality of memory control devices 520 are connected in a line in order of numbers from 1 to n. A DMA transfer device 550 is connected to the nth memory control device 520-n.

DMA転送装置550は、複数のメモリ制御装置520を経由して複数のメモリ装置530をライトアクセスした後、複数のメモリ制御装置520を経由して同期レジスタ540に上記ライトアクセスが完了したことを示す値を設定するように構成されている。また、複数のCPU510のそれぞれは、同期レジスタ540の値を参照して上記ライトアクセスされたデータのリードアクセスの可否を決定するように構成されている。   The DMA transfer device 550 indicates that the write access to the synchronization register 540 has been completed via the plurality of memory control devices 520 after performing write access to the plurality of memory devices 530 via the plurality of memory control devices 520. Configured to set a value. Each of the plurality of CPUs 510 is configured to refer to the value of the synchronization register 540 to determine whether or not read access of the data that has been write-accessed is possible.

このように構成されたノード500は、DMA転送装置550が各メモリ装置530にデータをストアし、そのストアしたデータを各CPU510がロードすることを保証する場合、以下のような同期制御を行う。即ち、DMA転送装置550は、複数のメモリ制御装置520を経由して複数のメモリ装置530をライトアクセスした後、複数のメモリ制御装置520を経由して同期レジスタ540に上記ライトアクセスが完了したことを示す値を設定する。複数のCPU510のそれぞれは、同期レジスタ540の値を参照してライトアクセスされたデータのリードアクセスの可否を決定する。   The node 500 configured as described above performs the following synchronous control when the DMA transfer device 550 stores data in each memory device 530 and guarantees that each CPU 510 loads the stored data. That is, the DMA transfer device 550 performs write access to the plurality of memory devices 530 via the plurality of memory control devices 520, and then completes the write access to the synchronization register 540 via the plurality of memory control devices 520. Set the value indicating. Each of the plurality of CPUs 510 refers to the value of the synchronization register 540 and determines whether or not the read access of the data accessed for write access is possible.

図3に示した関連技術では、DMA転送装置250は、全てのストアアクセスのリプライを待ち合わせ、全てのストアアクセスのリプライが到着してから同期レジスタ240の同期フラグをONにする。しかし、メモリ制御装置120−1からのリプライは多くのメモリ制御装置120によって中継されるためDMA転送装置250に到着するまでに時間を要する。その結果、同期レジスタ240の同期フラグをONするタイミングが遅れ、その分、同期制御のオーバヘッド時間が増大するという課題がある。   In the related art shown in FIG. 3, the DMA transfer apparatus 250 waits for all store access replies, and turns on the synchronization flag of the synchronization register 240 after all store access replies arrive. However, since the reply from the memory control device 120-1 is relayed by many memory control devices 120, it takes time to arrive at the DMA transfer device 250. As a result, there is a problem that the timing for turning on the synchronization flag of the synchronization register 240 is delayed, and the overhead time of the synchronization control is increased accordingly.

これに対して本実施形態に係るノード500では、DMA転送装置550は、複数のメモリ制御装置520を経由して複数のメモリ装置530をライトアクセスした後、全てのストアアクセスのリプライを待たずに、複数のメモリ制御装置520を経由して同期レジスタ540に上記ライトアクセスが完了したことを示す値を設定する。そして、各CPU510は、同期レジスタ540の値を確認して、ロードアクセスを開始する。その際、DMA転送装置550のライトアクセスに係るリクエストをCPU510のロードアクセスに係るリクエストが追い越すことはない。その結果、同期レジスタ540に上記ライトアクセスが完了したことを示す値を早期に設定できる分だけ、同期制御のオーバヘッド時間を図3に示した関連技術に比べて短縮することができる。   On the other hand, in the node 500 according to the present embodiment, the DMA transfer device 550 does not wait for reply of all store accesses after performing write access to the plurality of memory devices 530 via the plurality of memory control devices 520. Then, a value indicating that the write access is completed is set in the synchronization register 540 via the plurality of memory control devices 520. Then, each CPU 510 confirms the value of the synchronization register 540 and starts load access. At this time, the request related to the write access of the DMA transfer device 550 is not overtaken by the request related to the load access of the CPU 510. As a result, the synchronization control overhead time can be shortened compared to the related art shown in FIG. 3 by the amount that the value indicating that the write access has been completed can be set earlier in the synchronization register 540.

本発明は、並列計算機の同期制御に利用でき、特にDMA転送装置によるストアメモリアクセスとCPUによるロードメモリアクセスの同期制御に利用できる。   The present invention can be used for synchronous control of parallel computers, and in particular for synchronous control of store memory access by a DMA transfer device and load memory access by a CPU.

100…ノード
110−1〜110−n…CPU
120−1〜120−n…メモリ制御装置
130−1〜130−n…メモリ装置
140…同期レジスタ
140−1〜140−n…同期レジスタ
150…DMA転送装置
161−1〜161−n…信号線
162−1〜162−n…信号線
163−1〜163−n…信号線
164−1〜164−n…信号線
165−1〜165−n…信号線
166…ノード間通信路
200…ノード
210−1〜210−n…CPU
220−1〜220−n…メモリ制御装置
230−1〜230−n…メモリ装置
214…同期レジスタ
250…DMA転送装置
300…ノード
400…ノード
410−1〜410−n…CPU
420−1〜420−n…メモリ制御装置
430−1〜430−n…メモリ装置
440−1〜440−n…同期レジスタ
450…DMA転送装置
500…ノード
510−1〜510−n…CPU
520−1〜520−n…メモリ制御装置
530−1〜530−n…メモリ装置
540…同期レジスタ
550…DMA転送装置
100: Nodes 110-1 to 110-n: CPU
120-1 to 120-n Memory control devices 130-1 to 130-n Memory device 140 Synchronization registers 140-1 to 140-n Synchronization register 150 DMA transfer devices 161-1 to 161-n Signal lines 162-1 to 162-n ... signal lines 163-1 to 163-n ... signal lines 164-1 to 164-n ... signal lines 165-1 to 165-n ... signal lines 166 ... inter-node communication path 200 ... node 210 -1-210-n ... CPU
220-1 to 220-n Memory control devices 230-1 to 230-n Memory device 214 Synchronous register 250 DMA transfer device 300 Node 400 Node 410-1 to 410-n CPU
420-1 to 420-n ... Memory control devices 430-1 to 430-n ... Memory devices 440-1 to 440-n ... Synchronous register 450 ... DMA transfer device 500 ... Nodes 510-1 to 510-n ... CPU
520-1 to 520-n Memory control devices 530-1 to 530-n Memory device 540 Synchronous register 550 DMA transfer device

Claims (8)

1番からn番までの複数のCPUと、前記複数のCPUに1対1に接続された1番からn番までの複数のメモリ制御装置と、前記複数のメモリ制御装置に1対1に接続された複数のメモリ装置と、前記複数のCPUおよび前記複数のメモリ制御装置に1対1に接続された複数の同期レジスタとを備え、
前記複数のメモリ制御装置は、1番からn番まで番号順に一列に接続されており、
n番の前記メモリ制御装置に接続され、複数の前記メモリ制御装置を経由して複数の前記メモリ装置をライトアクセスした後、複数の前記メモリ制御装置を経由して前記同期レジスタに前記ライトアクセスが完了したことを示す値を設定するDMA転送装置を備え、
前記複数のCPUのそれぞれは、対応する前記同期レジスタの前記値を参照して前記ライトアクセスされたデータのリードアクセスの可否を決定する、
ノード。
A plurality of CPUs from No. 1 to n, a plurality of memory control devices from No. 1 to n connected to the plurality of CPUs on a one-to-one basis, and a one-to-one connection to the plurality of memory control devices A plurality of memory devices, and a plurality of synchronous registers connected to the plurality of CPUs and the plurality of memory control devices on a one-to-one basis,
The plurality of memory control devices are connected in a row in order of numbers from No. 1 to No. n.
The nth memory control device is connected to the plurality of memory control devices via the plurality of memory control devices, and then the write access to the synchronization register is performed via the plurality of memory control devices. A DMA transfer device for setting a value indicating completion;
Each of the plurality of CPUs determines whether or not read access of the write-accessed data is performed with reference to the corresponding value of the synchronization register.
node.
前記メモリ制御装置のそれぞれは、隣接する前記メモリ制御装置から前記同期レジスタに前記値を設定する同期リクエストが入力されると、前記同期リクエストをコピーし、同じ2つの前記同期リクエストの一方を対応する前記同期レジスタに送出し、他方を反対側で隣接する前記メモリ制御装置へ送出するように構成されている、
請求項1に記載のノード。
When each of the memory control devices receives a synchronization request for setting the value in the synchronization register from the adjacent memory control device, the memory control device copies the synchronization request and corresponds to one of the same two synchronization requests. Configured to send to the synchronous register and send the other to the adjacent memory controller on the opposite side,
The node according to claim 1.
前記DMA転送装置から前記n番の前記メモリ制御装置に入力された前記複数のメモリ制御装置を経由する前記ライトアクセスのためのストアリクエストと前記同期レジスタに前記値を設定する同期リクエストとは、複数の前記メモリ制御装置を経由する途中で追い越しは行いように構成されている、
請求項1または2に記載のノード。
The store request for the write access via the plurality of memory control devices input to the nth memory control device from the DMA transfer device and the synchronization request for setting the value in the synchronization register are a plurality of Is configured to perform overtaking on the way through the memory control device.
The node according to claim 1 or 2.
1番からn番までの複数のCPUと、前記複数のCPUに1対1に接続された1番からn番までの複数のメモリ制御装置と、前記複数のメモリ制御装置に1対1に接続された複数のメモリ装置と、前記複数のCPUおよび前記複数のメモリ制御装置に1対1に接続された複数の同期レジスタと、n番の前記メモリ制御装置に接続されたDMA転送装置とを備え、前記複数のメモリ制御装置は、1番からn番まで番号順に一列に接続されている、ノードが実行する同期制御方法であって、
前記DMA転送装置は、複数の前記メモリ制御装置を経由して複数の前記メモリ装置をライトアクセスした後、複数の前記メモリ制御装置を経由して前記同期レジスタに前記ライトアクセスが完了したことを示す値を設定し、
前記複数のCPUのそれぞれは、対応する前記同期レジスタの前記値を参照して前記ライトアクセスされたデータのリードアクセスの可否を決定する、
同期制御方法。
A plurality of CPUs from No. 1 to n, a plurality of memory control devices from No. 1 to n connected to the plurality of CPUs on a one-to-one basis, and a one-to-one connection to the plurality of memory control devices A plurality of memory devices, a plurality of synchronous registers connected to the plurality of CPUs and the plurality of memory control devices on a one-to-one basis, and a DMA transfer device connected to the nth memory control device. The plurality of memory control devices are connected in a line in order from number 1 to number n, and are synchronized control methods executed by nodes.
The DMA transfer device performs write access to the plurality of memory devices via the plurality of memory control devices, and then indicates that the write access to the synchronization register is completed via the plurality of memory control devices. Set the value
Each of the plurality of CPUs determines whether or not read access of the write-accessed data is performed with reference to the corresponding value of the synchronization register.
Synchronous control method.
前記メモリ制御装置のそれぞれは、隣接する前記メモリ制御装置から前記同期レジスタに前記値を設定する同期リクエストが入力されると、前記同期リクエストをコピーし、同じ2つの前記同期リクエストの一方を対応する前記同期レジスタに送出し、他方を反対側で隣接する前記メモリ制御装置へ送出する、
請求項4に記載の同期制御方法。
When each of the memory control devices receives a synchronization request for setting the value in the synchronization register from the adjacent memory control device, the memory control device copies the synchronization request and corresponds to one of the same two synchronization requests. Send to the sync register and send the other to the adjacent memory controller on the opposite side,
The synchronization control method according to claim 4.
前記ノードは、前記DMA転送装置から前記n番の前記メモリ制御装置に入力された前記複数のメモリ制御装置を経由する前記ライトアクセスのためのストアリクエストと前記同期レジスタに前記値を設定する同期リクエストとは、複数の前記メモリ制御装置を経由する途中で追い越しは行いように構成されている、
請求項4または5に記載の同期制御方法。
The node includes a store request for the write access that is input from the DMA transfer device to the nth memory control device, and a synchronization request that sets the value in the synchronization register. Is configured to perform overtaking on the way through a plurality of the memory control devices,
The synchronization control method according to claim 4 or 5.
1番からn番までの複数のCPUと、前記複数のCPUに1対1に接続された1番からn番までの複数のメモリ制御装置と、前記複数のメモリ制御装置に1対1に接続された複数のメモリ装置と、前記複数のCPUと1番の前記メモリ制御装置との間に接続された同期レジスタとを備え、
前記複数のメモリ制御装置は、1番からn番まで番号順に一列に接続されており、
n番の前記メモリ制御装置に接続され、複数の前記メモリ制御装置を経由して複数の前記メモリ装置をライトアクセスした後、複数の前記メモリ制御装置を経由して前記同期レジスタに前記ライトアクセスが完了したことを示す値を設定するDMA転送装置を備え、
前記複数のCPUのそれぞれは、前記同期レジスタの前記値を参照して前記ライトアクセスされたデータのリードアクセスの可否を決定する、
ノード。
A plurality of CPUs from No. 1 to n, a plurality of memory control devices from No. 1 to n connected to the plurality of CPUs on a one-to-one basis, and a one-to-one connection to the plurality of memory control devices A plurality of memory devices, and a synchronization register connected between the plurality of CPUs and the first memory control device,
The plurality of memory control devices are connected in a row in order of numbers from No. 1 to No. n.
The nth memory control device is connected to the plurality of memory control devices via the plurality of memory control devices, and then the write access to the synchronization register is performed via the plurality of memory control devices. A DMA transfer device for setting a value indicating completion;
Each of the plurality of CPUs determines whether or not read access to the write-accessed data is performed with reference to the value of the synchronization register.
node.
1番からn番までの複数のCPUと、前記複数のCPUに1対1に接続された1番からn番までの複数のメモリ制御装置と、前記複数のメモリ制御装置に1対1に接続された複数のメモリ装置と、前記複数のCPUと1番の前記メモリ制御装置との間に接続された同期レジスタと、n番の前記メモリ制御装置に接続されたDMA転送装置とを備え、前記複数のメモリ制御装置は、1番からn番まで番号順に一列に接続されている、ノードが実行する同期制御方法であって、
前記DMA転送装置は、複数の前記メモリ制御装置を経由して複数の前記メモリ装置をライトアクセスした後、複数の前記メモリ制御装置を経由して前記同期レジスタに前記ライトアクセスが完了したことを示す値を設定し、
前記複数のCPUのそれぞれは、前記同期レジスタの前記値を参照して前記ライトアクセスされたデータのリードアクセスの可否を決定する、
同期制御方法。
A plurality of CPUs from No. 1 to n, a plurality of memory control devices from No. 1 to n connected to the plurality of CPUs on a one-to-one basis, and a one-to-one connection to the plurality of memory control devices A plurality of memory devices, a synchronization register connected between the plurality of CPUs and the first memory control device, and a DMA transfer device connected to the nth memory control device, The plurality of memory control devices are connected in a line in order from number 1 to number n, and are synchronized control methods executed by nodes.
The DMA transfer device performs write access to the plurality of memory devices via the plurality of memory control devices, and then indicates that the write access to the synchronization register is completed via the plurality of memory control devices. Set the value
Each of the plurality of CPUs determines whether or not read access to the write-accessed data is performed with reference to the value of the synchronization register.
Synchronous control method.
JP2018025269A 2018-02-15 2018-02-15 node Active JP7031349B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018025269A JP7031349B2 (en) 2018-02-15 2018-02-15 node

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018025269A JP7031349B2 (en) 2018-02-15 2018-02-15 node

Publications (2)

Publication Number Publication Date
JP2019139719A true JP2019139719A (en) 2019-08-22
JP7031349B2 JP7031349B2 (en) 2022-03-08

Family

ID=67695358

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018025269A Active JP7031349B2 (en) 2018-02-15 2018-02-15 node

Country Status (1)

Country Link
JP (1) JP7031349B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02238553A (en) * 1989-03-13 1990-09-20 Nippon I B M Kk Multiprocessor system
US20100327923A1 (en) * 2009-06-29 2010-12-30 Mosaid Technologies Incorporated Bridging device having a frequency configurable clock domain
JP2016095881A (en) * 2007-11-26 2016-05-26 スパンション エルエルシー Storage system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02238553A (en) * 1989-03-13 1990-09-20 Nippon I B M Kk Multiprocessor system
US5222229A (en) * 1989-03-13 1993-06-22 International Business Machines Multiprocessor system having synchronization control mechanism
JP2016095881A (en) * 2007-11-26 2016-05-26 スパンション エルエルシー Storage system and method
US20100327923A1 (en) * 2009-06-29 2010-12-30 Mosaid Technologies Incorporated Bridging device having a frequency configurable clock domain
JP2012531635A (en) * 2009-06-29 2012-12-10 モサイド・テクノロジーズ・インコーポレーテッド Bridge device with frequency configurable clock domain (BRIDGINGDEVICE)

Also Published As

Publication number Publication date
JP7031349B2 (en) 2022-03-08

Similar Documents

Publication Publication Date Title
CN101582824A (en) Node number automatic distribution method for controlling secondary node equipment of local area network bus
CN101706760B (en) Matrix transposition automatic control circuit system and matrix transposition method
US11874780B2 (en) Packet processing system, method and device utilizing a port client chain
WO2012132692A1 (en) Parallel processing system and parallel processing system operation method
JP2019139719A (en) node
US8117626B2 (en) Asynchronous remote procedure calling method and computer product in shared-memory multiprocessor
US20050228914A1 (en) Matrix type bus connection system
JP5383159B2 (en) Bus relay apparatus and control method
US20100153610A1 (en) Bus arbiter and bus system
CN106201935A (en) For processing the device and method that in storage queue, data are relevant
US20070079107A1 (en) Integrated circuit with a plurality of communicating digital signal processors
JPH05282242A (en) Bus control system
JP2004287963A (en) Retrieval device for parallelly processing retrieval request, retrieval method and program
US20230111351A1 (en) Topology of accelerators
JPH07319829A (en) Method for transferring data
JP4784838B2 (en) Distribution device, communication system, and communication method
JP2522406B2 (en) Fully integrated network parallel processing method and device
JPH031633A (en) Transmission/reception buffer management system for packet switching circuit
JP3547555B2 (en) Image processing device
KR20060063994A (en) Method and apparatus for efficient ordered stores over an interconnection network
JPH03252848A (en) Variable bus width designation/information reception system for split bus
JPH02100155A (en) Data processing system
JPH03265904A (en) Process control system
JP2005107771A (en) High-throughput data transfer system
JPH03226845A (en) Tree structure data multiprocessing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220207

R151 Written notification of patent or utility model registration

Ref document number: 7031349

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151