JP2020046821A - ニューラルネットワーク装置 - Google Patents
ニューラルネットワーク装置 Download PDFInfo
- Publication number
- JP2020046821A JP2020046821A JP2018173649A JP2018173649A JP2020046821A JP 2020046821 A JP2020046821 A JP 2020046821A JP 2018173649 A JP2018173649 A JP 2018173649A JP 2018173649 A JP2018173649 A JP 2018173649A JP 2020046821 A JP2020046821 A JP 2020046821A
- Authority
- JP
- Japan
- Prior art keywords
- area
- data
- router
- neural network
- backward
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
Description
20 データ処理部
22 通信部
24 学習部
26 設定部
28 部分領域
28−F 順方向領域
28−R 逆方向領域
30 コア
40 ルータ
42 通信路
54 コア送信部
56 コア受信部
58 領域外送信部
60 領域外受信部
62 領域内送信部
64 領域内受信部
70 ルーティング部
Claims (12)
- それぞれが、ニューラルネットワークにおける一部の構成要素の演算および処理を実行する複数のコアと、
前記複数のコアのそれぞれから出力されたデータを、前記ニューラルネットワークの構成に従って演算および処理がされるように前記複数のコアの何れか1つのコアに転送する複数のルータと
を備え、
前記複数のコアのそれぞれは、前記ニューラルネットワークを順方向に伝播する順方向データ、および、前記ニューラルネットワークを逆方向に伝播する逆方向データの少なくとも一方を出力し、
前記複数のルータのそれぞれは、複数の部分領域の何れか1つに含まれており、
前記複数の部分領域のそれぞれは、順方向領域または逆方向領域であり、
前記順方向領域に含まれるルータは、同一部分領域内の他のルータに対して前記順方向データを送信し、
前記逆方向領域に含まれるルータは、同一部分領域内の他のルータに対して前記逆方向データを送信する
ニューラルネットワーク装置。 - 前記順方向領域に含まれるルータは、同一部分領域内の他のルータに対して前記逆方向データを送信せず、
前記逆方向領域に含まれるルータは、同一部分領域内の他のルータに対して前記順方向データを送信しない
請求項1に記載のニューラルネットワーク装置。 - 前記複数のルータのそれぞれは、他の部分領域に含まれる何れかの他のルータに接続された領域外送信部および領域外受信部を有し、
前記領域外送信部は、前記順方向データおよび前記逆方向データを前記接続された他のルータに送信し、
前記領域外受信部は、前記順方向データおよび前記逆方向データを前記接続された他のルータから受信する
請求項1または2に記載のニューラルネットワーク装置。 - 前記複数のルータのそれぞれは、同一部分領域内に含まれる何れかの他のルータに接続された領域内送信部および領域内受信部をさらに有し、
前記順方向領域に含まれるルータが有する前記領域内送信部は、前記順方向データを前記接続された他のルータに送信し、
前記順方向領域に含まれるルータが有する前記領域内受信部は、前記順方向データを前記接続された他のルータから受信する
請求項3に記載のニューラルネットワーク装置。 - 前記逆方向領域に含まれるルータが有する前記領域内送信部は、前記逆方向データを前記接続された他のルータに送信し、
前記逆方向領域に含まれるルータが有する前記領域内受信部は、前記逆方向データを前記接続された他のルータから受信する
請求項4に記載のニューラルネットワーク装置。 - 前記複数のルータのうちの所定のルータは、前記複数のコアのうちの何れかのコアに接続されたコア送信部およびコア受信部をさらに有し、
前記コア送信部は、前記順方向データおよび前記逆方向データを前記接続されたコアに送信し、
前記コア受信部は、前記順方向データおよび前記逆方向データを前記接続されたコアから受信する
請求項5に記載のニューラルネットワーク装置。 - 前記複数の部分領域は、垂直方向に積層される複数の回路である
請求項6に記載のニューラルネットワーク装置。 - 前記複数の部分領域のそれぞれは、
マトリクス状に配置されたM(Mは2以上)×N(Nは2以上)個のルータと、
前記M×N個のルータに一対一に対応したM×N個のコアと、
を含む請求項7に記載のニューラルネットワーク装置。 - 前記複数のルータのそれぞれは、
直下の層に形成された部分領域に含まれる同一のマトリクス位置の他のルータに接続される前記領域外送信部および前記領域外受信部を含む第1組と、
直上の層に形成された部分領域に含まれる同一のマトリクス位置の他のルータに接続される前記領域外送信部および前記領域外受信部を含む第2組と、
を有する請求項8に記載のニューラルネットワーク装置。 - 前記複数のルータのそれぞれは、
同一部分領域内の行方向に隣接する他のルータに接続される前記領域内送信部および前記領域内受信部を含む第3組と、
同一部分領域内の前記第3組とは逆の行方向に隣接する他のルータに接続される前記領域内送信部および前記領域内受信部を含む第4組と、
同一部分領域内の列方向に隣接する他のルータに接続される前記領域内送信部および前記領域内受信部を含む第5組と、
同一部分領域内の前記第5組とは逆の列方向に隣接する他のルータに接続される前記領域内送信部および前記領域内受信部を含む第6組と、
をさらに有する
請求項9に記載のニューラルネットワーク装置。 - 前記複数の部分領域のそれぞれは、
M(Mは1以上)×N(Nは2以上)個のルータと、
前記M×N個のルータに一対一に対応したM×N個のコアと、
を含む請求項7に記載のニューラルネットワーク装置。 - 前記複数の部分領域は、前記順方向領域と前記逆方向領域とが交互に積層されている
請求項7から11の何れか1項に記載のニューラルネットワーク装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018173649A JP7003021B2 (ja) | 2018-09-18 | 2018-09-18 | ニューラルネットワーク装置 |
US16/299,634 US11455526B2 (en) | 2018-09-18 | 2019-03-12 | Neural network device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018173649A JP7003021B2 (ja) | 2018-09-18 | 2018-09-18 | ニューラルネットワーク装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020046821A true JP2020046821A (ja) | 2020-03-26 |
JP7003021B2 JP7003021B2 (ja) | 2022-01-20 |
Family
ID=69772959
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018173649A Active JP7003021B2 (ja) | 2018-09-18 | 2018-09-18 | ニューラルネットワーク装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11455526B2 (ja) |
JP (1) | JP7003021B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05197707A (ja) * | 1992-08-05 | 1993-08-06 | Hitachi Ltd | 情報処理システム |
EP2122542A1 (en) * | 2006-12-08 | 2009-11-25 | Medhat Moussa | Architecture, system and method for artificial neural network implementation |
JP2017502418A (ja) * | 2013-12-30 | 2017-01-19 | ネットスピード システムズ | 可変な数のコア群、入出力(i/o)装置、ディレクトリ構造、及びコヒーレンシポイントを有する、キャッシュコヒーレントnoc(ネットワークオンチップ) |
US20170193361A1 (en) * | 2015-12-31 | 2017-07-06 | Microsoft Technology Licensing, Llc | Neural network training performance optimization framework |
JP2018097716A (ja) * | 2016-12-15 | 2018-06-21 | 富士通株式会社 | 電子回路装置 |
US20180192265A1 (en) * | 2016-12-30 | 2018-07-05 | Riseio, Inc. | System and Method for a Building-Integrated Predictive Service Communications Platform |
WO2018154494A1 (en) * | 2017-02-23 | 2018-08-30 | Cerebras Systems Inc. | Accelerated deep learning |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04130968A (ja) | 1990-09-21 | 1992-05-01 | Toshiba Corp | ニューラルネットワークを用いた配線方式 |
US8549249B1 (en) | 2009-09-21 | 2013-10-01 | Tilera Corporation | Supporting secondary atomic operations using primary atomic operations |
US9263036B1 (en) * | 2012-11-29 | 2016-02-16 | Google Inc. | System and method for speech recognition using deep recurrent neural networks |
KR20150034900A (ko) | 2013-09-26 | 2015-04-06 | 삼성전자주식회사 | 뉴런 회로들을 연결하는 시냅스 회로, 뉴로모픽 회로를 구성하는 단위 셀 및 뉴로모픽 회로 |
US9886275B1 (en) | 2013-10-09 | 2018-02-06 | Mellanox Technologies Ltd. | Multi-core processor using three dimensional integration |
US10474948B2 (en) | 2015-03-27 | 2019-11-12 | University Of Dayton | Analog neuromorphic circuit implemented using resistive memories |
US9934463B2 (en) | 2015-05-15 | 2018-04-03 | Arizona Board Of Regents On Behalf Of Arizona State University | Neuromorphic computational system(s) using resistive synaptic devices |
US11195079B2 (en) * | 2017-11-22 | 2021-12-07 | Intel Corporation | Reconfigurable neuro-synaptic cores for spiking neural network |
US20190236444A1 (en) * | 2018-01-30 | 2019-08-01 | International Business Machines Corporation | Functional synthesis of networks of neurosynaptic cores on neuromorphic substrates |
-
2018
- 2018-09-18 JP JP2018173649A patent/JP7003021B2/ja active Active
-
2019
- 2019-03-12 US US16/299,634 patent/US11455526B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05197707A (ja) * | 1992-08-05 | 1993-08-06 | Hitachi Ltd | 情報処理システム |
EP2122542A1 (en) * | 2006-12-08 | 2009-11-25 | Medhat Moussa | Architecture, system and method for artificial neural network implementation |
JP2017502418A (ja) * | 2013-12-30 | 2017-01-19 | ネットスピード システムズ | 可変な数のコア群、入出力(i/o)装置、ディレクトリ構造、及びコヒーレンシポイントを有する、キャッシュコヒーレントnoc(ネットワークオンチップ) |
US20170193361A1 (en) * | 2015-12-31 | 2017-07-06 | Microsoft Technology Licensing, Llc | Neural network training performance optimization framework |
JP2018097716A (ja) * | 2016-12-15 | 2018-06-21 | 富士通株式会社 | 電子回路装置 |
US20180192265A1 (en) * | 2016-12-30 | 2018-07-05 | Riseio, Inc. | System and Method for a Building-Integrated Predictive Service Communications Platform |
WO2018154494A1 (en) * | 2017-02-23 | 2018-08-30 | Cerebras Systems Inc. | Accelerated deep learning |
Also Published As
Publication number | Publication date |
---|---|
JP7003021B2 (ja) | 2022-01-20 |
US11455526B2 (en) | 2022-09-27 |
US20200090037A1 (en) | 2020-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6794336B2 (ja) | ニューラルネットワーク装置 | |
US8601423B1 (en) | Asymmetric mesh NoC topologies | |
US20180026878A1 (en) | Scalable deadlock-free deterministic minimal-path routing for dragonfly networks | |
Bogatyrev et al. | Efficiency of redundant service with destruction of expired and irrelevant request copies in real-time clusters | |
US20020156918A1 (en) | Dynamic path selection with in-order delivery within sequence in a communication network | |
JP2016503594A (ja) | インターコネクトにおける不均一なチャネル容量 | |
US11620501B2 (en) | Neural network apparatus | |
CA2756503A1 (en) | Addressing scheme and message routing for a networked device | |
CA2756504A1 (en) | Network topology comprising a hierarchical structure of nodes grouped into units | |
CA2756501A1 (en) | Method and apparatus for packet routing | |
EP2297905B1 (en) | Cascaded memory tables for searching | |
CN105765557A (zh) | 用于混合式电路交换和分组交换路由器的架构和方法 | |
US8825986B2 (en) | Switches and a network of switches | |
US8953497B2 (en) | Modified tree-based multicast routing schema | |
CN106104503A (zh) | 使用统一api对用于转发的服务器和架构编程以用于细粒度网络优化 | |
TWI661700B (zh) | 網路拓樸系統及其拓樸建立方法 | |
CN107409102A (zh) | 对多机架以太信道对等体的自动发现和配设 | |
JP2020046821A (ja) | ニューラルネットワーク装置 | |
CN105224501B (zh) | 改进圆环面网络及其确定数据包传输路径的方法和装置 | |
Bhardwaj et al. | Message broadcasting via a new fault tolerant irregular advance omega network in faulty and nonfaulty network environments | |
CN109952809A (zh) | 四元全网状以维度驱动的网络架构 | |
CN116915708A (zh) | 路由数据包的方法、处理器及可读存储介质 | |
CN113824633B (zh) | 园区网中路由发布方法及网络设备 | |
US11082325B2 (en) | Communication control method and information processing apparatus | |
Lim | Enhancing robustness of per-packet load-balancing for fat-tree |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200701 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210420 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211228 |