JP2021507349A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2021507349A5 JP2021507349A5 JP2020531461A JP2020531461A JP2021507349A5 JP 2021507349 A5 JP2021507349 A5 JP 2021507349A5 JP 2020531461 A JP2020531461 A JP 2020531461A JP 2020531461 A JP2020531461 A JP 2020531461A JP 2021507349 A5 JP2021507349 A5 JP 2021507349A5
- Authority
- JP
- Japan
- Prior art keywords
- crosspoint
- resistor
- array
- counter
- resistance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Claims (14)
- 抵抗処理ユニット(RPU)アレイのクロスポイント・デバイスに重みを記憶するための方法であって、
前記クロスポイント・デバイスの複数の単一ビット・カウンタからの各単一ビット・カウンタの状態を設定するステップであり、前記単一ビット・カウンタの前記状態が前記クロスポイント・デバイスに記憶される前記重みを表す、前記設定するステップと、
前記クロスポイント・デバイスの抵抗器デバイスの電気コンダクタンスを調整するステップであり、前記抵抗器デバイスが複数の抵抗回路を含み、各抵抗回路が前記複数の単一ビット・カウンタからのそれぞれの単一ビット・カウンタに関連付けられ、前記電気コンダクタンスが、前記関連付けられた単一ビット・カウンタの状態に応じて、各抵抗回路を活性化または非活性化することによって調整される、前記調整するステップと、
を含む方法。 - 前記抵抗回路が直列に通信可能に結合されている、請求項1に記載の方法。
- 前記抵抗回路が2次関数的に増加する抵抗を含み、第1の抵抗回路が所定の抵抗を有し、さらなる後続の各抵抗回路が、前の抵抗回路の値の2倍の抵抗を含む、請求項1に記載の方法。
- 前記抵抗回路が電界効果トランジスタ(FET)を含む、請求項3に記載の方法。
- 前記FETが2次関数的に減少するトランジスタ幅に少なくとも部分的に基づいて、2次関数的に増加する抵抗を含む、請求項4に記載の方法。
- 前記FETが、2次関数的に増加するゲート長に少なくとも部分的に基づいて、2次関数的に増加する抵抗を含む、請求項4に記載の方法。
- 前記FETが、FETの縦型スタックの一部である、請求項6に記載の方法。
- 前記抵抗回路が抵抗器ラダーを含み、前記抵抗回路のそれぞれが、
論理ゲートと、
直列の抵抗器と、
を備え、
前記論理ゲートが、前記対応する単一ビット・カウンタの前記状態に少なくとも部分的に基づいて活性化される、
請求項3に記載の方法。 - 抵抗処理ユニット(RPU)アレイのクロスポイントに重み値を記憶するためのクロスポイント・デバイスであって、
複数の単一ビット・カウンタを含むカウンタであり、前記単一ビット・カウンタの状態が前記クロスポイント・デバイスに記憶される前記重みを表す、前記カウンタと、
複数の抵抗回路を備える抵抗器デバイスであり、各抵抗回路が前記複数の単一ビット・カウンタからのそれぞれの単一ビット・カウンタに関連付けられており、前記抵抗回路が前記関連付けられた単一ビット・カウンタの状態に従って活性化または非活性化され、前記抵抗器デバイスの電気コンダクタンスが、活性化されている前記抵抗回路に少なくとも部分的に基づいて調整される、前記抵抗器デバイスと、
を備える、クロスポイント・デバイス。 - ニューラル・ネットワークを実施するためのクロスポイント・アレイであって、
前記クロスポイント・アレイの各ノードにある複数のクロスポイント・デバイスを含み、各ノードが前記ニューラル・ネットワークのニューロン間の接続を表し、各ノードが当該ノードに割り当てられた重みを記憶し、前記複数のクロスポイント・デバイスの各々が請求項9に記載のものである、クロスポイント・アレイ。 - ニューラル・ネットワークを実施するためのシステムであって、
請求項10に記載のクロスポイント・アレイと、
前記クロスポイント・アレイの各クロスポイント・デバイスに記憶された値を調整するように構成されたグローバル・コントローラと、
を備えるシステム。 - 前記クロスポイント・アレイが、
各クロスポイントにおけるローカル・メモリであって、前記クロスポイントの前記クロスポイント・デバイスに割り当てられた複数の重みを記憶するように構成され、前記複数の重みのそれぞれが前記ニューラル・ネットワークからのそれぞれの層間接続に対応する、前記ローカル・メモリと、
各クロスポイントにおけるローカル・コントローラであって、前記ローカル・メモリと結合され、
前記ローカル・メモリから重みを読み出し、
前記クロスポイントにおける前記クロスポイント・デバイスのカウンタの値として重みを設定する、
ように構成されている、前記ローカル・コントローラと、
をさらに備える、請求項11に記載のシステム。 - 前記ローカル・コントローラが前記クロスポイント・デバイスの前記カウンタの前記値を前記ローカル・メモリに記憶するようにさらに構成されている、請求項12に記載のシステム。
- ニューラル・ネットワークを実施するための方法であって、
グローバル・コントローラによって、クロスポイント・アレイにロードされるマトリックスを選択するステップであり、前記マトリックスが前記ニューラル・ネットワークの2つの層間の接続に対応する、前記選択するステップと、
それに応じて、前記クロスポイント・アレイのクロスポイントのローカル・コントローラによって、前記クロスポイントに関連付けられたクロスポイント・デバイスの重み値をロードするステップであり、前記重み値が前記選択されたマトリックスの前記クロスポイントに割り当てられ、請求項1ないし8のいずれかに記載の方法のステップを含む、前記ロードするステップと、
それに応じて、前記クロスポイント・デバイスによって、前記クロスポイントに関連付けられた抵抗器デバイスのコンダクタンスを調整するステップであり、前記コンダクタンスが前記クロスポイント・デバイスにロードされた前記重み値に対応する、前記調整するステップと、
を含む、方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/840,322 US11222259B2 (en) | 2017-12-13 | 2017-12-13 | Counter based resistive processing unit for programmable and reconfigurable artificial-neural-networks |
US15/840,322 | 2017-12-13 | ||
PCT/IB2018/059228 WO2019116128A1 (en) | 2017-12-13 | 2018-11-22 | Counter based resistive processing unit for programmable and reconfigurable artificial-neural-networks |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021507349A JP2021507349A (ja) | 2021-02-22 |
JP2021507349A5 true JP2021507349A5 (ja) | 2021-04-01 |
JP7336819B2 JP7336819B2 (ja) | 2023-09-01 |
Family
ID=66696262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020531461A Active JP7336819B2 (ja) | 2017-12-13 | 2018-11-22 | 抵抗処理ユニット・アレイのクロスポイント・デバイスに重みを記憶するための方法、そのクロスポイント・デバイス、ニューラル・ネットワークを実施するためのクロスポイント・アレイ、そのシステム、およびニューラル・ネットワークを実施するための方法 |
Country Status (6)
Country | Link |
---|---|
US (3) | US11222259B2 (ja) |
JP (1) | JP7336819B2 (ja) |
CN (1) | CN111433792B (ja) |
DE (1) | DE112018005726B4 (ja) |
GB (1) | GB2582088B (ja) |
WO (1) | WO2019116128A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180136202A (ko) * | 2017-06-14 | 2018-12-24 | 에스케이하이닉스 주식회사 | 컨볼루션 신경망 및 컨볼루션 신경망을 가진 신경망 시스템 |
US10303998B2 (en) | 2017-09-28 | 2019-05-28 | International Business Machines Corporation | Floating gate for neural network inference |
US11222259B2 (en) | 2017-12-13 | 2022-01-11 | International Business Machines Corporation | Counter based resistive processing unit for programmable and reconfigurable artificial-neural-networks |
CA3020884A1 (en) * | 2018-01-24 | 2019-07-24 | Wai Kit Ricky Fok | Parallel residual neural network architechture and system and method for trainning a residual neural network |
US20190251430A1 (en) * | 2018-02-13 | 2019-08-15 | International Business Machines Corporation | Mixed signal cmos rpu with digital weight storage |
US11403529B2 (en) * | 2018-04-05 | 2022-08-02 | Western Digital Technologies, Inc. | Noise injection training for memory-based learning |
US10601471B1 (en) | 2018-08-29 | 2020-03-24 | Micron Technology, Inc. | Neuron calculator for artificial neural networks |
US11449730B2 (en) * | 2018-12-24 | 2022-09-20 | Wipro Limited | Method and system for verifying classification performed by an artificial neural network |
US20210034953A1 (en) * | 2019-08-02 | 2021-02-04 | Applied Materials, Inc. | Reconfigurable finfet-based artificial neuron and synapse devices |
US11676031B2 (en) * | 2020-02-25 | 2023-06-13 | Ventech Solutions, Inc. | Anatomical position monitoring for bodily pressure ulcers |
WO2021183135A1 (en) * | 2020-03-13 | 2021-09-16 | Hewlett-Packard Development Company, L.P. | Transmitting node instructions |
US11651107B2 (en) | 2020-03-17 | 2023-05-16 | Ventech Solutions, Inc. | Securing personally identifiable and private information in conversational AI-based communication |
US11568262B2 (en) | 2020-03-25 | 2023-01-31 | Ventech Solutions, Inc. | Neural network based radiowave monitoring of fall characteristics in injury diagnosis |
US11133063B1 (en) * | 2020-06-22 | 2021-09-28 | International Business Machines Corporation | Suppressing undesired programming at half-selected devices in a crosspoint array of 3-terminal resistive memory |
CN113052306B (zh) * | 2021-03-04 | 2022-04-22 | 华南理工大学 | 一种基于堆叠式宽度学习模型的在线学习芯片 |
CN113437964B (zh) * | 2021-06-10 | 2022-09-16 | 安徽大学 | 一种由rram构成的可阻态区分且可重构的运算电路 |
US11900979B2 (en) * | 2021-10-22 | 2024-02-13 | Intel Corporation | Probabilistic in-memory computing |
Family Cites Families (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US2715656A (en) | 1952-08-02 | 1955-08-16 | Bell Telephone Labor Inc | Electrical information system |
US4874963A (en) * | 1988-02-11 | 1989-10-17 | Bell Communications Research, Inc. | Neuromorphic learning networks |
JPH02236659A (ja) * | 1989-03-09 | 1990-09-19 | Fujitsu Ltd | 半導体情報処理装置 |
JP2517410B2 (ja) * | 1989-05-15 | 1996-07-24 | 三菱電機株式会社 | 学習機能付集積回路装置 |
JPH0634248B2 (ja) | 1989-12-16 | 1994-05-02 | 三菱電機株式会社 | 半導体神経回路網 |
JPH06215163A (ja) * | 1993-01-18 | 1994-08-05 | Hitachi Ltd | ニューラルネット構築支援方法及び装置、ニューラルネットテスト装置、薬注制御システム |
JPH0884078A (ja) * | 1994-09-09 | 1996-03-26 | Fujitsu Ltd | D/a変換器 |
US6185143B1 (en) | 2000-02-04 | 2001-02-06 | Hewlett-Packard Company | Magnetic random access memory (MRAM) device including differential sense amplifiers |
US6876989B2 (en) | 2002-02-13 | 2005-04-05 | Winbond Electronics Corporation | Back-propagation neural network with enhanced neuron characteristics |
US7079436B2 (en) * | 2003-09-30 | 2006-07-18 | Hewlett-Packard Development Company, L.P. | Resistive cross point memory |
US6990030B2 (en) * | 2003-10-21 | 2006-01-24 | Hewlett-Packard Development Company, L.P. | Magnetic memory having a calibration system |
US7913130B2 (en) * | 2003-10-31 | 2011-03-22 | Hewlett-Packard Development Company, L.P. | Multi-sample read circuit having test mode of operation |
US7826248B2 (en) | 2008-05-20 | 2010-11-02 | Seagate Technology Llc | Write verify method for resistive random access memory |
US8009455B2 (en) | 2009-01-20 | 2011-08-30 | Ovonyx, Inc. | Programmable resistance memory |
US8275727B2 (en) * | 2009-11-13 | 2012-09-25 | International Business Machines Corporation | Hardware analog-digital neural networks |
US8655813B2 (en) * | 2010-12-30 | 2014-02-18 | International Business Machines Corporation | Synaptic weight normalized spiking neuronal networks |
US8856055B2 (en) | 2011-04-08 | 2014-10-07 | International Business Machines Corporation | Reconfigurable and customizable general-purpose circuits for neural networks |
US8812414B2 (en) * | 2011-05-31 | 2014-08-19 | International Business Machines Corporation | Low-power event-driven neural computing architecture in neural networks |
US8542521B2 (en) | 2011-09-12 | 2013-09-24 | Kabushiki Kaisha Toshiba | Semiconductor storage device including memory cells capable of holding data |
US9015092B2 (en) | 2012-06-04 | 2015-04-21 | Brain Corporation | Dynamically reconfigurable stochastic learning apparatus and methods |
US9412446B1 (en) | 2013-08-16 | 2016-08-09 | Sandia Corporation | Multilevel resistive information storage and retrieval |
WO2015065316A1 (en) | 2013-10-28 | 2015-05-07 | Hewlett-Packard Development Company, L.P. | Geometry dependent voltage biases for asymmetric resistive memories |
KR102267237B1 (ko) * | 2014-03-07 | 2021-06-18 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 반도체 장치 및 전자 기기 |
US20150278681A1 (en) * | 2014-04-01 | 2015-10-01 | Boise State University | Memory controlled circuit system and apparatus |
US9466362B2 (en) * | 2014-08-12 | 2016-10-11 | Arizona Board Of Regents On Behalf Of Arizona State University | Resistive cross-point architecture for robust data representation with arbitrary precision |
US9934463B2 (en) * | 2015-05-15 | 2018-04-03 | Arizona Board Of Regents On Behalf Of Arizona State University | Neuromorphic computational system(s) using resistive synaptic devices |
US9847125B2 (en) | 2015-08-05 | 2017-12-19 | University Of Rochester | Resistive memory accelerator |
US10387778B2 (en) * | 2015-09-29 | 2019-08-20 | International Business Machines Corporation | Scalable architecture for implementing maximization algorithms with resistive devices |
US10248907B2 (en) | 2015-10-20 | 2019-04-02 | International Business Machines Corporation | Resistive processing unit |
US10901939B2 (en) | 2015-10-30 | 2021-01-26 | International Business Machines Corporation | Computer architecture with resistive processing units |
US10043796B2 (en) * | 2016-02-01 | 2018-08-07 | Qualcomm Incorporated | Vertically stacked nanowire field effect transistors |
US10671911B2 (en) * | 2016-02-19 | 2020-06-02 | International Business Machines Corporation | Current mirror scheme for an integrating neuron circuit |
WO2017155544A1 (en) * | 2016-03-11 | 2017-09-14 | Hewlett Packard Enterprise Development Lp | Hardware accelerators for calculating node values of neural networks |
CN106158017B (zh) * | 2016-06-20 | 2019-05-17 | 北京大学 | 阻变运算存储设备 |
US9646243B1 (en) | 2016-09-12 | 2017-05-09 | International Business Machines Corporation | Convolutional neural networks using resistive processing unit array |
US9715656B1 (en) | 2016-09-12 | 2017-07-25 | International Business Machines Corporation | Killing asymmetric resistive processing units for neural network training |
US9779355B1 (en) | 2016-09-15 | 2017-10-03 | International Business Machines Corporation | Back propagation gates and storage capacitor for neural networks |
US9659249B1 (en) * | 2016-09-27 | 2017-05-23 | International Business Machines Corporation | Pre-programmed resistive cross-point array for neural network |
US10127494B1 (en) * | 2017-08-02 | 2018-11-13 | Google Llc | Neural network crossbar stack |
US11222259B2 (en) | 2017-12-13 | 2022-01-11 | International Business Machines Corporation | Counter based resistive processing unit for programmable and reconfigurable artificial-neural-networks |
-
2017
- 2017-12-13 US US15/840,322 patent/US11222259B2/en active Active
-
2018
- 2018-11-22 JP JP2020531461A patent/JP7336819B2/ja active Active
- 2018-11-22 DE DE112018005726.7T patent/DE112018005726B4/de active Active
- 2018-11-22 CN CN201880077961.9A patent/CN111433792B/zh active Active
- 2018-11-22 WO PCT/IB2018/059228 patent/WO2019116128A1/en active Application Filing
- 2018-11-22 GB GB2007432.4A patent/GB2582088B/en active Active
-
2021
- 2021-11-04 US US17/518,629 patent/US11875249B2/en active Active
-
2023
- 2023-11-16 US US18/510,755 patent/US20240086697A1/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021507349A5 (ja) | ||
GB2582088A (en) | Counter based resistive processing unit for programmable and reconfigurable artificial-neural-networks | |
GB2581731A (en) | Training of artificial neural networks | |
KR101432202B1 (ko) | Stdp 및 도파민 시그널을 갖는 3―멤리스터 시냅스에 대한 방법들 및 시스템들 | |
CN102971754A (zh) | 用于神经处理器中的可替代突触权重存储的方法和系统 | |
US9830981B2 (en) | Neuromorphic memory circuit using a leaky integrate and fire (LIF) line to transmit axon LIF pulse and a conductive denrite LIF line | |
JP6844013B2 (ja) | 半導体記憶素子を用いたニューラルネットワーク演算回路及び動作方法 | |
WO2020117348A3 (en) | Non-volatile memory die with deep learning neural network | |
US9047944B2 (en) | Resistance variable memory sensing | |
TWI753532B (zh) | 神經網絡中用於權重更新的記憶體元件 | |
Hasan et al. | Ex-situ training of dense memristor crossbar for neuromorphic applications | |
US9324428B1 (en) | Memory device and operation method thereof | |
CN111062463A (zh) | 运用交叉开关矩阵实施多层神经网络 | |
JP2019078720A5 (ja) | ||
US9847126B2 (en) | Increasing a read margin in a read cell | |
WO2016018386A1 (en) | Encoding data within a crossbar memory array | |
US11501149B2 (en) | Memory device including neural network processing circuit | |
Stathis et al. | Shortest path computing using memristor-based circuits and cellular automata | |
CN114586027A (zh) | 使用均衡传播来进行学习的模拟系统 | |
US20200194501A1 (en) | Implementing phase change material-based selectors in a crossbar array | |
Song et al. | Parallel Operation of Self‐Limited Analog Programming for Fast Array‐Level Weight Programming and Update | |
KR102365470B1 (ko) | 트랜지스터-커패시터 쌍으로 가중치를 조절할 수 있는 커패시턴스 기반 순차 행렬 곱셈 뉴럴 네트워크 | |
Zivasatienraj et al. | An experimentally validated, universal memristor model enabling temporal neuromorphic computation | |
US9972385B2 (en) | Memory array driver | |
KR102314079B1 (ko) | 퓨즈 소자를 이용한 인공 신경망 하드웨어 시스템 및 이를 이용한 가지치기 방법 |