JP2018147159A - ニューラルネットワーク回路 - Google Patents
ニューラルネットワーク回路 Download PDFInfo
- Publication number
- JP2018147159A JP2018147159A JP2017040406A JP2017040406A JP2018147159A JP 2018147159 A JP2018147159 A JP 2018147159A JP 2017040406 A JP2017040406 A JP 2017040406A JP 2017040406 A JP2017040406 A JP 2017040406A JP 2018147159 A JP2018147159 A JP 2018147159A
- Authority
- JP
- Japan
- Prior art keywords
- resistance value
- neural network
- unit
- network circuit
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 23
- 230000005856 abnormality Effects 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 210000004027 cell Anatomy 0.000 description 45
- 238000001514 detection method Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000225 synapse Anatomy 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2023—Failover techniques
- G06F11/2028—Failover techniques eliminating a faulty processor or activating a spare
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
- G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Neurology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- For Increasing The Reliability Of Semiconductor Memories (AREA)
- Semiconductor Memories (AREA)
Abstract
Description
図1に示すように、記憶部1は、メモリスタからなる3つの記憶素子R1,R2,R3で構成されている。各記憶素子R1,R2,R3の一端には、それぞれ可変電圧源V1,V2,V3が接続されている。各記憶素子R1,R2,R3の他端は、センスアンプ2の入力端子であるオペアンプ3の反転入力端子に共通に接続されている。前記反転入力端子とオペアンプ3の出力端子との間には、帰還抵抗Rfが接続されている。オペアンプ3の非反転入力端子はグランドに接続されている。尚、以下では記憶素子を「セル」と称する場合がある。
以下、第1実施形態と同一部分には同一符号を付して説明を省略し、異なる部分について説明する。図4に示すように、第2実施形態では、エラー検出抵抗Rp及び可変電圧源Vpの直列回路に替えて、可変電流源Ipが接続されている。可変電流源Ipは、電流調整部に相当する。この場合、エラー検出は、第1実施形態と同様にV1=V2=V3=+Vreadに設定した際に、電流源Ipの電流によって出力電流Is=0となるように設定する。通常の読出し動作を行う際には、Ip=0に設定する。第2実施形態についても、図5及び図6に示すように、電流源Ipを行方向及び列方向に配置すれば、何れの記憶素子に異常が発生したかを特定できる。
尚、メモリスタ20の長期信頼性に懸念がある場合は、可変電流源を、別途PTAT(Proportional To Absolute Temperature)回路等と組み合わせて構成すれば良い。
図10に示すように、第3実施形態では、第2実施形態と同様に電流源Ipを用いてエラー検出を行う。この際に、記憶部1の第1行及び第2行にそれぞれ可変電流源Ipp,Ipnを付与してエラー検出を並行して行い、減算器25により第1行,第2行の電流差を求める。すなわち、第1行の検出結果電流をIsp,第2行の検出結果電流をIsnとすると、減算器25の出力電流Isは、Is=Isp−Isnとなる。減算器25は差動演算部に相当する。
図11に示すように、第4実施形態では記憶部26が差動構成となっており、同一行の正側,負側それぞれについて第3実施形態と同様に電流源Ipp,Ipnを用いてエラー検出を行う。そして、正側,負側のセンスアンプ2p,2nの各出力端子は、それぞれ差動増幅回路27の負側,正側入力端子に接続されている。第4実施形態では、エラーとなったセルの抵抗値が最大値又は最小値を示しているため書換えが不能となった場合に、記憶部26が差動構成であることを利用して対応する。
Ipn=Ipp+ΔIp=1000μA−90μA=910μA
に設定する(S7p)。これにより、(Ipp−Ipn)の値が当初設定値に等しくなる。それから、負側のIsn=0若しくはVoutp=0又はVout=0となるように反転入力側のセルR1nの値を変更すると(S8p)、メモリに記憶されているIpp,Ipn,各セルの抵抗値のデータを更新する(S9)。
図14に示すように、第5実施形態は、第4実施形態における差動増幅回路27に、正側,負側入力端子を入れ替えるための4つのスイッチ28pn,28pp,28nn,28npを加えたものである。第5実施形態ではこの構成により、第4実施形態では修正できなかったケース2,3に対応する処理を行う。尚、図15は、電流値Ipp,Ipnに替えて、セルR1p,R1nのコンダクタンス値gm_R1p,gm_R1nと、それらの差Δgmとを示している。
第4又は第5実施形態ではエラーが検出されたセルの修正を行うことができるが、その一方で、消費電力が増大したり、信頼性の低下が問題となる場合がある。これらのデメリットを回避することを優先する際には、やはりエラーセルを含む列を無効化して、予備用に用意してあるセル列と交換することが望ましい。
Claims (12)
- 可変抵抗素子であるメモリスタを記憶素子(R1,R2,R3)として、前記記憶素子を格子状に結合してなる記憶部(1,26,29)と、
この記憶部にバイアス電圧を印加する電圧印加部(4)と、
前記記憶部にデータとしての抵抗値を低減させる書き込み,前記抵抗値を増大させる消去及び読み出しを行うため、前記電圧印加部を制御する制御部(23,31)と、
前記記憶素子を介して流れる電流を電圧に変換して出力する複数のI/V変換増幅回路(2)と、
これらのI/V変換増幅回路のそれぞれに対応して配置され、各I/V変換増幅回路に入力される電流の合計値をゼロにする調整を可能とする電流調整部(Rp,Vp,Ip,,17,23)とを備えるニューラルネットワーク回路。 - 前記電流調整部は、対応するI/V変換増幅回路の入力部に配置される電流源(Ip)を備える請求項1記載のニューラルネットワーク回路。
- 前記電流源の内部に流れる基準電流の温度特性を、前記I/V変換増幅回路の入力電流の温度特性に等しく設定する請求項2記載のニューラルネットワーク回路。
- 前記電流調整部は、対応するI/V変換増幅回路の入力部に配置される抵抗素子(Rp)及び電圧源(Vp)の直列回路を備える請求項1記載のニューラルネットワーク回路。
- 前記電流調整部による調整が行われた後に、前記電流の合計値がゼロでなくなったことを検出すると、対応する記憶素子の抵抗値を再設定する抵抗値調整部(23,31)を備える請求項1から4の何れか一項に記載のニューラルネットワーク回路。
- 任意の2つの電流調整部について、それらの出力の差を演算する差動演算部(25)を備える請求項1から5の何れか一項に記載のニューラルネットワーク回路。
- 前記記憶部(26,29)が差動構成であり、
各差動対を構成する2つのI/V変換増幅回路(2p,2n)について、それらの出力の差を演算する差動演算部(27)を備える請求項1から6の何れか一項に記載のニューラルネットワーク回路。 - 前記差がゼロでなければ、前記差をゼロとするように、対応する記憶素子の抵抗値を調整する抵抗値調整部(23,31)を備える請求項7記載のニューラルネットワーク回路。
- 前記抵抗値調整部による調整が不能であれば、前記差の絶対値をゼロとするように調整する絶対値調整部(23,31)を備える請求項8記載のニューラルネットワーク回路。
- 前記差動演算部(27)は、正側入力端子と負側入力端子とを入れ替え可能に構成され、
前記絶対値調整部は、前記正側入力端子に接続されている記憶素子の抵抗値と、前記負側入力端子に接続されている記憶素子の抵抗値とを入れ替えるように書き換え、
前記正側入力端子と前記負側入力端子とを入れ替えることで前記差の絶対値をゼロとするように調整する請求項9記載のニューラルネットワーク回路。 - 異常が検出された差動記憶素子を代替するための予備記憶素子(R11p〜R13p,R11n〜R13n,R0p,R0n,R10p,R10n)を備え、
前記出力の差がゼロでなければ、対応する差動記憶素子の抵抗値を互いに等しくするように調整し、
前記差動記憶素子を除いて、同じ入力端子に接続されている差動記憶素子の抵抗値を最大値にして、異常が検出された差動記憶素子を対応する予備記憶素子に入れ替える異常対応部(31)を備える請求項7記載のニューラルネットワーク回路。 - 前記出力の差がゼロでなければ、前記差をゼロとするように、対応する記憶素子の抵抗値を調整する抵抗値調整部(31)を備え、
前記異常対応部は、前記抵抗値調整部による調整が不能であれば、前記異常が検出された差動記憶素子を対応する予備記憶素子に入れ替える請求項11記載のニューラルネットワーク回路。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017040406A JP6708146B2 (ja) | 2017-03-03 | 2017-03-03 | ニューラルネットワーク回路 |
PCT/JP2017/045323 WO2018159073A1 (ja) | 2017-03-03 | 2017-12-18 | ニューラルネットワーク回路 |
US16/550,664 US11182669B2 (en) | 2017-03-03 | 2019-08-26 | Neural network circuit |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017040406A JP6708146B2 (ja) | 2017-03-03 | 2017-03-03 | ニューラルネットワーク回路 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018147159A true JP2018147159A (ja) | 2018-09-20 |
JP6708146B2 JP6708146B2 (ja) | 2020-06-10 |
Family
ID=63370709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017040406A Active JP6708146B2 (ja) | 2017-03-03 | 2017-03-03 | ニューラルネットワーク回路 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11182669B2 (ja) |
JP (1) | JP6708146B2 (ja) |
WO (1) | WO2018159073A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020053532A (ja) * | 2018-09-26 | 2020-04-02 | Tdk株式会社 | メモリスタ回路、メモリスタ制御システム、アナログ積和演算器、及びニューロモーフィックデバイス |
JP2020057278A (ja) * | 2018-10-03 | 2020-04-09 | 株式会社デンソー | 人工ニューラルネットワーク回路 |
CN111460365A (zh) * | 2020-03-10 | 2020-07-28 | 华中科技大学 | 一种基于忆阻线性神经网络的方程组求解器及其操作方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6794891B2 (ja) * | 2017-03-22 | 2020-12-02 | 株式会社デンソー | ニューラルネットワーク回路 |
CN108022612A (zh) * | 2017-12-13 | 2018-05-11 | 晶晨半导体(上海)股份有限公司 | 一种数据边沿的跳变方法 |
US12001811B2 (en) * | 2018-10-11 | 2024-06-04 | Tdk Corporation | Product-sum operation device, logical calculation device, neuromorphic device, and multiply-accumulate method |
CN113077046B (zh) * | 2021-03-30 | 2022-12-30 | 西南大学 | 一种基于遗忘忆阻桥的并行多算子卷积运算器 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008311381A (ja) * | 2007-06-14 | 2008-12-25 | Sony Corp | 抵抗素子、ニューロン素子、及びニューラルネットワーク情報処理装置 |
JP2015195011A (ja) * | 2014-03-18 | 2015-11-05 | パナソニックIpマネジメント株式会社 | ニューラルネットワーク回路およびその学習方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB8720387D0 (en) * | 1987-08-28 | 1987-10-07 | British Telecomm | Matching vectors |
JPH0634248B2 (ja) * | 1989-12-16 | 1994-05-02 | 三菱電機株式会社 | 半導体神経回路網 |
US5412256A (en) * | 1994-01-06 | 1995-05-02 | Bell Communications Research, Inc. | Neuron for use in self-learning neural network |
US6507828B1 (en) * | 1998-06-19 | 2003-01-14 | Jason Leonard | Neuron circuit and related techniques |
US20040083193A1 (en) * | 2002-10-29 | 2004-04-29 | Bingxue Shi | Expandable on-chip back propagation learning neural network with 4-neuron 16-synapse |
US8566265B1 (en) * | 2011-03-10 | 2013-10-22 | Hrl Laboratories, Llc | Combined spike domain and pulse domain signal processing |
US10776259B2 (en) | 2013-10-31 | 2020-09-15 | Infineon Technologies Ag | Method, apparatus and device for data processing |
CN104124960B (zh) * | 2014-06-20 | 2018-02-23 | 华中科技大学 | 一种非易失性布尔逻辑运算电路及其操作方法 |
US10157668B2 (en) * | 2015-05-29 | 2018-12-18 | Hewlett Packard Enterprise Development Lp | Memristance feedback tuning |
US11308383B2 (en) * | 2016-05-17 | 2022-04-19 | Silicon Storage Technology, Inc. | Deep learning neural network classifier using non-volatile memory array |
CN109146073B (zh) * | 2017-06-16 | 2022-05-24 | 华为技术有限公司 | 一种神经网络训练方法和装置 |
CN109460817B (zh) * | 2018-09-11 | 2021-08-03 | 华中科技大学 | 一种基于非易失存储器的卷积神经网络片上学习系统 |
US11270771B2 (en) * | 2019-01-29 | 2022-03-08 | Silicon Storage Technology, Inc. | Neural network classifier using array of stacked gate non-volatile memory cells |
US11600321B2 (en) * | 2020-03-05 | 2023-03-07 | Silicon Storage Technology, Inc. | Analog neural memory array storing synapsis weights in differential cell pairs in artificial neural network |
-
2017
- 2017-03-03 JP JP2017040406A patent/JP6708146B2/ja active Active
- 2017-12-18 WO PCT/JP2017/045323 patent/WO2018159073A1/ja active Application Filing
-
2019
- 2019-08-26 US US16/550,664 patent/US11182669B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008311381A (ja) * | 2007-06-14 | 2008-12-25 | Sony Corp | 抵抗素子、ニューロン素子、及びニューラルネットワーク情報処理装置 |
JP2015195011A (ja) * | 2014-03-18 | 2015-11-05 | パナソニックIpマネジメント株式会社 | ニューラルネットワーク回路およびその学習方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020053532A (ja) * | 2018-09-26 | 2020-04-02 | Tdk株式会社 | メモリスタ回路、メモリスタ制御システム、アナログ積和演算器、及びニューロモーフィックデバイス |
JP7127454B2 (ja) | 2018-09-26 | 2022-08-30 | Tdk株式会社 | メモリスタ回路、メモリスタ制御システム、アナログ積和演算器、及びニューロモーフィックデバイス |
JP2020057278A (ja) * | 2018-10-03 | 2020-04-09 | 株式会社デンソー | 人工ニューラルネットワーク回路 |
JP7259253B2 (ja) | 2018-10-03 | 2023-04-18 | 株式会社デンソー | 人工ニューラルネットワーク回路 |
CN111460365A (zh) * | 2020-03-10 | 2020-07-28 | 华中科技大学 | 一种基于忆阻线性神经网络的方程组求解器及其操作方法 |
CN111460365B (zh) * | 2020-03-10 | 2021-12-03 | 华中科技大学 | 一种基于忆阻线性神经网络的方程组求解器及其操作方法 |
Also Published As
Publication number | Publication date |
---|---|
US20190378003A1 (en) | 2019-12-12 |
US11182669B2 (en) | 2021-11-23 |
JP6708146B2 (ja) | 2020-06-10 |
WO2018159073A1 (ja) | 2018-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6708146B2 (ja) | ニューラルネットワーク回路 | |
US11296717B2 (en) | System and methods for mixed-signal computing | |
JP6756287B2 (ja) | ニューラルネットワーク回路 | |
TWI454062B (zh) | 自我校正的電流源及使用該電流源的數位類比轉換器及其操作方法 | |
JP4770894B2 (ja) | 電圧検出装置 | |
US11443172B2 (en) | Synapse array of neuromorphic device including synapses having ferro-electric field effect transistors and operation method of the same | |
JPWO2004095464A1 (ja) | データの読み出し方法が改善された磁気ランダムアクセスメモリ | |
TWI782302B (zh) | 半導體記憶裝置 | |
US20220223202A1 (en) | Memory device and data weight state determining method for in-memory computation | |
JP6405612B2 (ja) | 強誘電体メモリ装置及びメモリ書き込み方法 | |
US8213213B2 (en) | Reference current generator for resistance type memory and method thereof | |
WO2014045512A1 (ja) | 不揮発性記憶装置およびその制御方法 | |
TW201435894A (zh) | 非揮發性半導體記憶裝置及其測試方法 | |
WO2021120136A1 (zh) | 存储计算阵列及模组、数据计算方法 | |
KR102028476B1 (ko) | 비 휘발성 메모리 | |
US11907044B2 (en) | Memory devices and methods for operating the same | |
CN115796252A (zh) | 权重写入方法及装置、电子设备和存储介质 | |
TWI696353B (zh) | 數位類比轉換器、不良位元數檢測器及非揮發性半導體存儲裝置 | |
TWI775310B (zh) | 記憶體裝置及其控制方法 | |
TW202341134A (zh) | 用於人工神經網路中之儲存位元之系統及方法 | |
CN116720555A (zh) | 用于人工神经网络中的存储位的系统和方法 | |
TW202324413A (zh) | 半導體記憶裝置及其寫入方法 | |
CN117337468A (zh) | 一种校准基于交叉开关的装置的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190522 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200421 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200504 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6708146 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |