CN111373414A - 用于减少固定设备不对称性的具有极性反转的电导对之间的突触权重传递 - Google Patents
用于减少固定设备不对称性的具有极性反转的电导对之间的突触权重传递 Download PDFInfo
- Publication number
- CN111373414A CN111373414A CN201880074824.XA CN201880074824A CN111373414A CN 111373414 A CN111373414 A CN 111373414A CN 201880074824 A CN201880074824 A CN 201880074824A CN 111373414 A CN111373414 A CN 111373414A
- Authority
- CN
- China
- Prior art keywords
- conductance
- ann
- pair
- neurons
- pairs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000946 synaptic effect Effects 0.000 title claims abstract description 108
- 238000012546 transfer Methods 0.000 title claims description 38
- 238000013528 artificial neural network Methods 0.000 claims abstract description 135
- 210000002569 neuron Anatomy 0.000 claims abstract description 97
- 210000000225 synapse Anatomy 0.000 claims abstract description 88
- 238000000034 method Methods 0.000 claims abstract description 71
- 230000004044 response Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 63
- 239000003990 capacitor Substances 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 13
- 238000011144 upstream manufacturing Methods 0.000 claims description 11
- 238000013459 approach Methods 0.000 claims description 7
- 230000000116 mitigating effect Effects 0.000 claims description 6
- 230000000737 periodic effect Effects 0.000 claims description 5
- 238000003909 pattern recognition Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000005094 computer simulation Methods 0.000 abstract 1
- 230000007423 decrease Effects 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000002964 excitative effect Effects 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000005062 synaptic transmission Effects 0.000 description 2
- 229910003070 TaOx Inorganic materials 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 235000013599 spices Nutrition 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Semiconductor Memories (AREA)
Abstract
人工神经网络(ANN)是分布式计算模型，其中计算是用许多简单的处理单元(称为神经元)来完成的，其中数据由神经元之间的连接(称为突触)以及这些连接的强度(突触权重)来体现。ANN的有吸引力的实现使用非易失性存储器(NVM)元件的电导来记录突触权重，其中在数据处适当地执行重要的乘法‑累加步骤。在该应用中，NVM的响应中的非理想性，例如响应于编程脉冲的非线性、饱和、随机性和非对称性，导致与理想网络实现相比降低的网络性能。示出了一种方法，该方法在将在较不重要的带符号的模拟电导对之间的权重信息传递到较重要的模拟电导对时，通过周期性地反转跨重要性变化的多个电导被分布的突触权重内的较不重要的带符号的模拟电导对的极性来改善性能。
Description
技术领域
本发明一般涉及人工神经网络(ANN)领域。更具体地说，本发明涉及一种用于从不同重要性的带符号的模拟电导对构建人工神经网络的突触权重的系统和方法，其中，较低重要性的电导对的极性被周期性地反转。
背景技术
人工神经网络(ANN)是分布式计算系统，其由通过称为突触的连接点互连的多个神经元组成。每个突触编码一个神经元的输出和另一个神经元的输入之间的连接的强度。每个神经元的输出由从连接到它的其它神经元接收的聚合输入确定，并且因此由这些"上游"连接的神经元的输出和如由突触权重确定的连接强度确定。通过调整突触的权重以使得特定类的输入产生期望的输出，来训练ANN以解决特定问题(例如，模式识别)。权重调整过程被称为"学习"。在ANN文献中有许多用于执行学习的算法，这些算法适用于诸如图像识别、语音识别、语言处理等各种任务。理想地，这些算法导致突触权重的模式，其在学习过程期间朝向给定问题的最优解收敛。
ANN的有吸引力的实现方式使用一些(例如CMOS)电路来表示神经元，其功能是对来自特定神经元被连接的上游神经元的聚合输入进行积分或求和，并且应用输入的一些非线性函数来得出该神经元的输出。因为通常每个神经元连接到其它神经元的某个较大部分，所以突触(连接)的数量比神经元的数量大得多；因此，使用能够在神经形态计算芯片上实现非常高密度的突触的一些实现是有利的。一种有吸引力的选择是一些非易失性存储器(NVM)技术，例如电阻随机存取存储器(RRAM)或相变存储器(PCM)。由于需要正的和负的(即，兴奋性和抑制性)权重，一个方案使用一对NVM来将权重表示为两者之间的电导差(参见M.Suri等人，“作为超密神经形态系统的突触的相变存储器：应用到复杂视觉模式提取”，IEDM Technical Digest，4.4，2011)。该方案在图1中被示出。上游Ni神经元的输出通过进入下游Mi神经元的正和负输入的NVM电导对并行求和。这种并行性对于高效计算是非常有利的。
在学习期间，通过向NVM元件发送脉冲来对NVM元件的电导进行编程，所述脉冲可以根据学习规则来增加或减少电导。研究的一种常见学习规则是反向传播(参见Rumelhart等，“通过错误传播学习内部表示”，并行分布式处理：认知微观结构探索，第1卷，1986年)，其广泛用于当前在图形处理单元(GPU)上实现的用于图像识别、学习玩视频游戏等的深度学习网络中。反向传播算法要求权重更新Δwij＝η·Xi·δj，其与上游神经元的输出xi和来自下游神经元的误差贡献δj与被称为学习速率的比例常数η的乘积成比例。先前已经示出(参见Burr等，“使用相变存储器作为突触权重元素的大规模神经网络(165,000个突触)的实验性证明和容忍度”，IEDM Technical Digest，2014)，这种"交叉兼容"学习规则与传统的反向传播规则一样有效。
任何真实的NVM元件都具有非理想响应。它是非线性的，并且对它可以达到的最大电导有限制。对设计成增加电导的脉冲的电导变化不同于对设计成减少电导的脉冲的电导变化，即，响应是不对称的。在器件之间存在变化，一些器件将不能工作，或者停留在高电导状态或者停留在低电导状态。我们的工作已经表明，这些缺陷中的许多导致ANN性能的非常小的降低。然而，非线性、有界电导和不对称响应导致MNIST数字识别问题的准确性从训练期间的99+％准确性降低到80％和85％之间的某个准确性。
在训练期间，许多不同的输入被呈现给网络，并且反向传播学习规则被用于在每个输入之后(或在一些少量输入之后，被称为小批量)更新NVM电导。网络中的一些权重趋向于朝向某个稳定值稳定地发展，而其他权重趋向于向上和向下抖动，有时增加，有时减少。当NVM响应是非线性或不对称的时，对旨在减小权重值的脉冲的响应将强于旨在增大权重的脉冲的响应。这往往将这些权重中的许多推向零，使得反向传播学习规则无效并且降低网络性能。
现有技术工作是基于两个电导来引入带符号的突触权重。然而，对于一些NVM器件，例如相变存储器(PCM)、基于细丝的RRAM(例如使用HfOx或TaOx)或基于金属细丝的导电桥RAM，小的电导变化仅可以在一个方向上实现。作为这种情况的直接结果，量值大的突触权重往往是极其脆弱的，很好地响应于其较小电导中的阶跃(这降低了权重量值)，但是对其较大电导中的阶跃响应较差(这增加了权重量值)。因此，网络性能降低，因为网络想要使其较大的权重具有难于保持较大的时间。
本发明的实施例是对现有技术和现有发明系统和方法的改进。
发明内容
在一个实施例中，本发明提供了一种减轻由人工神经网络(ANN)中的固定设备不对称性引起的对权重的不期望的贡献的方法，ANN中的每个突触的突触权重由来自多个电导对的加权电流来表示，其中多个训练示例在观察ANN的输出的同时被串行地输入到ANN，该方法包括：在表示第一训练周期的第一传递间隔期间，将所述突触权重的一部分从较低重要性的电导对(g-gshared)传递到较高重要性的电导对(G+-G—)；以及在第一传递间隔之后的并且表示第二训练周期的第二传递间隔期间，将突触权重的一部分从极性被反转的较低重要性的电导对-(g-gshared)传递到较高重要性的电导对(G+-G—)，其中，在该ANN中的固定设备不对称性在多个所述第一和第二传递间隔上抵消。
在另一个实施例中，本发明提供了一种在人工神经网络(ANN)中实现的方法，该ANN包括按层布置的多个神经元，其中一层的输出被连接到后续层的多个神经元的输入，其中神经元经由多个突触被彼此连接，每个突触具有编码两个连接的神经元之间的连接强度的突触权重，每个突触的突触权重的大小由来自多个电导对的加权电流表示，其中多个训练示例在观察ANN的输出的同时被串行输入到ANN，其中反向传播算法响应于来自给定层的输出与来自给定层的期望输出之间的差来更新突触权重，该方法包括：(a)周期性地将所述突触权重的一部分从较低重要性的电导对传递到较高重要性的电导对，使得所述总突触权重基本上保持不变；(b)在突触权重的这些周期性传递中的一个或多个周期性传递后，反转较低重要性的电导对的极性；以及(c)重复训练示例的串行输入，直到网络输出在预定准确度内接近期望输出。
在又一实施例中，本发明提供了一种在人工神经网络(ANN)中实现的方法，该ANN包括按层布置的多个神经元，其中一层的输出被连接到后续层的多个神经元的输入，其中神经元经由多个突触被彼此连接，每个突触具有编码两个连接的神经元之间的连接强度的突触权重，每个突触的权重的大小由来自多个电导对的加权电流表示，多个电导对中的每个电导对表示联合贡献并具有较高重要性的电导对和较低重要性的电导对，其中多个训练示例在观察ANN的输出的同时被串行输入到ANN，其中反向传播算法响应于来自给定层的输出与来自给定层的期望输出之间的差来更新突触权重，该方法包括：(a)暂停训练并测量跨所述ANN网络中的模拟存储器元件的电导，并且通过来自两个或更多个电导对的算术贡献来计算每个突触的原始突触权重；(b)标识给定电导对中的至少一个测量电导，所述至少一个测量电导的绝对值比其配对电导大预定量；(c)将所述较低重要性的电导对重新配置为基本上相等，对应于对总突触权重的零联合贡献，并且重新配置较重要的电导对中的一个直到所述原始突触权重值被获得；以及(d)反转所述较低重要性的电导对的极性以用于后续训练操作。
在另一个实施例中，本发明提供了一种在人工神经网络(ANN)中实现的方法，该ANN包括按层布置的多个神经元，其中一层的输出被连接到后续层的多个神经元的输入，其中神经元经由多个突触被彼此连接，每个突触具有编码两个连接的神经元之间的连接强度的突触权重，每个突触的权重的大小由来自多个电导对的权重电流表示，多个电导对中的每个电导对表示联合贡献并具有较高重要性的电导对和较低重要性的电导对，其中多个训练示例在观察ANN的输出的同时被串行输入到ANN，其中反向传播算法响应于来自给定层的输出与来自给定层的期望输出之间的差来更新突触权重，该方法包括：(a)暂停训练并测量跨所述ANN网络中的模拟存储器元件的电导，并且通过来自两个或更多个电导对的算术贡献来计算每个突触的原始突触权重；(b)标识给定电导对中的至少一个测量电导，所述至少一个测量电导的绝对值比其配对电导大预定量；(c)将所述较低重要性的电导对重新配置为基本上相等，对应于对总突触权重的零联合贡献，并且重新配置较重要的电导对中的一个电导对直到所述原始突触权重值被获得；以及(d)反转用于后续训练操作的较低重要性的电导对的极性，并且其中ANN中的突触权重中的一些突触权重使用被连接到读取晶体管的栅极的电容器以及编程晶体管来实现，所述编程晶体管用于根据与下游和上游神经元相关联的信号向电容器添加电荷以及从电容器减去电荷。
根据一个实施例，提供了一种在人工神经网络(ANN)中实现的方法，该ANN包括按层布置的多个神经元，其中一层的输出被连接到后续层的多个神经元的输入，其中神经元经由多个突触被彼此连接，每个突触具有编码两个连接的神经元之间的连接强度的突触权重，每个突触的权重的大小由来自多个电导对的加权电流表示，多个电导对中的每个电导对表示联合贡献并具有较高重要性的电导对和较低重要性的电导对，其中多个训练示例在观察ANN的输出的同时被串行输入到ANN，其中反向传播算法响应于来自给定层的输出与来自给定层的期望输出之间的差来更新突触权重，该方法包括：(a)暂停训练并测量跨所述ANN网络中的模拟存储器元件的电导；(b)标识给定电导对中的至少一个测量电导，所述至少一个测量电导的绝对值比其配对电导大预定量；(c)将所述较低重要性的电导对重新配置为基本上相等，对应于对总突触权重的零联合贡献，并且重新配置较重要的电导对中的一个电导对直到相似的突触权重值被获得；(d)反转所述较低重要性的电导对的极性以用于后续训练操作，并且其中所述ANN中的所述突触权重中的一些是使用被连接到读取晶体管的栅极的电容器连同编程晶体管来实现的，所述编程晶体管用于根据与所述下游和上游神经元相关联的信号向所述电容器添加电荷以及从所述电容器减去电荷。
根据一个实施例，提供了一种用于减轻由人工神经网络(ANN)中的固定设备不对称性所引起的对权重的不期望的贡献的系统，该ANN中的每个突触的突触权重由来自多个电导对的加权电流来表示，其中多个训练示例在观察ANN的输出的同时被串行地输入到该ANN，该系统可操作以执行包括以下步骤的方法：在表示第一训练周期的第一传递间隔期间，将所述突触权重的一部分从较低重要性的电导对(g-gshared)传递到较高重要性的电导对(G+-G—)；以及在第一传递间隔之后并且表示第二训练周期的第二传递间隔期间，将突触权重的一部分从极性被反转的较低重要性的电导对-(g-gshared)传递到较高重要性的电导对(G+-G—)，其中，该ANN中的固定器件不对称性在多个这样的第一和第二传递间隔上抵消。
根据一个实施例，提供了一种在人工神经网络(ANN)中实现的系统，该ANN包括按层布置的多个神经元，其中一层的输出被连接到后续层的多个神经元的输入，其中神经元经由多个突触被彼此连接，每个突触具有编码两个连接的神经元之间的连接强度的突触权重，每个突触的突触权重的大小由来自多个电导对的加权电流来表示，其中多个训练示例在观察ANN的输出的同时被串行输入到ANN，其中反向传播算法响应于来自给定层的输出与来自给定层的期望输出之间的差来更新突触权重，该系统可操作以执行包括以下步骤方法：周期性地将所述突触权重的一部分从较低重要性的电导对传递到较高重要性的电导对，使得所述总突触权重基本上保持不变；在突触权重的这些周期性传递中的一个或多个周期性传递后，反转较低重要性的电导对的极性；以及重复训练示例的串行输入，直到网络输出在预定准确度内接近期望输出。
根据一个实施例，提供了一种在人工神经网络(ANN)中实现的系统，该ANN包括按层布置的多个神经元，其中一层的输出被连接到后续层的多个神经元的输入，其中神经元经由多个突触彼此连接，每个突触具有编码两个连接的神经元之间的连接强度的突触权重，每个突触的权重的大小由来自多个电导对的加权电流表示，多个电导对中的每个电导对表示联合贡献并具有较高重要性的电导对和较低重要性的电导对，其中多个训练示例在观察ANN的输出的同时被串行输入到ANN，其中反向传播算法响应于来自给定层的输出和来自给定层的期望输出之间的差来更新突触权重，该系统可操作以执行包括以下步骤的方法：(a)暂停训练并测量跨所述ANN网络中的模拟存储器元件的电导，并且通过来自两个或更多个电导对的算术贡献来计算每个突触的原始突触权重；(b)标识给定电导对中的至少一个测量电导，所述至少一个测量电导的绝对值比其配对电导大预定量；(c)将所述较低重要性的电导对重新配置为基本上相等，对应于对总突触权重的零联合贡献，并且重新配置较重要的电导对中的一个电导对直到所述原始突触权重值被获得；以及(d)反转所述较低重要性电导对的极性以用于后续训练操作。
根据一个实施例，提供了一种在人工神经网络(ANN)中实现的系统，该ANN包括按层布置的多个神经元，其中一层的输出被连接到后续层的多个神经元的输入，其中神经元经由多个突触被彼此连接，每个突触具有编码两个连接的神经元之间的连接强度的突触权重，每个突触的权重的大小由来自多个电导对的加权电流表示，多个电导对中的每个电导对表示联合贡献并具有较高重要性电导对和较低重要性电导对，其中多个训练示例在观察ANN的输出的同时被串行输入到ANN，其中反向传播算法响应于来自给定层的输出和来自给定层的期望输出之间的差来更新突触权重，该系统可操作以执行包括以下步骤的方法：(a)暂停训练并测量跨所述ANN网络中的模拟存储器元件的电导；(b)标识给定电导对中的至少一个测量电导，所述至少一个测量电导的绝对值比其配对电导大预定量；(c)将所述较低重要性的电导对重新配置为基本上相等，对应于对总突触权重的零联合贡献，并且重新配置较重要的电导对中的一个电导对直到相似的突触权重值被获得；(d)反转所述较低重要性的电导对的极性以用于后续训练操作，并且其中所述ANN中的所述突触权重中的一些是使用被连接到读晶体管的栅极的电容器连同编程晶体管来实现的，所述编程晶体管用于根据与所述下游和上游神经元相关联的信号向所述电容器添加电荷以及从所述电容器减去电荷。
可以理解，本发明可以被实现为计算机程序。
附图说明
根据一个或多个不同的实施例，参考以下附图详细描述本公开。附图仅出于说明的目的而提供，并且仅描绘本公开的示例。提供这些附图是为了便于读者理解本公开，而不应被认为是对本公开的广度、范围或适用性的限制。应当注意，为了清楚和容易说明，这些附图不一定按比例绘制。
图1图示了具有每个突触一个电导对的现有技术阵列。
图2描绘了根据一个实施例的具有每个突触多于一个电导对的阵列，其中一组电导对具有相对于另一电导对由因子F放大的其读取电流。
图3描绘了根据一个实施例的具有每个突触多于一个电导对的阵列，其中一组电导对具有相对于另一电导对由因子F放大的其读取电流，其中较低重要性对的极性已被反转。
图4描绘了根据一个实施例的示出周期性反转较低重要性电导对的极性的技术的益处的仿真结果。
图5示出了根据一个实施例的在与神经元M1相同列中的突触传递之后紧接着的情形，该神经元共享到左边并且刚刚使其g值的极性反转(g减去净权重)，而神经元Mm继续使其g值加到净权重，并且共享到位于其右边的gshared共享设备。
图6示出了根据一个实施例的在列Mm传递之后的情况，其中其g值现在也被反转，并且来自gshared装置的共享偏置读取电流现在从共享装置被递送到最近被复位到其初始值的左侧(在其获得其第一共享列的相同时刻)。
具体实施方式
虽然在优选实施例中图示和描述了本发明，但是本发明可以以许多不同的配置来生产。在附图中描绘并在本文详细描述了本发明的优选实施例，应当理解，本公开应被认为是本发明的原理及其结构的相关功能说明的示例，而不是将本发明限制于所图示的实施例。本领域技术人员将预见本发明范围内的许多其它可能的变化。
本文所述的发明建立在用于通过在多对电导上分布突触权重来减轻电导响应中的非线性和不对称的影响的技术的较早公开之上，每对电导具有不同的重要性。每一对以通常的方式通过兴奋电导G+和抑制电导G-之间的差异来贡献突触权重。然而，每对的贡献在这些对被求和的位线的末端处实现的放大因子方面变化。可以以许多方式实现逐示例编程-在一种表现中，在网络训练期间更新最低重要的电导对。由于权重值中的大部分通常包含在较重要的电导对中，所以较不重要的电导对中的一个或多个可以由易失性模拟存储器元件构成，诸如连接到读取晶体管的栅极的电容器。在这种情况下，向电容器添加或减去电荷改变了读取晶体管的栅极电压，从而改变了其有效电导。在电导值是完全双向的并且因此能够在电导中向上和向下编程的情况下，每个电导对中的电导之一可以在许多不同的突触之间共享，其中通过调整非共享电导进行所有单独的突触编程。
在申请人的先前发明(USPTO序列号15/660,945(我们的参考：ARC920160031US1)-其副本被放置在文件中)中，引入了一种方法，该方法通过跨不同重要性的多个电导分布突触权重、实现从较不重要的带符号的模拟电导对到更重要的模拟电导对的权重传递来改善性能。图2显示先前所公开的阵列(即，USPTO序列号15/660,945中所公开的)，其具有每一突触多于一个电导对，其中一组电导对具有相对于另一电导对由因子F放大的其读取电流。在该图中，每个突触权重由两对电导组成。第一对贡献于其下游神经元在阵列底部的总电流，相对于第二对具有增益因子F。这意味着第二对中的大电导差具有与第一对中的小电导差对总突触权重具有相同的贡献。因此，该技术增加了整个突触的总动态范围，并允许快速但易失性的模拟存储元件表现出更线性和对称的电导变化，以用作用于逐个ANN示例编程的第二或较低重要性的电导对，其中累积的突触权重变化偶尔被仔细地传递到第一电导对中。注意，这不是与数字字的或多或少有效位的直接匹配，因为这里存在多个电导的多个模拟配置，其精确地表示相同的总突触权重。类似地，从较低重要性电导对到较高重要性电导对的传递操作与数字加法器中的数字“进位”操作不同，并且由于模拟配置到总突触权重的映射中的冗余，可以根据需要被延迟。尽管图中示出了两个电导对，但是可以扩展到三个或更多对。
当已形成大的突触权重时，则此信息从较不重要的电导对中的大的电导差被传递到下一个较重要的电导对中的较小(并因此更容易维持)的电导差。由于较重要的电导对不被频繁地更新，因此，现在较好地保护了这个大的突触权重，使其不会由于电导的非线性和不对称性而丢失，然而，如果网络选择这样做，则网络仍然可以降低这个权重。在一定程度上，网络将该权重“分组”到具有更高重要性的电导对中。
然而，较低重要性对的权重更新尽可能对称仍然是相当重要的，使得网络可以请求许多权重增加，并且几乎但不是很多权重减少，并且使这些符号相反的贡献正确地抵消。存在两个主要的不对称性来源：电导响应(通常是饱和的陡峭响应)的非线性和固定的器件不对称(一个器件在改变电导方面总是比另一对电导更强或更有效)。
更线性电导更新的一个选择是使用基于CMOS的易失性电导：晶体管的栅极连接到电容器。可以使用一对晶体管以非常线性的方式向电容器添加和减去电荷。然而，固有的CMOS制造可变性将导致晶片上的每个晶体管-包括这对充电/放电晶体管的两个成员-在阈值电压方面变化，并且因此在它们添加到或减去它们的电容器的电荷量方面变化。这可以重新引入电导增加的大小和电导减小的大小之间的强固定不对称性。类似地，由于重复施加给定的部分置位脉冲将引起的最大饱和电导的差异，相变存储器(PCM)或其它类型的非易失性存储器(NVM)器件也可以表现出固定的不对称性。
因此，在本领域中需要抑制由固定器件不对称性引入的电导更新不对称性的技术。
在训练期间，当使用"变化重要性的多个电导"时，仅更新较低重要性的电导g(相对于其来自gshared的参考电流)，直到发生权重传递。在芯片实现中，一次一列地执行传递。在开始权重传递之前，整列器件的当前权重是F×(G+-G-)+(g-gshared)，其中F是2-5左右的小增益因子。这个当前的权重值将被记录在外围电路中(对于整个列)，此后g和gshared共享将被重置到它们的初始条件，从而改变存储在阵列上的权重。非易失性较高重要性电导对(G+-G—)(例如用PCM实现的)的可变性和非线性响应可以通过闭环权重调谐来补偿，以将存储在阵列上的权重返回到期望的目标值(通过与外围电路中临时保存的值相比较)。
一旦权重信息从g-gshared电导对传递到G+-G—PCM对，则通过编程G电导直到总重量再次与最初记录在外围电路中的值相匹配，可以调节任何剩余的权重调整误差。此时，丢弃暂时保留在外围电路中的当前权重值。
然而，在3T1C器件(例如参见USPTO序列号15/660,945的图6)中仍然存在问题，该器件的PFET比其NFET更有效，其中由于这种固定的不对称性，在每个单个传送间隔之后可以报告权重增加。由于所有权重都从g-gshared电导对中传递，因此在下一个传递间隔期间，该电导对的有效极性被反转。图3描绘了具有每个突触多于一个电导对的阵列，其中一组电导对具有相对于另一电导对由因子F放大的其读取电流，其中较低重要性对的极性被反转。这意味着在读取器件电流(用于正向干扰和反向传播)时使用等式F×(G+-G-)-(g-gshared)，当减小权重时使用PFET来增加电荷，而当增加权重时使用NFET来减去电荷。极性反转必须在g和gshared被重置到相同电压的时刻发生，并且在开始通过调整g的值来校正G+-G-的值中的任何残余权重调整误差之前发生。必须利用极性的NEW值来执行对g的这种调整，该极性的NEW值将用于该器件，以用于直到在该器件上的下一次权重传递操作的所有相互作用。存在由参考器件的共享而引入的额外的复杂性，但是这些也是可以适应的。
在每个传递间隔之后，在随后的训练周期期间反转用于g-gshared的极性。结果，由固定器件不对称性引起的对权重的不期望的贡献往往在多个传递间隔上抵消。图4示出了在包括如由SPICE电路仿真所建模的CMOS晶体管的预期可变性的仿真条件下，该极性反转技术(顶部的扩展到20个时期的实线和虚线曲线图)显著地改善了性能。在没有极性反转的情况下，由于不匹配的CMOS器件而导致的电荷增加和减少之间的固定不对称性显著地降低了训练准确。然而，通过在每次重量传递操作时反转极性，训练准确度高，与纯基于软件的训练的预期相匹配，尽管存在高度不完美的设备。
极性位必须存储在阵列的列的端部，使得下游神经元知道如何控制哪些电流在正向干扰时被组合、哪些设备被激活用于反向读取、以及两个晶体管中的哪个被激活以向电容器添加/减去电荷。因此，必须逐列地执行传递操作，其中反转列的端部处(南侧或北侧)的此极性位以记录所述列的当前极性反转前进。
因此，唯一的附加细节是如何适应gshared。一种方法是使用极性位来发信号通知列神经元应当将来自g的传入电流与左边(较低的列数)或右边(较高的列数)的共享设备进行比较。其想法是，在列选择反转其极性的同时，它与g个设备的专用列如何交互，它还开始与最近已被复位到其初始条件的gshared设备共享。这意味着当在寻址列中从左向右移动以进行传递时，极性位的反转应当从先前共享到右边变为现在共享到左边。这也意味着现在必须在相反方向上从右到左地进行下一列方向上的跨阵列的传递事件的扫描，将极性位交换回到原始值，同时引起从“共享到左”到现在“共享到右”的改变。图5示出了在与神经元M1相同的列中的突触传递之后的情况，该神经元共享到左边并且刚刚使其g值的极性反转(从净权重中减去g)。同时，神经元Mm继续将其g值加到净权重，并且共享位于其右侧的gshared器件。图6示出了在列Mm传递之后的情况，其g值现在也被反转，并且来自gshared器件的共享偏置读取电流现在从共享器件被传递到左边，其最近被重置为其初始值(在其获得其第一个共享列的相同时刻)。
为了避免在同一列上进行两次连续的传递(例如，当完成从左到右的扫描时，随后是相同设备从右到左的立即扫描)，可以存在基于象限或基于部分的方法。这里，例如32列的某一组被从左到右地从列1到32扫描，从正极性反转到负极性。然后，下一次扫描从右到左，从列64向下到列33，现在从原始负极性反转回正极性。随后，可以从32向下扫描到1，然后从33向上扫描到64，从而使这些部分返回到它们在开始时具有的相同极性。可以使用部分大小和部分数量的各种组合来尝试使每个传送间隔的长度尽可能相等。
在一个实施例中，本发明提供了一种减轻由人工神经网络(ANN)中的固定设备不对称性引起的对权重的不期望的贡献的方法，ANN中的每个突触的突触权重由来自多个电导对的加权电流来表示，其中多个训练示例被串行地输入到ANN，同时观察其输出，该方法包括：在表示第一训练周期的第一传递间隔期间，将所述突触权重的一部分从较低重要性的电导对(g-gshared)传递到较高重要性的电导对(G+-G—)；在所述第一传递间隔之后的第二传递间隔期间，并且表示第二训练周期，将所述突触权重的一部分从极性反转的所述较低重要性的电导对-(g-gshared)传递到高重要性电导对(G+-G—)，并且其中，在所述ANN中的固定设备不对称性在多个这样的第一和第二传递间隔上抵消。
在另一个实施例中，本发明提供了一种在人工神经网络(ANN)中实现的方法，该ANN包括分层排列的多个神经元，其中一层的输出连接到后续层的多个神经元的输入，其中神经元经由多个突触彼此连接，每个突触具有编码两个连接的神经元之间的连接强度的突触权重，每个突触的突触权重的大小由来自多个电导对的加权电流表示，其中多个训练示例在观察ANN的输出的同时被串行输入到ANN，其中反向传播算法响应于来自给定层的输出与来自给定层的期望输出之间的差来更新突触权重，该方法包括：(a)将所述突触权重的一部分从较低重要性的电导对周期性地传递到较高重要性的电导对，使得总突触权重基本上保持不变；(b)在突触权重的这些周期性传递中的一者或多于一者后，反转较低重要性的电导对的极性；以及(c)重复训练示例的串行输入，直到网络输出在预定准确度内接近期望输出。
在又一实施例中，本发明提供了一种在人工神经网络(ANN)中实现的方法，所述ANN包括接层布置的多个神经元，其中一层的输出连接到后续层的多个神经元的输入，其中神经元经由多个突触彼此连接，每个突触具有编码两个连接的神经元之间的连接强度的突触权重，每个突触的权重的大小由来自多个电导对的加权电流表示，所述多个电导对中的每一个表示联合贡献并具有较高重要性电导对和较低重要性电导对，其中多个训练示例被串行输入到所述ANN，同时观察其来自给定层的输出，所述方法包括：(a)暂停训练并测量跨所述ANN网络中的模拟存储器元件的电导，并且通过来自两个或更多个电导对的算术贡献来计算每个突触的原始突触权重；(b)标识给定电导对中的至少一个测量电导，所述至少一个测量电导的绝对值比其配对电导大预定量；(c)将所述较低重要性电导对重新配置为基本上相等，以对应于对总突触权重的零联合贡献，并且重新配置所述较高重要性电导对中的一个，直到获得所述原始突触权重值；以及(d)反转所述较低重要性电导对的极性以用于后续训练操作。
结论
在上述实施例中已经示出了一种系统和方法，用于有效地实现一种系统和方法，该系统和方法用于周期性地反转人工神经网络的突触权重内的较低重要性电导对的极性，该人工神经网络是从重要性变化的带符号的模拟电导对构建的。尽管已经示出和描述了各种优选实施例，但是应当理解，这并不意味着通过这种公开来限制本发明，而是意味着覆盖落入如所附权利要求所限定的本发明的精神和范围内的所有修改。
Claims (33)
1.一种用于减轻由人工神经网络(ANN)中的固定设备不对称性所引起的对权重的不期望的贡献的方法，所述ANN中的每个突触的突触权重由来自多个电导对的加权电流来表示，其中多个训练示例在观察所述ANN的输出的同时被串行地输入到所述ANN，所述方法包括：
在表示第一训练周期的第一传递间隔期间，将所述突触权重的一部分从较低重要性的电导对(g-gshared)传递到较高重要性的电导对(G+-G—)；以及
在所述第一传递间隔之后并且表示第二训练周期的第二传递间隔期间，将所述突触权重的一部分从极性被反转的所述较低重要性的电导对-(g-gshared)传递到较高重要性的电导对(G+-G—)，
其中，在所述ANN中的固定器件不对称性跨多个这样的第一和第二传递间隔抵消。
2.根据权利要求1所述的方法，其中所述ANN中的神经元是用CMOS电路实现的。
3.根据权利要求1所述的方法，其特征在于，每个突触的所述突触权重是使用模拟存储器元件来实现的。
4.根据权利要求3所述的方法，其中，所述模拟存储器元件是非易失性存储器(NVM)。
5.根据权利要求4所述的方法，其中，所述NVM被选自包括以下项的组：相变存储器、电阻随机存取存储器和导电桥随机存取存储器。
6.一种在人工神经网络(ANN)中实现的方法，所述ANN包括按层布置的多个神经元，其中一层的输出被连接至后续层的多个所述神经元的输入，其中神经元经由多个突触被彼此连接，所述突触中的每个突触具有编码两个连接的神经元之间的连接强度的突触权重，每个突触的所述突触权重的大小由来自多个电导对的加权电流来表示，其中多个训练示例被串行输入到所述ANN，同时观察其输出，其中反向传播算法响应于来自给定层的输出与来自所述给定层的期望输出之间的差来更新所述突触权重，所述方法包括：
周期性地将所述突触权重的一部分从较低重要性的电导对传递到较高重要性的电导对，使得总突触权重基本上保持不变；
在突触权重的这些周期性传递中的一个或多个周期性传递后，反转所述较低重要性的电导对的极性；以及
重复所述训练示例的所述串行输入，直到所述网络输出在预定准确度内接近所述期望输出。
7.根据权利要求6所述的方法，其中所述神经元是用CMOS电路实现的。
8.根据权利要求6所述的方法，其特征在于，所述ANN中的所述突触权重是使用模拟存储器元件来实现的。
9.根据权利要求8所述的方法，其中，所述模拟存储器元件是非易失性存储器(NVM)。
10.根据权利要求9所述的方法，其中，所述NVM选自包括以下项的组：相变存储器、电阻随机存取存储器和导电桥随机存取存储器。
11.如权利要求6所述的方法，其特征在于，所述ANN中的所述突触权重的某一部分是使用被连接至读晶体管的栅极的电容器连同用于根据与下游和上游神经元相关联的信号向所述电容器添加电荷以及从所述电容器减去电荷的编程晶体管来实现的。
12.根据权利要求6所述的方法，其中所述ANN用作应用的一部分，所述应用选自包括以下项的组：模式识别应用、图像识别应用、语音识别应用和语言处理应用。
13.根据权利要求6所述的方法，其中所述较低重要性的电导对的所述极性通过交换所述较低重要性的电导对中的两个电导的角色而被反转。
14.根据权利要求13所述的方法，其中所述较低重要性的电导对中的所述两个电导中的一个电导从第一共享电导被重新配置到第二共享电导。
15.一种在人工神经网络(ANN)中实现的方法，所述ANN包括按层布置的多个神经元，其中一层的输出被连接到后续层的多个所述神经元的输入，其中神经元经由多个突触被彼此连接，所述突触中的每个突触具有编码两个连接的神经元之间的连接强度的突触权重，所述突触中的每个突触的所述权重的大小由来自多个电导对的加权电流来表示，所述多个电导对中的每个电导对表示联合贡献并具有较高重要性的电导对和较低重要性的电导对，其中多个训练示例在观察ANN的输出的同时被串行输入到所述ANN，其中反向传播算法响应于来自给定层的输出与来自所述给定层的期望输出之间的差来更新所述突触权重，所述方法包括：
(a)暂停训练并测量跨所述ANN网络中的模拟存储器元件的电导，并且通过来自两个或更多个电导对的算术贡献来计算每个突触的原始突触权重；
(b)标识给定电导对中的至少一个测量电导，所述至少一个测量电导的绝对值比其配对电导大预定量；
(c)将所述较低重要性的电导对重新配置为基本上相等，对应于对总突触权重的零联合贡献，并且重新配置较重要的电导对中的一个电导对直到原始突触权重值被获得；以及
(d)反转所述较低重要性的电导对的所述极性以用于后续训练操作。
16.根据权利要求15所述的方法，其中所述神经元是用CMOS电路来实现的。
17.根据权利要求15所述的方法，其中所述ANN中的突触权重是使用非易失性存储器(NVM)来实现的。
18.根据权利要求17所述的方法，其中，所述NVM选自包括以下项的组：相变存储器、电阻随机存取存储器和导电桥随机存取存储器。
19.根据权利要求15所述的方法，其中ANN中的所述突触权重的一些突触权重是使用被连接至读取晶体管的栅极的电容器连同编程晶体管来实现的，所述编程晶体管用于根据与下游神经元和上游神经元相关联的信号向所述电容器添加电荷以及从所述电容器减去电荷。
20.根据权利要求15所述的方法，其中所述ANN用作应用的一部分，所述应用选自包括以下项的组：模式识别应用、图像识别应用、语音识别应用和语言处理应用。
21.根据权利要求15所述的方法，其中所述较低重要性电导对的所述极性通过交换所述较低重要性的电导对中的所述两个电导的角色而被反转。
22.根据权利要求21所述的方法，其中所述较低重要性的电导对中的所述两个电导中的一个电导从第一共享电导被重新配置为第二共享电导。
23.一种在人工神经网络(ANN)中实现的方法，所述ANN包括按层布置的多个神经元，其中一层的输出被连接到后续层的多个所述神经元的输入，其中神经元经由多个突触被彼此连接，所述突触中的每个突触具有编码两个连接的神经元之间的连接强度的突触权重，所述突触中的每个突触的所述权重的大小由来自多个电导对的加权电流来表示，所述多个电导对中的每个电导对表示联合贡献并具有较高重要性的电导对和较低重要性的电导对，其中多个训练示例在观察所述ANN的输出的同时被串行输入到所述ANN，其中反向传播算法响应于来自给定层的输出与来自所述给定层的期望输出之间的差来更新所述突触权重，所述方法包括：
(a)暂停训练并测量跨所述ANN网络中的模拟存储器元件的电导；
(b)标识给定电导对中的至少一个测量电导，所述至少一个测量电导的绝对值比其配对电导大预定量；
(c)将所述较低重要性的电导对重新配置为基本上相等，对应于对总突触权重的零联合贡献，并且重新配置较重要的电导对中的一个电导对直到相似的突触权重值被获得；
(d)反转所述较低重要性的电导对的所述极性以用于后续训练操作，以及
其中，所述ANN中的所述突触权重中的一些突触权重是使用被连接到读取晶体管的栅极的电容器连同编程晶体管来实现的，所述编程晶体管用于根据与下游神经元和上游神经元相关联的信号向所述电容器添加电荷以及从所述电容器减去电荷。
24.根据权利要求23所述的方法，其中所述神经元用CMOS电路来实现的。
25.根据权利要求23所述的方法，其中所述ANN中的所述突触权重是使用非易失性存储器(NVM)来实现的。
26.根据权利要求25所述的方法，其中，所述NVM选自包括以下项的组：相变存储器、电阻随机存取存储器和导电桥随机存取存储器。
27.根据权利要求23所述的方法，其中通过交换所述较低重要性的电导对中的所述两个电导的角色来反转所述较低重要性的电导对的所述极性。
28.根据权利要求27所述的方法，其中所述较低重要性的电导对中的两个电导中的一个电导从第一共享电导被重新配置为第二共享电导。
29.一种用于减轻由人工神经网络(ANN)中的固定设备不对称性所引起的对权重的不期望的贡献的系统，所述ANN中的每个突触的突触权重由来自多个电导对的加权电流来表示，其中多个训练示例在观察所述ANN的输出的同时被串行输入到所述ANN，所述系统可能操作以执行包括以下步骤的方法：
在表示第一训练周期的第一传递间隔期间，将所述突触权重的一部分从较低重要性的电导对(g-gshared)传递到较高重要性的电导对(G+-G—)；以及
在所述第一传递间隔之后且表示第二训练周期的第二传递间隔期间，将所述突触权重的一部分从极性被反转的所述较低重要性的电导对-(g-gshared)传递到所述较高重要性的电导对(G+-G—)，
其中，在所述ANN中的固定设备不对称性跨多个所述的第一传递间隔和第二传递间隔抵消。
30.一种在人工神经网络(ANN)中实现的系统，所述ANN包括按层布置的多个神经元，其中一层的输出被连接到后续层的多个所述神经元的输入，其中神经元经由多个突触被彼此连接，所述突触中的每个突触具有编码两个连接的神经元之间的连接强度的突触权重，每个突触的所述突触权重的大小由来自多个电导对的加权电流来表示，其中多个训练示例在观察所述ANN的输出的同时被串行输入到所述ANN，其中反向传播算法响应于来自给定层的输出与来自所述给定层的期望输出之间的差来更新所述突触权重，所述系统可操作以执行包括以下步骤的方法：
周期性地将所述突触权重的一部分从较低重要性的电导对传递到较高重要性的电导对，使得总突触权重基本上保持不变；
在突触权重的这些周期性传递中的一个或多个周期性传递后，反转所述较低重要性的电导对的极性；以及
重复所述训练示例的串行输入，直到所述网络输出在预定准确度内接近所述期望输出。
31.一种在人工神经网络(ANN)中实现的系统，所述ANN包括按层布置的多个神经元，其中一层的输出被连接到后续层的多个所述神经元的输入，其中神经元经由多个突触被彼此连接，所述突触中的每个突触具有编码两个连接的神经元之间的连接强度的突触权重，所述突触中的每个突触的所述权重的大小由来自多个电导对的加权电流来表示，所述多个电导对中的每个电导对表示联合贡献并具有较高重要性的电导对和较低重要性的电导对，其中多个训练示例在观察所述ANN的输出的同时被串行输入到所述ANN，其中反向传播算法响应于来自给定层的输出与来自所述给定层的期望输出之间的差来更新所述突触权重，所述系统可操作以执行包括以下步骤的方法：
(a)暂停训练并测量跨所述ANN网络中的模拟存储器元件的电导，并且通过来自两个或更多个电导对的算术贡献来计算每个突触的原始突触权重；
(b)标识给定电导对中的至少一个测量电导，所述至少一个测量电导的绝对值比其配对电导大预定量；
(c)将所述较低重要性的电导对重新配置为基本上相等，对应于对总突触权重的零联合贡献，并且重新配置较重要的电导对中的一个电导对直到原始突触权重值被获得；以及
(d)反转所述较低重要性的电导对的所述极性以用于后续训练操作。
32.一种在人工神经网络(ANN)中实现的系统，所述ANN包括按层布置的多个神经元，其中一层的输出被连接到后续层的多个神经元的输入，其中神经元经由多个突触被彼此连接，所述突触中的每个突触具有编码两个连接的神经元之间的连接强度的突触权重，所述突触中的每个突触的所述权重的大小由来自多个电导对的加权电流来表示，所述多个电导对中的每个电导对表示联合贡献并具有较高重要性的电导对和较低重要性的电导对，其中多个训练示例在观察所述ANN的输出的同时被串行输入到所述ANN，其中反向传播算法响应于来自给定层的输出与来自所述给定层的期望输出之间的差来更新所述突触权重，所述系统可操作以执行包括以下步骤的方法：
(a)暂停训练并测量跨所述ANN网络中的模拟存储器元件的电导；
(b)标识给定电导对中的至少一个测量电导，所述至少一个测量电导的绝对值比其配对电导大预定量；
(c)将所述较低重要性的电导对重新配置为基本上相等，对应于对总突触权重的零联合贡献，并且重新配置较重要的电导对中的一个电导对直到相似的突触权重值被获得；
(d)反转较低重要性的电导对的所述极性以用于后续训练操作，以及
其中，所述ANN中的所述突触权重中的一些突触权重是使用被连接到读取晶体管的栅极的电容器连同编程晶体管来实现的，所述编程晶体管用于根据与下游神经元和上游神经元相关联的信号向所述电容器添加电荷以及从所述电容器减去电荷。
33.一种计算机程序，包括程序代码装置，当所述程序在计算机上运行时，所述程序代码装置适于执行根据权利要求1至28中任一项所述的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/818,521 | 2017-11-20 | ||
| US15/818,521 US11074499B2 (en) | 2017-11-20 | 2017-11-20 | Synaptic weight transfer between conductance pairs with polarity inversion for reducing fixed device asymmetries |
| PCT/IB2018/059102 WO2019097494A1 (en) | 2017-11-20 | 2018-11-19 | Synaptic weight transfer between conductance pairs with polarity inversion for reducing fixed device asymmetries |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111373414A true CN111373414A (zh) | 2020-07-03 |
| CN111373414B CN111373414B (zh) | 2023-08-25 |
Family
ID=66533047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880074824.XA Active CN111373414B (zh) | 2017-11-20 | 2018-11-19 | 用于减少固定设备不对称性的具有极性反转的电导对之间的突触权重传递 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US11074499B2 (zh) |
| JP (1) | JP7139426B2 (zh) |
| CN (1) | CN111373414B (zh) |
| DE (1) | DE112018004992B4 (zh) |
| GB (1) | GB2581310B (zh) |
| WO (1) | WO2019097494A1 (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11074499B2 (en) | 2017-11-20 | 2021-07-27 | International Business Machines Corporation | Synaptic weight transfer between conductance pairs with polarity inversion for reducing fixed device asymmetries |
| WO2019152308A1 (en) * | 2018-01-30 | 2019-08-08 | D5Ai Llc | Self-organizing partially ordered networks |
| US11694065B2 (en) * | 2019-08-28 | 2023-07-04 | Micron Technology, Inc. | Spiking neural unit |
| US11183238B2 (en) | 2019-08-28 | 2021-11-23 | International Business Machines Corporation | Suppressing outlier drift coefficients while programming phase change memory synapses |
| KR20210075542A (ko) | 2019-12-13 | 2021-06-23 | 삼성전자주식회사 | 스위칭 소자와 저항 소자를 포함하는 3차원 뉴로모픽 장치 |
| US11475946B2 (en) | 2020-01-16 | 2022-10-18 | International Business Machines Corporation | Synapse weight update compensation |
| US11908458B2 (en) * | 2020-12-29 | 2024-02-20 | International Business Machines Corporation | Customization of recurrent neural network transducers for speech recognition |
| KR102574156B1 (ko) * | 2021-07-06 | 2023-09-01 | 고려대학교 산학협력단 | 역전파와 음수 가중치 설정이 가능한 뉴로모픽 회로 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5101361A (en) * | 1989-09-29 | 1992-03-31 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Analog hardware for delta-backpropagation neural networks |
| CN101364594A (zh) * | 2007-08-09 | 2009-02-11 | 中国科学院半导体研究所 | 硅基单电子神经元量子电路 |
| CN203661036U (zh) * | 2013-12-20 | 2014-06-18 | 浙江大学城市学院 | 一种基于浮栅技术的二值动态BiCMOS与门电路 |
| US20170154259A1 (en) * | 2015-11-30 | 2017-06-01 | International Business Machines Corporation | Neuron-centric local learning rate for artificial neural networks to increase performance, learning rate margin, and reduce power consumption |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0768610B1 (en) | 1995-10-13 | 2000-08-09 | STMicroelectronics S.r.l. | Low-voltage, very-low-power neural network |
| US7814038B1 (en) | 2007-12-06 | 2010-10-12 | Dominic John Repici | Feedback-tolerant method and device producing weight-adjustment factors for pre-synaptic neurons in artificial neural networks |
| WO2010133925A1 (en) | 2009-05-20 | 2010-11-25 | Universite Paris Sud (Paris 11) | Teaching method for a neuronal nano- block |
| US9665822B2 (en) | 2010-06-30 | 2017-05-30 | International Business Machines Corporation | Canonical spiking neuron network for spatiotemporal associative memory |
| US8694452B2 (en) | 2010-07-07 | 2014-04-08 | Qualcomm Incorporated | Methods and systems for CMOS implementation of neuron synapse |
| US9092736B2 (en) * | 2010-07-07 | 2015-07-28 | Qualcomm Incorporated | Communication and synapse training method and hardware for biologically inspired networks |
| US8676734B2 (en) | 2010-07-07 | 2014-03-18 | Qualcomm, Incorporated | Methods and systems for replaceable synaptic weight storage in neuro-processors |
| US8655813B2 (en) | 2010-12-30 | 2014-02-18 | International Business Machines Corporation | Synaptic weight normalized spiking neuronal networks |
| JP2013108299A (ja) * | 2011-11-22 | 2013-06-06 | San & Shii Consultant Kk | 地震時液状化防止地盤改良工法 |
| US8832010B2 (en) | 2012-01-04 | 2014-09-09 | International Business Machines Corporation | Electronic synapses from stochastic binary memory devices |
| JP5289646B1 (ja) | 2012-01-20 | 2013-09-11 | パナソニック株式会社 | ニューラルネットワーク回路の学習方法 |
| US20160364643A1 (en) | 2012-03-08 | 2016-12-15 | Hrl Laboratories Llc | Scalable integrated circuit with synaptic electronics and cmos integrated memristors |
| EP2849083A4 (en) | 2012-05-10 | 2017-05-03 | Consejo Superior De Investigaciones Científicas (CSIC) | Method and system for converting pulsed-processing neural network with instantaneous integration synapses into dynamic integration synapses |
| GB201209174D0 (en) | 2012-05-25 | 2012-07-04 | Univ Bath | Neural network |
| US8811060B2 (en) | 2012-05-31 | 2014-08-19 | International Business Machines Corporation | Non-volatile memory crosspoint repair |
| US9424514B2 (en) | 2012-07-25 | 2016-08-23 | Board Of Trustees Of Michigan State University | Synapse maintenance in the developmental networks |
| US9218564B2 (en) | 2012-07-30 | 2015-12-22 | International Business Machines Corporation | Providing transposable access to a synapse array using a recursive array layout |
| US20150019468A1 (en) | 2013-07-09 | 2015-01-15 | Knowmtech, Llc | Thermodynamic computing |
| US9753959B2 (en) | 2013-10-16 | 2017-09-05 | University Of Tennessee Research Foundation | Method and apparatus for constructing a neuroscience-inspired artificial neural network with visualization of neural pathways |
| US9619749B2 (en) | 2014-03-06 | 2017-04-11 | Progress, Inc. | Neural network and method of neural network training |
| US9990580B2 (en) | 2015-03-13 | 2018-06-05 | International Business Machines Corporation | Neuromorphic synapses |
| US10891543B2 (en) | 2015-12-28 | 2021-01-12 | Samsung Electronics Co., Ltd. | LUT based synapse weight update scheme in STDP neuromorphic systems |
| US10614355B2 (en) | 2015-12-30 | 2020-04-07 | SK Hynix Inc. | Method for updating weights of synapses of a neuromorphic device |
| US9715656B1 (en) | 2016-09-12 | 2017-07-25 | International Business Machines Corporation | Killing asymmetric resistive processing units for neural network training |
| US11270194B2 (en) * | 2017-07-26 | 2022-03-08 | International Business Machines Corporation | System and method for constructing synaptic weights for artificial neural networks from signed analog conductance-pairs of varying significance |
| US11074499B2 (en) | 2017-11-20 | 2021-07-27 | International Business Machines Corporation | Synaptic weight transfer between conductance pairs with polarity inversion for reducing fixed device asymmetries |
-
2017
- 2017-11-20 US US15/818,521 patent/US11074499B2/en active Active
-
2018
- 2018-11-19 GB GB2008959.5A patent/GB2581310B/en active Active
- 2018-11-19 CN CN201880074824.XA patent/CN111373414B/zh active Active
- 2018-11-19 DE DE112018004992.2T patent/DE112018004992B4/de active Active
- 2018-11-19 WO PCT/IB2018/059102 patent/WO2019097494A1/en active Application Filing
- 2018-11-19 JP JP2020526371A patent/JP7139426B2/ja active Active
-
2021
- 2021-05-25 US US17/329,245 patent/US11915132B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5101361A (en) * | 1989-09-29 | 1992-03-31 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Analog hardware for delta-backpropagation neural networks |
| CN101364594A (zh) * | 2007-08-09 | 2009-02-11 | 中国科学院半导体研究所 | 硅基单电子神经元量子电路 |
| CN203661036U (zh) * | 2013-12-20 | 2014-06-18 | 浙江大学城市学院 | 一种基于浮栅技术的二值动态BiCMOS与门电路 |
| US20170154259A1 (en) * | 2015-11-30 | 2017-06-01 | International Business Machines Corporation | Neuron-centric local learning rate for artificial neural networks to increase performance, learning rate margin, and reduce power consumption |
Non-Patent Citations (3)
| Title |
|---|
| 叶勇;亢勇;景蔚亮;杜源;宋志棠;陈邦明;: "非易失性突触存储阵列及神经元电路的设计" * |
| 陈琼,郑启伦,凌卫新: "采用计数器存储权值的人工神经网络的实现" * |
| 陈艳;张晨曦;王来源;李腾飞;朱颖;仪明东;黄维;: "基于平面晶体管型器件的突触可塑性模拟" * |
Also Published As
| Publication number | Publication date |
|---|---|
| US11074499B2 (en) | 2021-07-27 |
| DE112018004992T5 (de) | 2020-06-10 |
| WO2019097494A1 (en) | 2019-05-23 |
| JP7139426B2 (ja) | 2022-09-20 |
| JP2021503649A (ja) | 2021-02-12 |
| GB202008959D0 (en) | 2020-07-29 |
| US20210287090A1 (en) | 2021-09-16 |
| GB2581310A (en) | 2020-08-12 |
| US20190156194A1 (en) | 2019-05-23 |
| CN111373414B (zh) | 2023-08-25 |
| DE112018004992B4 (de) | 2023-11-02 |
| US11915132B2 (en) | 2024-02-27 |
| GB2581310B (en) | 2020-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111373414B (zh) | 用于减少固定设备不对称性的具有极性反转的电导对之间的突触权重传递 | |
| Nandakumar et al. | Mixed-precision architecture based on computational memory for training deep neural networks | |
| CN110945535B (zh) | 一种在人工神经网络ann中实现的方法 | |
| Cramer et al. | Surrogate gradients for analog neuromorphic computing | |
| US10664745B2 (en) | Resistive processing units and neural network training methods | |
| US10248907B2 (en) | Resistive processing unit | |
| JP7228320B2 (ja) | ニューロモーフィック・チップ、ニューロモーフィック・システム、ニューロモーフィック・チップ内のシナプス重みを更新するための方法およびコンピュータ・プログラム | |
| US10468098B2 (en) | In-cell differential read-out circuitry for reading signed weight values in resistive processing unit architecture | |
| WO2018158680A1 (en) | Resistive processing unit with hysteretic updates for neural network training | |
| US11157810B2 (en) | Resistive processing unit architecture with separate weight update and inference circuitry | |
| WO2012018946A1 (en) | Methods and systems for reward-modulated spike-timing-dependent-plasticity | |
| US11562249B2 (en) | DNN training with asymmetric RPU devices | |
| KR20200009044A (ko) | 이분 멤리스티브 네트워크의 심층 학습 | |
| US11610101B2 (en) | Formation failure resilient neuromorphic device | |
| Yang et al. | On learning with nonlinear memristor-based neural network and its replication | |
| Kim et al. | VCAM: Variation compensation through activation matching for analog binarized neural networks | |
| Xu et al. | Parallel programming of resistive cross-point array for synaptic plasticity | |
| Zhou et al. | Ml-hw co-design of noise-robust tinyml models and always-on analog compute-in-memory edge accelerator | |
| KR20230029759A (ko) | 아날로그 크로스바 어레이들을 업데이트하기 위한 희소 수정가능 비트 길이 결정 펄스 생성 | |
| US20220101142A1 (en) | Neural network accelerators resilient to conductance drift | |
| JP2023533846A (ja) | クロスバーアレイを更新するためのパルス生成 | |
| Gavrilov et al. | Capacity, fidelity, and noise tolerance of associative spatial-temporal memories based on memristive neuromorphic networks | |
| WO2024083180A9 (en) | Dnn training algorithm with dynamically computed zero-reference. | |
| Chowdhury et al. | Design Space Exploration Tool for Mixed-Signal Spiking Neural Network | |
| JPH04281584A (ja) | 複数の入力信号の重みづけられた複数の加算を行う装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |