CN116710937A - Monise装置突触元件偏置方案 - Google Patents
Monise装置突触元件偏置方案 Download PDFInfo
- Publication number
- CN116710937A CN116710937A CN202180082612.8A CN202180082612A CN116710937A CN 116710937 A CN116710937 A CN 116710937A CN 202180082612 A CN202180082612 A CN 202180082612A CN 116710937 A CN116710937 A CN 116710937A
- Authority
- CN
- China
- Prior art keywords
- array
- synaptic
- current
- synaptic array
- mirror
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000946 synaptic effect Effects 0.000 title claims abstract description 172
- 210000000225 synapse Anatomy 0.000 claims abstract description 29
- 230000001747 exhibiting effect Effects 0.000 claims abstract description 8
- 210000004027 cell Anatomy 0.000 claims description 62
- 230000015654 memory Effects 0.000 claims description 53
- 238000000034 method Methods 0.000 claims description 31
- 239000003990 capacitor Substances 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000005669 field effect Effects 0.000 claims description 8
- 238000007599 discharging Methods 0.000 claims description 2
- 230000003362 replicative effect Effects 0.000 claims description 2
- 210000002569 neuron Anatomy 0.000 description 60
- 238000003860 storage Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 26
- 238000012545 processing Methods 0.000 description 19
- 210000003050 axon Anatomy 0.000 description 17
- 238000004891 communication Methods 0.000 description 16
- 238000013473 artificial intelligence Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 230000002085 persistent effect Effects 0.000 description 9
- 210000001787 dendrite Anatomy 0.000 description 8
- 230000008901 benefit Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 230000001242 postsynaptic effect Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 230000003518 presynaptic effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 239000011295 pitch Substances 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000012421 spiking Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000036982 action potential Effects 0.000 description 1
- 210000003766 afferent neuron Anatomy 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009172 bursting Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002964 excitative effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000027928 long-term synaptic potentiation Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004801 process automation Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000003956 synaptic plasticity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
- G06F7/5443—Sum of products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Memory System (AREA)
- Logic Circuits (AREA)
- Semiconductor Memories (AREA)
Abstract
一种神经形态突触阵列，包括：多个突触阵列单元，所述多个突触阵列单元通过电路连接，使得所述突触阵列单元被分配给阵列的行和列，所述突触阵列单元分别具有单极性突触权重，所述行分别连接到所述突触阵列单元的相应输入端，所述列分别连接到所述突触阵列单元的相应输出端，在所述阵列的列中排列的所述突触阵列单元被定义为操作列阵列；以及电流镜阵列，每个电流镜呈现N：1的镜比率，其中N是所述突触阵列单元的列的数量，分别连接到相应行使得与所有所述电流镜对应的权重被设置为在学习阶段期间被更新的所有所述突触阵列单元的平均权重。
Description
背景技术
本发明一般涉及神经形态(neuromorphic)和突触电子学(synaptronic)计算，更具体地，涉及用于单装置突触元件的偏置方案。
神经形态和突触电子学计算，也称为人工神经网络，是允许电子系统基本上以类似于生物脑的方式起作用的计算系统。神经形态和突触电子学计算通常不利用操纵0和1的传统数字模型。相反，神经形态和突触电子学计算创建功能上等效于生物脑的神经元的处理元件之间的连接。神经形态和突触电子学计算可以包括在生物神经元上建模的各种电子电路。
在生物系统中，神经元的轴突和另一个神经元上的树突之间的接触点被称为突触，并且对于突触，这两个神经元分别被称为突触前的和突触后的。单独的体验的本质存储在突触的电导中。突触电导根据突触前和突触后神经元的相对尖峰时间，如按照尖峰时序依赖可塑性(STDP)，而随时间变化。
深度神经网络(DNN)是神经形态计算架构的家族，其在诸如图像或对象识别、语音识别和机器语言翻译的困难机器学习问题方面取得了实质性进步。DNN的计算包括训练和前向推理，在训练期间，在训练数据集上优化网络的权重，在前向推理期间，利用已经学习的网络对新的、先前未见过的测试数据进行分类、预测或其它有用的任务。这些网络非常适合于经由可以高度并行化的大且密集的矩阵-矩阵乘法来计算。
传统的冯·诺依曼硬件受到在存储器和处理器之间来回移动数据所花费的时间和能量的约束(“冯·诺依曼瓶颈”)。相反，在非冯·诺依曼方案中，在数据位置处进行计算，其中突触连接的强度(权重)直接在存储器中存储和调整。然而，对于高效的片上训练，用在其电导中直接编码突触权重的高密度模拟装置来代替存储在静态随机存取存储器阵列中的数字突触权重，将是优选的。这种模拟系统可以实现用于前向推理和训练的显著加速和功率降低。用于训练的模拟装置的期望特性包括快速、多个模拟电平的低功率编程、尺寸可缩放性、合理的保持、高耐久性，以及最重要的是，逐渐和对称的电导更新特性。
迄今为止，基于模拟存储器的DNN训练的实验演示由于现有装置所展现的实质非理想性而遭受降低的分类准确度的问题。这些演示具有特征化的丝状电阻RAM(RRAM)、非丝状电阻RAM、相变存储器(PCM)、导电桥接RAM(CBRAM)、铁电RAM和混合数字非易失性存储器(NVM)架构。因此，需要新的手段来作为单个装置使用突触权重。
发明内容
根据一个实施例，提供了一种神经形态突触阵列。该神经形态突触阵列包括多个突触阵列单元，所述突触阵列单元通过电路连接，使得突触阵列单元被分配给阵列的行和列，所述突触阵列单元分别具有单极性突触权重，所述行分别连接到突触阵列单元的相应输入端，所述列分别连接到突触阵列单元的相应输出端，排列在阵列的列中的突触阵列单元被定义为操作列阵列，以及电流镜阵列，每个电流镜呈现N：1的镜比率，其中N是所述突触阵列单元的列的数量，分别连接到相应行使得与所有所述电流镜对应的权重被设置为在学习阶段期间被更新的所有所述突触阵列单元的平均权重。
根据另一实施例，提供了一种计算机实现的方法。该计算机实现的方法包括：通过电路连接多个突触阵列单元，使得所述突触阵列单元被分配给阵列的行和列，所述突触阵列单元分别具有单极性突触权重，行分别连接到突触阵列单元的相应输入端，列分别连接到突触阵列单元的相应输出端，排列在阵列的列中的突触阵列单元被定义为操作列阵列，以及将电流镜阵列连接到该阵列，每个电流镜呈现N：1的镜比率，其中N是所述突触阵列单元的列的数量，分别连接到相应行使得与所有所述电流镜对应的权重被设置为在学习阶段期间被更新的所有所述突触阵列单元的平均权重。
根据又一实施例，提供了一种神经形态突触阵列。该神经形态突触阵列包括：多个突触阵列单元，所述突触阵列单元通过电路连接，使得突触阵列单元被分配给阵列的行和列，所述突触阵列单元分别具有单极性突触权重，所述行分别连接到突触阵列单元的相应输入端，所述列分别连接到突触阵列单元的相应输出端，排列在阵列的列中的突触阵列单元被定义为操作列阵列；电流镜阵列，每个电流镜呈现N：1的镜比率，其中N是所述突触阵列单元的列的数量，分别连接到相应行使得与所有所述电流镜相对应的权重被设置为在学习阶段期间被更新的所有所述突触阵列单元的平均权重；以及电流积分器阵列，每个电流积分器连接到所述阵列的相应列，并且每个电流积分器包括积分电容器，以接收收集的镜像电流、复制所收集的镜像电流、以及放电所收集的镜像电流。
根据又一实施例，提供了一种计算机实现的方法。该计算机实现的方法包括：通过电路连接多个突触阵列单元，使得所述突触阵列单元被分配给阵列的行和列，所述突触阵列单元分别具有单极性突触权重，所述行分别连接到所述突触阵列单元的相应输入端，所述列分别连接到所述突触阵列单元的相应输出端，排列在所述阵列的列中的所述突触阵列单元被定义为操作列阵列；将电流镜阵列连接到所述阵列，每个电流镜呈现N：1的镜比率(mirror ratio)，其中N是所述突触阵列单元的列的数量，分别连接到相应行使得与所有所述电流镜对应的权重被设置为在学习阶段期间被更新的所有所述突触阵列单元的平均权重；以及将电流积分器的阵列连接到所述阵列，每个电流积分器连接到所述阵列的相应列，并且每个电流积分器包括积分电容器，以接收收集的镜像电流，复制所收集的镜像电流，以及放电所收集的镜像电流。
根据又一实施例，提供了一种神经形态突触阵列。该神经形态突触阵列包括：多个电连接的突触阵列单元，使得突触阵列单元被分配给阵列的行和列，突触阵列单元分别具有单极性突触权重；电流镜阵列，每个电流镜呈现N：1的镜像比率(mirror ratio)，其中N是所述突触阵列单元的列的数量，分别连接到相应行使得与所有所述电流镜对应的权重被设置为在学习阶段期间被更新的所有所述突触阵列单元的平均权重；以及电流积分器阵列，每个电流积分器连接到所述阵列的相应列，并且每个电流积分器包括积分电容器，用于接收收集的镜像电流、复制所收集的镜像电流、以及放电所收集的镜像电流，以加速人工神经网络加速器芯片中的乘法-累加(MAC)操作。
在一个优选的方面，所述多个突触阵列单元的至少一部分包括电阻存储器。
在另一个优选的方面，所述多个突触阵列单元的至少一部分包括电流积分器。
在另一个优选方面，所述电流镜阵列对于阵列的一行或多行包括不同电流镜配置。
在又一优选方面，一个电流镜配置包括两个n型场效应晶体管(NFET)。
在又一优选方面，一个电流镜配置包括两个p型场效应晶体管(PFET)和单个NFET。
在又一优选方面，一个电流镜配置包括两个NFET和单个运算放大器(op-amp)。
在又一优选方面，一个电流镜配置包括两个PFET、单个NFET和两个运算放大器。
在又一优选方面，电流积分器对于阵列的一行或多行包括不同配置。
在又一优选方面，一个电流积分器配置包括两个PFET、单个NFET和集成电容器。
在又一优选方面，一种电流积分器配置包括两个PFET、单个NFET、运算放大器和积分电容器。
在又一优选方面，积分电容器接收收集的镜像电流，复制所收集的镜像电流，以及放电所收集的镜像电流。
在又一优选方面，神经形态突触阵列加速人工神经网络加速器芯片中的乘法-累加(MAC)运算。
本发明的优点包括去除了用于编程突触单元的处理时间开销，使得“读”、“写”和“平均”操作不是必需的。进一步的优点包括减小了用于每个操作的电路布局面积。另一个优点包括减少了每一操作的能量消耗。另外，另一个优点包括减少或消除了读取量化误差、平均计算误差和写入量化误差。这导致了更高的存储容量、更快的处理和更好的数据传输速度。进一步的优点包括更高的质量、降低的成本、更清晰的范围、更快的性能、更少的应用错误和更少的数据错误。
应当注意，参考不同的主题描述了示例性实施例。特别地，一些实施例是参考方法类型权利要求来描述的，而其他实施例是参考装置类型权利要求来描述的。然而，本领域技术人员将从以上和以下描述中了解到，除非另外指出，除了属于一种类型的主题的特征的任何组合之外，与不同主题相关的特征之间的任何组合(特别是方法类型权利要求的特征与装置类型权利要求的特征之间的任何组合)，也被认为是在本文件内进行了描述。
从以下结合附图阅读的对本发明的说明性实施例的详细描述中，这些和其它特征和优点将变得显而易见。
附图说明
本发明将参考以下附图在以下优选实施例的描述中提供细节，其中：
图1示出了通过神经元的突触对来自多个前置神经元(pre-neutron)的输入的乘法-累加(MAC)操作的示例性神经元激励；
图2是根据本发明的实施例的在每行包括电流镜的突触阵列单元；
图3是根据本发明的实施例的在每行包括电流镜的突触阵列单元的另一实施例，其中电流镜包括晶体管的组合；
图4是根据本发明的实施例的在每行包括电流镜的突触阵列单元的另一实施例，其中电流镜包括晶体管和运算放大器的组合；
图5是根据本发明的实施例的使用电流镜来加速乘法累加(MAC)运算的方法的框图/流程图；
图6为根据本发明的一实施例的包括互连电子神经元与轴突的电子突触的电子突触的交叉部(crossbar)的例示性神经形态和突触电子学网络；
图7是根据本发明的实施例的计算系统的组件的框图，该计算系统包括计算装置和能够采用电流镜来加速MAC操作的神经形态芯片；
图8是根据本发明实施例的示例性云计算环境的框图/流程图；
图9是根据本发明实施例的示例性抽象模型层的示意图；
图10示出了根据本发明的实施例使用电流镜来加速MAC运算的实际应用；
图11是根据本发明的实施例的用于采用电流镜来加速与物联网(IoT)系统/装置/基础设施的MAC操作的方法的框图/流程图；以及
图12是根据本发明的实施例的用于收集与用于加速MAC操作的电流镜相关的数据/信息的示例性IoT传感器的框图/流程图。
在所有附图中，相同或相似的附图标记表示相同或相似的元件。
具体实施方式
根据本发明的实施例提供了用于通过采用电流镜电路而不是物理参考单元，有利地将神经元中的累加(乘-累加)值移动到接近零值(其中激活函数具有最敏感的区域)的方法和装置。因此，每个单个装置有利地表示一个突触权重。
最近，深度学习已经通过在诸如计算机视觉、语音识别和复杂的战略游戏等领域提供类似人类的表现，彻底改变了机器学习领域。然而，就实时信息处理能力及可比能耗而言，深度神经网络的当前硬件实现仍远未能与生物神经系统竞争。大多数神经网络都是在基于冯诺依曼架构的计算系统上实现的，这些计算系统具有单独的内存和处理单元或装置。这些装置以其电阻/电导状态存储信息，并根据编程历史呈现电导率调制。构建基于认知硬件的装置的核心思想是将突触权重存储为其电导状态，并就地执行相关的计算任务。需要通过此类装置模拟的两个基本突触属性是突触功效(efficacy)和可塑性(plasticity)。突触功效是指基于传入的神经元激活产生突触输出。相比之下，突触可塑性是突触改变其权重的能力，通常在执行学习算法期间。突触权重的增加被称为增强(potentiation)，减少被称为抑制(depression)。在ANN中，权重通常根据反向传播算法进行更改。
在计算中，乘法-累加操作是计算两个数字的乘积并将所述乘积加到累加器的任务。执行该操作的硬件单元被称为乘法器-累加器(MAC，或MAC单元)。该操作本身通常被称为MAC或MAC操作。使用诸如电阻随机存取存储器(RRAM)、相变存储器(PCM)和磁随机存取存储器(MRAM)的电阻器件的MAC技术正在获得关注以用于神经网络加速器芯片。使用一对正(G+)和负(G-)电阻装置的差分感测方案是用于表达带符号突触权重的广泛使用的技术。然而，先前使用利用具有参考单元的单个器件的突触权重，而不是使用一对G+和G-电阻性器件。本发明的示例性实施例有利地采用电流镜而不是参考单元来表示突触权重。根据本发明的实施例提供了通过最小化或消除读取量化误差、平均计算误差和编程(写入)量化误差来有利地减轻复杂的编程(写入)过程的方法和装置。有利地最小化了性能开销和能量消耗，并且可以有利地去除用于某些电路块的附加布局区域。
应当理解，将结合给定的说明性体系结构来描述本发明；然而，其它架构、结构、衬底材料和工艺特征和步骤/块可以在本发明的范围内变化。应当注意，为了清楚起见，某些特征可能不在所有附图中示出。这不应被解释为对任何特定实施例或说明或权利要求的范围的限制。
图1示出了通过神经元的突触对来自多个前置神经元的输入的乘法-累加运算(MAC)的示例性神经元激励。乘法-累加运算(MAC)可被称为“积和”。神经形态阵列利用生物神经元激活电位模型的MAC运算。通过将连接在输入端口和神经元之间的突触的输入值和权重的相乘结果相加(积和)，来计算被称为“神经元动作电位”的神经元膜电位。
图2是根据本发明的实施例的在每行包括电流镜的突触阵列单元。
突触阵列单元10包括位线12和多条字线14，以及用于从行中的每个单元元件收集电流的多条返回线11。第一行包括多个电阻存储器元件。为了说明的目的，描绘了第一电阻存储器30和第二电阻存储器32。有利地，为第一行提供电流镜20。电流镜20与第一和第二电阻存储器30、32串联。输入脉冲16被施加到第一行电阻存储器元件。
第二行还包括多个电阻存储器元件。为了说明的目的，针对第二行描绘了第一电阻存储器30'和第二电阻存储器32'。有利地，为第二行提供电流镜22。电流镜22与第一和第二电阻存储器30'、32'串联连接。输入脉冲被施加到第二行电阻存储元件。元件23是用于感测电流的电流镜的支路。每个电流镜20、22具有两个支路，一个用于感测参考电流，一个用于通过放大例如1/N来复制电流，另外，在阵列10的每列N处示出了多个成对的支路24、26，每个支路包括积分电容器25、27。
电流镜20、22是设计成通过控制电路的另一有源器件中的电流来复制通过一个有源器件的电流，从而保持输出电流恒定而与负载无关的电路。被“复制”的电流可以是并且有时是变化的信号电流。换句话说，电流镜是一种电路块，其用于通过输出端子中复制电流来产生流入或流出输入端子的电流的副本。电流镜的一个有利特征是相对高的输出电阻，这有助于保持输出电流恒定而不管负载条件如何。电流镜的另一个有利特征是相对低的输入电阻，这有助于保持输入电流恒定而不管驱动条件如何。
概念上，理想的电流镜仅仅是理想的反向电流放大器，其也使电流方向反向，或者其可以包括电流控制的电流源(CCCS)。电流镜20、22可以有利地用于向电路提供偏置电流和有源负载。电流镜20、22也可以有利地用于对更实际的电流源进行建模。存在表征电流镜的某些主要规范。一个是转移比(在电流放大器的情况下)或输出电流大小(在恒定电流源CCS的情况下)。另一个是其AC输出电阻，其AC输出电阻确定输出电流随施加到电流镜的电压而变化的程度。再一个规格是使其正常工作所需的电流镜的输出部分上的最小电压降。该最小电压由将电流镜的输出晶体管保持在激活模式的需要来规定。电流镜工作的电压范围被称为顺从范围，并且标记好和坏行为之间的边界的电压被称为顺从电压。
图3是根据本发明的实施例的在每行包括电流镜的突触阵列单元的另一实施例，其中电流镜包括晶体管的组合。
突触阵列单元包括位线12和多条字线14，以及用于从行中的每个单元元件收集电流的多条返回线11。第一行包括多个电阻存储器元件。为了说明的目的，描绘了第一电阻存储器30和第二电阻存储器32。有利地为第一行提供电流镜40。电流镜40与第一和第二电阻存储器30、32串联。输入脉冲16被施加到第一行的电阻存储器元件。
电流镜40包括两个n型场效应晶体管(NFET)41、42。
第二行包括多个电流积分器。为了说明的目的，描述了第一电流积分器50和第二积分器60。有利地为第二行提供电流镜44。电流镜44与第一和第二电流积分器50、60串联连接。
电流镜44包括两个p型场效应晶体管(PFET)45、47和单个NFET49。
如果输入脉冲16进入阵列，则电流从元件50和元件60的左支流经电阻存储器30、32到达元件40的右支。然后电流被镜像到元件40的左支中，并被放大1/N。有利地，这些行为发生在每一行和列中。在最左边的线收集镜像电流，并且所收集的电流源自元件44的左支。之后，所收集的电流还被镜像到元件44的右支，然后有利地被复制并从每列N的积分电容器58、68放电。结果，提供了电流镜40、44，其镜比率(mirror ratio)为N：1，其中N是操作突触单元(operation-synapse cells)的列的数量。镜像电流被有利地加在一起并被镜像到每列上的积分电容器58、68以移位MAC结果，而不需要参考突触单元。
元件50、60是包括两个电流镜和一个积分电容器的电流积分器。电流积分器50包括两个PFET 52、54和单个NFET 56，以及积分电容器58。类似地，积分器60包括两个PFET62、64和单个NFET66，以及积分电容器68。
NFET电流镜仅具有一个支路。成对的公共感测支路存在于元件44的右支路中。元件50、60也可以称为“神经元电路”。积分电容器58、68上的电压通常由模数转换器(ADC)转换为数字位，使得所连接的系统可以使用作为数字数据的输出数据。
图4是根据本发明的实施例的在每行包括电流镜的突触阵列单元的另一实施例，其中，电流镜包括晶体管和运算放大器的组合。
突触阵列单元包括位线12和多条字线14，以及用于从行中的每个单元元件收集电流的多条返回线11。第一行包括多个电阻存储器元件。为了说明的目的，描绘了第一电阻存储器30和第二电阻存储器32。有利地，为第一行提供电流镜70。电流镜70与第一和第二电阻存储器30、32串联，输入脉冲16被施加到第一行电阻存储器元件。
电流镜70包括两个n型场效应晶体管(NFET)71、72和运算放大器(或op-amp)73。
第二行包括多个电流积分器。为了说明的目的，描绘了第一电流积分器80和第二积分器86。有利地，为第二行提供电流镜74。电流镜74与第一和第二电流积分器80、86串联连接。
电流镜74包括两个PFET 75、76，单个NFET78，和两个运算放大器77、79。
如果输入脉冲16进入阵列，则电流从元件86和元件80的左支流经电阻存储器30、32到元件70的右支。然后电流有利地以1/N放大而镜像到元件70的左支中。有利地，这些行为发生在每一行和列中。在最左边的线收集镜像电流，并且收集的电流源自元件74的左支。之后，收集的电流还被镜像到元件74的右支，然后有利地被复制并从每列N的积分电容器85、92放电。
元件80、86是包括两个电流镜和一个积分电容器的电流积分器。电流积分器80包括两个PFET 81、82和单个NFET 84，以及积分电容器85。电流积分器80还包括运算放大器83。类似地，积分器86包括两个PFET 87、88和单个NFET90，以及积分电容器92。电流积分器86还包括运算放大器89。
NFET电流镜仅具有一个支路。成对的公共感测支路存在于元件74的右支路中。元件80、86也可以称为“神经元电路”。积分电容器85、92上的电压通常由模数转换器(ADC)转换为数字位，使得所连接的系统可以使用作为数字数据的输出数据。
图2-4中的每个电路图可以有利地由人工智能(AI)加速器芯片实现，如下面参考图10所示。
图5是根据本发明的实施例的有利地使用电流镜来加速乘法-累加(MAC)运算的方法的框图/流程图。
在框96处，通过电路连接多个突触阵列单元，使得突触阵列单元被分配给阵列的行和列，突触阵列单元分别具有单极性突触权重，行分别连接到突触阵列单元的相应输入端，列分别连接到突触阵列单元的相应输出端，在阵列的列中排列的突触阵列单元被定义为操作列阵列。
在框98，采用电流镜阵列，每个电流镜呈现N：1的镜比率，其中N是突触单元的列的数量，分别连接到相应行，配置成使得与所有镜像电流对应的权重被设置为在学习阶段期间被有利地更新的所有突触单元的平均权重。
图6为根据本发明的一实施例的包括互连电子神经元与轴突的电子突触的交叉部的例示性神经形态及突触电子学网络。
根据本发明实施例，示例性的片块电路(tile circuit)100具有交叉条112。在一个示例中，整个电路可以包括“超密集交叉条阵列”，其可以具有在约10nm至500nm范围内的节距。然而，本领域技术人员也可以设想更小和更大的节距。神经形态和突触电子学电路100包括交叉部112，其互连包括神经元114、116、118和120的多个数字神经元111。这些神经元111在本文中也被称为“电子神经元”。为了说明的目的，示例电路100提供两对神经元(例如，N1和N3)之间的对称连接。然而，本发明的实施例不仅可用于这种神经元的对称连接，而且可用于神经元的不对称连接(神经元N1和N3不需要以相同的连接来连接)。片块中的交叉条适应突触与神经元的适当比率，并且因此不必是正方形的。
在示例电路100中，神经元111经由诸如树突126和128的树突路径/线(树突)113连接到交叉条112。神经元111还经由轴突路径/线(轴突)115(诸如轴突134和136)连接到交叉条112。神经元114和116是树突神经元，并且神经元118和120是与轴突113连接的轴突神经元。具体地，神经元114和116被示出为具有分别连接到树突(例如，位线)126和128的输出122和124。轴突神经元118和120被示出为具有分别连接到轴突(例如，字线或存取线)134和136的输出130和132。
当神经元114、116、118和120中的任何神经元激发时，它们将向其轴突连接和其树突连接发出脉冲。每个突触提供一个神经元的轴突与另一个神经元上的树突之间的接触，并且相对于该突触，这两个神经元分别被称为突触前的和突触后的。
树突126、128与轴突134、136之间的每一连接是通过数字突触装置131(突触)来进行。突触装置所在的接点(junction)在本文中可称为“交叉点接点”。通常，根据本发明的实施例，神经元114和116将响应于它们从轴突输入连接(未示出)接收的输入超过阈值而“激发”(发送脉冲)。
突触131可包括电阻存储器30、32。突触131可包括图3的电流积分器50、60或图4的电流积分器80、86。突触131还可包括本文所述的任何类型的电流镜。因此，本领域技术人员可以设想图2-4的所有电路元件都被有利地并入或嵌入到电路100的突触131中。
神经元118和120将响应于它们从外部输入连接(未示出)(通常从其他神经元)接收的输入超过阈值而“激发”(发送脉冲)。在一个实施例中，当神经元114和116激发时，它们维持衰减的突触后尖峰时序依赖可塑性(STDP)(STDP后)变量。例如，在一个实施方案中，衰减周期可以是50μs(比实际生物系统的衰减周期短1000倍，相当于高1000倍的操作速度)。通过对从相关联的神经元的最后一次激发以来的时间进行编码，采用STDP后变量来实现STDP。这种STDP用于控制长期增强或“增强(potentiation)”，在本文中其被定义为增加突触电导。当神经元118、120激发时，它们维持前STDP(突触前STDP)变量，该变量以与神经元114和116的变量相似的方式衰减。
例如，前STDP变量和后STDP变量可以根据指数、线性、多项式或二次函数衰减。在本发明的另一个实施例中，变量可以随时间而增加而不是减少。在任何情况下，该变量可以用于通过对从相关联的神经元的最后一次激发以来的时间进行编码来实现STDP。STDP用于控制长期抑制或“抑制(depression)”，在本文中将其定义为降低突触电导。注意，STDP前变量和STDP后变量的作用可以用STDP前实现增强和STDP后实现抑制来逆转。
外部双向通信环境可以提供感觉输入(sensory input)并消耗运动输出(motoroutput)。使用互补金属氧化物半导体(CMOS)逻辑门实现的数字神经元111接收尖峰输入并对它们进行积分。在一个实施例中，神经元111包括比较器电路，其在积分输入超过阈值时生成尖峰。在一个实施例中，使用闪存单元来实现突触，其中每个神经元111可以是兴奋性或抑制性神经元(或两者)。如下所述，每个神经元轴突和树突上的每个学习规则是可重新配置的。这假设了对交叉条存储阵列的转座访问(transposable access)。每次一个地选择尖峰的神经元，向对应的轴突发送尖峰事件，其中轴突可能驻留在核(core)上或具有许多核的较大系统中的某个其他地方。
如本文所使用的术语电子神经元表示被配置为模拟生物神经元的架构。电子神经元在功能上大致等同于生物脑的神经元的处理元件之间创建连接。因此，根据本发明的实施例的包括电子神经元的神经形态和突触电子学系统可以包括对生物神经元建模的各种电子电路，然而在许多有用的实施例中它们可以在比它们的生物对应物更快的时间尺度(例如，1000X)上操作。此外，根据本发明的实施例的包括电子神经元的神经形态和突触电子学系统可以包括对生物神经元建模的各种处理元件(包括计算机模拟)。尽管这里使用包括电子电路的电子神经元描述了本发明的某些说明性实施例，但是本发明不限于电子电路。根据本发明的实施例的神经形态及突触电子学系统可实施为包括电路的神经形态及突触电子学架构，另外可实施为计算机模拟。实际上，本发明的实施例可以采取完全硬件实施例、完全软件实施例或包括硬件和软件元素两者的实施例的形式。
图7是根据本发明的实施例的包括计算装置和能够采用单位单元和/或突触权重的神经形态芯片的计算系统的组件的框图。
图7描绘了包括计算装置205的系统200的组件的框图。应当理解，图7仅提供了一种实现的示例说明，而不暗示对其中可实现不同实施例的环境的任何限制。可以对所描述的环境进行许多修改。
计算装置205包括通信结构202，其提供(一个或多个)计算机处理器204、存储器206、持久存储装置208、通信单元210和(一个或多个)输入/输出(I/O)接口212之间的通信。通信结构202可以用被设计成在处理器(诸如微处理器、通信和网络处理器等)、系统存储器、外围装置和系统内的任何其它硬件组件之间传递数据和/或控制信息的任何体系结构来实现。例如，通信结构202可以用一个或多个总线来实现。
存储器206、高速缓冲存储器216和持久存储装置208是计算机可读存储介质。在该实施例中，存储器206包括随机存取存储器(RAM)214。在另一实施例中，存储器206可以是闪存。通常，存储器206可以包括任何合适的易失性或非易失性计算机可读存储介质。
在本发明的一些实施例中，深度学习程序225被包括在内并由作为计算装置205的组件的神经形态芯片222操作。在其他实施例中，深度学习程序225被存储在持久存储装置208中以供神经形态芯片222经由存储器206的一个或多个存储器结合相应计算机处理器204中的一个或多个计算机处理器来执行。在该实施例中，持久存储装置208包括磁硬盘驱动器。替代地，或在磁硬盘驱动器之外，持久存储装置208还可以包括固态硬盘驱动器、半导体存储装置、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、闪存、或能够存储程序指令或数字信息的任何其它计算机可读存储介质。
持久存储装置208使用的介质也可以是可移除的。例如，可移除硬盘驱动器可以用于持久存储装置208。其它示例包括光盘和磁盘、拇指驱动器和智能卡，它们被插入驱动器中以便传送到也作为持久存储器208的一部分的另一计算机可读存储介质上。
在这些示例中，通信单元210提供与其他数据处理系统或装置的通信，包括分布式数据处理环境的源。在这些示例中，通信单元210包括一个或多个网络接口卡。通信单元210可以通过使用物理和无线通信链路中的一种或两种来提供通信。深度学习程序225可以通过通信单元210下载到持久存储器208。
I/O接口212允许与可连接到计算系统200的其它装置输入和输出数据。例如，I/O接口212可以提供到诸如键盘、小键盘、触摸屏和/或一些其它合适的输入装置的外部装置218的连接。外部装置218还可以包括便携式计算机可读存储介质，例如拇指驱动器、便携式光盘或磁盘、以及存储卡。
显示器220提供向用户显示数据的机制，并且可以是例如计算机监视器。
图8是根据本发明实施例的示例性云计算环境的框图/流程图。
应当理解，尽管本发明包括关于云计算的详细描述，但是本文中所述的教导的实现不限于云计算环境。而是，本发明的实施例能够结合现在已知或以后开发的任何其它类型的计算环境来实现。
云计算是一种服务递送模型，用于实现对可配置计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储装置、应用、虚拟机和服务)的共享池的方便的按需网络访问，所述可配置计算资源可以以最小的管理努力或与服务的提供者的交互来快速供应和释放。该云模型可以包括至少五种特性、至少三种服务模型和至少四种部署模型。
特性如下：
按需自助：云消费者可以单方面地自动地根据需要提供计算能力，诸如服务器时间和网络存储，而不需要与服务的提供者进行人工交互。
宽网络接入：能力在网络上可用，并且通过促进由异构的薄或厚客户端平台(例如，移动电话、膝上型计算机和PDA)使用的标准机制来访问。
资源池化：供应商的计算资源被池化以使用多租户模型来服务多个消费者，其中不同的物理和虚拟资源根据需求被动态地分配和重新分配。提供了位置无关性的意义，消费者通常不控制或不知道所提供的资源的确切位置，但是能够在较高抽象级(例如国家、州或数据中心)指定位置。
快速弹性：在一些情况下，可以快速且弹性地提供能力，以快速向外扩展和快速释放以快速内缩。对于消费者，可用于提供的能力通常看起来不受限制，并且可以在任何时间以任何数量购买。
测量的服务：云系统通过利用在适合于服务类型(例如，存储、处理、带宽和活动用户账户)的某一抽象级别的计量能力来自动地控制和优化资源使用。可以监视、控制和报告资源使用，从而为所利用服务的提供者和消费者两者提供透明性。
服务模型如下：
软件即服务(SaaS)：提供给消费者的能力是使用在云基础设施上运行的提供者的应用。应用程序可通过诸如web浏览器(例如，基于web的电子邮件)等瘦客户机界面从各种客户机装置访问。消费者不管理或控制包括网络、服务器、操作系统、存储、或甚至个别应用能力的底层云基础结构，可能的例外是有限的用户专用应用配置设置。
平台即服务(PaaS)：提供给消费者的能力是将消费者创建或获取的应用部署到云基础设施上，该消费者创建或获取的应用是使用由提供商支持的编程语言和工具创建的。消费者不管理或控制包括网络、服务器、操作系统或存储的底层云基础设施，但具有对部署的应用和可能的应用托管环境配置的控制。
基础设施即服务(IaaS)：提供给消费者的能力是提供处理、存储、网络和消费者能够部署和运行任意软件的其它基本计算资源，所述软件可以包括操作系统和应用。消费者不管理或控制底层云基础设施，但具有对操作系统、存储、部署的应用的控制，以及可能对选择的联网组件(例如，主机防火墙)的有限控制。
部署模型如下：
私有云：云基础设施仅为组织操作。它可以由该组织或第三方管理，并且可以存在于场所内或场所外。
社区云：云基础设施由若干组织共享，并且支持具有共享关注(例如，任务、安全要求、策略和合规性考虑)的特定社区。它可以由所述组织或第三方管理，并且可以存在于场所内或场所外。
公有云：云基础设施可用于一般公众或大型工业群体，并且由销售云服务的组织拥有。
混合云：云基础设施是两个或更多云(私有、社区或公有)的组合，其保持独有实体，但是通过使数据和应用能够移植的标准化或私有技术(例如，用于云之间的负载平衡的云突发(cloud bursting))绑定在一起。
云计算环境是面向服务的，其焦点在于无状态、低耦合、模块性和语义互操作性。在云计算的核心是包括互连节点的网络的基础设施。
现在参考图8，描述了用于实现本发明的使用例的说明性云计算环境350。如图所示，云计算环境350包括一个或多个云计算节点310，云消费者使用的本地计算装置可以与其通信，本地计算装置例如个人数字助理(PDA)或蜂窝电话354A、台式计算机354B、膝上型计算机354C和/或汽车计算机系统354N。节点310可以彼此通信。它们可以被物理地或虚拟地分组(未示出)在一个或多个网络中，诸如如上文描述的私有云、社区云、公有云或混合云或其组合。这允许云计算环境350提供基础设施、平台和/或软件作为服务，云消费者不需要为其维护本地计算装置上的资源。应当理解，图8中所示的计算装置354A-N的类型仅旨在说明，并且计算节点310和云计算环境350可以通过任何类型的网络和/或网络可寻址连接(例如，使用web浏览器)与任何类型的计算机化装置通信。
图9是根据本发明实施例的示例性抽象模型层的示意图。应当预先理解，图9中所示的组件、层和功能仅旨在说明，并且本发明的实施例不限于此。
如所描绘的，提供了以下层和相应的功能：
硬件和软件层460包括硬件和软件组件。硬件组件的示例包括：主机(mainframe)461；基于RISC(精简指令集计算机)架构的服务器462；服务器463；刀片服务器464；存储装置465；以及网络和网络组件466。在一些实施例中，软件组件包括网络应用服务器软件467和数据库软件468。
虚拟化层470提供抽象层，从该抽象层可以提供虚拟实体的以下示例：虚拟服务器471；虚拟存储装置472；虚拟网络473，包括虚拟专用网络；虚拟应用和操作系统474；以及虚拟客户端475。
在一个示例中，管理层480可以提供以下描述的功能。资源供应481提供计算资源和被用于在云计算环境内执行任务的其他资源的动态采购。计量和定价482提供了在云计算环境中利用资源时的成本跟踪，以及针对这些资源的消耗的开账单或开发票。在一个示例中，这些资源可以包括应用软件许可证。安全性为云消费者和任务提供身份验证，以及为数据和其他资源提供保护。用户门户483为消费者和系统管理员提供对云计算环境的访问。服务级别管理484提供云计算资源分配和管理，使得满足所需的服务级别。服务级别协议(SLA)规划和履行485提供了对云计算资源的预安排和采购，其中根据SLA预期未来需求。
工作负载层490提供了可以利用云计算环境的功能性的示例。可以从该层提供的工作负载和功能的示例包括：绘图和导航441；软件开发和生命周期管理492；虚拟课堂教育传送493；数据分析处理494；事务处理495；以及用于突触权重的单个装置496。
图10示出了根据本发明的实施例的使用电流镜来加速MAC运算的实际应用。
人工智能(AI)加速器芯片501可以用于各种实际应用中，包括但不限于机器人510、工业应用512、移动或物联网(IoT)514、个人计算516、消费电子518、服务器数据中心520、物理和化学应用522、医疗健康应用524和金融应用526。AI加速器芯片501可以采用图2-4中的电路，包括所述的电流镜和电流积分器。
例如，机器人过程自动化或RPA 510使组织能够自动化任务、使过程流线化、提高雇员生产率、并最终递送令人满意的客户体验。通过使用RPA 510，机器人可以执行大量的重复任务，释放公司的资源以在更高价值的活动上工作。RPA机器人510仿效人执行手动重复任务、基于定义的规则集做出决定、并与现有应用集成。所有这些的同时，还保持顺应性、减少错误、以及改进客户体验和雇员参与度。采用图2-4的电路的AI加速器芯片510可以增强RPA 510。
图11是根据本发明的实施例的用于有利地采用电流镜来加速与物联网(IoT)系统/装置/基础设施的MAC操作的方法的框图/流程图。
根据本发明的一些实施例，使用IoT方法来实现网络。例如，AI加速器芯片501可被并入例如可穿戴、可植入或可摄取的电子装置和物联网(IoT)传感器中。可穿戴、可植入或可摄取装置可以至少包括健康和保健监测装置以及健身装置。可穿戴、可植入或可摄取装置还可以至少包括可植入装置、智能手表、头戴式装置、安全和防护装置、以及游戏和生活方式装置。IoT传感器可被至少结合到家庭自动化应用、汽车应用、用户接口应用、生活方式和/或娱乐应用、城市和/或基础设施应用、玩具、医疗健康、健身、零售标签和/或跟踪器、平台和组件等中。这里描述的AI加速器芯片501可被结合到用于任何类型的使用或应用或操作的任何类型的电子装置中。
IoT系统允许用户在系统内实现更深的自动化、分析和集成。IoT改善了这些领域的范围及其准确性。IoT利用现有的和新兴的技术用于感测、联网和机器人。IoT的特征包括人工智能、连接性、传感器、主动接合和小型装置使用。在各种实施例中，本发明的AI加速器芯片501可被结合到各种不同的装置和/或系统中。例如，AI加速器芯片501可被结合到可穿戴或便携式电子装置904中。可穿戴/便携式电子装置904可以包括可植入装置940，诸如智能服装943。可穿戴/便携式装置904可以包括智能手表942以及智能珠宝945。可穿戴/便携式装置904还可以包括健身监测装置944、医疗和健康监测装置946、头戴式装置948(例如，智能眼镜949)、安全和防护系统950、游戏和生活装置952、智能电话/平板954、媒体播放器956、和/或计算机/计算装置958。
本发明的AI加速器芯片501可进一步并入到物联网(IoT)传感器906中，用于各种应用，诸如家庭自动化920、汽车922、用户接口924、生活和/或娱乐926、城市和/或基础设施928、零售910、标签和/或跟踪器912、平台和组件914、玩具930、和/或医疗健康932以及健身934。IoT传感器906可采用AI加速器芯片501。当然，本领域技术人员可以考虑将这种AI加速器芯片501结合到用于任何类型的应用的任何类型的电子装置中，而不限于这里描述的那些。
图12是根据本发明的实施例的用于有利地收集与用于加速MAC操作的电流镜相关的数据/信息的示例性IoT传感器的框图/流程图。
IoT在没有传感器时失去了区别。IoT传感器作为将IoT从标准被动装置网络转换成能够进行现实世界集成的有源系统的决定性装备。
IoT传感器906可采用AI加速器芯片501来经由网络908连续地且实时地向任何类型的分布式系统传送信息或数据。示例性IoT传感器906可包括但不限于位置/存在/邻近传感器1002、运动/速度传感器1004、位移传感器1006诸如加速度/倾斜传感器1007、温度传感器1008、湿度/湿气传感器1010、以及流量传感器1011、声学/声音/振动传感器1012、化学/气体传感器1014、力/负载/扭矩/应变/压力传感器1016、和/或电/磁传感器1018。本领域技术人员可以设想使用这些传感器的任意组合来收集分布式系统的数据/信息，以便进一步处理。本领域技术人员可以设想使用其他类型的IoT传感器，诸如但不限于磁力计、陀螺仪、图像传感器、光传感器、射频识别(RFID)传感器、和/或微流传感器。IoT传感器还可包括能量模块、功率管理模块、RF模块和感测模块。RF模块通过它们的信号处理、WiFi、无线电收发器、双工器等来管理通信。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令的计算机可读存储介质(或多个介质)，所述计算机可读程序指令用于使处理器执行本发明的各方面。
计算机可读存储介质可以是能够保留和存储由指令执行装置使用的指令的有形装置。计算机可读存储介质可以是例如但不限于电子存储装置、磁存储装置、光存储装置、电磁存储装置、半导体存储装置或前述的任何合适的组合。计算机可读存储介质的更具体示例的非穷举性列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码装置(诸如上面记录有指令的打孔卡或凹槽中的凸起结构)，以及上述的任何适当组合。如本文所使用的计算机可读存储介质不应被解释为暂时性信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤线缆的光脉冲)、或通过导线传输的电信号。
本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理装置，或者经由网络(例如因特网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储装置。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理装置中的网络适配卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理装置内的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言，例如Smalltalk、C++等，以及常规的过程式编程语言，例如“C”编程语言或类似的编程语言。计算机可读程序指令可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立的软件包执行，部分在用户的计算机上并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后者的情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，使用因特网服务提供商通过因特网)。在一些实施例中，电子电路(包括，例如，可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化，以执行本发明的各方面。
在此参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的多个方面。将理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机可读程序指令来实现。
这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的至少一个处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框或模块中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，其可以引导计算机、可编程数据处理装置和/或其他装置以特定方式工作，使得其中存储有指令的计算机可读存储介质包括包含指令的制品，该指令实现流程图和/或框图的一个或多个框或模块中指定的功能/动作的方面。
计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他装置上，以使得在计算机、其他可编程装置或其他装置上执行一系列操作块/步骤，以产生计算机实现的过程，使得在计算机、其他可编程装置或其他装置上执行的指令实现流程图和/或框图的一个或多个块或模块中指定的功能/动作。
附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方案中，框中所注明的功能可不按图中所注明的次序发生。例如，连续示出的两个框实际上可以基本上同时地执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的专用的基于硬件的系统来实现。
在说明书中对本原理的“一个实施例”或“实施例”及其它变型的引用意味着结合该实施例描述的特定特征、结构、特性等被包括在本原理的至少一个实施例中。因此，在整个说明书中的各种不同地方出现的短语“在一个实施例中”或“在实施例中”以及任何其它变型的出现并不一定都指相同的实施例。
应当理解，使用以下“/”、“和/或”以及“中的至少一个”中的任何一个(例如在“A/B”、“A和/或B”以及“A和B中的至少一个”的情况下)旨在涵盖仅对第一列出的选项(A)的选择、或仅对第二列出的选项(B)的选择、或对两个选项(A和B)的选择。作为进一步的例子，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这样的措词旨在包括：仅选择第一个列出的选项(A)，或者仅选择第二个列出的选项(B)，或者仅选择第三个列出的选项(C)，或者仅选择第一个和第二个列出的选项(A和B)，或者仅选择第一个和第三个列出的选项(A和C)，或者仅选择第二个和第三个列出的选项(B和C)，或者选择所有三个选项(A和B和C)。这可以扩展到所列的许多项目，这对于本领域和相关领域的普通技术人员来说是显而易见的。
已经描述了用于单器件突触元件的可缩放和瞬时偏置方案的优选实施例(其旨在说明而非限制)，注意，本领域技术人员根据上述教导可以进行修改和变化。因此，应当理解，可以在所描述的具体实施例中进行改变，这些改变在由所附权利要求概括的本发明的范围内。因此，已经用专利法所要求的细节和特性描述了本发明的各方面，在所附权利要求中阐述了所要求保护的和期望由专利证书保护的内容。
Claims (25)
1.一种神经形态突触阵列，包括：
多个突触阵列单元，所述多个突触阵列单元由电路连接，使得所述突触阵列单元被分配给阵列的行和列，所述突触阵列单元分别具有单极性突触权重，所述行分别连接到所述突触阵列单元的相应输入端，所述列分别连接到所述突触阵列单元的相应输出端，排列在所述阵列的列中的所述突触阵列单元被定义为操作列阵列；以及
电流镜阵列，每个电流镜呈现N：1的镜比率，其中N是所述突触阵列单元的列的数量，分别连接到相应行使得与所有所述电流镜对应的权重被设置为在学习阶段期间被更新的所有所述突触阵列单元的平均权重。
2.如权利要求1所述的神经形态突触阵列，其中，所述多个突触阵列单元的至少一部分包括电阻性存储器。
3.如权利要求2所述的神经形态突触阵列，其中，所述多个突触阵列单元的至少一部分包括电流积分器。
4.如权利要求3所述的神经形态突触阵列，其中，所述电流镜阵列对于所述阵列的一行或多行包括不同电流镜配置。
5.如权利要求4所述的神经形态突触阵列，其中，一个电流镜配置包括两个n型场效应晶体管(NFET)。
6.如权利要求4所述的神经形态突触阵列，其中，一个电流镜配置包括两个p型场效应晶体管(PFET)和单个NFET。
7.如权利要求4所述的神经形态突触阵列，其中，一个电流镜配置包括两个NFET和单个运算放大器(op-amp)。
8.如权利要求4所述的神经形态突触阵列，其中，一个电流镜配置包括两个PFET、单个NFET和两个运放。
9.如权利要求3所述的神经形态突触阵列，其中，所述电流积分器对于所述阵列的一行或多行包括不同配置。
10.如权利要求9所述的神经形态突触阵列，其中，一个电流积分器配置包括两个PFET、单个NFET和积分电容器。
11.如权利要求10所述的神经形态突触阵列，其中，所述积分电容器接收收集的镜像电流，复制所收集的镜像电流，并放电所收集的镜像电流。
12.如权利要求9所述的神经形态突触阵列，其中，一个电流积分器配置包括两个PFET、单个NFET、运算放大器、以及积分电容器。
13.如权利要求12所述的神经形态突触阵列，其中，所述积分电容器接收收集的镜像电流，复制所收集的镜像电流，并放电所收集的镜像电流。
14.如权利要求1所述的神经形态突触阵列，其中，所述神经形态突触阵列加速人工神经网络加速器芯片中的乘法-累加(MAC)运算。
15.一种计算机实现的方法，包括：
通过电路连接多个突触阵列单元，使得所述突触阵列单元被分配给阵列的行和列，所述突触阵列单元分别具有单极性突触权重，所述行分别连接到所述突触阵列单元的相应输入端，所述列分别连接到所述突触阵列单元的相应输出端，排列在所述阵列的列中的所述突触阵列单元被定义为操作列阵列；以及
将电流镜阵列连接到所述阵列，每个电流镜呈现N：1的镜比率，其中N是所述突触阵列单元的列的数量，分别连接到相应行使得与所有所述电流镜对应的权重被设置为在学习阶段期间被更新的所有所述突触阵列单元的平均权重。
16.如权利要求15所述的计算机实现的方法，其中所述多个突触阵列单元的至少一部分包括电阻性存储器。
17.如权利要求16所述的计算机实现的方法，其中，所述多个突触阵列单元的至少一部分包括电流积分器。
18.如权利要求17所述的计算机实现的方法，其中所述电流镜阵列对于所述阵列的一行或多行包括不同电流镜配置。
19.根据权利要求18所述的计算机实现的方法，其中一个电流镜配置包括两个p型场效应晶体管(PFET)和单个NFET。
20.根据权利要求18所述的计算机实现的方法，其中一个电流镜配置包括两个NFET和单个运算放大器(op-amp)。
21.根据权利要求18所述的计算机实现的方法，其中一个电流镜配置包括两个PFET、单个NFET和两个运算放大器。
22.一种神经形态突触阵列，包括：
多个突触阵列单元，所述多个突触阵列单元由电路连接，使得所述突触阵列单元被分配给阵列的行和列，所述突触阵列单元分别具有单极性突触权重，所述行分别连接到所述突触阵列单元的相应输入端，所述列分别连接到所述突触阵列单元的相应输出端，排列在所述阵列的列中的所述突触阵列单元被定义为操作列阵列；
电流镜阵列，每个电流镜呈现N：1的镜比率，其中N是所述突触阵列单元的列的数目，分别连接到相应行使得与所有所述电流镜对应的权重被设置为在学习阶段期间被更新的所有所述突触阵列单元的平均权重；以及
电流积分器阵列，每一电流积分器连接到所述阵列的相应列，且每一电流积分器包含积分电容器以接收收集的镜像电流、复制所收集的镜像电流、以及放电所收集的镜像电流。
23.一种计算机实现的方法，包括：
通过电路连接多个突触阵列单元，使得所述突触阵列单元被分配给阵列的行和列，所述突触阵列单元分别具有单极性突触权重，所述行分别连接到所述突触阵列单元的相应输入端，所述列分别连接到所述突触阵列单元的相应输出端，在所述阵列的列中排列的所述突触阵列单元被定义为操作列阵列；
将电流镜阵列连接到所述阵列，每个电流镜呈现N：1的镜比率，其中N是所述突触阵列单元的列的数目，分别连接到相应行使得与所有所述电流镜对应的权重被设置为在学习阶段期间被更新的所有所述突触阵列单元的平均权重；以及
将电流积分器阵列连接到所述阵列，每一电流积分器连接到所述阵列的相应列，且每一电流积分器包含积分电容器以接收收集的镜像电流、复制所收集的镜像电流、以及放电所收集的镜像电流。
24.一种神经形态突触阵列，包括：
多个突触阵列单元，其被电连接，使得所述突触阵列单元被分配给阵列的行和列，所述突触阵列单元分别具有单极性突触权重；
电流镜阵列，每个电流镜呈现N：1的镜比率，其中N是所述突触阵列单元的列的数目，分别连接到相应行使得与所有所述电流镜对应的权重被设置为在学习阶段期间被更新的所有所述突触阵列单元的平均权重；以及
电流积分器阵列，每个电流积分器连接到所述阵列的相应列，并且每个电流积分器包括积分电容器，所述积分电容器用于接收收集的镜像电流、复制所收集的镜像电流、以及放电所述收集的镜像电流以加速人工神经网络加速器芯片中的乘法-累加(MAC)操作。
25.如权利要求24所述的神经形态突触阵列，其中，所述电流镜阵列对于阵列的一行或多行包括不同电流镜配置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/115,895 | 2020-12-09 | ||
| US17/115,895 US11741353B2 (en) | 2020-12-09 | 2020-12-09 | Bias scheme for single-device synaptic element |
| PCT/CN2021/131210 WO2022121644A1 (en) | 2020-12-09 | 2021-11-17 | Bias scheme for single-device synaptic element |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116710937A true CN116710937A (zh) | 2023-09-05 |
Family
ID=81849291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180082612.8A Pending CN116710937A (zh) | 2020-12-09 | 2021-11-17 | Monise装置突触元件偏置方案 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US11741353B2 (zh) |
| JP (1) | JP2023553553A (zh) |
| KR (1) | KR20230097140A (zh) |
| CN (1) | CN116710937A (zh) |
| DE (1) | DE112021005846T5 (zh) |
| GB (1) | GB2616393B (zh) |
| WO (1) | WO2022121644A1 (zh) |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9269042B2 (en) | 2010-09-30 | 2016-02-23 | International Business Machines Corporation | Producing spike-timing dependent plasticity in a neuromorphic network utilizing phase change synaptic devices |
| US9147155B2 (en) | 2011-08-16 | 2015-09-29 | Qualcomm Incorporated | Method and apparatus for neural temporal coding, learning and recognition |
| WO2016064375A1 (en) | 2014-10-20 | 2016-04-28 | Hewlett Packard Enterprise Development Lp | Clamp circuit |
| US10169701B2 (en) | 2015-05-26 | 2019-01-01 | International Business Machines Corporation | Neuron peripheral circuits for neuromorphic synaptic memory array based on neuron models |
| US10417559B2 (en) | 2015-06-22 | 2019-09-17 | International Business Machines Corporation | Communicating postsynaptic neuron fires to neuromorphic cores |
| US10552731B2 (en) | 2015-12-28 | 2020-02-04 | International Business Machines Corporation | Digital STDP synapse and LIF neuron-based neuromorphic system |
| US10671911B2 (en) | 2016-02-19 | 2020-06-02 | International Business Machines Corporation | Current mirror scheme for an integrating neuron circuit |
| EP3208750A1 (en) * | 2016-02-22 | 2017-08-23 | Universität Zürich | An analogue electronic deep neural network |
| US10748060B2 (en) * | 2016-10-14 | 2020-08-18 | Intel Corporation | Pre-synaptic learning using delayed causal updates |
| US11580373B2 (en) | 2017-01-20 | 2023-02-14 | International Business Machines Corporation | System, method and article of manufacture for synchronization-free transmittal of neuron values in a hardware artificial neural networks |
| CN109784482B (zh) | 2017-11-10 | 2023-01-13 | 旺宏电子股份有限公司 | 类神经计算系统及其电流估计方法 |
| US11361215B2 (en) | 2017-11-29 | 2022-06-14 | Anaflash Inc. | Neural network circuits having non-volatile synapse arrays |
| KR102224320B1 (ko) * | 2017-12-01 | 2021-03-09 | 서울대학교 산학협력단 | 신경 모방 시스템 |
| US10242737B1 (en) | 2018-02-13 | 2019-03-26 | Macronix International Co., Ltd. | Device structure for neuromorphic computing system |
| US10453528B1 (en) * | 2018-06-14 | 2019-10-22 | International Business Machines Corporation | Controlling aggregate signal amplitude from device arrays by segmentation and time-gating |
| US10790002B2 (en) | 2018-06-21 | 2020-09-29 | Samsung Electronics Co., Ltd. | Giant spin hall-based compact neuromorphic cell optimized for differential read inference |
| US10692570B2 (en) | 2018-07-11 | 2020-06-23 | Sandisk Technologies Llc | Neural network matrix multiplication in memory cells |
| US11250316B2 (en) * | 2018-08-10 | 2022-02-15 | International Business Machines Corporation | Aggregate adjustments in a cross bar neural network |
| US10812084B2 (en) * | 2018-11-06 | 2020-10-20 | The Regents Of The University Of California | Reconfigurable physically unclonable functions based on analog non-volatile memories |
| FR3089663B1 (fr) | 2018-12-07 | 2021-09-17 | Commissariat Energie Atomique | Neurone artificiel pour puce neuromorphique à synapses résistives |
| US11188815B2 (en) | 2019-01-07 | 2021-11-30 | International Business Machines Corporation | Weight shifting for neuromorphic synapse array |
| US10741611B1 (en) | 2019-02-11 | 2020-08-11 | International Business Machines Corporation | Resistive processing units with complementary metal-oxide-semiconductor non-volatile analog memory |
| CN110378475B (zh) | 2019-07-08 | 2021-08-06 | 浙江大学 | 一种基于多位并行二进制突触阵列的神经形态计算电路 |
| KR20220020097A (ko) * | 2020-08-11 | 2022-02-18 | 삼성전자주식회사 | 프로세싱 장치 및 이를 포함하는 전자 시스템 |
-
2020
- 2020-12-09 US US17/115,895 patent/US11741353B2/en active Active
-
2021
- 2021-11-17 JP JP2023534147A patent/JP2023553553A/ja active Pending
- 2021-11-17 KR KR1020237018320A patent/KR20230097140A/ko unknown
- 2021-11-17 GB GB2309363.6A patent/GB2616393B/en active Active
- 2021-11-17 DE DE112021005846.0T patent/DE112021005846T5/de active Pending
- 2021-11-17 WO PCT/CN2021/131210 patent/WO2022121644A1/en active Application Filing
- 2021-11-17 CN CN202180082612.8A patent/CN116710937A/zh active Pending
-
2023
- 2023-05-22 US US18/321,186 patent/US20230297821A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| DE112021005846T5 (de) | 2023-08-24 |
| US20230297821A1 (en) | 2023-09-21 |
| GB2616393B (en) | 2024-05-08 |
| WO2022121644A1 (en) | 2022-06-16 |
| GB2616393A (en) | 2023-09-06 |
| US11741353B2 (en) | 2023-08-29 |
| US20220180165A1 (en) | 2022-06-09 |
| KR20230097140A (ko) | 2023-06-30 |
| JP2023553553A (ja) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Schuman et al. | Opportunities for neuromorphic computing algorithms and applications | |
| Rajendran et al. | Low-power neuromorphic hardware for signal processing applications: A review of architectural and system-level design approaches | |
| Schuman et al. | A survey of neuromorphic computing and neural networks in hardware | |
| Woźniak et al. | Deep learning incorporating biologically inspired neural dynamics and in-memory computing | |
| Neftci et al. | Event-driven contrastive divergence for spiking neuromorphic systems | |
| Li et al. | Long short-term memory networks in memristor crossbar arrays | |
| Parsa et al. | Bayesian multi-objective hyperparameter optimization for accurate, fast, and efficient neural network accelerator design | |
| US9646243B1 (en) | Convolutional neural networks using resistive processing unit array | |
| Salamat et al. | Rnsnet: In-memory neural network acceleration using residue number system | |
| US10248907B2 (en) | Resistive processing unit | |
| Furber et al. | Neural systems engineering | |
| US11188825B2 (en) | Mixed-precision deep-learning with multi-memristive devices | |
| CA3137231A1 (en) | Training of artificial neural networks | |
| Eleftheriou et al. | Deep learning acceleration based on in-memory computing | |
| US20200293855A1 (en) | Training of artificial neural networks | |
| Plank et al. | A unified hardware/software co-design framework for neuromorphic computing devices and applications | |
| Bennett et al. | Contrasting advantages of learning with random weights and backpropagation in non-volatile memory neural networks | |
| Hendy et al. | Review of spike-based neuromorphic computing for brain-inspired vision: biology, algorithms, and hardware | |
| CN113837371A (zh) | 用于实现神经网络的神经形态装置和方法 | |
| US20220318615A1 (en) | Time-aligned reconstruction recurrent neural network for multi-variate time-series | |
| Yin | Deep learning with the random neural network and its applications | |
| Jiang et al. | Efficient combinatorial optimization by quantum-inspired parallel annealing in analogue memristor crossbar | |
| Wu et al. | Energy-efficient STDP-based learning circuits with memristor synapses | |
| Ames et al. | Persuading computers to act more like brains | |
| Kozma et al. | Are memristors the future of AI? A review of recent progress and future perspectives |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |