CN108053848A - 电路结构及神经网络芯片 - Google Patents

Abstract

一种电路结构及神经网络芯片。该电路结构包括：存储器阵列，其中，所述存储器阵列包括多条字线、位线以及多个存储单元；以及处理电路，与所述存储器阵列层叠设置，且被配置为实现神经网络中的至少一个神经元，以及可存取所述存储器阵列中存储的权值数据。

Description

电路结构及神经网络芯片

技术领域

本公开的实施例涉及一种电路结构及神经网络芯片。

背景技术

人工神经网络是在现代神经生物学研究基础上提出的模拟生物过程、反映人脑某些特性的一种计算结构。它不是人脑神经系统的真实描写，而是它的某种抽象、简化和模拟。模拟生物神经网络需要首先模拟生物神经元。在人工神经网络中，神经元从网络的观点出发常把它称为“节点”。人工神经元是对生物神经元的一种形式化描述，它对生物神经元的信息处理过程进行抽象，并用数学语言予以描述，对生物神经元的结构和功能进行模拟。

人工神经网络技术例如可用于基于先验知识预测未来，并可用于各种领域，如机器人控制、军用设备、医学、游戏、天气信息处理和人机界面。

发明内容

本公开的至少一个实施例提供了一种电路结构，包括：存储器阵列，其中，所述存储器阵列包括多条字线、位线以及多个存储单元；以及处理电路，与所述存储器阵列层叠设置，且被配置为实现人工神经网络中的至少一个神经元，以及可存取所述存储器阵列中存储的权值数据。

例如，在一个实施例中，所述存储器阵列为三维非易失性存储器阵列或者二维非易失性存器阵列。

例如，在一个实施例中，所述三维非易失性存储器阵列为三维NAND快闪存储器阵列。

例如，在一个实施例中，所述处理电路包括由多个神经元电路构成的神经元电路阵列；所述存储器阵列堆叠于所述神经元电路阵列上。

例如，在一个实施例中，所述神经元电路阵列中的每个神经元电路包括神经元计算乘法器、神经元计算加法器以及神经元计算非线性计算电路。

例如，在一个实施例中，所述神经元电路阵列中的每个神经元电路还包括：权值存储缓存以及神经元计算移位寄存器。

例如，在一个实施例中，所述人工神经网络为多层神经网络，且所述神经元电路阵列对应于所述多层神经网络中的一层。

例如，在一个实施例中，所述的电路结构还包括第一互连层，所述第一互连层堆叠于所述存储器阵列与所述处理电路之间；所述第一互连层，被配置为：将所述处理电路中的多个元件电连接；以及将所述权值数据从所述存储器阵列传输至所述处理电路。

例如，在一个实施例中，所述处理电路还包括存取接口电路，所述存取接口电路被配置为允许所述神经元电路对所述存储器阵列进行存取操作。

例如，在一个实施例中，多个所述神经元电路阵列共用同一个所述存取接口电路。

例如，在一个实施例中，所述存取接口电路包括：字线解码器，被配置为获得目标字线；以及读取控制器，被配置为通过所述目标字线从所述存储器阵列读取所述权值数据。

例如，在一个实施例中，所述存取接口电路还被配置来向所述存储器阵列发送擦除指令，以擦除所述存储器阵列上存储的权值数据。

本公开的至少一个实施例还提供一种神经网络芯片，包括上述方案所述的电路结构。

例如，在一个实施例中，所述神经网络芯片包括输入层、隐藏层和输出层，所述输入层、隐藏层和输出层至少一个采用上述实施例的电路结构。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。

图1A为本公开的一个实施例提供的多层神经网络的数学模型示意图；

图1B为本公开的一个实施例提供的多层神经网络中的某个节点的计算处理示意图；

图2为本公开的一个实施例提供的电路结构组成框图；

图3A为本公开的一个实施例提供的处理电路的结构示意图；

图3B为本公开的另一个实施例提供的处理电路的结构示意图；

图4为本公开的一个实施例提供的神经元电路的结构示意图；

图5A为本公开的一个实施例提供的三维NAND快闪存储器阵列的剖面图；

图5B为本公开的一个实施例提供的三维NAND快闪存储器阵列的电路示意图；

图5C为本公开的一个实施例提供的三维NAND快闪存储器阵列的主视图；

图6为本公开了一个实施例提供的人工神经网络的分层示意图；

图7A为本公开的一个实施例提供的神经网络芯片的结构示意图；

图7B为本公开的另一个实施例提供的神经网络芯片的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。

人工神经网络是一种模拟人脑的神经网络，是由相对简单的运算神经元经大量相互连接而构成的能进行并行处理的运算系统。人工神经网络呈现分层结构，每个较低层的输出作为更高层的输入。神经元能够实现对多个输入分别与各自权重数据相乘累加，并进行非线性运算得到输出的功能。

在人工神经网络中，连接数代表系统的复杂程度，为了实现更好的效果，通常需要大量的神经元连接，这就需要完成复杂运算。传统的神经网络通常通过软件实现，用软件实现人工神经网络的方法不能体现人工神经网络广泛并行处理信息的基本特征，无法体现人工神经网络在并行计算处理速度上的优势。在冯诺依曼体系数学计算机上采用软件实现人工神经网络，通常利用静态随机存储器或动态随机存储器进行权值数据存储。目前，人们也开始使用硬件来实现人工神经网络，在这样的人工神经网络中，通常采用电容、阻变存储器或静态随机存储器等进行权值数据存储。由于存储权值数据的电容或者静态随机存储器等的存储密度通常较低，因此限制了单位芯片面积上的神经网络的连接数。此外，用于存储权值数据的电容或者静态随机存储器等的读取速度高，而读取吞吐率不高。

下面以图1A和图1B为例示范性的介绍人工神经网络的数学模型。但是本公开实施例并不对人工神经网络的种类进行限定，例如，本公开实施例的人工神经网络可以是前向神经网络、递归神经网络、竞争型神经网络，又例如可以是卷积神经网络或者循环神经网络等。

参考图1A，神经网络1包括具有预定数目输入节点12的输入层11，具有预定数目输出节点16的输出层15，并且在输入层11和输出层15之间另外提供至少一个层，即所谓的隐藏层13，或多于一个隐藏层13。

输入层11的节点12的输入数据为各种需要处理的数据，例如包括来自数据库的输入数据，而输入层11的节点12获得的数据会提供给输出层15中的节点16或者隐藏层13的节点14，作为这些层的节点的输入数据。如图1A所示的例子中，输入层11的神经元、隐藏层13的神经元和输出层15的神经元之间呈全连接，每个连接被赋予相应的权值(或权重)。输入信号Xn经过对应的连接权值Wn，完成相应的加权乘法操作并进入下一层的神经元，然后经过非线性变换f(·)产生输出信号Yi，在发送至下一层，整个计算过程可以表述为N维输入向量X＝(x1,x2,…,xn)^T通过权值矩阵W得到输出向量Y(y1,y2,…,ym)^T，即Y＝f(WX+b)，这里b为偏置。传输函数f(·)可以选择各种适当的非线性函数。

下面结合图1B来说明图1A中的隐藏层任意一个节点14所执行的相关运算操作。

参考图1B，神经元节点14从与输入层11中的多个节点12中得到多个输入数据，例如，输入数据为x1、x2、x3以及x4。节点14从存储阵列中相关的存储单元读取多个权值数据，例如读取的权值数据为w1、w2、w3以及w4，之后节点14基于权值数据(w1、w2、w3以及w4)来对输入数据(x1、x2、x3以及x4)进行乘法加权累加(x1w1+x2w2+x3w3+x4w4)以及通过非线性处理，得到处理结果y。处理结果y可以进一步作为下一个隐藏层13(如果存在的话)中节点的输入数据，也可以作为输出层15中节点16的输入数据。

输出层15中的节点16对来自于输入层11或上一隐藏层12的输入数据进行变换处理，变换成输出数据，作为神经网络的输出结果。输出层节点16的变换处理也可以包含根据权值数据对输入数据的加权处理等。

需要说明的是，图1A和图1B中的节点(12，14，16)属于神经网络1的逻辑神经元，这些逻辑神经元可以用来独立实现某一逻辑运算。基于直接实现方式的人工神经网络架构，一个逻辑神经元与一个物理神经元对应。基于虚拟实现方式的人工神经网络结构，两个以上的逻辑神经元组合后与一个物理的神经元对应。本公开实施例所涉及的电路结构可以对应于某一层(例如，输入层、隐藏层或者输出层)或者某几层的一个或多个物理神经元。

下面结合图2说明本公开实施所涉及的电路结构10。

参考图2，本公开的一个实施例提供的电路结构10包括存储器阵列100以及处理电路200。存储器阵列100可以包括多条字线、位线以及多个按照阵列布置的存储单元，这些字线和位线用于对存储单元进行读写操作。处理电路200与存储器阵列100层叠设置，例如在包括二者的集成电路芯片中例如在垂直于衬底的方向上层叠设置，且处理电路200被配置为实现人工神经网络中的至少一个神经元，以及可存取存储器阵列100中存储的权值数据。例如，处理电路200至少用于执行对多个输入分别与各自权重数据相乘累加，例如还可以进行非线性运算和输出计算结果，例如将计算结果输出给神经网络中下一层的神经元，也就是实现人工神经网络的至少一个神经元。例如，处理电路200可以将采用学习算法等得到的权值数据存储至层叠于其上的存储器阵列100上，也可以在进行计算时从存储器阵列100来读取相应的权值数据。

存储器阵列100可以为三维非易失性存储器阵列或者二维非易失性存器阵列。可选的，该三维或二维非易失性存储器阵列又可以采用三维或二维NAND快闪存储器阵列。例如，三维NAND快闪存储器阵列可以为垂直沟道型的三维NAND快闪存储器阵列、水平沟道型三维NAND快闪存储器阵列或者其他结构的三维NAND快闪存储器阵列。三维NAND快闪存储器阵列可以实现页读取，因此还可以包括实现页读取以及写入的寻址电路、编程电路、控制寄存器、数据寄存器等相应的外围电路，包括字线、位线、源线等，存储单元可以包括由例如多晶硅或其他材料形成的导电沟道、电荷俘获复合栅结构(包括控制栅极和电荷俘获层)等结构。该NAND快闪存储器可以为各种类型，例如SLC、MLC、TLC等。

为了实现人工神经网络1，处理电路200可以用于在训练过程中基于学习算法(又可以称谓训练规则或训练算法)来生成多个权值数据，之后再将所生成的多个权值数据存储在存储器阵列100的多个存储单元中，之后这些权值数据可以在后续使用过程中被调取。

例如，学习算法可以采用有导师学习算法，无导师学习算法或者是灌输式学习算法之一。对于有导师学习算法采用的是纠错规则。在学习训练过程中需要不断地给人工神经网络成对提供一个输入模式和一个期望神经网络正确输出的模式，称为教师信号(也就是正确输出)。将神经网络的实际输出与期望的神经网络正确输出的模式进行比较，当神经网络的输出与期望的正确输出不符时，根据差错的方向和大小按一定的规则调整权值数据，以使下一步神经网络的输出更接近期望结果。对于有导师学习算法，神经网络在能执行工作任务之前必须先经过学习，当神经网络对于各种给定的输入信号均能产生所期望的输出时，即认为神经网络已经在导师的训练下“学会”了训练数据集中包含的知识和规则，可以用来进行预测或者分类等工作了。对于无导师学习也称为无监督学习，在学习过程中，需要不断地给神经网络提供动态输入信息。神经网络能根据特有的内部结构和学习规则，在输入信息流中发现任何可能存在的模式和规律，同时能根据神经网络的功能和输入信息调整权值数据，这个过程称为神经网络的自组织。在这种学习模式中，神经网络的权值数据的调整不取决于外界输入的教师信号的影响，可以认为神经网络的学习评价标准隐含于神经网络的内部。在有导师学习中，提供给神经网络学习的外部指导信息越多，神经网络学会并掌握的知识越多，解决问题的能力也就越强。但是，有时神经网络所解决的问题的先验信息很少，甚至没有，这种情况下无导师学习就显得更有实际意义。对于灌输式学习是指将神经网络设计成能记忆某些特别的例子，以后当给定有关该例子的输入信息时，相应的例子便被回忆起来。灌输式学习中神经网络的权值数据不是通过训练逐渐形成的，而是通过某种设计方法得到的。权值数据一旦设计好即一次性“灌输”给神经网络不再变动。因此神经网络对权值数据的学习是直接输入式的，而不是训练得到的。

对于有导师学习算法和无导师学习算法的神经网络的运行一般分为训练阶段和工作两个阶段。设置训练阶段的目的是为了从训练数据中提取隐含的知识和规律，并存储于神经网络中供预测或分类的工作阶段使用。例如，当需要采用处理电路200实现的人工神经网络来对某个具体场景来进行预测时，该处理电路200会从位于同一个芯片之中且与之层叠设置的存储器阵列100中直接读取其上所存储的针对这个场景的多个权值数据，之后再依据读取的多个权值数据和输入数据进行运算，从而实现分类操作，并相应地对该场景进行预测。

需要说明的是，本公开实施例并不对学习算法的种类进行限定。本公开通过列举上述学习算法仅用于解释说明本申请的技术方案。

处理电路200还可以从存储器阵列100读取多个权值数据，用于分类或者预测处理。对于如何来从存储器阵列100读取相关权值数据可以参照相关技术文献。例如，存储器阵列100为三维NAND快闪存储器阵列，可以通过寻址，设置字线电压、位线电压等来读取该三维NAND快闪存储器阵列存储的权值数据。

本公开实施例通过存储器阵列100与处理电路200的层叠设置，可以有效节省用于存储权值数据的存储器阵列100所占的芯片面积，可以进一步提升相应电路的集成度，且可以实现更高的数据存取速度和计算速度。

下面结合图3A和图3B说明处理电路200的示范性结构。

参考图3A和图3B，处理电路200是包括由多个神经元电路201构成的神经元电路阵列203。例如，存储器阵列100可以堆叠于神经元电路阵列203之上，例如正上方。

处理电路200可以包括一个(如图3A所示)或多个(如图3B所示)神经元电路阵列203。需要说明的是，图3B中的多个神经元电路阵列203可以沿竖直方向层叠设置或沿水平方向并排设置。虽然图3B仅展示了两个神经元电路阵列203，但是本公开实施例并不限定处理电路200所包含的神经元电路阵列203的个数。

本公开实施例涉及的人工神经网络可以为多层神经网络(具体可参考图1A)，且神经元电路阵列203可以对应于多层神经网络中的一层。例如，多层神经网络分别为输入层、输出层以及至少一个隐藏层。相应的，当处理电路200包括一个神经元电路阵列203时，该神经元电路阵列203与输入层、输出层或者隐藏层中的某一层相对应。当处理电路200包括三个神经元电路阵列203时，其中一个神经元电路阵列203与输入层对应，另一个神经元电路阵列203与一个隐藏层对应，再一个神经元电路阵列203可以与输出层对应。

处理电路200包括存取接口电路202。该存取接口电路202被配置为允许神经元电路201对存储器阵列100进行存取操作，即进行存储(写入)或读取操作，该存取操作通过字线和位线对存储器阵列中预定行地址和列地址的存储单元进行存取。存取接口电路202还被配置来向存储器阵列100发送擦除指令，以擦除存储器阵列100上存储的权值数据。

如图3A所示，可以针对一个神经元电路阵列203单独设置一个存取接口电路202，该存取接口电路202可以被配置为允许该神经元电路阵列203上的各个神经元电路201对存储器阵列100进行存取操作。例如，当存储器阵列100为三维NAND快闪存储器阵列时，存取操作的最小单元可以为一页权值数据。存取接口电路202还被配置来向存储器阵列100发送擦除指令。例如，当存储器阵列100为三维NAND快闪存储器阵列时，通过执行该擦除指令可以擦除三维NAND快闪存储器阵列上存储的一块权值数据。

如图3B所示，也可以针对多个神经元电路阵列203设置同一个存取接口电路202。该存取接口电路202被配置为允许多个神经元电路阵列203上的各个神经元电路201对存储器阵列100进行存取操作。如，当存储器阵列100为三维NAND快闪存储器阵列时，存取操作的最小单元可以为一页权值数据。存取接口电路202还被配置来向存储器阵列100发送擦除指令。当存储器阵列100为三维NAND快闪存储器阵列时，通过执行该擦除指令可以擦除三维NAND快闪存储器阵列上存储的一块权值数据。

在一些实施例中，存取接口电路202可以包括字线解码器和读取控制器，字线解码器被配置为获得目标字线。读取控制器被配置为通过目标字线从存储器阵列100读取所述权值数据。目标字线属于存储器阵列100的多条字线中的一条或多条字线。

下面结合图4进一步说明示范性的神经元电路201。参考图4，神经元电路201可以包括用于实现计算功能的计算电路204，该计算电路204至少包括：神经元计算乘法器210、神经元计算加法器220以及神经元计算非线性计算电路230。

假设神经网络的一个节点从上一层得到多个输入数据x1、x2、x3以及x4，并从存储器阵列100读取了多个权值数据为w1、w2、w3以及w4(例如可以参考图1B)。

下面结合上述假设说明计算电路204的计算处理过程。

首先，神经元计算乘法器210将输入数据x1与权值数据w1相乘，将输入数据x2与权值数据w2相乘，将输入数据x3与权值数据w3相乘，并将输入数据x4与权值数据w4相乘，得到四个乘积。然后，神经元计算加法器220对得到的四个乘积求和。

最后，由神经元计算非线性计算电路230来对求和结果进行非线性处理，得到输出结果y。

参考图4，神经元电路201还可以包括权值存储缓存240以及神经元计算移位寄存器250。需要说明的是，本公开实施例所需要的神经元计算移位寄存器250的数量与权值存储缓存240每次从存储器阵列100所读取的权值数据的量以及计算电路204每次执行计算操作所需的权值数据的数量有关。

在一些示例中，存储器阵列100为三维NAND快闪存储器阵列，权值存储缓存240被配置来存储每次从三维NAND快闪存储器阵列读取的一页权值数据。一个神经元计算移位寄存器250从权值存储缓存240读取其上缓存的一页权值数据的一部分，之后神经元计算移位寄存器250再将该部分权值数据输出至计算电路204，以供计算电路204执行相关的计算操作。当计算处理电路204基于所述本页权值数据的部分权值数据进行计算操作的同时，存储器阵列100会开始执行读取下一页权值数据的操作。

三维NAND快闪存储器阵列执行一次读取操作的周期T1通常相对较长，而计算电路204执行一次完整计算的周期T2相对较短。本公开实施例通过权值存储缓存240以及神经元计算移位寄存器250，可以有效利用周期T1和周期T2差异。例如，在计算电路204还在利用一部分的本页权值数据执行某次计算操作的同时就向三维NAND快闪存储器阵列发送读取指令来读取下一页权值数据，使得计算电路204的计算操作与三维NAND快闪存储器阵列的读取操作同时进行。这样，一方面可以提高权值数据读取的吞吐量，又可以有效的节省存储器阵列100的读取时间，提高了存储器阵列100读取权值数据的效率，进而提升人工神经网络的数据处理速率。

参考图4，存取接口电路202包括字线解码器262和读取控制器261。字线解码器262被配置为获得目标字线。读取控制器261被配置为通过目标字线从三维NAND快闪存储器阵列读取一页权值数据。例如，通过时序控制电路(图中未示出)来监控计算电路204，当监控到计算电路204开始利用权值缓存器240上的本页权值数据执行计算操作时，该时序控制电路会通知读取控制器261发送读取指令来使得三维NAND快闪存储器阵列开始读取下一页权值数据。当完成下一页权值数据的读取操作后，由于权值存储缓存240中的本页权值数据已经被全部送入神经元计算移位寄存器250中，所以会将下一页权值数据存入权值存储缓存240。之后，计算电路204可以在利用本页权值数据完成计算后，不间断的利用权值存储缓存240中存储的下一页权值数据来执行下一次计算操作。本公开实施例通过这种流水操作，可以实现更高的权值数据处理速度。

参考图4，存取接口电路202被配置来向存储器阵列100发送擦除指令，以擦除存储器阵列100上存储的权值数据。例如，当存储器阵列100为三维NAND快闪存储器阵列时，该擦除指令用于指示三维NAND快闪存储器阵列擦除一块权值数据。具体地，可以通过存储器阵列100上的位线来擦除一块权值数据。

下面结合图5A图5B和图5C以三维NAND快闪存储器阵列为例来说明存储器阵列100的结构。

参考图5A，存储器阵列100包括多条彼此平行的位线300、多条彼此平行的字线330以及多个存储单元310。参见图5B，多个存储单元310每个包括一个晶体管，晶体管的栅极(控制栅极)连接到相应的字线；位于同一列的存储单元310彼此串联，并且通过一个位线选择晶体管连接到同一条位线以及通过同一个源极选择晶体管连接到同一条源线，位线选择晶体管以及源极选择晶体管连接到相应的选择线。

在3D存储器阵列中，存储单元310为纵向叠层结构，纵向叠层结构的存储单元310包括沿纵向的垂直沟道和多层存储晶体管结构。例如，晶体管结构的栅极可以为包括控制栅极和电荷俘获层的复合栅结构层。例如，存储单元310的晶体管的垂直沟道可以是由多晶材料制备的，但是本发明的实施例不限于此。

多条位线300位于位线层，例如位线层沿水平方向布置，位于纵向叠层结构的多个存储单元310之上。

在一些示例中，存储器阵列100还可以包括位线选择晶体管320，用于控制是否将串联的存储单元与相应的位线电连接；存储阵列100还可以包括作为串联的存储单元的公共源极的下电极340等。

具体地，在一些示例中，存储器阵列100还可以包括位于纵向叠层结构的存储单元310之下且位于衬底之上的通过另一条选择线控制的源极选择晶体管。源极选择晶体管包括栅极110、漏极120、本地源极130以及下电极340，栅极110连接到选择线，漏极120连接到源线(如图5C的源线500)。下电极340可以是N型多晶硅或者P型多晶硅等。另外，在一些实施例中，可以将下电极340去除，直接用源极选择晶体管的漏极做下电极。

可以理解的是，图5A的存储器阵列100中所涉及的多个源极选择晶体管的源极的共接关系，沟道上部与位线300的连接关系等，以及阵列中各条走线例如字线330、位线300的方向的定义可以参照相关技术的定义，或者根据具体的情况进行定义。

参考图5C，存储器阵列100的主视图展示了多条水平布置的字线330，以及多个竖向平行的存储单元310以及源线500。图5C未示出位线300，结合图5A可以理解的是位线300位于存储单元310的上方。

需要说明的是，为了说明存储器阵列100的结构，图5A图5B和图5C仅用于示范性的展示了作为参考的结构。这些示例不过是为了更容易让读者理解本公开实施例的方案，而不应当构成对本公开实施例所涉及的存储器阵列100结构的限制。

图6为本公开的电路结构10的层叠结构示意图。参考图6，电路结构10还可以包括第一互连层700，该第一互连层700堆叠设置于存储器阵列100与处理电路200之间。

第一互连层700可以被配置为将处理电路200中的多个元件电连接。例如，通过在第一互连层700中的介质层中设置金属互联以及金属接触端子等结构，通过这些互联以及金属接触端子耦合到处理电路200中的不同晶体管的电极，使得信号可以在不同晶体管或者再由晶体管组成的不同功能模块之间传递和通信。例如，这些晶体管例如可以为CMOS晶体管。

第一互连层还被配置为将存储器阵列100上存储的权值数据从存储器阵列100传输至处理电路200以供计算电路204执行计算操作，也可以将处理电路200采用学习算法确定的权值数据传输至存储器阵列100以存储在存储器阵列100的存储单元310中。

在一些示例中，还可以通过第一互连层来传递处理电路200向存储器阵列100发送的控制指令。控制指令可以包括存储权值数据的控制指令或者擦除权值数据的控制指令等。

在一些示例中，在存储器阵列100之上还可以层叠设置第二互连层800。通过第二互连层800可以实现多个电路结构10之间的互连，可以为电路结构10提供电源信号等。

参考图7A，本公开实施例还提供了一种神经网络芯片7。神经网络芯片例如通过在硅衬底(例如单晶硅衬底或绝缘体上硅(SOI)衬底)上制备的处理电路200以及存储器阵列100来实现，通过相应的半导体制造工艺(包括但不限于沉积、注入、金属化、层间互联等)例如以多层电路工艺实现，虽然以此为例进行说明，但是本公开的实施例不限于此，例如不限于硅衬底，还可以为其他半导体衬底，例如砷化镓衬底。

图7A的神经网络芯片7上集成了上述图2示出的至少一个电路结构10。

在一些示例中，神经网络芯片7包括通过电路结构实现的输入层11、隐藏层13和输出层15(参考图1A所示)，其中，输入层11、隐藏层13和输出层15中的至少一个采用如图2的电路结构10。例如，图7B所示的神经网络芯片7在隐藏层13采用了图2的电路结构10。

本公开实施例的处理电路200上层的存储器阵列100适应于神经网络芯片7的面积，本公开实施例可以通过增加存储器阵列100的堆叠层数来提高存储的权值数据的密度，进而提升单位芯片面积上的神经网络的连接数。通过提升连接数后的人工神经网络可以实现更加复杂的运算操作，进而可以利用该人工神经网络来更加精确的对现实场景进行预测或者分类等。

本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种电路结构，包括：

存储器阵列，其中，所述存储器阵列包括多条字线、位线以及多个存储单元；以及

处理电路，与所述存储器阵列层叠设置，且被配置为实现人工神经网络中的至少一个神经元，以及可存取所述存储器阵列中存储的权值数据。

2.如权利要求1所述的电路结构，其中，所述存储器阵列为三维非易失性存储器阵列或者二维非易失性存器阵列。

3.如权利要求2所述的电路结构，其中，所述三维非易失性存储器阵列为三维NAND快闪存储器阵列。

4.如权利要求1-3任一所述的电路结构，其中，

所述处理电路包括由多个神经元电路构成的神经元电路阵列；

所述存储器阵列堆叠于所述神经元电路阵列上。

5.如权利要求4所述的电路结构，其中，所述神经元电路阵列中的每个神经元电路包括神经元计算乘法器、神经元计算加法器以及神经元计算非线性计算电路。

6.如权利要求4所述的电路结构，其中，所述神经元电路阵列中的每个神经元电路还包括：权值存储缓存以及神经元计算移位寄存器。

7.如权利要求4所述的电路结构，其中，所述人工神经网络为多层神经网络，且所述神经元电路阵列对应于所述多层神经网络中的一层。

8.如权利要求4所述的电路结构，还包括第一互连层，其中，所述第一互连层堆叠于所述存储器阵列与所述处理电路之间；

所述第一互连层，被配置为：

将所述处理电路中的多个元件电连接；以及

将所述权值数据从所述存储器阵列传输至所述处理电路。

9.如权利要求4所述的电路结构，其中，所述处理电路还包括存取接口电路，被配置为允许所述神经元电路对所述存储器阵列进行存取操作。

10.如权利要求9所述的电路结构，其中，多个所述神经元电路阵列共用同一个所述存取接口电路。

11.如权利要求9所述的电路结构，其中，所述存取接口电路包括：

字线解码器，被配置为获得目标字线；以及

读取控制器，被配置为通过所述目标字线从所述存储器阵列读取所述权值数据。

12.如权利要求9所述的电路结构，其中，所述存取接口电路还被配置来向所述存储器阵列发送擦除指令，以擦除所述存储器阵列上存储的权值数据。

13.一种神经网络芯片，包括如权利要求1-12中任一项所述的电路结构。

14.如权利要求13所述的神经网络芯片，其中，所述神经网络芯片包括输入层、隐藏层和输出层，

其中，所述输入层、隐藏层和输出层至少一个采用如权利要求1-12中任一项所述的电路结构。