CN110543937B

CN110543937B - 神经网络及操作方法、神经网络信息处理系统

Info

Publication number: CN110543937B
Application number: CN201810525180.3A
Authority: CN
Inventors: 许峰; 王博; 高滨; 吴华强; 钱鹤
Original assignee: Xiamen Semiconductor Industry Technology Research And Development Co ltd
Current assignee: Xiamen Semiconductor Industry Technology Research And Development Co ltd
Priority date: 2018-05-28
Filing date: 2018-05-28
Publication date: 2022-09-30
Anticipated expiration: 2038-05-28
Also published as: CN110543937A

Abstract

一种基于浮栅场效应管器件的神经网络及其操作方法、神经网络信息处理系统。该神经网络包括至少一层神经网络层，至少一层神经网络层包括至少一层浮栅场效应管阵列，至少一层浮栅场效应管阵列包括n条位线，每层浮栅场效应管阵列包括m条字线和m行×n列的浮栅场效应管。浮栅场效应管每个的阈值电压基于对应的权重参数设置，同一行的n个浮栅场效应管的控制极都连接到同一条字线，n个浮栅场效应管的第一极与n条位线分别对应连接；同一列的m个浮栅场效应管的第一极都连接到同一条位线，m个浮栅场效应管的控制极与m条字线分别对应连接；m，n为大于等于2的整数。该神经网络可以实现大规模神经网络的向量矩阵乘法运算。

Description

神经网络及操作方法、神经网络信息处理系统

技术领域

本公开实施例涉及一种基于浮栅场效应管器件的神经网络及其操作方法、神经网络信息处理系统。

背景技术

在人工智能领域，深度神经网络加速器，因其处理任务的高效率，被认为是未来计算系统的重要组成部分。现有的深度神经网络加速器通常基于SRAM(Static RAM，静态随机存取存储器)结构进行运算，将面临两个关键挑战：一是较低的存储密度无法满足不断增大的神经网络规模，二是来源于片外存储访问机制的能效限制。尽管嵌入式非挥发存储器例如阻变存储器、相变存储器等被提出以应对这两项挑战，但泄漏电流通路效应会限制存储阵列的密度，同时为了抑制泄漏电流通路所集成的选通晶体管会引入电流电压的非线性关系，进而降低了神经网络的计算精度。因此，现在对基于嵌入式非挥发存储器和NOR闪存加速器的研究主要面向小规模神经网络的应用。

发明内容

本公开至少一实施例提供一种基于浮栅场效应管器件的神经网络，包括至少一层神经网络层。所述至少一层神经网络层包括至少一层浮栅场效应管阵列，所述至少一层浮栅场效应管阵列包括n条位线，每层浮栅场效应管阵列包括m条字线和m行×n列的浮栅场效应管，所述浮栅场效应管每个的阈值电压基于对应的权重参数设置，同一行的n个浮栅场效应管的控制极都连接到同一条字线，所述n个浮栅场效应管的第一极与所述n条位线分别对应连接；同一列的m个浮栅场效应管的第一极都连接到同一条位线，所述m个浮栅场效应管的控制极与所述m条字线分别对应连接；m，n为大于等于2的整数。

例如，在本公开一实施例提供的神经网络中，所述至少一层浮栅场效应管阵列还包括m条源线，同一行的所述n个浮栅场效应管的第二极都连接到同一条源线。

例如，在本公开一实施例提供的神经网络中，所述至少一层神经网络层包括至少两层浮栅场效应管阵列，第一层浮栅场效应管阵列中的第i行第j列的浮栅场效应管的第一极与第j条位线连接；第N层浮栅场效应管阵列中的第i行第j列的浮栅场效应管的第二极与第N+1层神经网络层中的第i行第j列的浮栅场效应管的第一极连接；其中，N为大于等于1的整数，0<i≤m，0<j≤n。

例如，在本公开一实施例提供的神经网络中，所述至少两层浮栅场效应管阵列还包括m条源线，最后一层中同一行的所述n个浮栅场效应管的第二极都连接到同一条源线。

例如，本公开一实施例提供的神经网络，还包括设置于相邻两层神经网络层之间的路由电路，其中，所述路由电路与前一层神经网络层的位线以及后一层神经网络层的字线连接，且配置为将前一层神经网络层的位线输出的电流信号转换为电压输出信号。

例如，在本公开一实施例提供的神经网络中，所述路由电路还配置为将电压输出信号输入至后一层神经网络层的字线。

例如，在本公开一实施例提供的神经网络中，所述路由电路还配置为存储同一层神经网络层包括的不同层浮栅场效应管阵列输出的电流信号并进行相应运算得到该同一层神经网络层的电压输出信号。

例如，本公开一实施例提供的神经网络，还包括驱动电路，所述驱动电路与所述m条字线、n条位线和m条源线连接，且配置为向所述m条字线写入相应的输入电压信号以及向所述m条源线写入相应的固定电压信号，并且在所述n条位线读取相应的输出电流信号。

例如，在本公开一实施例提供的神经网络中，所述驱动电路还配置为通过所述m条字线之一向选择层的浮栅场效应管写入相应的权重参数。

本公开至少一实施例还提供一种神经网络信息处理系统，包括控制器以及本公开任一实施例提供的基于浮栅场效应管器件的神经网络。

本公开至少一实施例还提供基于浮栅场效应管器件的神经网络的操作方法，包括：向浮栅场效应管阵列的源线写入固定电压信号；向选择层浮栅场效应管阵列的字线写入相应的输入电压信号，以使所述选择层浮栅场效应管工作在亚阈值区，在所述选择层浮栅场效应管阵列所对应的位线读取输出电流信号。

例如，本公开一实施例提供的操作方法，在所述至少一层神经网络层包括至少两层浮栅场效应管阵列时，所述操作方法还包括：向非选择层的浮栅场效应管阵列的字线输入栅开启电压信号以开启所述非选择层的浮栅场效应管。

例如，本公开一实施例提供的操作方法，还包括：将权重参数写入所述选择层的浮栅场效应管中。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。

图1为本公开一实施例提供的一种神经网络的示意图；

图2为本公开一实施例提供的一种基于浮栅场效应管器件的神经网络结构的系统示意图；

图3为本公开一实施例提供的一种浮栅场效应管阵列一个示例的示意图；

图4为本公开一实施例提供的一种浮栅场效应管器件的示意图；

图5为本公开一实施例提供的一种浮栅场效应管阵列另一个示例的示意图；

图6为本公开一实施例提供的路由电路的连接示意图；

图7为本公开一实施例提供的浮栅场效应管器件在擦除与编程状态下的电学特性测量结果示意图；

图8A-图8B为本公开一实施例提供的一种浮栅场效应管器件在擦除状态下的测试数据与SPICE模型拟合结果的示意图；

图8C为本公开一实施例提供的一种浮栅场效应管器件在擦除与编程状态下的测试数据与SPICE模型拟合结果的示意图；

图8D为本公开一实施例提供的一种浮栅场效应管器件的SPICE模型在不同状态下的器件特性的示意图；

图9为本公开一实施例提供的一种神经网络的位线输出电流与所连接选择层处于擦除状态的浮栅场效应管个数的关系的示意图；

图10为本公开一实施例提供的一种对不同阵列规模的浮栅场效应管阵列进行仿真的示意图；

图11为本公开一实施例提供的一种128²×8的浮栅场效应管阵列的位线的输出电流信号随使用时间的退化关系的示意图；

图12为本公开一实施例提供的不同阵列规模的浮栅场效应管阵列的运算功耗的仿真示意图；

图13为本公开一实施例提供的一种神经网络信息处理系统的示意图；以及

图14为本公开一实施例提供的一种基于浮栅场效应管器件的神经网络的操作方法的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

下面，将参照附图详细描述根据本公开的各个实施例。需要注意的是，在附图中，将相同的附图标记赋予基本上具有相同或类似结构和功能的组成部分，并且将省略关于它们的重复描述。

闪存包括NOR型闪存和NAND型闪存。例如，该NOR型闪存和NAND型闪存依靠一系列“浮置栅级晶体管(floating-gate transistors)”(即浮栅场效应管)来存储数据。

例如，对于浮栅场效应管，存储数据的技术包括：热电子注入(Hot electroninjection)技术和F-N隧道效应(Fowler Nordheim tunneling)技术。热电子注入技术是通过源极给浮栅充电，F-N隧道效应是通过硅基层给浮栅充电。NOR型闪存通过热电子注入方式给浮栅充电，而NAND型闪存则通过F-N隧道效应给浮栅充电。在写入新数据之前，必须先将原来的数据擦除，这点跟使用磁性存储介质的硬盘不同，也就是将浮栅的电荷放掉。

NAND型闪存中每条位线下的基本存储单元是串联的，NAND读取数据的基本单位是页。当需要读取某个页时，闪存控制器就不在这个页的字线上施加电压，而对其他所有页的字线施加电压(例如，该电压值不能改变浮栅中电荷数量)，让这些页的所有基本存储单元的源极和漏极导通，而要读取的页的基本存储单元的源极和漏极的导通/关断状态则取决于浮栅中是否有电荷，有电荷时，位线读出“0”，无电荷时位线读出“1”，实现了页数据的读出，由此可见，NAND无法实现位读取(即随机寻址)，只能实现页寻址，因此程序代码也就无法在NAND上运行。

NAND型闪存的优点有很多，一方面NAND型闪存的基本存储单元的串联结构减少了金属导线占用的面积，使得闪存的利用率很高，因此NAND闪存的存储密度高，适用于需要大容量存储的应用场合，即适用于数据存储；另一方面NAND闪存写入采用F-N隧道效应方式，效率较高，因此NAND擦除/写入速率很高，适用于频繁擦除/写入场合。同时NAND是以页为基本单位进行读取的，因此读取速率也不算低。

基本的神经网络处理器要求很高的片上存储密度以消除片外存储访问机制所带来的瓶颈效应，且理想的深度神经网络算法要求存储的权重参数已经达到数以亿计甚至千亿字节级别，因此三维NAND闪存由于具备超高密度以及成熟的制造工艺，成为运行大规模神经网络计算的最合适平台。

本公开至少一实施例提供一种基于浮栅场效应管器件的神经网络，包括至少一层神经网络层，该至少一层神经网络层包括至少一层浮栅场效应管阵列，该至少一层浮栅场效应管阵列包括n条位线，每层浮栅场效应管阵列包括m条字线和m行×n列的浮栅场效应管，该浮栅场效应管每个的阈值电压基于对应的权重参数设置，同一行的n个浮栅场效应管的控制极都连接到同一条字线，该n个浮栅场效应管的第一极与n条位线分别对应连接；同一列的m个浮栅场效应管的第一极都连接到同一条位线，该m个浮栅场效应管的控制极与m条字线分别对应连接；m，n为大于等于2的整数。

本公开至少一实施例还提供了一种对应于上述神经网络的神经网络信息处理系统及操作方法。

本公开至少一个实施例提供的神经网络，以浮栅场效应管器件为基础，具有较高的存储密度，可以实现大规模神经网络的向量矩阵乘法运算，同时还具有较高的计算精度和可靠的数据保持能力。

下面结合附图对本公开的实施例进行详细说明。

本公开一实施例提供一种基于浮栅场效应管器件的神经网络，包括至少一层神经网络层，如图1所示，该神经网络可以包括X(X为大于等于1的整数)层神经网络层，每一神经网络层用于对输入向量执行矩阵乘法运算得到输出向量。例如，该神经网络10可以通过神经网络信息处理系统实现。例如，在一个示例中，如图2所示，神经网络信息处理系统1包含多个子阵列101，每个子阵列101用以执行向量矩阵乘法运算。例如，要在神经网络信息处理系统中运行一个大型的深度神经网络(如图1中所示的神经网络10)，首先将该神经网络的神经网络层分解成多个小型的单层神经网络层，例如，分解为X个单层神经网络层。如图2所示，每个小型的单层神经网络层被映射到该神经网络信息处理系统的子阵列中，以执行向量矩阵乘法运算，然后再将向量矩阵乘法运算的结果组合起来得到整个神经网络层的运算结果。

例如，该神经网络10的至少一层神经网络层包括至少一层浮栅场效应管阵列。例如，该浮栅场效应管阵列可以包括NAND闪存阵列。例如，该多层浮栅场效应管阵列可以包括三维NAND闪存阵列。

图3示出了本公开一实施例提供的一种浮栅场效应管阵列一个示例的示意图。例如，如图3所示，该神经网络10的至少一层神经网络层包括一层浮栅场效应管阵列。如图3所示，该浮栅场效应管阵列包括n(n为大于等于2的整数)条位线B1，…，Bj，…，Bn，包括m(m为大于等于2的整数)条字线W1，…，Wi，…，Wm，以及还包括与这些m条字线和n条位线对应的m行×n列的浮栅场效应管。如图3所示，同一行的n个浮栅场效应管的控制极都连接到同一条字线，且该n个浮栅场效应管的第一极(例如漏极)与n条位线分别对应连接；同一列的m个浮栅场效应管的第一极都连接到同一条位线，且该m个浮栅场效应管的控制极与m条字线分别对应连接。例如，位线用于输出该浮栅场效应管阵列的漏极电流(即输出电流信号)，字线用于输入该浮栅场效应管阵列的栅极控制电压(即输入电压信号)，从而凭借浮栅场效应管存储的阈值电压，可以实现该神经网络的向量矩阵乘法运算。

例如，该向量矩阵乘法运算可以表示为：

其中，i＝1,…,m，j＝1,…,n。

在上述公式中，V_i表示选择层的字线接收的输入电压信号向量，I_j表示该浮栅场效应管阵列的位线输出的输出电流信号向量，g_i,j表示浮栅场效应管阵列的跨导矩阵，即相应的权重参数矩阵。

例如，该浮栅场效应管每个的阈值电压基于对应的权重参数设置。基于对应的权重参数设置相应的浮栅场效应管的阈值电压的过程，即是向数据单元内写入数据的过程，也就是向浮栅场效应管的电荷势阱注入电荷的过程。例如，不同的电荷密度调制了每一个闪存单元(即浮栅场效应管)的阈值电压，每一个阈值电压分别对应着不同的权重参数，这样权重参数矩阵被存储在浮栅场效应管阵列中。例如，该NAND闪存单元通过F-N隧道效应将电荷写入浮栅场效应管的浮栅中。

图4示出了本公开一实施例提供的一种浮栅场效应管器件示意图。如图4所示，该浮栅场效应管共有4个端电极，分别是为第一极11(例如漏极)、第二极12(例如源极)、控制栅极13(Control Gate)和浮置栅极14(Floating Gate，浮栅)，第一极11、第二极12和控制栅极13的作用和普通场效应晶体管的作用是一样的，在此不再赘述。区别在于浮栅场效应管在用于存储数据时，利用浮栅是否存储电荷定性表征数字“0”和“1”，当向浮栅注入电荷后，第一极和第二极之间没有导电沟道，从第一极读到数字“0”；当浮栅中没有电荷时，第一极和第二极之间存在导电沟道，从第一极读到“1”。相应地，浮栅场效应管在用于存储权重参数时，则可以通过存储的电荷密度的多少来定量表征权重参数。

NAND闪存中，只能写入经过擦除的浮栅场效应管。擦除完成之后，浮栅场效应管中不存储电子。在与浮栅场效应管连接的字线和位线加上相应的正向电压，例如，该正向电压的大小由权重参数决定，电子从第二极(源极)流向第一极(漏极)。对于NAND型闪存来说，电子通过F-N隧道效应进入浮栅晶体管的浮置栅极14，该浮置栅极14的电荷密度决定了浮栅场效应管的阈值电压，从而实现基于对应的权重参数来调整对应的浮栅场效应管的阈值电压，以将该权重参数存储至对应的浮栅场效应管中。

如图3所示，该至少一层浮栅场效应管阵列还包括m条源线S1，…，Si，…，Sm。如图3所示，同一行的n个浮栅场效应管的第二极都连接到同一条源线。例如，通过源线向浮栅场效应管的源极提供固定的电压信号，以在浮栅场效应管源极和漏极之间形成电压差，从而提供可以移动的电子，以在字线提供的输入电压的作用下，将这些电子注入浮栅场效应管的浮栅中进行存储，从而实现权重参数的存储。

图5为本公开一实施例提供的一种浮栅场效应管阵列另一个示例的示意图。如图5所示，该至少一层神经网络层包括至少两层浮栅场效应管阵列，例如，至少两层浮栅场效应管阵列包括三维NAND闪存阵列。例如，第一层浮栅场效应管阵列的各浮栅场效应管的栅极分别和m条字线W1-1，…，Wi-1，…，Wm-1连接；第二层浮栅场效应管阵列的各浮栅场效应管的栅极分别和m条字线W1-2，…，Wi-2，…，Wm-2连接；第X层浮栅场效应管阵列的各浮栅场效应管的栅极分别和m条字线W1-X，…，Wi-X，…，Wm-X连接。

例如，第一层浮栅场效应管阵列中的第i(0<i≤m)行第j(0<j≤n)列的浮栅场效应管的第一极与第j条位线连接；第N(N为大于等于1的整数)层浮栅场效应管阵列的第i行第j列浮栅场效应管的第二极与第N+1层(即第N层的下一层)浮栅场效应管阵列的第i行第j列浮栅场效应管的第一极连接，即不同层浮栅场效应管阵列中位于同一列的浮栅场效应管串联连接。通过该串联方式，使得不同层的浮栅场效应管共享相同的位线，可以简化神经网络信息处理系统的外围电路的设计，减少了金属导线占用的面积，从而使得该多层浮栅场效应管阵列(即三维NAND闪存阵列)具有极高的存储密度。

如图5所示，该示例中，该至少两层浮栅场效应管阵列也包括m条源线。最后一层中同一行的n个浮栅场效应管的第二极都连接到同一条源线。例如，第X层浮栅场效应管阵列中的第i行第j列的浮栅场效应管的第二极与第i条源线连接。由于该至少两层浮栅场效应管阵列的浮栅场效应管采用串联连接的方式，例如第N(例如，在该示例中，N为大于等于1小于X的整数)层浮栅场效应管阵列中的第i行第j列的浮栅场效应管的第二极与第N+1层神经网络层中的第i行第j列的浮栅场效应管的第一极连接，因此第1层至第X层浮栅场效应管阵列中所有位于第一行的浮栅场效应管与源线S1连接，第1层至第X层浮栅场效应管阵列中所有位于第i行的场效应管与源线Si连接，第1层至第X层浮栅场效应管阵列中所有位于第m行的场效应管与源线Sm连接。

例如，图5中所示的至少两层浮栅场效应管阵列中的每一层可以作为图2中所示的神经网络信息处理系统中的一个子阵列101，该浮栅场效应管阵列中的各个浮栅场效应管不同的存储电荷密度调制了每一个闪存单元(即浮栅场效应管)的阈值电压，分别对应着不同神经元的权重参数，这样得到被存储在该浮栅场效应管阵列中的权重参数矩阵，其例如可以同时被用于矩阵乘法，从而实现神经网络的向量矩阵乘法运算。

通过图5中所示的浮栅场效应管阵列实现向量矩阵乘法运算时，需要采用专门设计的电压机制，其操作方法如表1所示。例如，源线接收固定电压信号，位线接地，选择层的字线接收一定范围内的电压信号，以使选择层浮栅场效应管工作在亚阈值区，非选择层的字线接收一足够大的开启栅压，例如，为8伏(V)，以打开所有非选择层的浮栅场效应管(NAND闪存单元)。例如，该固定电压为常数读电压信号，例如，为0.5V。被选择层的字线接收作为输入向量的输入电压信号，同一列的浮栅场效应管的漏极端电流(即输出电流信号)叠加后被位线收集并输出到外围电路中。位线输出的电流信号由选择层闪存单元(即浮栅场效应管)的状态与字线接收的输入电压信号决定，这样就完成了权重矩阵与输入向量的乘法运算。

例如，该选择层为当前计算矩阵向量乘法运算的多层浮栅场效应管阵列中的一层，即图2中所示的其中一个子阵列，该非选择层为除该选择层外的其他各层浮栅场效应管阵列。

表1电压操作机制

本公开一实施例提供的神经网络还包括设置于相邻两层神经网络层之间的路由电路。图6为本公开一实施例提供的路由电路的连接关系示意图。如图6所示，路由电路与前一层神经网络层(例如第N层神经网络)的位线以及后一层神经网络层(例如第N+1层神经网络)的字线连接，且配置为将前一层神经网络层的位线输出的电流信号转换为电压输出信号，并将该电压输出信号输入至后一层神经网络层的字线。该路由电路可以包括电流信号输入电路、电流信号转换电路以及电压信号输出电路等部分，这些电路部分可以常规方式实现，这里不再赘述。

例如，该路由电路还配置为存储同一层神经网络层包括的不同层浮栅场效应管阵列输出的电流信号并进行相应运算得到该同一层神经网络层的电压输出信号。例如，该路由电路可以如图2中所示，位于各个子阵列101之间，以与相应的子阵列(对应于前一层神经网络层的子阵列和对应于后一层神经网络层的子阵列)连接，从而实现将前一层神经网络层对应的子阵列输出的电流信号转换为电压输出信号，该电压输出信号可以进行相应的运算，然后被输入至后一层神经网络层对应的子阵列。

本公开一实施例提供的神经网络还包括驱动电路(图中未示出)。例如，该驱动电路与m条字线、n条位线和m条源线连接，且配置为向m条字线写入相应的输入电压信号以及向m条源线写入相应的固定电压信号，并且在n条位线读取相应的输出电流信号，以实现该浮栅场效应管阵列的向量矩阵乘法功能。例如，该驱动电路还配置为通过m条字线之一向选择层的浮栅场效应管写入相应的权重参数。

例如，首先在线下训练出该神经网络的权重参数矩阵，然后，将对应于该权重参数的相应的写入电压通过字线对于相应层的浮栅场效应管阵列写入权重参数，例如，该写入电压的大小可以使得浮栅场效应管隧穿，以将硅基层中的电子写入浮栅中，从而改变浮栅中的电荷密度，以调整对应浮栅场效应管的阈值电压，从而将权重参数写入相应的浮栅场效应管中。例如，在写入权重参数之后，驱动电路向所有层的浮栅场效应管阵列的源线写入固定电压信号，以及向选择层浮栅场效应管阵列的字线写入相应的输入电压信号，以在选择层浮栅场效应管阵列所对应的位线读取输出电流信号。例如，该输入电压信号不能使浮栅场效应管隧穿，以保证其存储的权重参数不受影响。

由于浮栅场效应管阵列的每列晶体管串联连接，该驱动电路还向非选择层的浮栅场效应管阵列的字线输入栅开启电压信号以开启非选择层的浮栅场效应管，从而使得所有层的浮栅场效应管打开，以在相应的位线输出该层的输出电流信号。例如，该非选择层各浮栅场效应管的分压情况如图9所示，将在下面进行详细地介绍，在此不再赘述。需要注意的是，该浮栅场效应管阵列具体的操作过程与三维NAND闪存阵列的工作原理类似，在此不再赘述。

例如，在一个示例中，该浮栅场效应管器件采用垂直环栅结构，采用多晶硅纳米柱作沟道，采用二氧化硅-氮化硅-二氧化硅堆叠层作为栅氧化层。基于该结构的浮栅场效应管器件，且以BSIM模型为基础建立了该浮栅场效应管器件的SPICE模型，该SPICE模型从阈值电压出发通过漂移扩散方程获得了器件的电流-电压特性。并基于该浮栅场效应管器件的电学特性提取了模型参数以及重要的模型方程和参数如表2和表3所示。

本公开实施例提供的基于浮栅场效应管器件的神经网络，具有较高的存储密度，可以实现大规模神经网络的向量矩阵乘法运算，同时还具有较高的计算精度和可靠的数据保持能力。

表2 SPICE模型公式

表3关键模型参数

参数	取值	定义
			V<sub>FB</sub>	-0.31V	平带电压
T<sub>OXE</sub>	2.5E-9m	栅氧化层等效电学厚度
			N<sub>DEP</sub>	1.7E17cm-3	沟道掺杂浓度
V<sub>OFF</sub>	-1.3V	亚阈值区域电压偏置
			STATE	[0,1]	不同状态下的阈值电压参数

图7至图12通过仿真对该神经网络的模型和性能进行了测试。下面结合图7至图12对该神经网络的仿真实验结果进行详细地介绍。

图7为本公开一实施例提供的浮栅场效应管器件在擦除与编程状态下的电学特性测量结果示意图，图7中的插图为不同沟道直经的浮栅场效应管器件的饱和电流曲线示意图。曲线1为浮栅场效应管器件在擦除状态下的电学特性测量结果，曲线2为浮栅场效应管器件在编程状态下的电学特性测量结果。

由图7可知，浮栅场效应管器件在编程状态下的阈值电压大于在擦除状态下的阈值电压，且其在擦除状态下的电流增长速度较快。

图8A-图8B为本公开一实施例提供的一种浮栅场效应管器件在擦除状态下的测试数据与SPICE模型拟合结果的示意图，图8C为本公开一实施例提供的一种浮栅场效应管器件在擦除与编程状态下的测试数据与SPICE模型拟合结果的示意图，图8D为本公开一实施例提供的一种浮栅场效应管器件的SPICE模型在不同状态下的器件特性的示意图。下面结合图8A-图8D对该SPICE模型的拟合特性进行测试。图8A、图8B和图8C中所示的矩形或圆形符号表示测试数据，线条表示拟合结果。

由图8A和图8B可知，测试数据与该模型的拟合结果基本重合，该SPICE模型可以很好地拟合擦除状态下的浮栅场效应管器件的电学特性。图8C为浮栅场效应管器件在擦除与编程状态下的测试数据与SPICE模型拟合结果的示意图。由图8C可知，测试数据与该模型的拟合结果基本重合，该SPICE模型可以很好地拟合擦除和编程状态下的浮栅场效应管器件的电学特性。图8D为由SPICE模型拟合的浮栅场效应管器件在擦除与编程各种不同状态下器件特性。由图8D可知，随着阈值电压的不断增大，该浮栅场效应管阵列的位线的输出电流信号逐渐减小。

图9为本公开一实施例提供的一种神经网络的位线输出电流与所连接的选择层处于擦除状态的浮栅场效应管个数的关系的示意图。

基于浮栅场效应管器件的神经网络，其计算精度主要被非选择层的分压所影响。非选择层浮栅场效应管阵列中处于不同的擦除状态或编程状态的浮栅场效应管的个数决定了其在导通电路中的分压。对于一般的向量矩阵乘法运算，可以考虑最坏与最好两种情况。最坏情况指所有的非选择层浮栅场效应管均处于最大编程状态，最好情况指所有的非选择层浮栅场效应管均处于最大擦除状态。该示例以提取的浮栅场效应管的SPICE模型为基础进行浮栅场效应管阵列仿真，例如设置源线的固定电压信号为0.5V，位线接地。例如，为了减小非选择层浮栅场效应管的分压影响，非选择层浮栅场效应管的字线的输入电压信号为8V，从而使非选择层浮栅场效应管完全开启。例如，选择层浮栅场效应管的字线的输入电压信号为1V，对于本实例中的浮栅场效应管，该输入电压信号可以使选择层浮栅场效应管位于其亚阈值区域。

例如，在该示例中，该神经网络包括8层三维浮栅场效应管阵列，每层包括32×32(即32²)的浮栅场效应管阵列。该阵列包括32组位线，选择层浮栅场效应管处于擦除或编程状态，例如选取每组位线所连接的浮栅场效应管处于擦除状态的个数依次为0，1，2，…，31，这样可以分别得到每组位线输出电流，即向量矩阵乘法运算的结果。由图9可知，在每组位线所连接的浮栅场效应管处于擦除状态的个数依次为0，1，2，…，31的情况下，计算结果很好地满足线性关系，且最好最坏情况的结果接近，只与理想情况有轻微的差别，因此，当选择层浮栅场效应管工作在亚阈值区域，非选择层浮栅场效应管栅极完全打开时，非选择层浮栅场效应管不管处于何种状态(擦除状态或编程状态)对选择层的浮栅场效应管阵列的输出造成的分压很小，其影响可以忽略。

图10为本公开一实施例提供的一种对不同规模的浮栅场效应管阵列进行仿真的示意图。如图10所示，在相同层数(例如8层)的情况下，随着浮栅场效应管阵列的阵列规模(即浮栅场效应管的个数)的增长(例如，由32²增长至256²)，该神经网络的计算精度没有明显的退化，最大相对误差维持在6％以下，因此本公开实施例提供的基于浮栅场效应管器件的神经网络，具有较高的计算精度。但是，在层数增长的情况下，例如，由4层的128²的浮栅场效应管阵列增加至16层的128²的浮栅场效应管阵列时，由于非选择层浮栅场效应管分压的影响，会使得该浮栅场效应管阵列的计算精度有所退化，即其相对误差变大，例如，如图10所示，相对误差超过10％。

图11为本公开一实施例提供的一种128²×8的浮栅场效应管阵列的位线的输出电流信号随其使用时间的退化关系的示意图。如图11所示，首先对多层的浮栅场效应管阵列的阈值电压随时间的退化效应建模，并以此为基础对128²×8的浮栅场效应管阵列进行仿真，例如将该多层的浮栅场效应管阵列置于高温90℃的条件下，且持续运行1兆秒(Ms)、10Ms、100Ms或1Gs时，通过图11所示的仿真结果可知，其位线的输出电流的相对误差仍然保持在5％以下。因此可以得出，该基于浮栅场效应管器件的神经网络的计算精度可以保持合理的时间，具有较高的数据保持能力，其性能是可靠的。

图12为本公开一实施例提供的不同阵列规模的浮栅场效应管阵列的运算功耗的仿真示意图。在该仿真实验中，例如设置不同阵列规模的浮栅场效应管阵列的源线的固定电压信号为0.5V，位线接地，非选择层浮栅场效应管的字线的输入电压信号为8V，选择层浮栅场效应管的字线的输入电压信号为1V，例如，设置三维交叉阵列阻变存储器件的输入电压信号为0.1V。如图12所示，在相同阵列规模的条件下，例如，三维交叉阵列阻变存储器件和三维浮栅场效应管阵列的阵列规模均为32²×8时，三维交叉阵列阻变存储器件的功耗为1.2毫瓦(mW),浮栅场效应管阵列的功耗低于0.1毫瓦(mW),远低于三维交叉阵列阻变存储器的功耗。因此由图12的仿真结果可知，采用本公开实施例提供的基于浮栅场效应管器件的神经网络进行向量矩阵乘法运算时消耗的功耗较低。

图13为本公开一实施例提供的一种神经网络信息处理系统的示意图。如图13所示，该神经网络信息处理系统1包括控制器20以及本公开任一实施例提供的基于浮栅场效应管器件的神经网络10。例如，该基于浮栅场效应管器件的神经网络10可以采用图3所示的浮栅场效应管阵列或图5所示的浮栅场效应管阵列。

例如，该控制器20可以通过硬件、软件、固件及其任意组合来实现，例如可以通过CPU、FPGA、DSP、CMU等处理器实现，也可以通过CPU与存储在存储器中的软件指令来实现等。例如，该控制器20可以被配置为向该神经网络10的位线、字线或源线提供相应的电压信号以实现向量矩阵乘法运算。

需要说明的是，为表示清楚、简洁，本公开实施例并没有给出该神经网络信息处理系统的全部组成单元。为实现神经网络信息处理系统的必要功能，本领域技术人员可以根据具体需要提供、设置其他未示出的组成单元，本公开的实施例对此不作限制。

该神经网络信息处理系统的技术效果可以参考本公开一实施例中提供的基于浮栅场效应晶体管器件的神经网络10的技术效果，这里不再赘述。

图14为本公开一实施例提供的一种基于浮栅场效应管器件的神经网络的操作方法的示意图。如图14所示，该操作方法包括步骤S110至步骤S120。

步骤S110：向浮栅场效应管阵列的源线写入固定电压信号。

例如，该步骤可以通过控制器20控制驱动电路完成。

步骤S120：向选择层浮栅场效应管阵列的字线写入相应的输入电压信号，以使选择层浮栅场效应管工作在亚阈值区，在选择层浮栅场效应管阵列所对应的位线读取输出电流信号。

例如，该步骤也可以通过控制器20控制驱动电路完成。

例如，对于图5所示的具有多层的浮栅场效应管阵列(例如，至少两层)，该操作方法还包括：向非选择层的浮栅场效应管阵列的字线输入栅开启电压信号以开启非选择层的浮栅场效应管。

例如，在进行上述所有步骤之前，还包括将权重参数写入选择层的浮栅场效应管中，以便之后可以进行向量矩阵乘法运算，从而在位线得到输出电流信号。

需要说明的是，该操作方法的流程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行。虽然上文描述的操作方法的流程包括特定顺序出现的多个操作，但是应该清楚的了解，多个操作的顺序并不受限制。上文描述的操作方法可以执行一次，也可以按照预定条件执行多次。需要注意的是，以下实施例与此相同，不再赘述。

该操作方法的技术效果可以参考本公开一实施例中提供的基于浮栅场效应晶体管器件的神经网络10的技术效果，这里不再赘述。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种基于浮栅场效应管器件的神经网络，包括至少一层神经网络层，其中，

所述至少一层神经网络层包括至少一层浮栅场效应管阵列，所述至少一层浮栅场效应管阵列包括n条位线，每层浮栅场效应管阵列包括m条字线和m行×n列的浮栅场效应管，其中，

所述浮栅场效应管每个的阈值电压通过将权重参数写入选择层的浮栅场效应管中来设置，其中，

同一行的n个浮栅场效应管的控制极都连接到同一条字线，所述n个浮栅场效应管的第一极与所述n条位线分别对应连接；

同一列的m个浮栅场效应管的第一极都连接到同一条位线，所述m个浮栅场效应管的控制极与所述m条字线分别对应连接；

m，n为大于等于2的整数，

其中，所述至少一层神经网络层包括至少两层浮栅场效应管阵列，

第一层浮栅场效应管阵列中的第i行第j列的浮栅场效应管的第一极与第j条位线连接；

第N层浮栅场效应管阵列中的第i行第j列的浮栅场效应管的第二极与第N+1层神经网络层中的第i行第j列的浮栅场效应管的第一极连接；其中，

N为大于等于1的整数，0<i≤m，0<j≤n，

其中，第一极为漏极，第二极为源极。

2.根据权利要求1所述的神经网络，其中，所述至少一层浮栅场效应管阵列还包括m条源线，其中，

同一行的所述n个浮栅场效应管的第二极都连接到同一条源线。

3.根据权利要求1所述的神经网络，其中，所述至少两层浮栅场效应管阵列还包括m条源线，其中，

最后一层中同一行的所述n个浮栅场效应管的第二极都连接到同一条源线。

4.根据权利要求1或3所述的神经网络，还包括设置于相邻两层神经网络层之间的路由电路，其中，所述路由电路与前一层神经网络层的位线以及后一层神经网络层的字线连接，且配置为将前一层神经网络层的位线输出的电流信号转换为电压输出信号。

5.根据权利要求4所述的神经网络，其中，所述路由电路还配置为将电压输出信号输入至后一层神经网络层的字线。

6.根据权利要求4所述的神经网络，其中，所述路由电路还配置为存储同一层神经网络层包括的不同层浮栅场效应管阵列输出的电流信号并进行相应运算得到该同一层神经网络层的电压输出信号。

7.根据权利要求1-3、5-6任一所述的神经网络，还包括驱动电路，所述驱动电路与所述m条字线、n条位线和m条源线连接，且配置为向所述m条字线写入相应的输入电压信号以及向所述m条源线写入相应的固定电压信号，并且在所述n条位线读取相应的输出电流信号。

8.根据权利要求7所述的神经网络，其中，所述驱动电路还配置为通过所述m条字线之一向选择层的浮栅场效应管写入相应的权重参数。

9.一种神经网络信息处理系统，包括控制器以及权利要求1-8任一所述的基于浮栅场效应管器件的神经网络。

10.一种权利要求1所述的基于浮栅场效应管器件的神经网络的操作方法，包括：

向浮栅场效应管阵列的源线写入固定电压信号；

向选择层浮栅场效应管阵列的字线写入相应的输入电压信号，以使所述选择层浮栅场效应管工作在亚阈值区，在所述选择层浮栅场效应管阵列所对应的位线读取输出电流信号。

11.根据权利要求10所述的操作方法，在所述至少一层神经网络层包括至少两层浮栅场效应管阵列时，所述操作方法还包括：向非选择层的浮栅场效应管阵列的字线输入栅开启电压信号以开启所述非选择层的浮栅场效应管。