CN105789139B - 一种神经网络芯片的制备方法 - Google Patents
一种神经网络芯片的制备方法 Download PDFInfo
- Publication number
- CN105789139B CN105789139B CN201610200193.4A CN201610200193A CN105789139B CN 105789139 B CN105789139 B CN 105789139B CN 201610200193 A CN201610200193 A CN 201610200193A CN 105789139 B CN105789139 B CN 105789139B
- Authority
- CN
- China
- Prior art keywords
- neural network
- memory module
- preparation
- layer
- layers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明涉及一种芯片的制备方法，尤其涉及神经网络芯片的制备方法。提供一衬底；在衬底上依次铺设体硅和第一3D非易失性存储阵列，构成第一层存储模块；在第一层存储模块上铺设N‑1层存储模块，N为大于1的整数；其中，第M层存储模块由第M‑1外延层和铺设在第M‑1外延层上的第M 3D非易失性存储阵列组成，M为小于或等于N且大于或等于2的整数。采用堆叠多层存储模块的方式，将对处理速度要求高的神经网络电路，设置于第一层存储模块的体硅中；而对处理速度要求不高的神经网络电路，放在由薄膜晶体管组成的外延层中。这种制备方法制成的神经网络芯片具有更高密度、更大规模和更高集成度。
Description
技术领域
本发明涉及一种芯片的制备方法，尤其涉及一种神经网络芯片的制备方法。
背景技术
人工神经网络(也称为神经网络)，是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。神经网络可大规模的并行处理和分布式的信息存储，接近人脑的信息处理模式。单个神经元的动作速度不高，但是总体的处理速度极快。神经网络是对生物神经系统的模拟，它的信息处理功能是由网络单元(神经元)的输入输出特性(激活特性)、网络的拓扑结构(神经元的连接方式)、连接权大小(突触联系强度)和神经元的阈值(可视为特殊的连接权)等决定。从拓扑结构、学习方式以及连接突触性质等不同角度，目前已经提出了60余种不同的神经网络模型，以如图1所示的BP神经网络模型为例，它一般由输入层、输出层、隐含层组成。其实对于闭区间内的任一个连续函数都可以用一个隐含层的BP网络来逼近，一个三层的BP网络可以完成任意的n维到m维的映射，即一个三层的BP网络在解决问题时已经基本可以满足要求。虽然增加层数可以进一步减低误差，提高精度，但同时使网络复杂化，从而增加了网络的训练时间，在很大程度上是得不偿失的。
人工神经网络作为一种新型的信息处理系统，传统的软件实现方法存在成本高、功耗大、并行程度低和速度慢的缺点，使得神经网络的实现不能满足实时性的要求，造成理论研究与实际应用脱节。在硬件方面，近年来主要是通过对大型神经网络进行仿真，但是这些网络需要大量传统计算机的集群。这种体系的特点是存放信息和程序指令的内存与处理信息的处理器是分离的。由于处理器是按照线序执行指令的，所以必须不断与内存通过总线反复交换信息，而这个会成为拖慢速度和浪费能量的瓶颈。2014年IBM研发出了名为“TrueNorth”的神经元芯片，用普通的晶体管来实现神经元和突触结构，从底层模仿人脑的结构，该芯片的核心区域内总共有4096个处理核心，用来模拟超过百万个人脑神经元和2.56亿个神经突触。其中，单个处理核心的示意图如图2所示。4096个核心之间就使用了类似于人脑的结构，每个核心包含了约120万个晶体管，其中负责数据处理和调度的部分只占掉少量晶体管，也就是调度器、控制器和路由器中占少量晶体管，而大多数晶体管(存储器和神经元)都被用作了数据存储、以及与其它核心交互方面。在这4096个核心中，每个核心都有自己的本地内存，它们还能通过一种特殊的通讯模式与其它核心快速沟通，也就是将处理器(神经元)与内存(突触)紧密结合在一起，其工作方式非常类似于人脑神经元与突触之间的协同，只不过，化学信号在这里变成了电流脉冲。但是这种突触结构采用的是SRAM结构，占用面积大，且掉电后数据会丢失，需要额外的非易失性存储器芯片作数据备份，耗时又耗电。
发明内容
针对目前神经元和突触存在的上述问题，本发明提供一种神经网络芯片的制备方法。
本发明解决技术问题所采用的技术方案为：
一种神经网络芯片的制备方法，包括：
提供一衬底；
在所述衬底上依次铺设体硅和第一3D非易失性存储阵列，构成第一层存储模块；
在所述第一层存储模块上铺设N-1层存储模块，N为大于1的整数；
其中，第M层存储模块由第M-1外延层和铺设在所述第M-1外延层上的第M 3D非易失性存储阵列组成，M为小于或等于N且大于或等于2的整数。
优选地，在所述体硅中制备第一外围逻辑电路和/或实现神经网络功能的第一神经网络电路。
优选地，所述第一神经网络电路包括微控制器、和/或与所述微控制器分别电连接的神经元电路和/或调度器其中；
其中，所述神经元电路是指处理大数据量的神经网络，所述调度器主要功能是对输入信号的进程进行控制。
优选地，在所述第M-1外延层中制备第M-1外围逻辑电路和/或实现神经网络功能的第M-1神经网络电路。
优选地，所述第M-1神经网络电路用于处理小于预设数据量的神经网络。
优选地，采用金属栅晶体管制备所述第一神经网络电路。
优选地，采用薄膜晶体管制备所述第M-1神经网络电路。
优选地，所述第一层存储模块和N-1层存储模块一起构成了3D非易失性存储器，存储对应层中神经网络电路的数据。
优选地，通过所述第一3D非易失性存储阵列和第M 3D非易失性存储阵列存储神经网络电路中的数据。
优选地，在各层存储模块中，通过金属键合或者硅通孔的方式实现各层存储模块之间的传输和交互。
本发明的有益效果：本发明是基于增加隐含层的神经元数目来提高实现神经网络的精度的原理提出的一种神经网络芯片的制备方法，采用堆叠多层存储模块的方式，将对处理速度要求高神经网络电路，设置于第一层存储模块的体硅中，并且该神经网络电路由金属栅晶体管组成；而对处理速度要求不高的神经网络电路，放在由薄膜晶体管组成的外延层中。这种制备方法制成的神经网络芯片具有更高密度、更大规模和更高集成度。
附图说明
图1为现有技术中的B-P神经网络模型示意图；
图2为现有技术中的平面神经网络电路结构示意图；
图3为本发明的神经网络芯片的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
参照图3，本发明提出一种神经网络芯片的制备方法，该神经网络芯片是基于非易失性存储器工艺进行制备的。该非易失性存储器为3D非易失性存储器，为3D NAND存储器或3D相变存储器。神经网络是一种运算模型，由大量的节点(或称神经元)之间相互连接构成，而且每个神经元都通过成千上万个突触与其他神经元相连，形成超级庞大的神经元回路，以分布式和并发式的方式传导信号。制备神经网络芯片就是为了实现神经网络内部的神经元和突触之间的运算处理关系。
本发明的一种实施例，首先，提供一衬底，具体地为硅衬底，接着，在硅衬底上依次垂直堆叠一层体硅和第一3D非易失性存储阵列，所述的体硅和第一3D非易失性存储阵列构成了第一层存储模块。本实施例中，也可以用绝缘体上硅代替体硅。进一步地，在第一层存储模块中的体硅或绝缘体上硅中制备第一外围逻辑电路和第一神经网络电路，相当于通过神经网络电路来实现神经网络中的神经元。还利用第一层存储模块中的第一3D非易失性存储阵列存储第一神经网络电路中的数据，相当于实现神经网络中突触的功能。由于神经元(对应体硅或绝缘体上硅)不同于突触(对应第一3D非易失性存储阵列)，其需要处理大规模、高密度的数据，对设备的处理速度要求高，所以第一神经网络电路需要用微控制器对数据进行处理，相应的还需要与微控制器分别连接的神经元电路和/或对输入信号的进程进行控制的调度器。
然后，在第一层存储模块上垂直堆叠N-1层存储模块，N为大于1的整数。其中第M层存储模块由第M-1外延层和铺设在所述第M-1外延层上的第M 3D非易失性存储阵列组成，M为小于或等于N且大于或等于2的整数。也就是说，设定一共有N(N>1，且为整数)层存储模块，N层存储模块共同组成了3D非易失性存储器。具体地，将N层存储模块分为两种不同结构组成的存储模块，一种为铺设在硅衬底上的第一层存储模块，另一种为铺设在第一层存储模块上的其余第2～N层存储模块，各第2～N层存储模块的组成结构和作用都相同。对于结构相同的第2～N层存储模块，在其每一层的外延层中也制备了外围逻辑电路和/或实现神经网络功能的神经网络电路，也就是在第M层存储模块的第M-1外延层中制备第M-1外围逻辑电路和/或第M-1神经网络电路。
第一层存储模块中的神经网络电路是由金属栅晶体管(MOSFET)组成，金属栅晶体管工作频率高，性能高，适合用于对数据处理速度要求较高的场合。其余第2～N层存储模块的外延层中的神经网络电路，不同于第一层存储模块的体硅，其每一外延层的神经网络电路主要由薄膜晶体管(TFT)组成，用于处理数据量较小的，低于预设数据量的，对处理速度要求不高的场合。所用的薄膜晶体管为非晶薄膜晶体管或多晶硅薄膜晶体管。虽然薄膜晶体管工作频率低于金属栅晶体管(MOSFET)，但是相对于人脑工作频率还是要高得多，足够用以实现神经网络功能电路。此外，薄膜晶体管具备工艺简单成熟、高度集成化、驱动能力强等优点，非常适用于神经网络电路中。同样地，和第一3D非易失性存储阵列的作用相同，第2～N层3D非易失性存储阵列也主要存储对应外延层中的神经网络电路中的数据。
另外，在本发明还可以通过金属键合或者硅通孔的方式实现不同层之间的信息传输和交互。为了提高整体性能，可以将对处理速度要求高的神经网络设置于第一层存储模块中，而对处理速度要求不高的放在其余的外延层中的薄膜晶体管电路中。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所做出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。
Claims (8)
1.一种神经网络芯片的制备方法，其特征在于，包括：
提供一衬底；
在所述衬底上依次铺设体硅和第一3D非易失性存储阵列，构成第一层存储模块；在所述第一层存储模块上铺设N-1层存储模块，N为大于1的整数；
其中，第M层存储模块由第M-1外延层和铺设在所述第M-1外延层上的第M 3D非易失性存储阵列组成，M为小于或等于N且大于或等于2的整数；
在所述第M-1外延层中制备第M-1外围逻辑电路和/或实现神经网络功能的第M-1神经网络电路；
所述第M-1神经网络电路用于处理小于预设数据量的神经网络。
2.根据权利要求1所述的神经网络芯片的制备方法，其特征在于，在所述体硅中制备第一外围逻辑电路和/或实现神经网络功能的第一神经网络电路。
3.根据权利要求2所述的神经网络芯片的制备方法，其特征在于，所述第一神经网络电路包括微控制器、和/或与所述微控制器分别连接的神经元电路和/或调度器；
其中，所述神经元电路是指处理大数据量的神经网络，所述调度器主要功能是对输入信号的进程进行控制。
4.根据权利要求2所述的神经网络芯片的制备方法，其特征在于，采用金属栅晶体管制备所述第一神经网络电路。
5.根据权利要求1所述的神经网络芯片的制备方法，其特征在于，采用薄膜晶体管制备所述第M-1神经网络电路。
6.根据权利要求1所述的神经网络芯片的制备方法，其特征在于，所述第一层存储模块和N-1层存储模块一起构成了3D非易失性存储器，存储对应层中神经网络电路的数据。
7.根据权利要求1所述的神经网络芯片的制备方法，其特征在于，通过所述第一3D非易失性存储阵列和第M 3D非易失性存储阵列存储神经网络电路中的数据。
8.根据权利要求6所述的神经网络芯片的制备方法，其特征在于，在各层存储模块中，通过金属键合或者硅通孔的方式实现各层存储模块之间的传输和交互。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610200193.4A CN105789139B (zh) | 2016-03-31 | 2016-03-31 | 一种神经网络芯片的制备方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610200193.4A CN105789139B (zh) | 2016-03-31 | 2016-03-31 | 一种神经网络芯片的制备方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105789139A CN105789139A (zh) | 2016-07-20 |
| CN105789139B true CN105789139B (zh) | 2018-08-28 |
Family
ID=56395380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610200193.4A Active CN105789139B (zh) | 2016-03-31 | 2016-03-31 | 一种神经网络芯片的制备方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105789139B (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107992942B (zh) * | 2016-10-26 | 2021-10-01 | 上海磁宇信息科技有限公司 | 卷积神经网络芯片以及卷积神经网络芯片操作方法 |
| WO2018121118A1 (zh) * | 2016-12-26 | 2018-07-05 | 上海寒武纪信息科技有限公司 | 计算装置和方法 |
| CN108256643A (zh) * | 2016-12-29 | 2018-07-06 | 上海寒武纪信息科技有限公司 | 一种基于hmc的神经网络运算装置和方法 |
| CN108241484B (zh) * | 2016-12-26 | 2021-10-15 | 上海寒武纪信息科技有限公司 | 基于高带宽存储器的神经网络计算装置和方法 |
| US10777566B2 (en) | 2017-11-10 | 2020-09-15 | Macronix International Co., Ltd. | 3D array arranged for memory and in-memory sum-of-products operations |
| CN108053848A (zh) * | 2018-01-02 | 2018-05-18 | 清华大学 | 电路结构及神经网络芯片 |
| US10719296B2 (en) | 2018-01-17 | 2020-07-21 | Macronix International Co., Ltd. | Sum-of-products accelerator array |
| US10957392B2 (en) | 2018-01-17 | 2021-03-23 | Macronix International Co., Ltd. | 2D and 3D sum-of-products array for neuromorphic computing system |
| KR102589968B1 (ko) | 2018-04-17 | 2023-10-16 | 삼성전자주식회사 | 3 차원 적층 구조를 갖는 뉴로모픽 회로 및 이를 포함하는 반도체 장치 |
| CN110413563A (zh) * | 2018-04-28 | 2019-11-05 | 上海新储集成电路有限公司 | 一种微控制器单元 |
| US11138497B2 (en) * | 2018-07-17 | 2021-10-05 | Macronix International Co., Ltd | In-memory computing devices for neural networks |
| US11157213B2 (en) | 2018-10-12 | 2021-10-26 | Micron Technology, Inc. | Parallel memory access and computation in memory devices |
| US10461076B1 (en) * | 2018-10-24 | 2019-10-29 | Micron Technology, Inc. | 3D stacked integrated circuits having functional blocks configured to accelerate artificial neural network (ANN) computation |
| US11636325B2 (en) | 2018-10-24 | 2023-04-25 | Macronix International Co., Ltd. | In-memory data pooling for machine learning |
| US11562229B2 (en) | 2018-11-30 | 2023-01-24 | Macronix International Co., Ltd. | Convolution accelerator using in-memory computation |
| US11934480B2 (en) | 2018-12-18 | 2024-03-19 | Macronix International Co., Ltd. | NAND block architecture for in-memory multiply-and-accumulate operations |
| US11119674B2 (en) | 2019-02-19 | 2021-09-14 | Macronix International Co., Ltd. | Memory devices and methods for operating the same |
| US10783963B1 (en) | 2019-03-08 | 2020-09-22 | Macronix International Co., Ltd. | In-memory computation device with inter-page and intra-page data circuits |
| US11132176B2 (en) | 2019-03-20 | 2021-09-28 | Macronix International Co., Ltd. | Non-volatile computing method in flash memory |
| CN111738429B (zh) * | 2019-03-25 | 2023-10-13 | 中科寒武纪科技股份有限公司 | 一种计算装置及相关产品 |
| CN110111234B (zh) * | 2019-04-11 | 2023-12-15 | 上海集成电路研发中心有限公司 | 一种基于神经网络的图像处理系统架构 |
| KR102601225B1 (ko) | 2019-04-15 | 2023-11-10 | 양쯔 메모리 테크놀로지스 씨오., 엘티디. | 복수의 기능 칩이 있는 3차원 nand 메모리 디바이스의 집적화 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0706220A1 (en) * | 1994-09-28 | 1996-04-10 | International Business Machines Corporation | Method and workpiece for connecting a thin layer to a monolithic electronic module's surface and associated module packaging |
| CN102394107A (zh) * | 2011-10-27 | 2012-03-28 | 上海新储集成电路有限公司 | 一种位级非易失性静态随机存取存储器及其实现方法 |
| CN103811051A (zh) * | 2014-02-17 | 2014-05-21 | 上海新储集成电路有限公司 | 一种分层存储器阵列及其工作方法 |
| CN104701309A (zh) * | 2015-03-24 | 2015-06-10 | 上海新储集成电路有限公司 | 三维堆叠式神经元装置及制备方法 |
-
2016
- 2016-03-31 CN CN201610200193.4A patent/CN105789139B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0706220A1 (en) * | 1994-09-28 | 1996-04-10 | International Business Machines Corporation | Method and workpiece for connecting a thin layer to a monolithic electronic module's surface and associated module packaging |
| US5567654A (en) * | 1994-09-28 | 1996-10-22 | International Business Machines Corporation | Method and workpiece for connecting a thin layer to a monolithic electronic module's surface and associated module packaging |
| CN102394107A (zh) * | 2011-10-27 | 2012-03-28 | 上海新储集成电路有限公司 | 一种位级非易失性静态随机存取存储器及其实现方法 |
| CN103811051A (zh) * | 2014-02-17 | 2014-05-21 | 上海新储集成电路有限公司 | 一种分层存储器阵列及其工作方法 |
| CN104701309A (zh) * | 2015-03-24 | 2015-06-10 | 上海新储集成电路有限公司 | 三维堆叠式神经元装置及制备方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105789139A (zh) | 2016-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105789139B (zh) | 一种神经网络芯片的制备方法 | |
| CN109726903B (zh) | 基于注意力机制的分布式多智能体协同决策方法 | |
| Oroojlooy et al. | Attendlight: Universal attention-based reinforcement learning model for traffic signal control | |
| Rathi et al. | Exploring neuromorphic computing based on spiking neural networks: Algorithms to hardware | |
| Jackson et al. | Nanoscale electronic synapses using phase change devices | |
| CN108171323A (zh) | 一种人工神经网络计算装置和方法 | |
| CN106451429B (zh) | 一种基于博弈论的含电动汽车入网的配电网重构方法 | |
| CN106981567A (zh) | 一种基于光电耦合忆阻器的人工突触器件及其调制方法 | |
| CN104636801A (zh) | 一种基于优化bp神经网络的预测输电线路可听噪声方法 | |
| CN110390388A (zh) | 具有3d堆叠结构的神经形态电路和包括其的半导体装置 | |
| CN105913119B (zh) | 行列互联的异构多核心类脑芯片及其使用方法 | |
| CN109447250A (zh) | 一种基于忆阻器中电池效应的人工神经元 | |
| Wang et al. | Simulation with RBF neural network model for reservoir operation rules | |
| CN108985440A (zh) | 区间二型直觉模糊随机向量函数连接神经网络设计方法 | |
| Baek et al. | Two-terminal lithium-mediated artificial synapses with enhanced weight modulation for feasible hardware neural networks | |
| CN107171339A (zh) | 一种含微网的配电网电压无功优化方法 | |
| KR20210022869A (ko) | 뉴런 하나당 다수의 시냅스들을 갖는 3차원 뉴로모픽 소자 | |
| Younes | A novel hybrid FFA-ACO algorithm for economic power dispatch | |
| CN105373829B (zh) | 一种全连接神经网络结构 | |
| CN113672684A (zh) | 一种面向非独立同分布数据的分层用户训练管理系统及方法 | |
| Tanghatari et al. | Federated learning by employing knowledge distillation on edge devices with limited hardware resources | |
| CN110471445A (zh) | 多无人平台通信能耗的多阶段多目标优化方法和装置 | |
| Mishra et al. | A state-of-the-art review of artificial bee colony in the optimization of single and multiple criteria | |
| CN106921512A (zh) | 一种大数据集群租户带宽控制方法及装置 | |
| Xiang et al. | HDFS efficiency storage strategy for big data in smart city |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |