CN107851215A - 神经突触芯片的三维整合 - Google Patents

神经突触芯片的三维整合 Download PDF

Info

Publication number
CN107851215A
CN107851215A CN201680043418.8A CN201680043418A CN107851215A CN 107851215 A CN107851215 A CN 107851215A CN 201680043418 A CN201680043418 A CN 201680043418A CN 107851215 A CN107851215 A CN 107851215A
Authority
CN
China
Prior art keywords
cynapse
layer
tsv
layers
staggeredly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680043418.8A
Other languages
English (en)
Other versions
CN107851215B (zh
Inventor
刘菲
曹庆
程慷果
李正文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN107851215A publication Critical patent/CN107851215A/zh
Application granted granted Critical
Publication of CN107851215B publication Critical patent/CN107851215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Semiconductor Memories (AREA)

Abstract

形成突触电路的三维集成。一个或多个神经元层中的每个包括多个计算元件，并且在一个或多个神经元层的顶部上形成一个或多个各自包括存储器元件阵列的突触层。多个交错贯通硅通孔(TSV)将一个或多个神经元层连接到一个或多个突触层，并且作为在一个或多个神经元层中的一个或多个计算元件与在一个或多个突触层中的一个或多个存储器元件的通信链路进行操作。

Description

神经突触芯片的三维整合
背景技术
在大脑中，神经元通过称为在产生神经元的轴突上发送的尖峰的二进制消息与接收神经元的树突进行通信。轴突和树突之间的接触点称为突触，它具有特定的强度，决定了来自源突触前神经元的尖峰对目标突触后神经元的功效。
神经形态(或认知)计算系统模拟针对特定应用的大脑处理。神经形态计算系统是概率性的，它不仅产生数值问题的答案，而且产生关于更复杂和有意义的数据主体的假设、推论和推荐。类似于大脑，神经形态计算系统由神经元(处理)设备和自适应突触(存储)设备的大规模网络组成。神经元装置有两个主要功能。第一个主要功能是从连接的突触设备获取输入。如果输入超过预定的输入阈值，则神经元装置产生尖峰状的输出信号，该信号被处理为神经元装置的较大网络的一部分，然后作出一些计算决定。这个过程被称为尖峰定时依赖可塑性(STDP)。神经元装置的第二个主要功能是改变一个或多个连接的突触装置的状态，其中在这种情况下每个突触装置作为存储器装置。
神经元和突触装置已经在称为神经突触芯片的集成电路上实现。在一个已知的实施方式中，突触装置是基于硅的装置，诸如以交叉阵列连接的可转置的8-晶体管单元静态随机存取存储器(8-T SRAM)装置。其他实施方式包括磁性RAM(MRAM)或相变存储器(PCM)。神经突触芯片是模块化神经形态结构的关键构件。
发明内容
各个实施例提供了用于神经突触芯片的三维(3-D)整合的技术。例如，在一个实施例中，一种方法包括形成一个或多个神经元层，每个神经元层包括多个处理装置，在一个或多个神经元层的顶部形成一个或多个突触层，每个突触层包括存储器装置阵列，形成将所述一个或多个神经元层连接到所述一个或多个突触层的多个交错的硅通孔(TSV)，其中所述多个交错的TSV作为所述一个或多个神经元层中的一个或多个处理设备以及一个或多个突触层中的一个或多个存储器设备之间的通信链路进行操作。
附图说明
现在将参照附图仅以举例的方式描述本发明的实施例，其中：
图1是神经突触核心网络的结构抽象。
图2A是根据本发明的第一实施例的包括存储器装置阵列的突触层的示意性俯视图。图2B是根据本发明的第一实施例的，包括图2A的突触层的3D突触结构的示意性横截面侧视图。
图3A是根据本发明的第二实施例的3-D突触结构的示意性横截面侧视图。
图3B是根据本发明的第二实施例的突触电路层的示意性俯视图。
具体实施方式
本发明的实施例涉及神经突触芯片，并且具体涉及用于神经突触芯片的三维(3-D)整合的技术。此外，本发明的实施例为神经网络电路提供了可伸缩的三维神经突触结构。应该理解的是，附图中所示的各种层、结构和/或区域是不一定按比例绘制的示意图。另外，为了便于解释，在给定的附图中可能没有明确地示出通常用于形成电路器件或结构的类型的一个或多个层、结构和区域。这并不意味着从实际电路结构中省略了未明确示出的任何层、结构和区域。
此外，在整个附图中使用相同或相似的附图标记来表示相同或相似的特征、元件、层、区域或结构，并且因此不会针对每个附图对相同或相似的特征、元件、层，、区域或结构重复详细的解释。应该理解的是，如在此使用的关于厚度、宽度、百分比、范围等的术语“大约”或“大体上”意在表示接近或接近，但不是完全一致。例如，如本文所使用的术语“约”或“基本上”意味着存在小的误差范围，例如1％或小于所述量。而且，在附图中，相对于另一层、结构和/或区域，一个层，结构和/或区域的所示比例不一定旨在表示实际比例。
在认知计算研究中人们越来越感兴趣的是开发可缩放到生物水平的电子神经形态机器技术。因此，使用神经突触芯片作为认知系统的构件越来越受到关注。神经突触芯片领域中的当前技术水平包括例如具有256个数字积分触发(integrate-and-fire)神经元的神经突触核心以及使用IBM的45nm绝缘体上硅(SOI)处理器的用于突触的1024×256位静态随机存取存储器(SRAM)交叉存储器，以及基于相变存储器(PCM)的超高密度大规模神经形态系统中的突触，其中不同的硫族化物材料被表征以显示突触行为。虽然称为TrueNorth的最新的IBM神经突触芯片集成了54亿个晶体管，并具有100万个可编程神经元和2亿5千6百万个可编程突触，但仍不足以完全模仿具有1000亿个神经元和100万亿至150万亿个突触的普通成人大脑。不用说，适应这种特征的突触芯片的尺寸以指数级增长。
因此，本发明的实施例示出了用于突触电路的3-D集成/体系结构的技术。有利地，这样的3D结构显著地缩小了突触芯片的覆盖区，同时增加了突触和神经元之间的轴突连接的数量。此外，3-D集成允许单元容错结构以及突触芯片(互补金属氧化物半导体(CMOS)或非易失性存储器)与神经元芯片的异构集成。说明这些优点的实施例将在下面参照图2A-3B更详细地描述。
现在参考图1。在图1中，示出了神经突触核心网络的架构抽象，其可以实现高效，可扩展和灵活的大规模尖峰神经网络。图1是一个架构的概念蓝图，与大脑一样，将内存，计算和通信紧密集成在分布式模块中，这些分布式模块并行运行，并通过事件驱动的网络进行通信。
图2A描绘了根据本发明的第一实施例的神经突触电路结构的俯视图。例如，结构200包括神经元层202。神经元层202包括多个神经元(处理装置，在图2A中未示出)，并且多个神经元可以使用任何常规配置分布在神经元层202内，例如N×N阵列。神经元可以包括例如本领域已知的任何常规处理或计算设备，其尺寸、功能和/或能力可以变化。在一些实施例中，神经突触电路结构可以包括多个神经元层，并且所述多个神经元层中的每一个可以包括以N×N阵列分布的相应的多个神经元。
结构200还包括突触层210。突触层210包括突触阵列(存储器装置)。例如，突触可以包括本领域已知的任何常规存储器设备，诸如PCM，电阻式随机存取存储器(RRAM)或CMOS存储器设备。在某实施例中，神经突触电路结构可以包括多个突触层，并且多个突触层中的每一个可以包括相应的突触阵列。在这样的实施例中，每个突触层可以包括大小不同的突触阵列。例如，突触层可以包括5×5突触阵列，而另一个突触层可以包括6×6突触阵列。而且，每个突触阵列可以包括相同或不同的PCM、RRAM或CMOS存储器件。在替代实施例中，突触层可以包括多个突触阵列。
任何给定突触层中的突触阵列的每一行和列延伸经过突触并连接到从神经元层正交出现的一个或多个硅通孔(TSV)。例如，在结构200中，突触层210包括6乘6突触阵列，并且阵列的每个行和列连接到从神经元层202正交出现的相应TSV(TSV 212-A到TSV 212-L)。
根据一个实施例，TSV以交错的方式排列。如本文所使用的“交错TSV”可以指在中心的任一侧以锯齿形方式(zigzag)或以交替方式排列的多个TSV。例如，在结构200中，TSV212-A到212-F以左-右交错的方式连接到阵列的每一行，同样，TSV 212-G到212-L以一种向下交错的方式连接到阵列的每一列。因此，TSV 212-A到212-L可以统称为多个交错的TSV。
现在参考图2B，结构200'描绘了图2的结构200的沿着AA轴的横截面侧视图。图2B示出了包括神经元层202和突触层210的结构200'。图2B进一步示出了在突触层210下面包括两个另外的突触层(称为突触层220和突触层230)的结构200'，其未在图2A中示出。突触层220和230都包括相应的突触阵列。
图2B进一步示出了包括TSV 212-E的结构200'。应该注意的是，如图2A所示的TSV212-C和212-A在图2B中被隐藏，因为它们直接位于图2B中的TSV 212-E之后。仅出于简化附图的目的，图2B进一步省略了TSV 212-G，212-H，212-I，212-J，212-K，212-L，212-F，212-D和212-B。图2B进一步示出了包括附加TSV 222-E和232-E的结构200'。TSV 222-E从神经元层202垂直升起并连接到突触层220，而TSV 232-E从神经元层202正交上升并连接到突触层230。还应注意的是，TSV 222-E是连接到突触层220中的突触阵列的每个行和列的多个交错的TSV(222-A到222-L，在图2B中未示出)的一部分，并且TSV 232-E是连接到突触层230中的突触阵列的每个行和列的多个交错的TSV(232-A到232-L，在图2B中未示出)的一部分。
重要的是注意到，在图2B中，TSV 212-E，222-E和232-E垂直交错。如本文所使用的“交错的TSV”还可以指代与另一多个TSV水平偏移的多个TSV。此外，如本文所使用的“交错的TSV”可以指具有交错的垂直高度的一组水平偏移的TSV。例如，第一多个交错TSV(212-A至212-L)，第二多个交错TSV(222-A至222-L)和第三多个交错TSV(232-A至232-L)中的每个具有交错的垂直高度以达到各自的突触层。
最后，图2B示出了包括布置在神经元层202正上方的再分布层204的结构200'。再分布层204可以作为布线层来控制从一个或多个TSV到分布在神经元层202中的一个或多个神经元的选择性耦合。
如图2A和2B所示，多个交错的TSV被放置在神经元层202的外周边中。在一些实施例中，可能优选的是将连接到最低突触层的多个交错的TSV放置在神经元层的最外周边中，以及将连接到最高突触层的多个交错的TSV放置在神经元层的最内周边中。这样的配置允许水平和垂直行进时间之间的有效折衷。然而，这样的说明并不意图以任何方式限制本发明的范围。在替代实施例中，突触层可以包括多个突触阵列，并且TSV不仅分布在阵列的外周边中，而且分布贯穿于给定突触层中的一个或多个突触阵列或在两者之间。
上面描述的任何实施例可以全部堆叠在彼此之上。例如，如图2B所示，另一组神经元层，再分布层，突触层和TSV可堆叠在结构200'的顶部上。在这样的结构中，从给定的神经元层上升的TSV也延伸到堆叠在顶部上的一个或多个神经元层，并且作为任何一个神经元层中的一个或多个计算设备与任何一个突触层中的一个或多个存储器设备之间的通信链路。
在上述任何实施例中，用于突触的阵列不需要是尺寸为N×N的正方形阵列。例如，多个突触可以在尺寸为N×M的阵列中的突触层内分布，其中N>M。
在一些实施例中，神经元层可以包括比堆叠在其上的任何一个突触层更大的维度区域。例如，神经元层可以包括20mm×20mm的尺寸，并且多个突触层可以各自包括19mm×19mm的尺寸。在这样的实施例中，多个突触层可以同心地堆叠在神经元层上，并且多个TSV可以在包围多个突触层的神经元层的外周边处从神经元层正交地延伸。这种配置的示例性实施例如图2A和2B所示。
应该注意的是，关于阵列的数量和大小或其中包含的神经元或突触的数目的任何上述示例仅是示例性的。此外，关于TSV的数量，形状，布置或分布的以上示例中的任何示例仅是示例性的，并不意图以任何方式限制本发明的范围。
在本发明的任何公开的实施例中，可以实现突触层的异构整合。例如，在给定的多个突触层中，第一层可以包括PCM器件的阵列，而第二层可以包括RRAM器件的阵列。突触层可以包括包含PCM，RRAM或CMOS存储器件中的一个或多个的存储器件阵列。此外，在任何公开的实施例中，TSV可以由钨，铜或任何其他合适的材料制成。例如，可以通过Cu-Cu键合，聚合物键合，氧化物键合或混合键合来实现3D键合。对于高密度的3D集成结构，氧化物键合是优选的。
作为示例性说明，传统的2-D突触芯片可以包括256个神经元装置，其具有总计1024×256个突触装置的1024个轴突连接。突触装置可以以1024×256大小的阵列分布，其中1024行对应于每个轴突连接，256列对应于每个神经元装置。与传统的2-D突触芯片不同，本发明的实施例包括包含256个神经元装置的神经元层。在神经元层的顶部，堆叠4个突触层，每个包含256×256大小的阵列的突触装置的层将在明显减小的区域中容纳相同数量的突触装置。例如，三维结构的基本尺寸可能只是神经元层的大小，只需要与突触设备大小相同。或者，将每个包含突触装置的16个突触层堆叠在128×128的阵列中也将在更小的区域中容纳相同数量的突触装置。因此，三维集成结构显着降低了突触芯片的占用面积。此外，不需要更多的维度区域，堆叠更多的突触层可以实现更多的神经元装置和更多的突触装置之间的轴突连接。
根据第二实施例，图3A描绘了结构300的横截面侧视图，其中不同于图2B中所示的结构200'，神经元层被替换为突触芯片核心层302。而且，与图2B所示的堆叠多个包含突触阵列的突触层不同，结构300示出了堆叠多个并联(paralleled)突触电路层304-1,304-2，...304-N(统称为并联的突触电路层304)。类似于图2A和2B所示的结构，突触芯片核心层302可操作地配置为经由多个交错的TSV与每个平行的突触电路层进行通信。结构300进一步包括再分布层306。重新分布层306可以作为布线层操作以将突触芯片核心层302处的某个点布线到特定的并联突触电路层304中的位置。
现在参考图3B，结构300'中所示的TSV以基本上类似于以上参照图2A和2B公开的第一实施例的方式被配置和操作。此外，用于在突触芯片核心层之上堆叠多个并联的突触电路层以及堆叠多个各自包括对应的多个并联的突触电路层的突触芯片核心层的技术基本上类似于以上参考第一实施例所公开的技术。因此，为了描述的简化，省略了关于具体安排和配置的公开内容
虽然已经参照附图描述了说明性实施例，但是应该理解的是，本发明不限于那些精确的实施例，并且本领域技术人员可以做出各种其他的改变和修改，而没有偏离本发明的范围。

Claims (20)

1.一种方法，包括：
形成包括多个计算元件的一个或多个神经元层；
在所述一个或多个神经元层之上形成一个或多个突触层，每个突触层包括存储器元件阵列；和
形成将所述一个或多个神经元层连接到所述一个或多个突触层的多个交错的硅通孔(TSV)，
其中所述多个交错的TSV作为所述一个或多个神经元层中的一个或多个计算元件与所述一个或多个突触层中的一个或多个存储器元件之间的通信链路进行操作。
2.根据权利要求1所述的方法，其中所述多个交错的TSV形成在所述一个或多个突触层的外周中。
3.根据权利要求2所述的方法，其中所述多个交错TSV以锯齿形方式形成在所述外周中，其中所述存储器元件阵列的交替行和列在相应相对侧连接到所述TSV。
4.根据权利要求1所述的方法，其中所述突触层中的至少一个包括多个存储器元件阵列，其中所述多个交错TSV形成在外周中，穿过并且在所述多个存储器元件阵列中的每一个之间。
5.根据任一前述权利要求所述的方法，其中多个交错TSV中的每个连接到相应的突触层，并且其中多个交错TSV中的每个垂直交错。
6.根据任一前述权利要求所述的方法，其中两个或更多个突触层是不均匀突触层，其中至少一个突触层包括存储器元件阵列，所述存储器元件阵列包括来自相变存储器(PCM)元件、电阻随机存取存储器(RRAM)元件和互补金属氧化物半导体(CMOS)存储器元件之一的第一类型的存储器元件，并且至少一个其他突触层包括存储器元件阵列，存储器元件阵列包括不同于第一类型的存储器元件的来自PCM元件、RRAM元件和CMOS存储器元件之一的第二类型存储器元件。
7.根据任一前述权利要求所述的方法，其中所述存储器元件阵列是包括两个或更多个的相变存储器(PCM)元件、电阻随机存取存储器(RRAM)元件和互补金属氧化物半导体(CMOS)存储器元件的存储器元件异构阵列。
8.根据任一前述权利要求所述的方法，其进一步包括在所述一个或一个以上神经元层的顶部上形成再分布层，其中在所述再分布层中，所述多个交错TSV选择性地耦合到所述一个或一个以上神经元层的一个或一个以上的计算元件。
9.根据任一前述权利要求所述的方法，还包括重复所述形成步骤以形成多个一个或一个以上的神经元层，并且所述多个一个或一个以上的神经元层的每个包括一组相应的一个或多个突触层，每个突触层包括存储器元件阵列，其中所述多个交错的TSV作为所述神经元层中的任何一个中的一个或更多个计算元件与所述突触层中的任一个中的一个或更多个存储器元件之间的通信链路进行操作。
10.一种装置，包括：
一个或多个神经元层，每个神经元层包括多个计算元件；
在所述一个或多个神经元层的顶部上形成一个或多个突触层，其中所述一个或多个突触层中的每一个包括存储器元件的阵列；和
将所述一个或多个神经元层连接至所述一个或多个突触层的多个交错的硅通孔(TSV)；
其中所述多个交错的TSV作为所述一个或多个神经元层中的一个或多个计算元件与所述一个或多个突触层中的一个或多个存储器元件之间的通信链路进行操作。
11.根据权利要求10所述的设备，其中所述多个交错TSV形成于所述一个或一个以上突触层的外周中。
12.根据权利要求11所述的设备，其中所述多个交错TSV以锯齿形方式形成在所述外周中，其中所述存储器元件阵列的交替行和列在相应相对侧连接到所述TSV。
13.根据权利要求10所述的设备，其中所述突触层中的至少一个包含多个存储器元件阵列，其中所述多个TSV在所述多个存储器元件阵列中的每一个的外周中交错。
14.根据权利要求10至13中任一项所述的装置，其中多个交错TSV中的每个连接到相应的突触层，并且其中多个交错TSV中的每个垂直交错。
15.根据权利要求10至14中的任一项所述的装置，其中，所述突触层中的两个或更多个是异构突触层，其中至少一个突触层包括存储器元件阵列，所述存储器元件阵列包括来自相变存储器(PCM)元件，电阻随机存取存储器(RRAM)元件和互补金属氧化物半导体(CMOS)存储器元件之一的第一类型存储器元件，并且至少一个其他突触层包括存储器元件阵列，所述存储器元件阵列包括来自PCM、RRAM元件和CMOS存储器元件之一的不同于第一类型存储器元件的第二类型存储器元件。
16.根据权利要求10至15中任一项所述的装置，其中，所述存储器元件阵列是包括两个或更多个相变存储器(PCM)元件，电阻随机存取存储器(RRAM)元件和互补金属氧化物半导体(CMOS)存储器元件的存储器元件异构阵列。
17.如权利要求10至16中任一项所述的装置，还包括形成在所述一个或多个神经元层之上的再分布层，其中在所述再分布层中，所述多个TSV选择性地耦合到所述一个或多个神经元层的一个或多个计算元件。
18.根据权利要求10至17中任一项所述的装置，还包括多个一个或多个神经元层，并且所述多个一个或多个神经元层中的每个包括一组相应的一个或多个突触层，每个突触层包括存储器元件阵列，其中所述多个交错的TSV作为任何一个神经元层中的一个或多个计算元件与任何一个突触层中的一个或多个存储器元件之间的通信链路进行操作。
19.一种方法，包括：
形成突触芯片核心层；
在突触芯片核心层之上形成一个或多个并联的突触电路层，其中所述一个或多个并联的突触电路层中的每一个包括突触电路阵列；和
形成将每个并联的突触电路层连接到突触芯片核心层的多个交错的硅通孔(TSV)；
其中所述多个交错的TSV作为所述突触芯片核心层与所述一个或多个并联的突触电路层中的每一个之间的通信链路进行操作。
20.一种通过权利要求19的步骤形成的集成电路。
CN201680043418.8A 2015-11-30 2016-11-22 用于神经突触电路的三维集成的方法和神经突触电路 Active CN107851215B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/953,585 US10832127B2 (en) 2015-11-30 2015-11-30 Three-dimensional integration of neurosynaptic chips
US14/953,585 2015-11-30
PCT/IB2016/057027 WO2017093848A1 (en) 2015-11-30 2016-11-22 Three-dimensional integration of neurosynaptic chips

Publications (2)

Publication Number Publication Date
CN107851215A true CN107851215A (zh) 2018-03-27
CN107851215B CN107851215B (zh) 2021-08-03

Family

ID=58777244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680043418.8A Active CN107851215B (zh) 2015-11-30 2016-11-22 用于神经突触电路的三维集成的方法和神经突触电路

Country Status (6)

Country Link
US (1) US10832127B2 (zh)
JP (1) JP6943847B2 (zh)
CN (1) CN107851215B (zh)
DE (1) DE112016003571B4 (zh)
GB (1) GB2560480B (zh)
WO (1) WO2017093848A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111234A (zh) * 2019-04-11 2019-08-09 上海集成电路研发中心有限公司 一种基于神经网络的图像处理系统架构
CN110390388A (zh) * 2018-04-17 2019-10-29 三星电子株式会社 具有3d堆叠结构的神经形态电路和包括其的半导体装置
CN115983357A (zh) * 2022-12-22 2023-04-18 清华大学 仿生神经网络芯片

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018106969A1 (en) * 2016-12-09 2018-06-14 Hsu Fu Chang Three-dimensional neural network array
US11609623B2 (en) 2017-09-01 2023-03-21 Qualcomm Incorporated Ultra-low power neuromorphic artificial intelligence computing accelerator
US11763139B2 (en) * 2018-01-19 2023-09-19 International Business Machines Corporation Neuromorphic chip for updating precise synaptic weight values
KR102112393B1 (ko) * 2018-02-28 2020-05-18 부산대학교 산학협력단 3차원 적층 시냅스 어레이 기반의 뉴로모픽 시스템과 그 동작 방법 및 제조 방법
US11157213B2 (en) 2018-10-12 2021-10-26 Micron Technology, Inc. Parallel memory access and computation in memory devices
US10461076B1 (en) * 2018-10-24 2019-10-29 Micron Technology, Inc. 3D stacked integrated circuits having functional blocks configured to accelerate artificial neural network (ANN) computation
CN114041142A (zh) * 2019-06-26 2022-02-11 美光科技公司 堆叠人工神经网络
JP7277682B2 (ja) * 2019-07-03 2023-05-19 公立大学法人会津大学 ３次元ネットワークオンチップによるスパイキングニューラルネットワーク
KR20210050966A (ko) 2019-10-29 2021-05-10 삼성전자주식회사 적층형 뉴로모픽 장치 및 뉴로모픽 컴퓨팅 장치
JP2021149981A (ja) 2020-03-17 2021-09-27 キオクシア株式会社 半導体記憶装置
RU2744440C1 (ru) * 2020-09-23 2021-03-09 Федеральное государственное бюджетное учреждение науки Институт физики твердого тела Российской академии наук (ИФТТ РАН) Способ записи и считывания информации для элементов постоянной памяти нейроморфных систем
CN116830267A (zh) * 2021-02-10 2023-09-29 松下知识产权经营株式会社 Ai模块

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060036559A1 (en) * 2002-03-12 2006-02-16 Alex Nugent Training of a physical neural network
US20090313195A1 (en) * 2008-06-17 2009-12-17 University Of Ulster Artificial neural network architecture
US20100241601A1 (en) * 2009-03-20 2010-09-23 Irvine Sensors Corporation Apparatus comprising artificial neuronal assembly
CN102270504A (zh) * 2010-06-01 2011-12-07 三星电子株式会社 堆叠半导体存储器件、存储器系统及修复硅通孔缺陷的方法
CN102569291A (zh) * 2010-12-22 2012-07-11 美国亚德诺半导体公司 垂直集成系统
CN103426863A (zh) * 2012-05-21 2013-12-04 国际商业机器公司 用于三维电路集成的过孔结构及其形成方法
CN103493137A (zh) * 2011-03-31 2014-01-01 英特尔公司 用于3d集成电路堆栈的能量有效配电
CN104701309A (zh) * 2015-03-24 2015-06-10 上海新储集成电路有限公司 三维堆叠式神经元装置及制备方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4794218B2 (ja) * 2004-06-25 2011-10-19 パナソニック株式会社 スレーブ装置、マスタ装置及び積層装置
WO2010117355A1 (en) 2009-04-06 2010-10-14 Hewlett-Packard Development Company, L.P. Three dimensional multilayer circuit
US8447714B2 (en) 2009-05-21 2013-05-21 International Business Machines Corporation System for electronic learning synapse with spike-timing dependent plasticity using phase change memory
US8492195B2 (en) 2010-08-23 2013-07-23 Crossbar, Inc. Method for forming stackable non-volatile resistive switching memory devices
US8253443B2 (en) 2010-10-26 2012-08-28 Hewlett-Packard Development Company, L.P. Interconnection architectures for multilayer crossbar circuits
US8510239B2 (en) 2010-10-29 2013-08-13 International Business Machines Corporation Compact cognitive synaptic computing circuits with crossbar arrays spatially in a staggered pattern
FR2978271B1 (fr) * 2011-07-21 2014-03-14 Commissariat Energie Atomique Dispositif et procede de traitement de donnees
US9000577B2 (en) * 2011-09-30 2015-04-07 Intel Corporation Interlayer communications for 3D integrated circuit stack
WO2013101038A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Heterogeneous memory die stacking for energy efficient computing
US8990130B2 (en) 2012-11-21 2015-03-24 International Business Machines Corporation Consolidating multiple neurosynaptic cores into one memory

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060036559A1 (en) * 2002-03-12 2006-02-16 Alex Nugent Training of a physical neural network
US20090313195A1 (en) * 2008-06-17 2009-12-17 University Of Ulster Artificial neural network architecture
US20100241601A1 (en) * 2009-03-20 2010-09-23 Irvine Sensors Corporation Apparatus comprising artificial neuronal assembly
CN102270504A (zh) * 2010-06-01 2011-12-07 三星电子株式会社 堆叠半导体存储器件、存储器系统及修复硅通孔缺陷的方法
CN102569291A (zh) * 2010-12-22 2012-07-11 美国亚德诺半导体公司 垂直集成系统
CN103493137A (zh) * 2011-03-31 2014-01-01 英特尔公司 用于3d集成电路堆栈的能量有效配电
CN103426863A (zh) * 2012-05-21 2013-12-04 国际商业机器公司 用于三维电路集成的过孔结构及其形成方法
CN104701309A (zh) * 2015-03-24 2015-06-10 上海新储集成电路有限公司 三维堆叠式神经元装置及制备方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BILEL BELHADJ等: "《The improbable but highly appropriate marriage of 3D stacking and neuromorphic accelerators》", 《2014 INTERNATIONAL CONFERENCE ON COMPILERS, ARCHITECTURE AND SYNTHESIS》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390388A (zh) * 2018-04-17 2019-10-29 三星电子株式会社 具有3d堆叠结构的神经形态电路和包括其的半导体装置
CN110111234A (zh) * 2019-04-11 2019-08-09 上海集成电路研发中心有限公司 一种基于神经网络的图像处理系统架构
CN110111234B (zh) * 2019-04-11 2023-12-15 上海集成电路研发中心有限公司 一种基于神经网络的图像处理系统架构
CN115983357A (zh) * 2022-12-22 2023-04-18 清华大学 仿生神经网络芯片
CN115983357B (zh) * 2022-12-22 2024-05-28 清华大学 仿生神经网络芯片

Also Published As

Publication number Publication date
GB2560480A (en) 2018-09-12
GB201810430D0 (en) 2018-08-08
DE112016003571B4 (de) 2023-11-02
CN107851215B (zh) 2021-08-03
US10832127B2 (en) 2020-11-10
GB2560480B (en) 2022-02-09
JP6943847B2 (ja) 2021-10-06
WO2017093848A1 (en) 2017-06-08
JP2019505065A (ja) 2019-02-21
US20170154257A1 (en) 2017-06-01
DE112016003571T5 (de) 2018-04-19

Similar Documents

Publication Publication Date Title
CN107851215A (zh) 神经突触芯片的三维整合
US9342780B2 (en) Systems and methods for modeling binary synapses
US10198691B2 (en) Memristive nanofiber neural networks
US11410026B2 (en) Neuromorphic circuit having 3D stacked structure and semiconductor device having the same
Indiveri et al. Artificial cognitive systems: From VLSI networks of spiking neurons to neuromorphic cognition
Weiskopf The functional unity of special science kinds
US20150088797A1 (en) Synapse circuits for connecting neuron circuits, unit cells composing neuromorphic circuit, and neuromorphic circuits
JPH06505352A (ja) 電子神経回路網用ハードウエア
CN106485317A (zh) 一种神经网络加速器以及神经网络模型的实现方法
An et al. Memristor-based 3D neuromorphic computing system and its application to associative memory learning
Farhat Optoelectronic neural networks and learning machines
Shchanikov et al. Fault tolerance of memristor-based perceptron network for neural interface
US20210081775A1 (en) Resistive processing unit cell having multiple weight update and read circuits for parallel processing of data using shared weight value
Lastras-Montano et al. 3D-DPE: A 3D high-bandwidth dot-product engine for high-performance neuromorphic computing
Mikhaylov et al. Neuromorphic computing based on CMOS-integrated memristive arrays: current state and perspectives
Afifi et al. CMOL implementation of spiking neurons and spike‐timing dependent plasticity
Neftci et al. State-dependent sensory processing in networks of VLSI spiking neurons
Sun Cmos and memristor technologies for neuromorphic computing applications
Serafino et al. Review of nanoscale memristor devices as synapses in neuromorphic systems
Gupta et al. An adaptable neuromorphic model of orientation selectivity based on floating gate dynamics
Liu et al. A survey of neuromorphic engineering--biological nervous systems realized on silicon
Choe Analogical cascade: A theory on the role of the thalamo-cortical loop in brain function
US20190279077A1 (en) Neural Network Platform for Conscious Decision Making in Machines and Devices
Ben Abdallah et al. Introduction to neuromorphic computing systems
JP7436968B2 (ja) Ａｉモジュール

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200730

Address after: Gyeonggi Do Korea Suwon

Applicant after: Samsung Electronics Co.,Ltd.

Address before: New York, USA

Applicant before: International Business Machines Corp.

GR01 Patent grant
GR01 Patent grant