CN110543933A - 基于flash存算阵列的脉冲型卷积神经网络 - Google Patents

基于flash存算阵列的脉冲型卷积神经网络 Download PDF

Info

Publication number
CN110543933A
CN110543933A CN201910741894.2A CN201910741894A CN110543933A CN 110543933 A CN110543933 A CN 110543933A CN 201910741894 A CN201910741894 A CN 201910741894A CN 110543933 A CN110543933 A CN 110543933A
Authority
CN
China
Prior art keywords
flash
pulse
neural network
output
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910741894.2A
Other languages
English (en)
Other versions
CN110543933B (zh
Inventor
黄鹏
项亚臣
康晋锋
刘晓彦
韩润泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201910741894.2A priority Critical patent/CN110543933B/zh
Publication of CN110543933A publication Critical patent/CN110543933A/zh
Priority to PCT/CN2019/126343 priority patent/WO2021027214A1/zh
Priority to US17/619,395 priority patent/US20220414427A1/en
Application granted granted Critical
Publication of CN110543933B publication Critical patent/CN110543933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
    • G06F12/0246—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种基于FLASH存算阵列的脉冲型卷积神经网络，包括：采样模块、基于FLASH的存算阵列及其对应的神经元模块、以及计数器模块；所述采样模块用于对输入图像进行采样，得到输入脉冲；所述基于FLASH的存算阵列存储有权重矩阵，其对输入脉冲与权重矩阵进行向量矩阵乘法运算，运算结果以电流形式输出；所述神经元模块对基于FLASH的存算阵列的运算结果进行积分，生成输出脉冲；所述计数器模块统计输出层的神经元模块产生的脉冲数量，将具有最大脉冲数量的神经元模块的脉冲数量作为识别结果。

Description

基于FLASH存算阵列的脉冲型卷积神经网络
技术领域
本发明属于半导体器件及集成电路领域，具体是一种基于FLASH存算阵列的脉冲型卷积神经网络。
背景技术
深度学习在图像处理和语音识别等方面取得了巨大成功，并被广泛应用于自动驾驶、安防监控等领域。作为深度学习重要组成部分的卷积神经网络，其性能的提升对深度学习的进一步发展具有重要意义。基于FLASH设计的存储计算一体化阵列(存算阵列)能够并行执行矩阵向量乘法运算，实现存算一体化，从而在硬件层面对运算进行加速。但是类似的存算一体化结构会引入新的问题，即外围电路尤其是模数/数模转换器带来的额外且巨大的硬件开销。
公开内容
(一)要解决的技术问题
本公开提出了一种基于FLASH存算阵列的脉冲型卷积神经网络，主要解决了以下技术问题：(1)存储计算一体化；(2)基于FLASH存算阵列的脉冲型卷积神经网络硬件实现。
(二)技术方案
本公开提供了一种基于FLASH存算阵列的脉冲型卷积神经网络，包括：采样模块、基于FLASH的存算阵列及其对应的神经元模块、以及计数器模块；
所述采样模块用于对输入图像进行采样，得到输入脉冲；
所述基于FLASH的存算阵列存储有权重矩阵，其对输入脉冲与权重矩阵进行向量矩阵乘法运算，运算结果以电流形式输出；
所述神经元模块对基于FLASH的存算阵列的运算结果进行积分，生成输出脉冲；
所述计数器模块统计输出层的神经元模块产生的脉冲数量，将具有最大脉冲数量的神经元模块的脉冲数量作为识别结果。
在本发明的实施例中，所述采样模块利用泊松采样或高斯采样对输入图像进行采样，得到输入脉冲。
在本发明的实施例中，所述脉冲型卷积神经网络的每一层均包括：所述基于FLASH的存算阵列，所述基于FLASH的存算阵列包括：多个FLASH单元、多条字线、多条源线、多条位线、多个减法器；
多个FLASH单元组成的存算阵列，每一列FLASH单元的栅极连接相同的字线，源极连接相同的源线，每一行FLASH单元的漏极连接相同的位线；每个减法器的正极端和负极端分别连接相邻两条位线。
在本发明的实施例中，
所述字线的数量对应于所述存算阵列的列数，输入脉冲通过字线输入FLASH单元；
所述源线的数量对应于所述存算阵列的列数，所述源线均接固定的驱动电压；
所述位线的数量对应于所述存算阵列的行数，每一行位线叠加该行各列FLASH单元的漏极信号，并将叠加的漏极信号作为输出信号输出。
在本发明的实施例中，所述FLASH单元存储有卷积神经网络的权重值，所述基于FLASH的存算阵列存储卷积神经网络的权重矩阵。
在本发明的实施例中，对所述FLASH单元编程，所述FLASH单元的存储状态视为“0”；对所述FLASH单元擦除，所述FLASH单元的存储状态视为“1”。
在本发明的实施例中，所述减法器正极端连接的位线上的FLASH单元存储正权重值，其负极端连接的位线上的FLASH单元存储负权重值。
在本发明的实施例中，神经元模块包括：比较器、脉冲产生电路、复位开关、积分电容；
积分电容对运算结果进行积分，比较器将积分得到的输出电压与预先设置的阈值电压进行比较，如果输出电压超过阈值电压，比较器触发脉冲产生电路输出脉冲，并通过比较器的反馈触发复位开关，将神经元模块置为初始状态；如果输出电压未超过阈值电压，比较器不会触发脉冲产生电路，脉冲产生电路不输出脉冲。
(三)有益效果
本发明以脉冲个数代表具体数值信息，即将卷积神经网络中各层的输入输出均用二进制(1/0)表示。这样的硬件实现方式将卷积神经网络各层的中间值均转变为二进制，因此消除了模数/数模转换器，可以有效解决外围电路带来的硬件开销，并简化存算一体化结构的硬件实现。
附图说明
图1为本发明实施例的基于FLASH存算阵列的脉冲型卷积神经网络的结构示意图；
图2(a)为基于FLASH存算阵列的全连接层；图2(b)为基于FLASH存算阵列的卷积层和池化层；
图3为神经元模块的结构示意图；
图4为计数器模块的结构示意图。
具体实施方式
本发明以脉冲个数代表具体数值信息，即将卷积神经网络中各层的输入输出均用二进制(1/0)表示。这样的硬件实现方式将卷积神经网络各层的中间值均转变为二进制，因此消除了模数/数模转换器，可以有效解决外围电路带来的硬件开销，并简化存算一体化结构的硬件实现。
下面将结合实施例和实施例中的附图，对本公开实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开第一实施例提供了一种基于FLASH存算阵列的脉冲型卷积神经网络。卷积神经网络包括：输入层、多个隐藏层以及输出层。多个隐藏层包括：多层卷积层、多层池化层、一层或多层全连接层。卷积层和池化层对输入数据进行特征提取与特征压缩，全连接层对卷积层和池化层提取得到的特征图像进行处理，输出得到分类或识别结果。
本公开第一实施例提供了一种基于FLASH存算阵列的脉冲型卷积神经网络，如图1所示，脉冲型卷积神经网络包括：采样模块、多层的基于FLASH的存算阵列以及对应的神经元模块、以及计数器模块。
采样模块对输入图像进行采样，利用泊松采样或高斯采样对输入图像进行采样，得到二进制的输入脉冲。
每一层基于FLASH的存算阵列以及对应的神经元模块，均对应卷积神经网络的一层，即基于FLASH的存算阵列以及对应的神经元模块可以是输入层、卷积层、池化层、全连接层和输出层。每一层的基于FLASH的存算阵列接收上一层神经元模块的输出脉冲，该层的神经元模块的输出脉冲作为下一层基于FLASH的存算阵列的输入。
基于FLASH的存算阵列对输入脉冲与存算阵列中存储的权重矩阵进行向量矩阵乘法运算，从而在硬件层面实现卷积、池化和全连接等运算，运算结果以电流形式输出。
神经元模块对本层的FLASH存算阵列的运算结果(电流)进行积分，当积分得到的电压超过预先设置的阈值，将触发脉冲产生电路生成脉冲，神经元模块输出一个脉冲，然后该神经元模块的积分电压被复位至初始状态。当积分得到的电压未超过该预先设置的阈值，脉冲产生电路不会被触发，神经元模块不输出脉冲。神经元模块通过上述方式产生脉冲序列(1/0)作为输出脉冲，并作为下一层基于FLASH的存算阵列的输入脉冲。
输出层的每一个节点包括一个计数器模块，即作为输出层的每一个神经元模块均连接一个计数器模块。计数器模块统计在整个识别过程中每个输出层的神经元模块产生的脉冲数并记录。由于单次采样无法保证对输入图像采样的完整性，故利用本实施例的基于FLASH存算阵列的脉冲型卷积神经网络进行多次识别，即采样-计算-积分这一过程会在整个识别过程内多次进行。而在识别过程结束时，输出层的计数器模块会比较每个输出层的神经元模块产生的脉冲数，具有最大脉冲数的神经元模块的输出的脉冲数即为识别结果。
如图2所示，所述基于FLASH的存算阵列包括：多个FLASH单元、多条字线、多条源线、多条位线、多个减法器。
多个FLASH单元组成的存算阵列，其中，每一列FLASH单元的栅极连接相同的字线，源极连接相同的源线，每一行FLASH单元的漏极连接相同的位线。
字线的数量对应于存算阵列的列数，输入脉冲通过字线输入FLASH单元。
源线的数量对应于存算阵列的列数，源线均接固定的驱动电压Vds，向FLASH单元的源极施加该驱动电压。
位线的数量对应于存算阵列的行数，用于输出FLASH单元漏极的信号，每一行位线叠加该行各列FLASH单元的漏极信号，并将叠加的漏极信号作为输出信号输出。即每一行的FLASH单元的漏极都连接于同一根位线，位线上的总电流值即这一行各列FLASH单元输出值的和。
图2(a)为全连接层的基于FLASH的存算阵列。输入脉冲(1/0)以电压形式被输入至字线，与存储在FLASH存算阵列中的权值矩阵相乘并累加，生成沿位线方向的和电流。图2(b)为卷积层和池化层的基于FLASH的存算阵列。在每两根相邻的位线上的k×k个FLASH单元，存储k×k的卷积核。这样操作的好处是可以实现并行计算，卷积或池化运算的结果可以一次性从位线直接读出。
FLASH单元的阈值电压可以通过编程和擦除进行设置。当对FLASH单元编程时，热电子注入，FLASH单元的阈值电压升高，其存储状态视为“0”，即该FLASH单元存储有数据“0”。当对FLASH单元擦除时，电子隧穿，FLASH单元的阈值电压降低，其存储状态视为“1”，即该FLASH单元存储有数据“1”。由此可见，通过对FLASH单元的编程和擦除，可使FLASH单元存储有“0”和“1”两种数据，通过将卷积神经网络的权值矩阵中的权值转换为二进制数，并用存储状态为“0”的FLASH单元表示二进制权值中的“0”，用存储状态为“1”的FLASH单元表示二进制权值中的“1”，从而多个FLASH单元组成的存算阵列即可表示出权值矩阵。
本实施例的基于FLASH的存算阵列，FLASH单元的源线均接固定的驱动电压Vds。输入脉冲经字线输入FLASH单元。对于输入脉冲中的“0”，0电压通过字线施加于FLASH单元的栅极，此时该FLASH单元的漏极输出电流与参考电流的比值0，漏极输出电流即为输入脉冲中的“0”与该FLASH单元存储数据(“0”或“1”)的乘积；对于输入脉冲中的“1”，Vg通过字线施加于FLASH单元的栅极，该FLASH单元的漏极输出电流为“1”，即为输入脉冲中的“1”与FLASH单元存储数据的乘积。将多个FLASH单元的漏极连接在一起输出，“和电流”反映了输入向量和FLASH阵列中所存矩阵相乘后的结果，实现矩阵向量乘法运算。
每一行位线叠加该行各列FLASH单元的漏极信号，并将叠加的漏极信号“和电流”作为输出信号输出，即位线上的总电流值即这一行各列FLASH单元输出信号的和，反映了输入向量和FLASH存算阵列中所存权值矩阵相乘后的结果。
如图3所示，神经元模块包括：运算放大器、比较器、脉冲产生电路、复位开关、输入电阻、积分电容、并联电阻。
每个神经元模块对应基于FLASH的存算阵列的一个减法器。其中，运算放大器的负极端通过输入电阻连接减法器的输出端，其正极端接地，其负极端与其输出端之间还并联有复位开关、并联电阻和积分电容，其输出端连接比较器的一个输入端。比较器的另一个输入端输入预先设置的阈值，其输出端连接复位开关以及脉冲产生电路。
基于FLASH的存算阵列的减法器输出的电流输入运算放大器，积分电容对电流进行积分。比较器将积分得到的输出电压与预先设置的阈值电压进行比较，如果输出电压超过阈值电压，比较器触发脉冲产生电路输出脉冲，并通过比较器的反馈触发复位开关，将神经元模块置为初始状态。如果输出电压未超过阈值电压，比较器不会触发脉冲产生电路，脉冲产生电路不输出脉冲。
附图4为计数器模块，该模块由N位移位寄存器构成。计数器模块的输入端连接脉冲产生电路，用于接收脉冲产生电路输出的脉冲，输出端为Q0，…，QN-2，QN-1。每个神经元模块的计数器统计该神经元模块输出的脉冲数量，对应输出脉冲数最大的神经元即为该神经网络的识别结果。
需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换，例如：
(1)实施例中提到的方向用语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向，并非用来限制本公开的保护范围；
(2)上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。
以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (8)

1.一种基于FLASH存算阵列的脉冲型卷积神经网络，其特征在于，包括：采样模块、基于FLASH的存算阵列及其对应的神经元模块、以及计数器模块；
所述采样模块用于对输入图像进行采样，得到输入脉冲；
所述基于FLASH的存算阵列存储有权重矩阵，其对输入脉冲与权重矩阵进行向量矩阵乘法运算，运算结果以电流形式输出；
所述神经元模块对基于FLASH的存算阵列的运算结果进行积分，生成输出脉冲；
所述计数器模块统计输出层的神经元模块产生的脉冲数量，将具有最大脉冲数量的神经元模块的脉冲数量作为识别结果。
2.如权利要求1所述的脉冲型卷积神经网络，其特征在于，所述采样模块利用泊松采样或高斯采样对输入图像进行采样，得到输入脉冲。
3.如权利要求1所述的脉冲型卷积神经网络，其特征在于，所述脉冲型卷积神经网络的每一层均包括：所述基于FLASH的存算阵列，所述基于FLASH的存算阵列包括：多个FLASH单元、多条字线、多条源线、多条位线、多个减法器；
多个FLASH单元组成的存算阵列，每一列FLASH单元的栅极连接相同的字线，源极连接相同的源线，每一行FLASH单元的漏极连接相同的位线；每个减法器的正极端和负极端分别连接相邻两条位线。
4.如权利要求3所述的脉冲型卷积神经网络，其特征在于，
所述字线的数量对应于所述存算阵列的列数，输入脉冲通过字线输入FLASH单元；
所述源线的数量对应于所述存算阵列的列数，所述源线均接固定的驱动电压；
所述位线的数量对应于所述存算阵列的行数，每一行位线叠加该行各列FLASH单元的漏极信号，并将叠加的漏极信号作为输出信号输出。
5.如权利要求3所述的脉冲型卷积神经网络，其特征在于，所述FLASH单元存储有卷积神经网络的权重值，所述基于FLASH的存算阵列存储卷积神经网络的权重矩阵。
6.如权利要求5所述的脉冲型卷积神经网络，其特征在于，对所述FLASH单元编程，所述FLASH单元的存储状态视为“0”；对所述FLASH单元擦除，所述FLASH单元的存储状态视为“1”。
7.如权利要求5所述的脉冲型卷积神经网络，其特征在于，所述减法器正极端连接的位线上的FLASH单元存储正权重值，其负极端连接的位线上的FLASH单元存储负权重值。
8.如权利要求1所述的脉冲型卷积神经网络，其特征在于，神经元模块包括：比较器、脉冲产生电路、复位开关、积分电容；
积分电容对运算结果进行积分，比较器将积分得到的输出电压与预先设置的阈值电压进行比较，如果输出电压超过阈值电压，比较器触发脉冲产生电路输出脉冲，并通过比较器的反馈触发复位开关，将神经元模块置为初始状态；如果输出电压未超过阈值电压，比较器不会触发脉冲产生电路，脉冲产生电路不输出脉冲。
CN201910741894.2A 2019-08-12 2019-08-12 基于flash存算阵列的脉冲型卷积神经网络 Active CN110543933B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910741894.2A CN110543933B (zh) 2019-08-12 2019-08-12 基于flash存算阵列的脉冲型卷积神经网络
PCT/CN2019/126343 WO2021027214A1 (zh) 2019-08-12 2019-12-18 基于flash存算阵列的脉冲型卷积神经网络
US17/619,395 US20220414427A1 (en) 2019-08-12 2019-12-18 Spiking convolutional neural network based on flash storage and computing array

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910741894.2A CN110543933B (zh) 2019-08-12 2019-08-12 基于flash存算阵列的脉冲型卷积神经网络

Publications (2)

Publication Number Publication Date
CN110543933A true CN110543933A (zh) 2019-12-06
CN110543933B CN110543933B (zh) 2022-10-21

Family

ID=68710806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910741894.2A Active CN110543933B (zh) 2019-08-12 2019-08-12 基于flash存算阵列的脉冲型卷积神经网络

Country Status (3)

Country Link
US (1) US20220414427A1 (zh)
CN (1) CN110543933B (zh)
WO (1) WO2021027214A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144558A (zh) * 2020-04-03 2020-05-12 深圳市九天睿芯科技有限公司 基于时间可变的电流积分和电荷共享的多位卷积运算模组
CN111611528A (zh) * 2020-04-03 2020-09-01 深圳市九天睿芯科技有限公司 电流值可变的电流积分和电荷共享的多位卷积运算模组
CN111611529A (zh) * 2020-04-03 2020-09-01 深圳市九天睿芯科技有限公司 电容容量可变的电流积分和电荷共享的多位卷积运算模组
CN112148669A (zh) * 2020-10-01 2020-12-29 北京知存科技有限公司 脉冲存算一体芯片以及电子设备
WO2021027214A1 (zh) * 2019-08-12 2021-02-18 北京大学 基于flash存算阵列的脉冲型卷积神经网络
WO2021115262A1 (zh) * 2019-12-09 2021-06-17 南京惟心光电系统有限公司 脉冲卷积神经网络算法、集成电路、运算装置及存储介质
CN112992232A (zh) * 2021-04-28 2021-06-18 中科院微电子研究所南京智能技术研究院 一种多位正负单比特存内计算单元、阵列及装置
WO2022057222A1 (zh) * 2020-09-15 2022-03-24 深圳市九天睿芯科技有限公司 一种基于电流积分的存内脉冲神经网络
CN115083462A (zh) * 2022-07-14 2022-09-20 中科南京智能技术研究院 一种基于Sram的新型数字型存内计算装置
WO2022206193A1 (zh) * 2021-04-02 2022-10-06 华为技术有限公司 脉冲神经网络电路和基于脉冲神经网络的计算方法
TWI787691B (zh) * 2019-12-24 2022-12-21 財團法人工業技術研究院 神經網路運算裝置及方法
WO2023240578A1 (zh) * 2022-06-17 2023-12-21 北京大学 应用于神经网络的存内计算架构的操作方法、装置和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103201610A (zh) * 2010-10-29 2013-07-10 国际商业机器公司 带有使用模拟学习的突触权重的神经形态-突触器脉冲神经网络
US20180157969A1 (en) * 2016-12-05 2018-06-07 Beijing Deephi Technology Co., Ltd. Apparatus and Method for Achieving Accelerator of Sparse Convolutional Neural Network
CN108805270A (zh) * 2018-05-08 2018-11-13 华中科技大学 一种基于存储器的卷积神经网络系统
CN108985447A (zh) * 2018-06-15 2018-12-11 华中科技大学 一种硬件脉冲神经网络系统
CN109460817A (zh) * 2018-09-11 2019-03-12 华中科技大学 一种基于非易失存储器的卷积神经网络片上学习系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3069682B1 (fr) * 2017-07-25 2021-12-24 Commissariat Energie Atomique Calculateur pour reseau de neurones impulsionnel avec agregation maximale
CN109800876B (zh) * 2019-01-18 2021-06-01 合肥恒烁半导体有限公司 一种基于NOR Flash模块的神经网络的数据运算方法
CN109816026B (zh) * 2019-01-29 2021-09-10 清华大学 卷积神经网络和脉冲神经网络的融合装置及方法
CN110543933B (zh) * 2019-08-12 2022-10-21 北京大学 基于flash存算阵列的脉冲型卷积神经网络

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103201610A (zh) * 2010-10-29 2013-07-10 国际商业机器公司 带有使用模拟学习的突触权重的神经形态-突触器脉冲神经网络
US20180157969A1 (en) * 2016-12-05 2018-06-07 Beijing Deephi Technology Co., Ltd. Apparatus and Method for Achieving Accelerator of Sparse Convolutional Neural Network
CN108805270A (zh) * 2018-05-08 2018-11-13 华中科技大学 一种基于存储器的卷积神经网络系统
CN108985447A (zh) * 2018-06-15 2018-12-11 华中科技大学 一种硬件脉冲神经网络系统
CN109460817A (zh) * 2018-09-11 2019-03-12 华中科技大学 一种基于非易失存储器的卷积神经网络片上学习系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
R.Z. HAN等: "A Novel Convolution Computing Paradigm Based on NOR Flash Array with High Computing Speed and Energy Efficient", 《IEEE ISCAS》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021027214A1 (zh) * 2019-08-12 2021-02-18 北京大学 基于flash存算阵列的脉冲型卷积神经网络
WO2021115262A1 (zh) * 2019-12-09 2021-06-17 南京惟心光电系统有限公司 脉冲卷积神经网络算法、集成电路、运算装置及存储介质
CN113033759A (zh) * 2019-12-09 2021-06-25 南京惟心光电系统有限公司 脉冲卷积神经网络算法、集成电路、运算装置及存储介质
TWI774147B (zh) * 2019-12-09 2022-08-11 大陸商南京惟心光電系統有限公司 脈衝卷積神經網路演算法、積體電路及其製造方法、運算裝置及存儲介質
TWI787691B (zh) * 2019-12-24 2022-12-21 財團法人工業技術研究院 神經網路運算裝置及方法
CN111611528A (zh) * 2020-04-03 2020-09-01 深圳市九天睿芯科技有限公司 电流值可变的电流积分和电荷共享的多位卷积运算模组
CN111611529A (zh) * 2020-04-03 2020-09-01 深圳市九天睿芯科技有限公司 电容容量可变的电流积分和电荷共享的多位卷积运算模组
CN111611529B (zh) * 2020-04-03 2023-05-02 深圳市九天睿芯科技有限公司 电容容量可变的电流积分和电荷共享的多位卷积运算模组
CN111611528B (zh) * 2020-04-03 2023-05-02 深圳市九天睿芯科技有限公司 电流值可变的电流积分和电荷共享的多位卷积运算模组
CN111144558A (zh) * 2020-04-03 2020-05-12 深圳市九天睿芯科技有限公司 基于时间可变的电流积分和电荷共享的多位卷积运算模组
WO2022057222A1 (zh) * 2020-09-15 2022-03-24 深圳市九天睿芯科技有限公司 一种基于电流积分的存内脉冲神经网络
CN112148669A (zh) * 2020-10-01 2020-12-29 北京知存科技有限公司 脉冲存算一体芯片以及电子设备
WO2022206193A1 (zh) * 2021-04-02 2022-10-06 华为技术有限公司 脉冲神经网络电路和基于脉冲神经网络的计算方法
CN112992232A (zh) * 2021-04-28 2021-06-18 中科院微电子研究所南京智能技术研究院 一种多位正负单比特存内计算单元、阵列及装置
WO2023240578A1 (zh) * 2022-06-17 2023-12-21 北京大学 应用于神经网络的存内计算架构的操作方法、装置和设备
CN115083462B (zh) * 2022-07-14 2022-11-11 中科南京智能技术研究院 一种基于Sram的数字型存内计算装置
CN115083462A (zh) * 2022-07-14 2022-09-20 中科南京智能技术研究院 一种基于Sram的新型数字型存内计算装置

Also Published As

Publication number Publication date
US20220414427A1 (en) 2022-12-29
WO2021027214A1 (zh) 2021-02-18
CN110543933B (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
CN110543933B (zh) 基于flash存算阵列的脉冲型卷积神经网络
CN110209375B (zh) 一种基于radix-4编码和差分权重存储的乘累加电路
CN109800876B (zh) 一种基于NOR Flash模块的神经网络的数据运算方法
Valentian et al. Fully integrated spiking neural network with analog neurons and RRAM synapses
CN111523658B (zh) 双位存储单元及其在存内计算的电路结构
US20230259748A1 (en) In-Memory Computing Architecture and Methods for Performing MAC Operations
Ni et al. An energy-efficient matrix multiplication accelerator by distributed in-memory computing on binary RRAM crossbar
CN111967586B (zh) 一种用于脉冲神经网络存内计算的芯片及计算方法
CN109472348B (zh) 一种基于忆阻交叉阵列的lstm神经网络系统
Xiang et al. Analog deep neural network based on NOR flash computing array for high speed/energy efficiency computation
Xiang et al. Efficient and robust spike-driven deep convolutional neural networks based on NOR flash computing array
CN113741858B (zh) 存内乘加计算方法、装置、芯片和计算设备
US11922169B2 (en) Refactoring mac operations
CN111260048A (zh) 一种基于忆阻器的神经网络加速器中激活函数的实现方法
CN111898329B (zh) 基于铁电晶体管FeFET的卷积计算方法
US20210287745A1 (en) Convolution operation method based on nor flash array
CN114400031A (zh) 一种补码映射的rram存算一体芯片及电子设备
CN114418080A (zh) 存算一体运算方法、忆阻器神经网络芯片及存储介质
Haensch Analog computing for deep learning: Algorithms, materials & architectures
CN115691613B (zh) 一种基于忆阻器的电荷型存内计算实现方法及其单元结构
CN113949385B (zh) 一种用于rram存算一体芯片补码量化的模数转换电路
CN110597487A (zh) 一种矩阵向量乘法电路及计算方法
Zhou et al. DCBAM: A discrete chainable bidirectional associative memory
CN113988279A (zh) 一种支持负值激励的存算阵列输出电流读出方法及系统
Lee et al. Quantized convolutional neural network implementation on a parallel-connected memristor crossbar array for edge AI platforms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant