CN113033795A - 基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器 - Google Patents

基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器 Download PDF

Info

Publication number
CN113033795A
CN113033795A CN202110332549.0A CN202110332549A CN113033795A CN 113033795 A CN113033795 A CN 113033795A CN 202110332549 A CN202110332549 A CN 202110332549A CN 113033795 A CN113033795 A CN 113033795A
Authority
CN
China
Prior art keywords
pulse
feature extractor
neural network
convolution
membrane potential
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110332549.0A
Other languages
English (en)
Other versions
CN113033795B (zh
Inventor
张玲
杨晶
石匆
林英撑
何伟
李睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Xianfeng Intelligent Technology Co ltd
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202110332549.0A priority Critical patent/CN113033795B/zh
Publication of CN113033795A publication Critical patent/CN113033795A/zh
Application granted granted Critical
Publication of CN113033795B publication Critical patent/CN113033795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/388—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using other various devices such as electro-chemical, microwave, surface acoustic wave, neuristor, electron beam switching, resonant, e.g. parametric, ferro-resonant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Neurology (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开了一种基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器，包括第一特征提取器、第二特征提取器、分类引擎和控制器；第一特征提取器设置在第一层，用于卷积计算、膜电位更新以及池化操作；第二特征提取器设置在第二层，用于卷积计算、膜电位更新以及池化操作，该第二特征提取器的输入端与第一特征提取器的输出端连接；所述分类引擎设置在第三层，用于对目标的分类，其由多个并行设置的全连接单元和一个脉冲计数器组成，分类引擎的输入端与第二特征提取器的输出端连接；所述控制器用于负责控制输入权重，该控制器分别与第一特征提取器、第二特征提取器和分类引擎连接。本发明能够提高网络的仿生性，提高了计算效率，节省了资源消耗。

Description

基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器
技术领域
本发明属于神经网络硬件加速器技术领域，具体涉及一种基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器。
背景技术
深度神经网络在图像分类、目标跟踪和目标分割等专业领域都达到了突出的效果，但在计算以及实现效率上与生物大脑还存在根本的差异。在大脑中，信息是以脉冲序列为载体进行传递，具有高度仿生性的脉冲神经网络可以很好地模拟这种生物神经元的信息处理机制，并具有计算效率高、占用资源少、易于硬件实现等优势，因此脉冲神经网络成为人工智能领域的研究焦点。目前脉冲神经网络的研究已经有了一些成果，但它的应用仍然处于起步阶段。例如TrueNorth，SpiNNaker等神经形态平台主要设计目的是为了模拟神经科学领域的生物大脑行为，并不适用于低成本、高速的实际嵌入式应用场景。这些已报道的神经形态芯片并不是scnn的合适架构，因为它们在推理过程中不能利用卷积层的结构规律。另一方面，传统神经网络(例如AlexNet、VGG19)等深度学习模型在众多领域上表现出良好的效果，这得益于深度学习模型具有显著的特征提取能力，但此类深度学习模型由于计算量大、占用资源多、需要依赖顶级显卡加速，使得这些模型无法应用到成本有限的、实时的嵌入场景中。
因此，有必要开发一种新的基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器。
发明内容
本发明的目的是提供一种基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器，能提高网络的仿生性，并能大大提高计算效率，且能节省资源消耗。
本发明所述的一种基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器，包括第一特征提取器、第二特征提取器、分类引擎和控制器；
所述第一特征提取器设置在第一层，用于卷积计算、膜电位更新以及池化操作；
所述第二特征提取器设置在第二层，用于卷积计算、膜电位更新以及池化操作，该第二特征提取器的输入端与第一特征提取器的输出端连接；
所述分类引擎设置在第三层，用于对目标的分类，其由多个并行设置的全连接单元和一个脉冲计数器组成，分类引擎的输入端与第二特征提取器的输出端连接；
所述控制器用于负责控制输入权重，该控制器分别与第一特征提取器、第二特征提取器和分类引擎连接。
可选地，所述第一特征提取器包括16个脉冲卷积计算单元，每个脉冲卷积计算单元包括两个用于对输入数据进行缓存的行缓存，以及由9个选择器和4个加法器构成的2-D卷积矩阵；
所述第二特征提取器包括32组脉冲卷积计算单元，每组由16个脉冲卷积计算单元组成。
可选地，所述第一特征提取器和第二特征提取器中，还包括膜电位计算单元，同一通道共享一个膜电位计算单元，用于对卷积过后的结果进行膜电位在每个时间步泄露积分计算；
所述膜电位计算单元由1个加法器、1个乘法器、1个选择器和1块膜电位内存组成，其中，加法器的一输入端与脉冲卷积计算单元的输出端连接，加法器的输出端与乘法器的一输入端连接，选择器的输出端与乘法器的另一输入端连接，乘法器的输出端与膜电压内存的输入端连接，膜电位内存的输出端与加法器的另一输入端连接。
可选地，所述第一特征提取器和第二特征提取器中，还包括池化单元，同一通道共享一个池化单元，用于对膜电位计算单元计算后的结果进行或处理，完成池化；
所述池化单元包括一个移位寄存器和一个四输入或门，所述移位寄存器与四输入或门连接。
可选地，所述分类引擎包括10组并行设置的全连接单元和一个脉冲计数器，各全连接单元分别与脉冲计数器连接。
可选地，所述全连接单元由32个选择器、五级流水线加法树和一个累加器组成，用于完成对第二层的32个输出脉冲图进行并行计算；其中，所述五级流水线加法树中第一级的加法器的两输入端分别与2个选择器的输出端连接；五级流水线加法树中第五级的加法器的输出端与累加器的输入端连接。
可选地，所述脉冲计数器包括10个计数器，脉冲计数器用于对输出脉冲计数，在时间长度为T，脉冲数量最大的类即为分类结果。
本发明具有以下优点：
(1)把卷积神经网络的特征提取方法引入到深度脉冲神经网络中，使脉冲神经网络的结构更加完整，梯度性地提升了网络的整体性能。
(2)基于时间步的二值脉冲图设计了多级流水线的脉冲卷积处理单元和全连接层，以最大限度提高系统处理速度，且避免缓存中间结果，节省资源并提高处理性能，取得了良好的效果，具有应用价值和推广前景。
(3)具有良好的深度可扩展性，能够很好地扩展不同深度，以满足不同的精度或速度要求的嵌入式应用场景。
附图说明
图1为本实施例中设计加速器的流程图；
图2为本实施例的总体架构图；
图3为本实施例中特征提取处理单元的示意图；
图4为本实施例中全连接单元的示意图；
图5为不同深度下的系统性能的对比示意图；
图6为LIF神经元的示意图。
具体实施方式
下面结合附图对本发明作进一步说明。
本实施例中，一种基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器，包括第一特征提取器、第二特征提取器、分类引擎和控制器。所述第一特征提取器设置在脉冲卷积神经网络的第一层，用于卷积计算、膜电位更新以及池化操作。所述第二特征提取器设置在脉冲卷积神经网络的第二层，用于卷积计算、膜电位更新以及池化操作，该第二特征提取器的输入端与第一特征提取器的输出端连接。所述分类引擎设置在脉冲卷积神经网络的第三层，用于对目标的分类，其由多个并行设置的全连接单元和一个脉冲计数器组成，分类引擎的输入端与第二特征提取器的输出端连接。所述控制器用于负责控制输入权重，该控制器分别与第一特征提取器、第二特征提取器和分类引擎连接。
将输入图像通过速率编码生成分时间步的脉冲序列后发送到第一特征提取器和第二特征提取器，神经元膜电位累加，当膜电位超过预设膜阈值Vth，由神经元产生一个输出脉冲并重置膜电压；最后通过脉冲计数器对输出脉冲计数，在时间长度为T，脉冲数量最大的类即为分类结果。
本实施例中，以脉冲神经网络为基础理论设计方案框架，结合卷积神经网络，构建脉冲卷积神经网络，并对现有的神经元进行改进，使其易于硬件实现。最后根据优化后的脉冲卷积神经网络架构设计有效的硬件加速器以及具体计算引擎。
本实施例所述的基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器，能够最大限度地保证其速度的同时节省了资源消耗，使其能够有效地部署在成本和功耗有限的嵌入式应用设备，且实现了高速性能和最大限度的脉冲数据吞吐量。
本实施例中，设计总流程如下：
首先，根据不同精度或速度要求的嵌入式应用确定网络的拓扑结构、量化参数精度，然后训练相应拓扑结构的卷积神经网络，接下来将卷积神经网络训练所得的所有参数应用于脉冲卷积神经网络，然后根据得到的脉冲卷积神经网络设计神经形态架构和计算引擎，最后完成加速器设计并在FPGA(现场可编程逻辑门阵列)上验证设计原型。总体流程，参见图1。
本实施例中，设计过程主要分为以下三个步骤：
1.基于卷积神经网络转换得到脉冲卷积神经网络；
2.设计脉冲卷积神经网络架构和计算引擎；
3.FPGA原型验证。
以下对各步骤进行详细的说明：
1.基于卷积神经网络转换得到脉冲卷积神经网络，具体为：
步骤1.1，提供一个待转换的卷积神经网络，其包含卷积层，激活函数，池化层以及全连接。
步骤1.2，修改待转换卷积神经网络的结构。
(1)对输入图像进行归一化处理，并且增加abs()函数，这是预处理阶段，abs()函数确保第一次卷积的输入值都是非负的，如果输入值是正值，此步骤可忽略。
(2)将卷积层中的偏值设为0(即公式(一)中的b)，以及全连接层中的偏值也设置为0，其他设置保持不变。其中x代表特征图，w代表一系列的卷积核系数，b为偏值，l表示输入通道。
x＝∑lwl*xl+b(公式一)。
步骤1.4，原先使用激活函数的层，将激活函数替换为ReLU()激活函数。
步骤1.5，池化层用平均池化替换最大值池化。
步骤1.6，所述的卷积神经网络参数(包括卷积层所得核系数以及全连接层的权重)迁移至脉冲卷积神经网络中，重新构建脉冲卷积神经网络，脉冲卷积采用选择器替换原先昂贵的乘法器(完成卷积所需的乘法器)，激活函数的位置采用脉冲卷积神经网络中的Leaky integrate-and-fire(LIF)神经元模型替换，计算膜电压，当电压超过预先设定的阈值时，发射输出脉冲，膜电压重置为静息电位，如膜电压低于预先设定阈值，记录当前的电压值，并当膜电压低于静息电位时，将膜电压重置为静息电位。将LIF神经元模型的膜电位V根据以下离散模式的公式进行描述：
Figure BDA0002996759190000051
t是离散时间步,Vm(t)是神经元膜电位,τm是泄漏时间常数,wi是神经元突触的权重,si(t)是输入脉冲序列:在离散时间步t时刻，如神经元收到一个脉冲，si(t)是1，否则是0。如图6所示，LIF神经元通过突触权重不断地将输入脉冲整合到膜电位上，在没有输入脉冲的时刻呈指数级泄漏。一旦膜电位超过预先设定的阈值Vth，神经元就会发射输出脉冲，并立即将Vm(t)复位到静息水平。这种泄漏的整合和发射过程重复，直到输入尖峰序列的结束。
2，设计专用加速器硬件架构和计算引擎
步骤2.1，总体架构设计
如图2所示，本实施例中，涉及的基于时间步的二值脉冲图脉冲卷积神经网络加速，包括第一特征提取器、第二特征提取器、分类引擎和控制器。
第一特征提取器和第二特征提取器均包括卷积计算、膜电位更新以及池化操作，其中：
卷积运算构建高度并行的计算电路，以保证系统的高吞吐率。假设输入通道为N，输出通道为M，高度并行的卷积计算同时计算同一层所有神经元的活动即同时输出M个神经元的值。
分类引擎由全连接和脉冲计数器组成。
本实施例中，提出了基于时间步的二值的特征图的脉冲卷积操作可以有效简化神经网络计算，首先，将输入图像进行速率编码生成分时间步的脉冲序列并发送到第一特征提取器和第二特征提取器，神经元膜电位累加，当膜电位超过预先设定的膜阈值Vth，由神经元产生一个输出脉冲并重置膜电压。最后通过脉冲计数器对输出脉冲计数，在时间长度为T，脉冲数量最大的类即为分类结果。
控制器为全局控制器，整个架构仅包括一个控制器，其主要负责控制输入权重。
步骤2.2，电路设计
原始像素值脉冲编码过后形成时间步的二值图像，不同时间步的二值脉冲图按行展开成一张张量，以脉冲流的形式输入网络，本实施例中将时间步长T取值为100。根据输入脉冲的二值特性，其值只有0或1，将完成传统卷积的昂贵乘法器采用选择器代替，节省计算资源消耗。如图3(a)所示，输入二值脉冲图的大小为n×n(n＝28)，卷积核的大小为k×k(k＝3)，然后由滤波器的大小确定一个脉冲卷积计算单元使用的加法器数和选择器的数量，由脉冲图的大小确定行缓存的深度。这些计算单元构成一个二维的计算数组，如图3(b)所示，每个时钟完成一个脉冲的卷积运算。然后经过膜电压计算单元，膜电位内存中的值被初始化为0，然后，在不同的时间步对同一神经元进行泄露。当膜电位超过阈值时，发射一个脉冲并清零。当所有时间步执行完成也做清零操作，以保证下一个脉冲图的正常计算。整个架构采用基于时间步的脉冲流流水线设计方式，并且对同一卷积通道共享一个膜电位计算单元，共用一个膜电位内存，节省存储资源消耗，如图3(c)所示。降低脉冲图维数的计算成为池化，单独应用到每个通道，使网络具有鲁棒性和不变的小位移失真，定义接受域大小为2×2，如图3(d)所示，本实施例中采用一个移位行缓存(Shift reg)及一个四输入或门实现了池化，当使能信号(En)有效时，做或操作，得到输出脉冲(Spike)。
本实施例中，位于第一层的第一特征提取器中包含了16个脉冲卷积计算单元(图3(b)为一个脉冲卷积计算单元的原理图)，卷积核大小为3×3，运用两个大小为28×8bit的行缓存(即图3(b)中的Row buffer1和Row buffer2)对输入数据进行缓存，使用9个选择器(Mux)和4个加法器构成2-D卷积矩阵。所述第二特征提取器包括32组脉冲卷积计算单元，每组由16个脉冲卷积计算单元组成，负责完成卷积运算。第一层的同一通道共享一个膜电位计算单元(参见图3(c)为一个膜电位计算单元的原理图)，由1个乘法器、1个选择器和一个膜电位内存(图3(c)中的Potential Memory)组成，膜电位内存采用28×28的BRAM。主要负责对卷积过后的结果进行膜电位在每个时间步泄露积分计算(图3(c)中的Leaky/reset表示泄露/复位)。第一层的同一通道共享一个池化单元(参见图3(d)为一个池化单元的结构示意图)，该池化单元包括一个移位寄存器(采用30×1bit的移位寄存器)和一个四输入的或门，对膜电位计算后的结果进行或处理，完成池化。
本实施例中，位于第二层的第二特征提取器中包含了32组脉冲卷积计算单元，每组由16个脉冲卷积计算单元，负责完成卷积运算，保证高度并行计算，使整个系统的吞吐率最大化。第二层的同一通道共享一个膜电位计算单元，由1个乘法器、1个选择器和一个膜电位内存(采用14×14的BRAM作为膜电位内存)组成。主要负责对卷积过后的结果进行膜电位在每个时间步泄露积分计算。第二层的同一通道共享一个池化单元，该池化单元包括一个的移位寄存器(采用16×1bit的移位寄存器)和一个四输入的或门，对膜电位计算后的结果进行或处理，完成池化。
如图2所示，本实施例中，分类引擎由多组并行的全连接单元和脉冲计数器组成。
如图4所示，全连接单元可以看作一种特殊的卷积层，但一次卷积需要长时间的等待,等待上一层计算全部完成，降低了系统的速度。本实施例中，采用全并行的流水线设计方式，假设第二层同时输出m张特征图，利用m个选择器和流水线的加法树并行处理m张特征图。例如数据集MNIST，图像输入的大小28×28，在忽略脉冲流的延迟情况下，只需要消耗784个时钟(在100MHz时钟下，用时7.84us)即可得到一个时间步的神经元的输出结果。脉冲计数器有十个神经元，每个神经元代表一个分类。同时更新10个输出神经元的膜电位，并计算每个神经元发出的脉冲数，分类结果由整个实际按窗口内脉冲数目最多的神经元决定。
如图2所示，本实施例中，所述分类引擎包括10组全连接单元(对应分类的种类)和一个脉冲计数器，分类引擎负责完成对目标的分类。如图4所示，全连接单元由五级流水线加法树(Pipelined Adder tree)、32个选择器(MUX)和一个累加器(ACC)组成，其中，所述五级流水线加法树中第一级的加法器的两输入端分别与2个选择器的输出端连接；五级流水线加法树中第五级的加法器的输出端与累加器的输入端连接。全连接单元用于对第二层的32个输出脉冲图进行并行计算。脉冲计数器包括10个计数器，在时间长度为T，脉冲计数器负责对输出脉冲计数，脉冲数量最大的类即为分类结果。
3，加速器FPGA原型实现
本实施例中，通过构建不同深度的脉冲卷积神经网络来证明了网络架构的深度可扩展性，具体的架构如表Ⅰ所示。
表I.不同卷积深度的脉冲卷积神经网络
模型 架构
Convx1 28×28-16c3-2s-10
Convx2 28×28-16c3-2s-32c3-2s-10
Convx3 28×28-16c3-16c3-2s-32c3-2s-10
在不同深度下，脉冲卷积神经网络系统的性能，参见图5。
本实施例中，在Zynq-7045芯片上实现了该脉冲卷积神经网络推理加速器的FPGA原型。加速器以100MHz的时钟频率运行，资源消耗较少，在不同的深度下实现具体资源消耗如表II所示。本加速器在28×28分辨率的MNIST、Fashion-MNIST图像上可以达到1275帧每秒的运行速度，而且功耗分别为0.471w，0.859w，1.241w(在XilinxVivado工具下评估)，证明了本加速器可以低成本、高速地实现神经网络推理。
表II.FPGA资源利用情况
Figure BDA0002996759190000071
Figure BDA0002996759190000081
本实施例中，提出了一个成本有效和高速VLSI(超大规模集成电路)硬件框架用于脉冲卷积神经网络推理。把卷积神经网络的特征提取方法引入到深度脉冲神经网络中，保证了脉冲神经网络结构的完整性，梯度性地提升了网络的整体性能。基于时间步的二值脉冲图设计了多级流水线的脉冲卷积处理单元和全连接层，以最大限度提高系统处理速度，且避免缓存中间结果，节省资源并提高处理性能，取得了良好的效果，具有应用价值和推广前景。所提出的系统架构具有良好的可扩展性，可以很好的扩展不同深度，以满足不同的精度或速度要求的嵌入式应用场景。

Claims (7)

1.一种基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器，其特征在于：包括第一特征提取器、第二特征提取器、分类引擎和控制器；
所述第一特征提取器设置在第一层，用于卷积计算、膜电位更新以及池化操作；
所述第二特征提取器设置在第二层，用于卷积计算、膜电位更新以及池化操作，该第二特征提取器的输入端与第一特征提取器的输出端连接；
所述分类引擎设置在第三层，用于对目标的分类，其由多个并行设置的全连接单元和一个脉冲计数器组成，分类引擎的输入端与第二特征提取器的输出端连接；
所述控制器用于负责控制输入权重，该控制器分别与第一特征提取器、第二特征提取器和分类引擎连接。
2.根据权利要求1所述的基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器，其特征在于：所述第一特征提取器包括16个脉冲卷积计算单元，每个脉冲卷积计算单元包括两个用于对输入数据进行缓存的行缓存，以及由9个选择器和4个加法器构成的2-D卷积矩阵；
所述第二特征提取器包括32组脉冲卷积计算单元，每组由16个脉冲卷积计算单元组成。
3.根据权利要求2所述的基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器，其特征在于：所述第一特征提取器和第二特征提取器中，还包括膜电位计算单元，同一通道共享一个膜电位计算单元，用于对卷积过后的结果进行膜电位在每个时间步泄露积分计算；
所述膜电位计算单元由1个加法器、1个乘法器、1个选择器和1个膜电位内存组成，其中，加法器的一输入端与脉冲卷积计算单元的输出端连接，加法器的输出端与乘法器的一输入端连接，选择器的输出端与乘法器的另一输入端连接，乘法器的输出端与膜电位内存的输入端连接，膜电位内存的输出端与加法器的另一输入端连接。
4.根据权利要求3所述的基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器，其特征在于：所述第一特征提取器和第二特征提取器中，还包括池化单元，同一通道共享一个池化单元，用于对膜电位计算单元计算后的结果进行或处理，完成池化；
所述池化单元包括一个移位寄存器和一个四输入或门，所述移位寄存器与四输入或门连接。
5.根据权利要求1至4任一所述的基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器，其特征在于：所述分类引擎包括10组并行设置的全连接单元和一个脉冲计数器，各全连接单元分别与脉冲计数器连接。
6.根据权利要求5所述的基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器，其特征在于：所述全连接单元由32个选择器、五级流水线加法树和一个累加器组成，用于完成对第二层的32个输出脉冲图进行并行计算；其中，所述五级流水线加法树中第一级的加法器的两输入端分别与2个选择器的输出端连接；五级流水线加法树中第五级的加法器的输出端与累加器的输入端连接。
7.根据权利要求5所述的基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器，其特征在于：所述脉冲计数器包括10个计数器，脉冲计数器用于对输出脉冲计数，在时间长度为T，脉冲数量最大的类即为分类结果。
CN202110332549.0A 2021-03-29 2021-03-29 基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器 Active CN113033795B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110332549.0A CN113033795B (zh) 2021-03-29 2021-03-29 基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110332549.0A CN113033795B (zh) 2021-03-29 2021-03-29 基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器

Publications (2)

Publication Number Publication Date
CN113033795A true CN113033795A (zh) 2021-06-25
CN113033795B CN113033795B (zh) 2022-10-14

Family

ID=76452647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110332549.0A Active CN113033795B (zh) 2021-03-29 2021-03-29 基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器

Country Status (1)

Country Link
CN (1) CN113033795B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023284142A1 (zh) * 2021-07-16 2023-01-19 成都时识科技有限公司 脉冲神经网络中神经元的信号处理方法及该网络训练方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170300788A1 (en) * 2014-01-30 2017-10-19 Hrl Laboratories, Llc Method for object detection in digital image and video using spiking neural networks
US20180075339A1 (en) * 2016-09-09 2018-03-15 SK Hynix Inc. Neural network hardware accelerator architectures and operating method thereof
CN108416391A (zh) * 2018-03-16 2018-08-17 重庆大学 基于视觉皮层处理机制及脉冲监督学习的图像分类方法
CN111275167A (zh) * 2020-01-16 2020-06-12 北京中科研究院 一种用于二值卷积神经网络的高能效脉动阵列架构
CN111858989A (zh) * 2020-06-09 2020-10-30 西安工程大学 一种基于注意力机制的脉冲卷积神经网络的图像分类方法
CN112183739A (zh) * 2020-11-02 2021-01-05 中国科学技术大学 基于忆阻器的低功耗脉冲卷积神经网络的硬件架构

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170300788A1 (en) * 2014-01-30 2017-10-19 Hrl Laboratories, Llc Method for object detection in digital image and video using spiking neural networks
US20180075339A1 (en) * 2016-09-09 2018-03-15 SK Hynix Inc. Neural network hardware accelerator architectures and operating method thereof
CN108416391A (zh) * 2018-03-16 2018-08-17 重庆大学 基于视觉皮层处理机制及脉冲监督学习的图像分类方法
CN111275167A (zh) * 2020-01-16 2020-06-12 北京中科研究院 一种用于二值卷积神经网络的高能效脉动阵列架构
CN111858989A (zh) * 2020-06-09 2020-10-30 西安工程大学 一种基于注意力机制的脉冲卷积神经网络的图像分类方法
CN112183739A (zh) * 2020-11-02 2021-01-05 中国科学技术大学 基于忆阻器的低功耗脉冲卷积神经网络的硬件架构

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023284142A1 (zh) * 2021-07-16 2023-01-19 成都时识科技有限公司 脉冲神经网络中神经元的信号处理方法及该网络训练方法

Also Published As

Publication number Publication date
CN113033795B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN109948029B (zh) 基于神经网络自适应的深度哈希图像搜索方法
CN112052886B (zh) 基于卷积神经网络的人体动作姿态智能估计方法及装置
CN107358626B (zh) 一种利用条件生成对抗网络计算视差的方法
CN110048827B (zh) 一种基于深度学习卷积神经网络的类模板攻击方法
CN108846408A (zh) 基于脉冲神经网络的图像分类方法及装置
CN113326930B (zh) 数据处理方法、神经网络的训练方法及相关装置、设备
US11551076B2 (en) Event-driven temporal convolution for asynchronous pulse-modulated sampled signals
Zhou et al. Deep learning binary neural network on an FPGA
Xia et al. Fully dynamic inference with deep neural networks
CN111062450B (zh) 基于fpga和scnn架构的图像分类装置及方法
CN112633477A (zh) 一种基于现场可编程阵列的量化神经网络加速方法
Krithivasan et al. Dynamic spike bundling for energy-efficient spiking neural networks
Su et al. Deep directly-trained spiking neural networks for object detection
Abdelsalam et al. An efficient FPGA-based overlay inference architecture for fully connected DNNs
Lata et al. Data augmentation using generative adversarial network
CN113033795B (zh) 基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器
CN116994093A (zh) 基于对偶图卷积神经网络的高光谱图像分类方法
Shen et al. Efficient deep structure learning for resource-limited IoT devices
Zhang et al. Accurate and efficient event-based semantic segmentation using adaptive spiking encoder-decoder network
Lee et al. MPQ-YOLACT: Mixed-Precision Quantization for Lightweight YOLACT
US20230004351A1 (en) Method and device for additive coding of signals in order to implement digital mac operations with dynamic precision
CN114612493A (zh) 基于fpga的脉冲神经网路图像分割方法
JP7230324B2 (ja) ニューラルネットワークの学習方法、コンピュータプログラム及びコンピュータ装置
CN112989955A (zh) 基于空时双流异构嫁接卷积神经网络人体动作识别方法
EP4032028A1 (en) Efficient inferencing with fast pointwise convolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230714

Address after: 400052 5th floor, production building, No.2, Hualong Avenue, Jiulongpo District, Chongqing

Patentee after: Chongqing Xianfeng Intelligent Technology Co.,Ltd.

Address before: 400030 No. 174 Sha Jie street, Shapingba District, Chongqing

Patentee before: Chongqing University