CN114819114A - 脉冲神经网络硬件加速器及其在卷积运算中的优化方法 - Google Patents

脉冲神经网络硬件加速器及其在卷积运算中的优化方法 Download PDF

Info

Publication number
CN114819114A
CN114819114A CN202210776039.7A CN202210776039A CN114819114A CN 114819114 A CN114819114 A CN 114819114A CN 202210776039 A CN202210776039 A CN 202210776039A CN 114819114 A CN114819114 A CN 114819114A
Authority
CN
China
Prior art keywords
convolution
layer
output
image
estimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210776039.7A
Other languages
English (en)
Other versions
CN114819114B (zh
Inventor
杜源
马鸣远
杜力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202210776039.7A priority Critical patent/CN114819114B/zh
Publication of CN114819114A publication Critical patent/CN114819114A/zh
Application granted granted Critical
Publication of CN114819114B publication Critical patent/CN114819114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

本申请涉及图像识别技术领域，提供一种脉冲神经网络硬件加速器及其在卷积运算中的优化方法，该方法在第一卷积层作准确卷积操作的启动时刻，对待识别图像的第一输入特征图作预估卷积操作，经过神经元模型后，得到待识别图像的第一预估脉冲输出，在第二卷积层上，对第一预估脉冲输出作准确卷积操作，得到待识别图像的第二预估输出特征图，再通过修正得到第二准确输出特征图。在前一层卷积运算未完成时即可开始下一层的卷积运算，利用时间的重叠，加快脉冲神经网络的正向传播卷积计算，不会占用额外的硬件资源。

Description

脉冲神经网络硬件加速器及其在卷积运算中的优化方法
技术领域
本申请涉及图像识别技术领域，具体涉及脉冲神经网络硬件加速器及其在卷积运算中的优化方法。
背景技术
图像识别是机器对人或物体成功辨别的保证，目前大部分基于统计概率学的图像识别技术计算量大且不具有仿生意义，脉冲神经网络（Spiking Neural Network，SNN）是源于模拟生物神经元启发的新一代人工神经网络模型，具有丰富的时空动力学特征和多样的编码机制，其通过离散的动作电位或电脉冲的输入累积来实现激活从而完成信息传递。脉冲神经网络的神经元计算仅在收到脉冲信号时发生，且因为二进制脉冲的离散性，脉冲神经网络的输入均为0或1，减少了点积运算，因此，脉冲神经网络在图像识别领域具备高效的计算能力。
脉冲神经网络沿用神经网络的三大拓扑结构，即全连接层、循环层和卷积层，在利 用脉冲神经网络硬件加速器识别图像的过程中，卷积运算是较为耗时的部分，所以加速卷 积成为众多脉冲神经网络硬件加速器的共同目标。图1为现有技术提供的一种脉冲神经网 络准确卷积运算的流程示意图，待识别图像通过脉冲编码转换成二进制脉冲序列后，将二 进制脉冲序列作为输入特征图输入卷积层作卷积操作，其中最基本的运算是
Figure 677178DEST_PATH_IMAGE001
大小 的输入特征图与
Figure 824650DEST_PATH_IMAGE002
大小的卷积核二维卷积的过程，卷积核作为滑动窗口在输入特征 图上滑动，将卷积核内各权重和对应覆盖区域的脉冲序列值相乘并做累加运算，生成输出 特征图中对应位置数据，再经过神经元模型得到对应的脉冲序列输出，将该脉冲序列输出 作为下一卷积层的输入特征图继续正向传播。
为加速脉冲神经网络的卷积运算，现有技术提供了利用脉冲和修剪权重的稀疏性来消除尽可能多的计算周期的方法，其采用稀疏权重和脉冲的密集编码，以便从DRAM和片上缓冲区仅检索非零数值值，并采用了一种新颖的笛卡尔积数据流，该数据流利用了权重和脉冲重用，同时仅向乘法器提供非零权重和脉冲。
然而，上述现有技术在卷积运算时，只能实现前一层脉冲神经网络卷积层计算完成后，才能计算下一层脉冲神经网络卷积层，卷积运算效率有待进一步提高。
发明内容
本申请提供一种脉冲神经网络硬件加速器及其在卷积运算中的优化方法，以实现更快的脉冲神经网络正向传播卷积运算。
本申请第一方面提供一种脉冲神经网络硬件加速器在卷积运算中的优化方法，所述脉冲神经网络硬件加速器包括至少两级依次连接的卷积层，所述两级依次连接的卷积层包括第一卷积层和第二卷积层，所述方法包括：
步骤1，获取脉冲神经网络硬件加速器的预设参数，所述预设参数包括各级卷积层的卷积核、各卷积核对应的权重平均值和神经元模型；
步骤2，获取待识别图像，以及，根据所述待识别图像，得到所述待识别图像的第一输入特征图，其中，所述待识别图像的第一输入特征图为第一卷积层的输入特征图；
步骤3，在第一卷积层上，使用第一卷积层上的卷积核，对所述待识别图像的第一输入特征图作准确卷积操作，得到所述待识别图像的第一准确输出特征图；
步骤4，在步骤3的启动时刻，利用第一卷积层的权重平均值，对所述待识别图像的第一输入特征图作预估卷积操作，得到所述待识别图像的第一预估输出特征图，经过所述神经元模型后，得到所述待识别图像的第一预估脉冲输出；
步骤5，在步骤4的完成时刻，在第二卷积层上，使用第二卷积层上的卷积核，对所述待识别图像的第一预估脉冲输出作准确卷积操作，得到所述待识别图像的第二预估输出特征图；
步骤6，在步骤3的完成时刻，使所述待识别图像的第一准确输出特征图经过所述神经元模型后，得到所述待识别图像的第一准确脉冲输出，以及，基于所述待识别图像的第一准确脉冲输出和所述待识别图像的第一预估脉冲输出的差值，得到第一修正脉冲输出；
步骤7，在步骤4的完成时刻，在第二卷积层上，使用第二卷积层的卷积核，对所述第一修正脉冲输出作准确卷积操作，得到第二修正输出特征图，以及，结合所述待识别图像的第二预估输出特征图和所述第二修正输出特征图，得到第二准确输出特征图，经过神经元模型后，确定第二准确脉冲输出。
可选的，在步骤4中，所述利用第一卷积层的权重平均值，对所述待识别图像的第一输入特征图作预估卷积操作，得到所述待识别图像的第一预估输出特征图，包括：
采用第一卷积层的卷积核大小和步长；
利用第一卷积层的卷积核对应的权重平均值，乘以覆盖区域脉冲序列的和，得到对应位置的预估输出。
可选的，所述在第一卷积层上，使用第一卷积层上的卷积核，对所述待识别图像的第一输入特征图作准确卷积操作，得到所述待识别图像的第一准确输出特征图，包括：
筛选所述待识别图像的第一输入特征图中的非零数值；
将所述第一输入特征图中的非零数值逐个映射到对应的输出位置，得到所述待识别图像的第一准确输出特征图；
其中，所述将所述第一输入特征图中的非零数值逐个映射到对应的输出位置的映射方法包括：
将第一卷积层上的卷积核旋转180度后，得到旋转后的卷积核；
如果第一输入特征图中的第x行第y列的数据为1，则在输出特征图中对应的
Figure 889558DEST_PATH_IMAGE002
区域累加旋转后的卷积核，其中，
Figure 396631DEST_PATH_IMAGE002
为第一卷积层上的卷积核大小，对应的
Figure 154372DEST_PATH_IMAGE002
区域在列方向为第x-m+1列到x列，在行方向为y-m+1行到y行；
遍历每个所述非零数值，得到所述待识别图像的第一准确输出特征图。
可选的，所述在第二卷积层上，使用第二卷积层上的卷积核，对所述待识别图像的第一预估脉冲输出作准确卷积操作，得到所述待识别图像的第二预估输出特征图，包括：
筛选所述待识别图像的第一预估脉冲输出中的非零数值；
将所述第一预估脉冲输出中的非零数值逐个映射到对应的输出位置，得到所述待识别图像的第二预估输出特征图；
其中，将所述第一预估脉冲输出中的非零数值逐个映射到对应的输出位置的映射方法包括：
将第二卷积层上的卷积核旋转180度后，得到旋转后的卷积核；
如果第一预估脉冲输出中的第x行第y列的数据为1，则在输出特征图中对应的
Figure 812577DEST_PATH_IMAGE002
区域累加旋转后的卷积核，其中，
Figure 540231DEST_PATH_IMAGE002
为第一卷积层上的卷积核大小，对应的
Figure 777177DEST_PATH_IMAGE002
区域在列方向为第x-m+1列到x列，在行方向为y-m+1行到y行；
遍历第一预估脉冲输出中的每个非零数值，得到所述待识别图像的第二预估输出特征图。
可选的，所述在第二卷积层上，使用第二卷积层的卷积核，对所述第一修正脉冲输出作准确卷积操作，得到第二修正输出特征图，包括：
筛选所述第一修正脉冲输出中的非零数值；
将所述第一修正脉冲输出中的非零数值逐个映射到对应的输出位置，得到第二修正输出特征图；
其中，所述将所述第一修正脉冲输出中的非零数值逐个映射到对应的输出位置的映射方法包括：
将第二卷积层上的卷积核旋转180度后，得到旋转后的卷积核；
如果第一修正脉冲输出中的第x行第y列的数据为1，则在输出特征图中对应的
Figure 505486DEST_PATH_IMAGE002
区域累加旋转后的卷积核，其中，
Figure 686938DEST_PATH_IMAGE002
为第一卷积层上的卷积核大小，对应的
Figure 155965DEST_PATH_IMAGE002
区域在列方向为第x-m+1列到x列，在行方向为y-m+1行到y行；
遍历每个所述第一修正脉冲输出中的非零数值，得到第二修正输出特征图。
可选的，所述脉冲神经网络硬件加速器还包括第三卷积层，所述第三卷积层位于所述第二卷积层的下一级，所述方法还包括：
在步骤4的完成时刻，利用第二卷积层的权重平均值，对所述待识别图像的第一预估脉冲输出作预估卷积操作，得到所述待识别图像的第二预估输出特征图，经过所述神经元模型后，得到所述待识别图像的第二预估脉冲输出，以及，在第三卷积层上，使用第三卷积层的卷积核，对所述待识别图像的第二预估脉冲输出作准确卷积操作，得到所述待识别图像的第三预估输出特征图；
在步骤7的完成时刻，基于所述待识别图像的第二准确脉冲输出和所述待识别图像的第二预估脉冲输出的差值，得到第二修正脉冲输出；
在第三卷积层上，使用第三卷积层的卷积核，对所述第二修正脉冲输出作准确卷积操作，得到第三修正输出特征图，以及，结合所述待识别图像的第三预估输出特征图和所述第三修正输出特征图，得到第三准确输出特征图，经过神经元模型后，确定第三准确脉冲输出。
可选的，所述神经元模型为LIF模型。
本申请第二方面提供一种脉冲神经网络硬件加速器，包括：
存储单元，用于存储各级卷积层的卷积核以及每个卷积核的权重平均值，其中各级卷积层包括至少两级依次连接的卷积层，所述两级依次连接的卷积层包括第一卷积层和第二卷积层；
准确卷积计算单元，用于获取存储单元中各级卷积层的卷积核，以及，根据各级卷积层的卷积核，作对应卷积层的卷积计算；
预估卷积计算单元，用于在卷积操作时，利用加法逻辑电路求得覆盖区域的脉冲序列和，以及，获取存储单元中对应卷积核的权重平均值，利用乘法器求得权重平均值与脉冲序列和的乘积，得到卷积对应位置的预估输出；
神经元模型单元，用于根据神经元膜电位和输出特征图，得到对应的脉冲输出；
控制器，用于控制卷积运算的时序；
其中，所述控制器被进一步配置为：
第一层准确卷积：控制所述准确卷积计算单元，使用第一卷积层上的卷积核，对第一卷积层的输入特征图作准确卷积操作，得到第一准确输出特征图；
第一层预估卷积和预估输出：在所述第一层准确卷积的启动时刻，控制所述预估卷积计算单元，使用第一卷积层的权重平均值，对第一卷积层的输入特征图作预估卷积操作，得到第一预估输出特征图，经过所述神经元模型单元后，得到第一预估脉冲输出；
第二层不准确卷积：在所述第一层预估卷积和预估输出的完成时刻，控制所述准确卷积计算单元，使用第二卷积层上的卷积核，对第一预估脉冲输出作准确卷积操作，得到第二预估输出特征图；
第一层修正输出：在所述第一层准确卷积的完成时刻，使第一准确输出特征图经过所述神经元模型单元后，得到第一准确脉冲输出，以及，基于所述第一准确脉冲输出和所述第一预估脉冲输出的差值，得到第一修正脉冲输出；
第二层修正准确卷积：在所述第二层不准确卷积的完成时刻，控制所述准确卷积计算单元，使用第二卷积层上的卷积核，对所述第一修正脉冲输出作准确卷积操作，得到第二修正输出特征图；
第二层准确输出：在所述第二层修正准确卷积的完成时刻，结合第二预估输出特征图和第二修正输出特征图，得到第二准确输出特征图，经过神经元模型后，确定第二准确脉冲输出。
由以上技术方案可知，本申请提供一种脉冲神经网络硬件加速器及其在卷积运算中的优化方法，该方法在第一卷积层作准确卷积操作的启动时刻，对待识别图像的第一输入特征图作预估卷积操作，经过神经元模型后，得到待识别图像的第一预估脉冲输出，在第二卷积层上，对第一预估脉冲输出作准确卷积操作，得到待识别图像的第二预估输出特征图，再通过第二修正输出特征图得到第二准确输出特征图，经过神经元模型后，确定第二准确脉冲输出，即第二卷积层的准确脉冲输出。在前一层卷积运算未完成时即可开始下一层的卷积运算，利用时间的重叠，加快脉冲神经网络的正向传播卷积计算，不会占用额外的硬件资源。此外，采用本申请提供的准确卷积运算方法，由于修正特征图中的非零数量很少，因此修正卷积不会耗费很多时间，通过误差修正的方法使得增加的工作量大大少于节约的时间。
附图说明
图1为现有技术提供的一种脉冲神经网络准确卷积运算的流程示意图；
图2为本申请实施例提供的双层卷积运算时序图；
图3为本申请实施例提供的一种准确卷积运算的流程示意图；
图4为本申请实施例提供的常规准确卷积流程示意图；
图5为本申请实施例提供的修正脉冲输出的矩阵减法示意图；
图6为本申请实施例提供的三层卷积层运算时序图。
具体实施方式
参见图2，为本申请实施例提供的双层卷积运算时序图。
本申请实施例提供一种脉冲神经网络硬件加速器在卷积运算中的优化方法，该脉冲神经网络硬件加速器包括至少两级依次连接的卷积层，该两级依次连接的卷积层包括第一卷积层和位于第一卷积层下一级的第二卷积层，本申请实施例的优化方法在第一卷积层的卷积运算没完成时，先预估计算第二卷积层的卷积运算，以节省时间，需要说明的是，术语“第一”、“第二”仅用于描述目的。本申请实施例的优化方法包括步骤S1至步骤S7。
S1、获取脉冲神经网络硬件加速器的预设参数。
该预设参数包括已训练完成的各级卷积层的卷积核、各卷积核对应的权重平均值 和神经元模型。需要说明的是，本申请实施例从二维卷积的角度阐述卷积运算优化方法的 过程，本领域技术人员可以适应性地从二维卷积的运算过程得到三维卷积的运算过程。需 要说明的是，各卷积核对应的权重平均值是指二维卷积核内各个权重的平均值，例如，对于
Figure 981839DEST_PATH_IMAGE003
卷积核，其对应的权重平均值为卷积核内9个权重值的平均值。
进一步的，本申请实施例的神经元模型采用LIF（Leaky-Integrate-And-FireModels）模型。LIF模型是一个经典的用于模拟神经元活动模式的模型，在本申请实施例中，输入脉冲会以不同的权重作用在神经元膜电位上，使其增加或者减少，当膜电位升高至阈值后，神经元会产生脉冲输出，同时膜电位回落至某个预设的电位。在每个时间周期，由于离子交换作用，神经元膜电位都会在一定程度上降低。
S2、获取待识别图像，以及，根据所述待识别图像，得到所述待识别图像的第一输入特征图。
本申请实施例的卷积运算优化方法可以选择性地应用在两层相连的卷积层中，例如，某脉冲神经网络有5层连续相连的卷积层，分别为第一层、第二层、第三层、第四层和第五层，则可以将5层卷积层拆分成若干个两层卷积层的连接，比如第一层第二层、第四层第五层均应用本申请实施例的卷积运算优化方法。
在获取待识别图像后，得到所述待识别图像的第一输入特征图，需要说明的是，所述待识别图像的第一输入特征图为第一卷积层的输入特征图，第一卷积层和第二卷积层为应用本申请实施例优化方法的双卷积层。
例如，在第一层第二层应用本申请实施例的卷积运算优化方法时，第一层即为第一卷积层，第二层即为第二卷积层，将待识别图像通过脉冲编码得到脉冲序列，将该脉冲序列作为第一卷积层的输入特征图。
又例如，在第四层第五层应用本申请实施例的卷积运算优化方法时，第四层即为第一卷积层，第五层即为第二卷积层，将待识别图像通过脉冲编码得到脉冲序列，将该脉冲序列通过常规正向传播，经过第一层、第二层和第三层卷积后的脉冲序列作为第一卷积层的输入特征图。
脉冲编码包括时序编码和频率编码，频率编码即神经元的脉冲产生频率与输入刺激强度成正比，时序编码即用神经元首次脉冲的发放时间来表示刺激强度。本申请实施例不具体限定脉冲编码的方式。
S3、在第一卷积层上，使用第一卷积层上的卷积核，对所述待识别图像的第一输入特征图作准确卷积操作，得到所述待识别图像的第一准确输出特征图。
参见图2中第一卷积层（C1）的计算准确卷积，此步骤为第一卷积层上常规的准确卷积运算，得到第一卷积层上准确输出特征图，即所述待识别图像的第一准确输出特征图。
参见图3，图3为本申请实施例提供的一种准确卷积运算的流程示意图，在一部分优选实施例中，可以采用本申请实施例提供的准确卷积运算方法，以下将结合图3对其说明。
脉冲神经网络卷积层的输入特征图是一系列由0和1组成的脉冲序列，也是人脑中沿着轴突传递的神经冲动的数字化表示。本申请实施例将输入特征图中每个非零数值映射到输出特征图中，映射方法具体为：
Figure 146628DEST_PATH_IMAGE004
其中，输入特征图的行列均从0开始，x代表特征图中的行，y代表特征图中的列，m代表卷积核的大小，如果在输入特征图中第x行y列的数据为1，则在输出特征图中，x-m+1列到x列，y-m+1行到y行，这m×m大小区域累加上卷积核旋转180°后的值。例如，图3中输入特征图的第0列第4行为1，则在输出特征图对应的第-2列至第0列和第2行至第4行的3×3区域累加旋转后的卷积核，依次遍历输入特征图的非零数值，对应的依次在输出特征图对应的区域完成累加后得到实际的输出特征图。本申请实施例提供的准确卷积运算方法只需要遍历输入特征图中的非零数值，计算的时间复杂度与输入特征图中的非零数值个数成正相关，而脉冲序列通常是稀疏矩阵的形式，也就是说这些矩阵中大部分元素都为0，只有少数有意义的部分为1，因此采用该方法可以提高准确卷积的计算效率。
在部分优选实施例中，所述在第一卷积层上，使用第一卷积层上的卷积核，对所述 待识别图像的第一输入特征图作准确卷积操作，得到所述待识别图像的第一准确输出特征 图，包括筛选所述待识别图像的第一输入特征图中的非零数值；将所述第一输入特征图中 的非零数值逐个映射到对应的输出位置，得到所述待识别图像的第一准确输出特征图；其 中，所述将所述第一输入特征图中的非零数值逐个映射到对应的输出位置的映射方法包 括：将第一卷积层上的卷积核旋转180度后，得到旋转后的卷积核；如果第一输入特征图中 的第x行第y列的数据为1，则在输出特征图中对应的
Figure 221901DEST_PATH_IMAGE002
区域累加旋转后的卷积核，其 中，
Figure 822515DEST_PATH_IMAGE002
为第一卷积层上的卷积核大小，对应的
Figure 505825DEST_PATH_IMAGE002
区域在列方向为第x-m+1列到x 列，在行方向为y-m+1行到y行；遍历每个所述非零数值，得到所述待识别图像的第一准确输 出特征图。
S4，在S3的启动时刻，利用第一卷积层的权重平均值，对所述待识别图像的第一输入特征图作预估卷积操作，得到所述待识别图像的第一预估输出特征图，经过所述神经元模型后，得到所述待识别图像的第一预估脉冲输出。
参见图2中N1的预估卷积和预估输出，本申请实施例在第一卷积层（C1）的计算准确卷积启动时刻，开始第一卷积层的预估卷积，该预估卷积具体采用第一卷积层的卷积核大小和步长，利用第一卷积层的卷积核对应的权重平均值，乘以覆盖区域脉冲序列的和，得到对应位置的预估输出。
参见图4，为本申请实施例提供的常规准确卷积流程示意图，卷积核在输入特征图上滑动，常规准确卷积将卷积核中每一位权重与对应覆盖区域的数据乘积再求和，作为对应位置的输出，即1.1+2.5+1.2+0=4.8。本申请实施例的预估卷积利用卷积核对应的权重平均值，乘以覆盖区域数据的和，得到对应位置的预估输出，即（1.1+0.4+2.5+2.8+0.1+0.4+1.2+0+1.4）÷9×（1+1+1+1）=4.4。
由于脉冲神经网络硬件加速器中卷积核的参数是预先训练好不会改变的，因此，卷积核的权重平均值可以预先算得，输入特征图的数据只可能是0或者1，则使用简单的逻辑电路可以进行预估卷积。
将所述待识别图像的第一预估输出特征图经过所述神经元模型后，得到所述待识别图像的第一预估脉冲输出，本申请实施例采用LIF模型，由于很多神经元的膜电位都处于较低的状态，很难在一个时钟周期内输出峰值，因此预估输出的精确度有一定的保障。
S5、在S4的完成时刻，在第二卷积层上，使用第二卷积层上的卷积核，对所述待识别图像的第一预估脉冲输出作准确卷积操作，得到所述待识别图像的第二预估输出特征图。
参见图2中第二卷积层（C2）的不准确卷积计算，在S4步骤完成预估输出时，此时第一卷积层上的准确卷积运算还未完成，即可根据所述待识别图像的第一预估脉冲输出，在第二卷积层上，使用第二卷积层上的卷积核对其准确卷积操作，得到所述待识别图像的第二预估输出特征图。
其中，在部分优选实施例中，使用第二卷积层上的卷积核对其准确卷积操作，包括 筛选所述待识别图像的第一预估脉冲输出中的非零数值；将所述第一预估脉冲输出中的非 零数值逐个映射到对应的输出位置，得到所述待识别图像的第二预估输出特征图；其中，将 所述第一预估脉冲输出中的非零数值逐个映射到对应的输出位置的映射方法包括：将第二 卷积层上的卷积核旋转180度后，得到旋转后的卷积核；如果第一预估脉冲输出中的第x行 第y列的数据为1，则在输出特征图中对应的
Figure 166482DEST_PATH_IMAGE002
区域累加旋转后的卷积核，其中，
Figure 994630DEST_PATH_IMAGE002
为第一卷积层上的卷积核大小，对应的
Figure 8722DEST_PATH_IMAGE002
区域在列方向为第x-m+1列到x列， 在行方向为y-m+1行到y行；遍历第一预估脉冲输出中的每个非零数值，得到所述待识别图 像的第二预估输出特征图。
S6，在S3的完成时刻，使所述待识别图像的第一准确输出特征图经过所述神经元模型后，得到所述待识别图像的第一准确脉冲输出，以及，基于所述待识别图像的第一准确脉冲输出和所述待识别图像的第一预估脉冲输出的差值，得到第一修正脉冲输出。
参见图2中N1的修正输出，在第一卷积层的准确卷积计算完成后，经过神经元模型，得到所述待识别图像的第一准确脉冲输出，用所述待识别图像的第一准确脉冲输出减去所述待识别图像的第一预估脉冲输出，得到第一修正脉冲输出，示例性得，图5为本申请实施例提供的修正脉冲输出的矩阵减法示意图。
S7，在S4的完成时刻，在第二卷积层上，使用第二卷积层的卷积核，对所述第一修正脉冲输出作准确卷积操作，得到第二修正输出特征图，以及，结合所述待识别图像的第二预估输出特征图和所述第二修正输出特征图，得到第二准确输出特征图，经过神经元模型后，确定第二准确脉冲输出。
参见图2中第二卷积层（C2）的修正准确卷积，在第二层的不准确卷积计算完成时，利用第二卷积层的卷积核，对所述第一修正脉冲输出作准确卷积操作，得到第二修正输出特征图。
在部分优选实施例中，对所述第一修正脉冲输出作准确卷积操作包括：筛选所述 第一修正脉冲输出中的非零数值；将所述第一修正脉冲输出中的非零数值逐个映射到对应 的输出位置，得到第二修正输出特征图；其中，所述将所述第一修正脉冲输出中的非零数值 逐个映射到对应的输出位置的映射方法包括：将第二卷积层上的卷积核旋转180度后，得到 旋转后的卷积核；如果第一修正脉冲输出中的第x行第y列的数据为1，则在输出特征图中对 应的
Figure 405593DEST_PATH_IMAGE002
区域累加旋转后的卷积核，其中，
Figure 909255DEST_PATH_IMAGE002
为第二卷积层上的卷积核大小，对应 的
Figure 959120DEST_PATH_IMAGE002
区域在列方向为第x-m+1列到x列，在行方向为y-m+1行到y行；遍历每个所述第一 修正脉冲输出中的非零数值，得到第二修正输出特征图。
由于所述第一修正脉冲输出中的非零数量很少，因此计算修正的准确卷积并不会耗费太多的时间，通过误差修正的方式使得增加的工作量大大少于节约的时间。
参见图2中N2的准确输出，将所述待识别图像的第二预估输出特征图和所述第二修正输出特征图相加，得到第二准确输出特征图，经过神经元模型后，确定第二准确脉冲输出。
参见图6，在部分优选实施例中，所述脉冲神经网络硬件加速器还包括第三卷积层，所述第三卷积层位于所述第二卷积层的下一级，所述方法还包括：
S8、在S4的完成时刻，利用第二卷积层的权重平均值，对所述待识别图像的第一预估脉冲输出作预估卷积操作，得到所述待识别图像的第二预估输出特征图，经过所述神经元模型后，得到所述待识别图像的第二预估脉冲输出，以及，在第三卷积层上，使用第三卷积层的卷积核，对所述待识别图像的第二预估脉冲输出作准确卷积操作，得到所述待识别图像的第三预估输出特征图。
S9、在S7的完成时刻，基于所述待识别图像的第二准确脉冲输出和所述待识别图像的第二预估脉冲输出的差值，得到第二修正脉冲输出。
S10、在第三卷积层上，使用第三卷积层的卷积核，对所述第二修正脉冲输出作准确卷积操作，得到第三修正输出特征图，以及，结合所述待识别图像的第三预估输出特征图和所述第三修正输出特征图，得到第三准确输出特征图，经过神经元模型后，确定第三准确脉冲输出。
三层卷积层相连也能够使用本申请实施例的优化方法，但是由于第三卷积层的输入特征图是第一卷积层和第二卷积层经过两次估算得到，在准确性上有所欠缺，可能导致修正准确卷积的时间更长。但其利用更多的时间重叠，在时间效率方面有较大提升。
本申请实施例还提供了一种脉冲神经网络硬件加速器，包括存储单元、准确卷积计算单元、预估卷积计算单元、神经元模型单元和控制器。
存储单元，用于存储各级卷积层的卷积核以及每个卷积核的权重平均值，其中各级卷积层包括至少两级依次连接的卷积层，所述两级依次连接的卷积层包括第一卷积层和第二卷积层。
准确卷积计算单元，用于获取存储单元中各级卷积层的卷积核，以及，根据各级卷积层的卷积核，作对应卷积层的卷积计算。
预估卷积计算单元，用于在卷积操作时，利用加法逻辑电路求得覆盖区域的脉冲序列和，以及，获取存储单元中对应卷积核的权重平均值，利用乘法器求得权重平均值与脉冲序列和的乘积，得到卷积对应位置的预估输出。
神经元模型单元，用于根据神经元膜电位和输出特征图，得到对应的脉冲输出。
控制器，用于控制卷积运算的时序。
其中，所述控制器被进一步配置为：
第一层准确卷积：控制所述准确卷积计算单元，使用第一卷积层上的卷积核，对第一卷积层的输入特征图作准确卷积操作，得到第一准确输出特征图；
第一层预估卷积和预估输出：在所述第一层准确卷积的启动时刻，控制所述预估卷积计算单元，使用第一卷积层的权重平均值，对第一卷积层的输入特征图作预估卷积操作，得到第一预估输出特征图，经过所述神经元模型单元后，得到第一预估脉冲输出；
第二层不准确卷积：在所述第一层预估卷积和预估输出的完成时刻，控制所述准确卷积计算单元，使用第二卷积层上的卷积核，对第一预估脉冲输出作准确卷积操作，得到第二预估输出特征图；
第一层修正输出：在所述第一层准确卷积的完成时刻，使第一准确输出特征图经过所述神经元模型单元后，得到第一准确脉冲输出，以及，基于所述第一准确脉冲输出和所述第一预估脉冲输出的差值，得到第一修正脉冲输出；
第二层修正准确卷积：在所述第二层不准确卷积的完成时刻，控制所述准确卷积计算单元，使用第二卷积层上的卷积核，对所述第一修正脉冲输出作准确卷积操作，得到第二修正输出特征图；
第二层准确输出：在所述第二层修正准确卷积的完成时刻，结合第二预估输出特征图和第二修正输出特征图，得到第二准确输出特征图，经过神经元模型后，确定第二准确脉冲输出。
本申请实施例提供一种脉冲神经网络硬件加速器及其在卷积运算中的优化方法，该方法在第一卷积层作准确卷积操作的启动时刻，对待识别图像的第一输入特征图作预估卷积操作，经过神经元模型后，得到待识别图像的第一预估脉冲输出，在第二卷积层上，对第一预估脉冲输出作准确卷积操作，得到待识别图像的第二预估输出特征图，再通过第二修正输出特征图得到第二准确输出特征图，经过神经元模型后，确定第二准确脉冲输出，即第二卷积层的准确脉冲输出。
由以上技术方案可知，本申请实施例在前一层卷积运算未完成时即可开始下一层的卷积运算，利用时间的重叠，加快脉冲神经网络的正向传播卷积计算，不会占用额外的硬件资源。此外，在部分优选实施例中，采用本申请提供的准确卷积运算方法，由于修正特征图中的非零数量很少，因此修正卷积不会耗费很多时间，通过误差修正的方法使得增加的工作量大大少于节约的时间。
以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (8)

1.一种脉冲神经网络硬件加速器在卷积运算中的优化方法，其特征在于，所述脉冲神经网络硬件加速器包括至少两级依次连接的卷积层，所述两级依次连接的卷积层包括第一卷积层和第二卷积层，所述方法包括：
步骤1，获取脉冲神经网络硬件加速器的预设参数，所述预设参数包括各级卷积层的卷积核、各卷积核对应的权重平均值和神经元模型；
步骤2，获取待识别图像，以及，根据所述待识别图像，得到所述待识别图像的第一输入特征图，其中，所述待识别图像的第一输入特征图为第一卷积层的输入特征图；
步骤3，在第一卷积层上，使用第一卷积层上的卷积核，对所述待识别图像的第一输入特征图作准确卷积操作，得到所述待识别图像的第一准确输出特征图；
步骤4，在步骤3的启动时刻，利用第一卷积层的权重平均值，对所述待识别图像的第一输入特征图作预估卷积操作，得到所述待识别图像的第一预估输出特征图，经过所述神经元模型后，得到所述待识别图像的第一预估脉冲输出；
步骤5，在步骤4的完成时刻，在第二卷积层上，使用第二卷积层上的卷积核，对所述待识别图像的第一预估脉冲输出作准确卷积操作，得到所述待识别图像的第二预估输出特征图；
步骤6，在步骤3的完成时刻，使所述待识别图像的第一准确输出特征图经过所述神经元模型后，得到所述待识别图像的第一准确脉冲输出，以及，基于所述待识别图像的第一准确脉冲输出和所述待识别图像的第一预估脉冲输出的差值，得到第一修正脉冲输出；
步骤7，在步骤4的完成时刻，在第二卷积层上，使用第二卷积层的卷积核，对所述第一修正脉冲输出作准确卷积操作，得到第二修正输出特征图，以及，结合所述待识别图像的第二预估输出特征图和所述第二修正输出特征图，得到第二准确输出特征图，经过神经元模型后，确定第二准确脉冲输出。
2.根据权利要求1所述的一种脉冲神经网络硬件加速器在卷积运算中的优化方法，其特征在于，在步骤4中，所述利用第一卷积层的权重平均值，对所述待识别图像的第一输入特征图作预估卷积操作，得到所述待识别图像的第一预估输出特征图，包括：
采用第一卷积层的卷积核大小和步长；
利用第一卷积层的卷积核对应的权重平均值，乘以覆盖区域脉冲序列的和，得到对应位置的预估输出。
3.根据权利要求1所述的一种脉冲神经网络硬件加速器在卷积运算中的优化方法，其特征在于，所述在第一卷积层上，使用第一卷积层上的卷积核，对所述待识别图像的第一输入特征图作准确卷积操作，得到所述待识别图像的第一准确输出特征图，包括：
筛选所述待识别图像的第一输入特征图中的非零数值；
将所述第一输入特征图中的非零数值逐个映射到对应的输出位置，得到所述待识别图像的第一准确输出特征图；
其中，所述将所述第一输入特征图中的非零数值逐个映射到对应的输出位置的映射方法包括：
将第一卷积层上的卷积核旋转180度后，得到旋转后的卷积核；
如果第一输入特征图中的第x行第y列的数据为1，则在输出特征图中对应的
Figure 621563DEST_PATH_IMAGE001
区 域累加旋转后的卷积核，其中，
Figure 256813DEST_PATH_IMAGE001
为第一卷积层上的卷积核大小，对应的
Figure 161184DEST_PATH_IMAGE001
区域 在列方向为第x-m+1列到x列，在行方向为y-m+1行到y行；
遍历每个所述非零数值，得到所述待识别图像的第一准确输出特征图。
4.根据权利要求1所述的一种脉冲神经网络硬件加速器在卷积运算中的优化方法，其特征在于，所述在第二卷积层上，使用第二卷积层上的卷积核，对所述待识别图像的第一预估脉冲输出作准确卷积操作，得到所述待识别图像的第二预估输出特征图，包括：
筛选所述待识别图像的第一预估脉冲输出中的非零数值；
将所述第一预估脉冲输出中的非零数值逐个映射到对应的输出位置，得到所述待识别图像的第二预估输出特征图；
其中，将所述第一预估脉冲输出中的非零数值逐个映射到对应的输出位置的映射方法包括：
将第二卷积层上的卷积核旋转180度后，得到旋转后的卷积核；
如果第一预估脉冲输出中的第x行第y列的数据为1，则在输出特征图中对应的
Figure 681027DEST_PATH_IMAGE001
区域累加旋转后的卷积核，其中，
Figure 888542DEST_PATH_IMAGE001
为第一卷积层上的卷积核大小，对应的
Figure 304479DEST_PATH_IMAGE001
区 域在列方向为第x-m+1列到x列，在行方向为y-m+1行到y行；
遍历第一预估脉冲输出中的每个非零数值，得到所述待识别图像的第二预估输出特征图。
5.根据权利要求1所述的一种脉冲神经网络硬件加速器在卷积运算中的优化方法，其特征在于，所述在第二卷积层上，使用第二卷积层的卷积核，对所述第一修正脉冲输出作准确卷积操作，得到第二修正输出特征图，包括：
筛选所述第一修正脉冲输出中的非零数值；
将所述第一修正脉冲输出中的非零数值逐个映射到对应的输出位置，得到第二修正输出特征图；
其中，所述将所述第一修正脉冲输出中的非零数值逐个映射到对应的输出位置的映射方法包括：
将第二卷积层上的卷积核旋转180度后，得到旋转后的卷积核；
如果第一修正脉冲输出中的第x行第y列的数据为1，则在输出特征图中对应的
Figure 24043DEST_PATH_IMAGE001
区域累加旋转后的卷积核，其中，
Figure 350506DEST_PATH_IMAGE001
为第一卷积层上的卷积核大小，对应的
Figure 144019DEST_PATH_IMAGE001
区 域在列方向为第x-m+1列到x列，在行方向为y-m+1行到y行；
遍历每个所述第一修正脉冲输出中的非零数值，得到第二修正输出特征图。
6.根据权利要求1所述的一种脉冲神经网络硬件加速器在卷积运算中的优化方法，其特征在于，所述脉冲神经网络硬件加速器还包括第三卷积层，所述第三卷积层位于所述第二卷积层的下一级，所述方法还包括：
在步骤4的完成时刻，利用第二卷积层的权重平均值，对所述待识别图像的第一预估脉冲输出作预估卷积操作，得到所述待识别图像的第二预估输出特征图，经过所述神经元模型后，得到所述待识别图像的第二预估脉冲输出，以及，在第三卷积层上，使用第三卷积层的卷积核，对所述待识别图像的第二预估脉冲输出作准确卷积操作，得到所述待识别图像的第三预估输出特征图；
在步骤7的完成时刻，基于所述待识别图像的第二准确脉冲输出和所述待识别图像的第二预估脉冲输出的差值，得到第二修正脉冲输出；
在第三卷积层上，使用第三卷积层的卷积核，对所述第二修正脉冲输出作准确卷积操作，得到第三修正输出特征图，以及，结合所述待识别图像的第三预估输出特征图和所述第三修正输出特征图，得到第三准确输出特征图，经过神经元模型后，确定第三准确脉冲输出。
7.根据权利要求1所述的一种脉冲神经网络硬件加速器在卷积运算中的优化方法，其特征在于，所述神经元模型为LIF模型。
8.一种脉冲神经网络硬件加速器，其特征在于，包括：
存储单元，用于存储各级卷积层的卷积核以及每个卷积核的权重平均值，其中各级卷积层包括至少两级依次连接的卷积层，所述两级依次连接的卷积层包括第一卷积层和第二卷积层；
准确卷积计算单元，用于获取存储单元中各级卷积层的卷积核，以及，根据各级卷积层的卷积核，作对应卷积层的卷积计算；
预估卷积计算单元，用于在卷积操作时，利用加法逻辑电路求得覆盖区域的脉冲序列和，以及，获取存储单元中对应卷积核的权重平均值，利用乘法器求得权重平均值与脉冲序列和的乘积，得到卷积对应位置的预估输出；
神经元模型单元，用于根据神经元膜电位和输出特征图，得到对应的脉冲输出；
控制器，用于控制卷积运算的时序；
其中，所述控制器被进一步配置为：
第一层准确卷积：控制所述准确卷积计算单元，使用第一卷积层上的卷积核，对第一卷积层的输入特征图作准确卷积操作，得到第一准确输出特征图；
第一层预估卷积和预估输出：在所述第一层准确卷积的启动时刻，控制所述预估卷积计算单元，使用第一卷积层的权重平均值，对第一卷积层的输入特征图作预估卷积操作，得到第一预估输出特征图，经过所述神经元模型单元后，得到第一预估脉冲输出；
第二层不准确卷积：在所述第一层预估卷积和预估输出的完成时刻，控制所述准确卷积计算单元，使用第二卷积层上的卷积核，对第一预估脉冲输出作准确卷积操作，得到第二预估输出特征图；
第一层修正输出：在所述第一层准确卷积的完成时刻，使第一准确输出特征图经过所述神经元模型单元后，得到第一准确脉冲输出，以及，基于所述第一准确脉冲输出和所述第一预估脉冲输出的差值，得到第一修正脉冲输出；
第二层修正准确卷积：在所述第二层不准确卷积的完成时刻，控制所述准确卷积计算单元，使用第二卷积层上的卷积核，对所述第一修正脉冲输出作准确卷积操作，得到第二修正输出特征图；
第二层准确输出：在所述第二层修正准确卷积的完成时刻，结合第二预估输出特征图和第二修正输出特征图，得到第二准确输出特征图，经过神经元模型后，确定第二准确脉冲输出。
CN202210776039.7A 2022-07-04 2022-07-04 脉冲神经网络硬件加速器及其在卷积运算中的优化方法 Active CN114819114B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210776039.7A CN114819114B (zh) 2022-07-04 2022-07-04 脉冲神经网络硬件加速器及其在卷积运算中的优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210776039.7A CN114819114B (zh) 2022-07-04 2022-07-04 脉冲神经网络硬件加速器及其在卷积运算中的优化方法

Publications (2)

Publication Number Publication Date
CN114819114A true CN114819114A (zh) 2022-07-29
CN114819114B CN114819114B (zh) 2022-09-13

Family

ID=82522973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210776039.7A Active CN114819114B (zh) 2022-07-04 2022-07-04 脉冲神经网络硬件加速器及其在卷积运算中的优化方法

Country Status (1)

Country Link
CN (1) CN114819114B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116205274A (zh) * 2023-04-27 2023-06-02 苏州浪潮智能科技有限公司 一种脉冲神经网络的控制方法、装置、设备及存储介质
CN116720551A (zh) * 2023-08-02 2023-09-08 苏州浪潮智能科技有限公司 脉冲神经网络的卷积加速方法及卷积加速器

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170103308A1 (en) * 2015-10-08 2017-04-13 International Business Machines Corporation Acceleration of convolutional neural network training using stochastic perforation
CN108470190A (zh) * 2018-03-09 2018-08-31 北京大学 基于fpga定制脉冲神经网络的图像识别方法
CN111340194A (zh) * 2020-03-02 2020-06-26 中国科学技术大学 脉冲卷积神经网络神经形态硬件及其图像识别方法
CN111831254A (zh) * 2019-04-15 2020-10-27 阿里巴巴集团控股有限公司 图像处理加速方法、图像处理模型存储方法及对应装置
CN112633497A (zh) * 2020-12-21 2021-04-09 中山大学 一种基于重加权膜电压的卷积脉冲神经网络的训练方法
CN113128675A (zh) * 2021-04-21 2021-07-16 南京大学 一种基于脉冲神经网络的无乘法卷积调度器及其硬件实现方法
CN114611684A (zh) * 2022-03-08 2022-06-10 浙江大学 一种基于stdp在线学习的卷积脉冲神经网络的硬件加速器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170103308A1 (en) * 2015-10-08 2017-04-13 International Business Machines Corporation Acceleration of convolutional neural network training using stochastic perforation
CN108470190A (zh) * 2018-03-09 2018-08-31 北京大学 基于fpga定制脉冲神经网络的图像识别方法
CN111831254A (zh) * 2019-04-15 2020-10-27 阿里巴巴集团控股有限公司 图像处理加速方法、图像处理模型存储方法及对应装置
CN111340194A (zh) * 2020-03-02 2020-06-26 中国科学技术大学 脉冲卷积神经网络神经形态硬件及其图像识别方法
CN112633497A (zh) * 2020-12-21 2021-04-09 中山大学 一种基于重加权膜电压的卷积脉冲神经网络的训练方法
CN113128675A (zh) * 2021-04-21 2021-07-16 南京大学 一种基于脉冲神经网络的无乘法卷积调度器及其硬件实现方法
CN114611684A (zh) * 2022-03-08 2022-06-10 浙江大学 一种基于stdp在线学习的卷积脉冲神经网络的硬件加速器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LI DU等: ""A Reconfigurable Streaming Deep Convolutional Neural Network Accelerator for Internet of Things"", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116205274A (zh) * 2023-04-27 2023-06-02 苏州浪潮智能科技有限公司 一种脉冲神经网络的控制方法、装置、设备及存储介质
CN116720551A (zh) * 2023-08-02 2023-09-08 苏州浪潮智能科技有限公司 脉冲神经网络的卷积加速方法及卷积加速器
CN116720551B (zh) * 2023-08-02 2023-09-29 苏州浪潮智能科技有限公司 脉冲神经网络的卷积加速方法及卷积加速器

Also Published As

Publication number Publication date
CN114819114B (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
CN114819114B (zh) 脉冲神经网络硬件加速器及其在卷积运算中的优化方法
CN110555523B (zh) 一种基于脉冲神经网络的短程跟踪方法及系统
CN109754066B (zh) 用于生成定点型神经网络的方法和装置
CN112633497B (zh) 一种基于重加权膜电压的卷积脉冲神经网络的训练方法
US10296804B2 (en) Image recognizing apparatus, computer-readable recording medium, image recognizing method, and recognition apparatus
CN108364064B (zh) 操作神经网络的方法、设备及系统
US9183493B2 (en) Adaptive plasticity apparatus and methods for spiking neuron network
US9111226B2 (en) Modulated plasticity apparatus and methods for spiking neuron network
US9122994B2 (en) Apparatus and methods for temporally proximate object recognition
CN110689109A (zh) 神经网络方法和装置
CN103279958B (zh) 一种基于Spiking神经网络的图像分割方法
JP2022509618A (ja) レジリエントニューラルネットワーク
KR102152374B1 (ko) 인공신경망의 비트 양자화 방법 및 시스템
CN112906828A (zh) 一种基于时域编码和脉冲神经网络的图像分类方法
US11263513B2 (en) Method and system for bit quantization of artificial neural network
CN112116010B (zh) 基于膜电势预处理的ann-snn转换的分类方法
CN110647974A (zh) 深度神经网络中的网络层运算方法及装置
CN111723901A (zh) 神经网络模型的训练方法及装置
CN111260056B (zh) 一种网络模型蒸馏方法及装置
CN113743594B (zh) 网络流量预测模型建立方法、装置、电子设备及存储介质
CN113962371A (zh) 一种基于类脑计算平台的图像识别方法及系统
CN113269113A (zh) 人体行为识别方法、电子设备和计算机可读介质
CN112561050A (zh) 一种神经网络模型训练方法及装置
CN113033795B (zh) 基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器
CN114067081A (zh) 一种基于双向增强网络的3d牙齿模型分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant