CN114332545A - 一种基于低比特脉冲神经网络的图像数据分类方法和装置 - Google Patents

一种基于低比特脉冲神经网络的图像数据分类方法和装置 Download PDF

Info

Publication number
CN114332545A
CN114332545A CN202210261211.5A CN202210261211A CN114332545A CN 114332545 A CN114332545 A CN 114332545A CN 202210261211 A CN202210261211 A CN 202210261211A CN 114332545 A CN114332545 A CN 114332545A
Authority
CN
China
Prior art keywords
neural network
image data
layer
training
pulse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210261211.5A
Other languages
English (en)
Other versions
CN114332545B (zh
Inventor
张徽
时拓
刘琦
高丽丽
王志斌
顾子熙
崔狮雨
李一琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202210261211.5A priority Critical patent/CN114332545B/zh
Publication of CN114332545A publication Critical patent/CN114332545A/zh
Application granted granted Critical
Publication of CN114332545B publication Critical patent/CN114332545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供一种基于低比特脉冲神经网络的图像数据分类方法和装置，该方法包括：步骤一，获取开源图像数据集，分为训练集和测试集，其中数据集包括计算机图像数据和神经形态数据；步骤二，构建包含隐含层的脉冲神经网络模型，再改进LIF神经元，构建基于改进后的LIF神经元的脉冲神经网络模型；步骤三，通过构建训练损失函数并进行各项梯度求解，对脉冲神经网络模型进行训练；步骤四，在训练集上使用梯度下降参数更新方法进行脉冲神经网络模型优化训练；步骤五，利用构建并训练好的脉冲神经网络模型，对测试集进行识别，得到预测的数据分类标签，实现分类任务。本发明的方法具有更低的功耗，同时与全精度网络模型有近似的准确率。

Description

一种基于低比特脉冲神经网络的图像数据分类方法和装置
技术领域
本发明属于机器学习、图像处理及神经形态计算技术领域，涉及一种基于低比特脉冲神经网络的图像数据分类方法和装置。
背景技术
在最近几年，脉冲神经网络SNN模型在图像数据分类的任务中由于计算上的低功耗优势受到了越来越多的关注。受启发于人脑中真实的神经元，拥有生物可行性的SNN模型的神经元之间通过发放脉冲信号进行信息传递，从而支持基于事件的计算方式，这能够在神经形态芯片上通过更少的能量消耗来实现。SNN模型可以处理计算机图像数据，同时也可以高效地处理神经形态的图像视觉数据。神经形态数据是模仿人类的视觉感知的一种基于脉冲事件的数据，可以通过神经形态照相机生成。然而，现有SNN网络中判断神经元是否发送脉冲的阈值设置均相同，导致网络脉冲发送速率可调节性较差。
尽管SNN在计算上与深度神经网络相比具有低功耗的优势，但其仍需要比较准确的浮点小数计算与存储开销，这对于计算资源有限、功耗预算紧张的神经形态芯片来说是非常具有挑战性的。为了将低功耗的SNN模型部署在芯片中，需要通过将SNN网络的权重由浮点小数转换为定点整数，实现较低比特计算和存储模型的权重，从而实现在资源受限的神经形态芯片上部署SNN模型。
发明内容
为了解决现有技术中存在的上述技术问题，本发明提出了一种基于低比特脉冲神经网络的图像数据分类方法和装置，应用于计算机图像数据和神经形态的图像视觉数据的分类，其具体技术方案如下：
一种基于低比特脉冲神经网络的图像数据分类方法，包括以下步骤：
步骤一，获取开源图像数据集，分为训练集和测试集，其中数据集包括计算机图像数据和神经形态数据；
步骤二，构建包含隐含层的脉冲神经网络模型，再改进LIF神经元，构建基于改进后的LIF神经元的脉冲神经网络模型；
步骤三，通过构建训练损失函数并进行各项梯度求解，对脉冲神经网络模型进行训练；
步骤四，在训练集上使用梯度下降参数更新方法进行脉冲神经网络模型优化训练；
步骤五，利用构建并训练好的脉冲神经网络模型，对测试集进行识别，得到预测的数据分类标签，由此实现图像数据分类。
进一步的，所述步骤一，具体为：所述开源图像数据集采用MNIST数据集和N-MNIST数据集，分别分出各自的训练集和测试集，其中MNIST数据集为计算机图像数据， N-MNIST数据集为神经形态数据。
进一步的，所述构建包含隐含层的神经网络模型，具体包括以下步骤：
步骤2.1，构建网络模型的输入层，将输入数据模拟量编码成脉冲时间序列；
步骤2.2，构建网络模型的隐含层，构建L组脉冲神经元作为不同的隐含层，其中输入层与隐含层、隐含层与隐含层、隐含层与输出层之间的连接均代表任意的线性操作，包括全连接的神经网络层、卷积神经网络层；
步骤2.3，构建网络模型的输出层，网络的输出层采用不会发放脉冲和重置膜电位的神经元，其数量与设置的时间步长数量相同；输出层即为网络最后的分类层，输出为：对隐含层的神经元放电量使用初始放电率加权平均，得到隐含层神经元放电率，表达式：
Figure 965853DEST_PATH_IMAGE001
，
Figure 325291DEST_PATH_IMAGE002
：一组脉冲神经元在T个时间步长时的放电向量；
Figure 981400DEST_PATH_IMAGE003
：输入数据在每个时间步长期间的放电频率向量；
Figure 59077DEST_PATH_IMAGE004
：时间步长数量。
进一步的，所述步骤2.1中的输入数据具体包括：若输入数据为计算机图像数据，对计算机图像数据进行编码成脉冲时间序列，其中时间步长为T，通过使用独立且同分布的伯努利采样，将每个归一化像素在每个时间步概率地转换为尖峰事件；若输入数据为神经形态数据，对神经形态数据进行预处理：累积脉冲数据以降低时间分辨率，时间步长为T，但不进行编码成脉冲时间序列的操作。
进一步的，所述改进LIF神经元，具体为构建阈值可调的LIF神经元，表达式为：
Figure 327510DEST_PATH_IMAGE005
Figure 807033DEST_PATH_IMAGE006
其中
Figure 368464DEST_PATH_IMAGE007
是指对于该神经元共有
Figure 933438DEST_PATH_IMAGE008
个来自于
Figure 238517DEST_PATH_IMAGE009
层神经元的输入；
Figure 572546DEST_PATH_IMAGE010
：LIF神经元的泄漏量；
Figure 304879DEST_PATH_IMAGE011
：第
Figure 357149DEST_PATH_IMAGE012
层脉冲神经元在第t个时间步的电压值；
Figure 902137DEST_PATH_IMAGE013
：第
Figure 480886DEST_PATH_IMAGE012
层脉冲神经元的阈值电压；
Figure 259486DEST_PATH_IMAGE014
：第
Figure 923686DEST_PATH_IMAGE012
层脉冲神经元在第t个时间步的脉冲值；
Figure 711513DEST_PATH_IMAGE015
：第
Figure 144769DEST_PATH_IMAGE012
层突触的全精度权重。
进一步的，所述步骤三，具体包括以下子步骤：
步骤3.1，构建训练中的损失函数，包括：均方差损失函数
Figure 94270DEST_PATH_IMAGE016
，
Figure 684914DEST_PATH_IMAGE017
表示脉冲神经 网络模型的输出，
Figure 135487DEST_PATH_IMAGE018
表示训练样本的标签，以及采用2-范数损失函数的低比特权重更新的损 失函数；
因此训练中的损失函数可表示为：
Figure 892090DEST_PATH_IMAGE019
Figure 12493DEST_PATH_IMAGE020
：第
Figure 651285DEST_PATH_IMAGE012
层量化后低比特突触的权重；
步骤3.2，基于LIF神经元计算公式求解权重的梯度：
Figure 515335DEST_PATH_IMAGE021
Figure 421718DEST_PATH_IMAGE022
Figure 978601DEST_PATH_IMAGE023
Figure 839110DEST_PATH_IMAGE024
其中
Figure 506852DEST_PATH_IMAGE025
，
Figure 503627DEST_PATH_IMAGE026
：梯度计算符号；
步骤3.3，基于计算得到的权重的梯度更新突触的权重
Figure 559307DEST_PATH_IMAGE015
，更新低比特突触的权 重
Figure 782478DEST_PATH_IMAGE020
，具体表示式如下：
Figure 614430DEST_PATH_IMAGE027
Figure 606657DEST_PATH_IMAGE028
Figure 629977DEST_PATH_IMAGE029
Figure 74864DEST_PATH_IMAGE030
Figure 474622DEST_PATH_IMAGE031
其中
Figure 586934DEST_PATH_IMAGE032
表示第
Figure 515576DEST_PATH_IMAGE012
层突触的整数权重，
Figure 713339DEST_PATH_IMAGE033
表示第
Figure 884164DEST_PATH_IMAGE012
层量化因子，初始化为
Figure 850983DEST_PATH_IMAGE034
，
Figure 950526DEST_PATH_IMAGE035
：量 化的比特值。
一种基于低比特脉冲神经网络的图像数据分类装置，包括一个或多个处理器，用于实现所述的基于低比特脉冲神经网络的图像数据分类方法。
一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现所述的基于低比特脉冲神经网络的图像数据分类方法。
本发明的优点：
与现有的其他分类方法相比，本发明的神经元阈值可调的低比特脉冲神经网络模型在两种数据集上可以以较小的参数量、较小的时间步长和较低的比特权重取得类似的分类准确率，即具有更低的功耗，同时与全精度网络模型有近似的准确率。
附图说明
图1是本发明的方法流程示意图；
图2是本发明实施例的图像数据编码示意图；
图3是本发明的LIF神经元输入输出示意图；
图4是本发明的装置结构示意图。
具体实施方式
为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图和实施例，对本发明作进一步详细说明。
如图1所示，本发明的一种基于低比特脉冲神经网络的图像数据分类方法，包括以下步骤：
步骤一，获取开源图像数据集，分为训练集和测试集，其中数据集包括计算机图像数据和神经形态数据：
具体的，本实施例所有数据集为MNIST数据集和N-MNIST数据集，其中MNIST数据集由70000张大小为28×28的计算机图像组成，其中训练集60000张，测试集10000 张，类别均为10类；N-MNIST数据集由70000个神经形态数据组成，空间分辨率大小为32×32 ，具有ON和OFF事件脉冲两个通道，时长300ms，分辨率1μs，其中训练集60000个样本，测试集10000个样本，类别为10类。
步骤二，构建包含隐含层的神经网络模型，再改进LIF神经元，构建基于改进后的LIF神经元的脉冲神经网络模型：
其中，包含隐含层的神经网络模型，具体包括以下子步骤：
步骤2.1，首先构建网络模型的输入层，将输入数据模拟量编码成脉冲时间序列；若输入数据为计算机图像数据，对计算机图像数据进行编码成脉冲时间序列，其中时间步长为30，通过使用独立且同分布的伯努利采样，将每个归一化像素在每个时间步，概率地转换为尖峰事件，采用“0”和“1”表示，如图2所示，若伯努利采样分布概率为0.34时，则概率转换为0，若为0.58则概率转换为1；若输入数据为神经形态数据，对神经形态数据进行预处理：累积10ms的脉冲数据以降低时间分辨率，时间步长为30，但不进行编码成脉冲时间序列的操作。
步骤2.2，构建网络模型的隐含层，构建L组脉冲神经元作为不同的隐含层，其中输入层与隐含层、隐含层与隐含层、隐含层与输出层之间的连接均代表任意的线性操作，包括全连接的神经网络层、卷积神经网络层。
步骤2.3，构建网络模型的输出层，网络的输出层采用不会发放脉冲和重置膜电位的神经元，其数量与设置的时间步长数量相同；输出层即为网络最后的分类层，输出为：对隐含层的神经元放电量使用初始放电率加权平均，得到隐含层神经元放电率，表达式：
Figure 635585DEST_PATH_IMAGE001
，
Figure 111566DEST_PATH_IMAGE002
：一组脉冲神经元在T个时间步长时的放电向量；
Figure 932892DEST_PATH_IMAGE003
：输入数据在每个时间步长期间的放电频率向量；
Figure 468915DEST_PATH_IMAGE004
：时间步长数量。
所述改进LIF神经元，具体为构建阈值可调的LIF神经元，具体表达式为：
Figure 375691DEST_PATH_IMAGE036
Figure 891248DEST_PATH_IMAGE037
其中
Figure 832660DEST_PATH_IMAGE007
是指对于该神经元共有
Figure 477268DEST_PATH_IMAGE008
个来自于
Figure 995974DEST_PATH_IMAGE009
层神经元的输入， 如图3所示；
Figure 689123DEST_PATH_IMAGE010
：LIF神经元的泄漏量；
Figure 609675DEST_PATH_IMAGE011
：第
Figure 362867DEST_PATH_IMAGE012
层脉冲神经元在第t个时间步的电压值；
Figure 867404DEST_PATH_IMAGE013
：第
Figure 98665DEST_PATH_IMAGE012
层脉冲神经元的阈值电压；
Figure 873723DEST_PATH_IMAGE014
：第
Figure 797817DEST_PATH_IMAGE012
层脉冲神经元在第t个时间步的脉冲值；
Figure 291115DEST_PATH_IMAGE015
：第
Figure 591647DEST_PATH_IMAGE012
层突触的权重。
步骤三，通过构建训练损失函数并进行各项梯度求解，对脉冲神经网络模型进行训练。
基于步骤二中提出的改进后的LIF神经元，计算损失函数关于权重的梯度，对脉冲神经网络模型进行训练，包括如下步骤：
步骤3.1，构建模型训练的损失函数，即定义分类任务中的损失函数为：在步骤二 中构建的网络输出o和样本的标签y之间的具体采用均方差损失函数
Figure 221211DEST_PATH_IMAGE016
，低比特权重更 新的损失函数采用2-范数损失函数。
因此训练中的损失函数可表示为：
Figure 145567DEST_PATH_IMAGE019
Figure 1528DEST_PATH_IMAGE020
：第
Figure 699225DEST_PATH_IMAGE012
层量化后低比特突触的权重；
Figure 324242DEST_PATH_IMAGE038
为超参数；
步骤3.2，基于步骤二中LIF神经元计算公式求解权重的梯度：
Figure 714772DEST_PATH_IMAGE021
Figure 792449DEST_PATH_IMAGE039
Figure 824996DEST_PATH_IMAGE023
Figure 38940DEST_PATH_IMAGE024
其中
Figure 98906DEST_PATH_IMAGE025
，
Figure 663880DEST_PATH_IMAGE026
：梯度计算符号；
步骤3.3，基于计算得到的权重的梯度更新权重
Figure 703380DEST_PATH_IMAGE015
，更新低比特突触的权重
Figure 99726DEST_PATH_IMAGE020
，具 体表达式如下：
Figure 707425DEST_PATH_IMAGE027
Figure 884328DEST_PATH_IMAGE040
Figure 337306DEST_PATH_IMAGE029
Figure 916055DEST_PATH_IMAGE041
Figure 694656DEST_PATH_IMAGE031
其中
Figure 30959DEST_PATH_IMAGE032
表示第
Figure 179306DEST_PATH_IMAGE012
层突触的整数权重，
Figure 487927DEST_PATH_IMAGE033
表示第
Figure 562063DEST_PATH_IMAGE012
层量化因子，初始化为
Figure 323345DEST_PATH_IMAGE034
，
Figure 508339DEST_PATH_IMAGE035
：量 化的比特值。
步骤四，在训练集上使用梯度下降参数更新方法进行脉冲神经网络模型优化训练：
根据步骤三中求解得到的损失函数关于参数的梯度，在训练集上使用梯度下降参数更新方法进行脉冲神经网络优化训练；
步骤五，利用构建并训练好的脉冲神经网络模型，对测试集进行识别，得到预测的数据分类标签，由此实现分类任务。
下面结合仿真实验对本发明的效果做进一步的说明：
1. 仿真条件：
本发明的仿真实验是在Intel(R) Core(TM) i7-9700 CPU @ 3.00GH的硬件环境和Python3.5的软件环境下进行的。
2.仿真内容与结果分析：
本实施例中，对于MNIST数据集和N-MNIST数据集，本发明构建具有两层隐含层的脉冲神经网络：对于MNIST数据集，输入层到第一层隐含层的连接是输出通道数为256的全连接运算，第一层隐含层到第二层隐含层是输出维度为10的全连接层；对于N-MNIS数据集T，输入层到第一层隐含层的连接是卷积核大小为1，输出通道为256的卷积运算，第一层隐含层到第二层隐含层是卷积核大小为1，输出通道为10的卷积运算。
本实施例中使用带Nesterov动量的随机梯度下降算法进行模型的训练，动量为 0.9，权重衰减因子为0.0005。训练过程迭代100轮，批大小为128，即每128个样本为一个批 次。对于MNIST和N-MNIST数据集，学习速率初始值为0.05，在31至60轮学习速率为0.005，在 61至90轮学习速率为0.0005，在91至100轮学习速率为0.00005，
Figure 671467DEST_PATH_IMAGE013
初始化为2，对于LIF神 经元的泄漏项
Figure 588607DEST_PATH_IMAGE042
。
表1给出了使用经典LIF神经元与阈值可调的LIF神经元在MNIST数据集，N-MNIST数据集上的分类正确率，表2给出了本发明提出的脉冲神经网络模型在MNIST数据集，N-MNIST数据集上不同比特权重的分类正确率。
表1 MNIST数据集和N-MNIST数据集经典LIF神经元与阈值可调的LIF神经元比较结果：
Figure 227399DEST_PATH_IMAGE043
表2 MNIST数据集和N-MNIST数据集全精度与低比特比较结果：
Figure 91450DEST_PATH_IMAGE044
从表中可以看出，和其他的脉冲神经网络模型相比，本发明的方法训练的神经元阈值可调的低比特脉冲神经网络模型在两种数据集上可以以较小的参数量、较小的时间步长和较低的比特权重取得类似的分类准确率。这说明了本发明提出的模型和训练方法的有效性，训练得到的模型可用于高能效的图像数据的分类识别等任务。
与前述一种基于低比特脉冲神经网络的图像数据分类方法的实施例相对应，本发明还提供了一种基于低比特脉冲神经网络的图像数据分类装置的实施例。
参见图4，本发明实施例提供的一种基于低比特脉冲神经网络的图像数据分类装置，包括一个或多个处理器，用于实现上述实施例中的一种基于低比特脉冲神经网络的图像数据分类方法。
本发明一种基于低比特脉冲神经网络的图像数据分类装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本发明一种基于低比特脉冲神经网络的图像数据分类装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种基于低比特脉冲神经网络的图像数据分类方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是风力发电机的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于低比特脉冲神经网络的图像数据分类方法，其特征在于，包括以下步骤：
步骤一，获取开源图像数据集，分为训练集和测试集，其中数据集包括计算机图像数据和神经形态数据；
步骤二，构建包含隐含层的脉冲神经网络模型，再改进LIF神经元，构建基于改进后的LIF神经元的脉冲神经网络模型；
步骤三，通过构建训练损失函数并进行各项梯度求解，对脉冲神经网络模型进行训练；
步骤四，在训练集上使用梯度下降参数更新方法进行脉冲神经网络模型优化训练；
步骤五，利用构建并训练好的脉冲神经网络模型，对测试集进行识别，得到预测的数据分类标签，由此实现图像数据分类。
2.如权利要求1所述的一种基于低比特脉冲神经网络的图像数据分类方法，其特征在于，所述步骤一，具体为：所述开源图像数据集采用MNIST数据集和N-MNIST数据集，分别分出各自的训练集和测试集，其中MNIST数据集为计算机图像数据， N-MNIST数据集为神经形态数据。
3.如权利要求1所述的一种基于低比特脉冲神经网络的图像数据分类方法，其特征在于，所述构建包含隐含层的脉冲神经网络模型，具体包括以下步骤：
步骤2.1，构建网络模型的输入层，将输入数据模拟量编码成脉冲时间序列；
步骤2.2，构建网络模型的隐含层，构建L组脉冲神经元作为不同的隐含层，其中输入层与隐含层、隐含层与隐含层、隐含层与输出层之间的连接均代表任意的线性操作，包括全连接的神经网络层、卷积神经网络层；
步骤2.3，构建网络模型的输出层，网络的输出层采用不会发放脉冲和重置膜电位的神经元，其数量与设置的时间步长数量相同；输出层即为网络最后的分类层，输出为：对隐含层的神经元放电量使用初始放电率加权平均，得到隐含层神经元放电率，表达式：
Figure 132504DEST_PATH_IMAGE001
，
Figure 643119DEST_PATH_IMAGE002
：一组脉冲神经元在T个时间步长时的放电向量；
Figure 891698DEST_PATH_IMAGE003
：输入数据在每个时间步长期间的放电频率向量；
Figure 880383DEST_PATH_IMAGE004
：时间步长数量。
4.如权利要求3所述的一种基于低比特脉冲神经网络的图像数据分类方法，其特征在于，所述步骤2.1中的输入数据具体包括：若输入数据为计算机图像数据，对计算机图像数据进行编码成脉冲时间序列，其中时间步长为T，通过使用独立且同分布的伯努利采样，将每个归一化像素在每个时间步概率地转换为尖峰事件；若输入数据为神经形态数据，对神经形态数据进行预处理：累积脉冲数据以降低时间分辨率，时间步长为T，但不进行编码成脉冲时间序列的操作。
5.如权利要求1所述的一种基于低比特脉冲神经网络的图像数据分类方法，其特征在于，所述改进LIF神经元，具体为构建阈值可调的LIF神经元，表达式为：
Figure 163597DEST_PATH_IMAGE005
Figure 579534DEST_PATH_IMAGE006
其中
Figure 49830DEST_PATH_IMAGE007
是指对于该神经元共有
Figure 343670DEST_PATH_IMAGE008
个来自于
Figure 481391DEST_PATH_IMAGE009
层神经元的输入；
Figure 333809DEST_PATH_IMAGE010
：LIF神经元的泄漏量；
Figure 884876DEST_PATH_IMAGE011
：第
Figure 887467DEST_PATH_IMAGE012
层脉冲神经元在第t个时间步的电压值；
Figure 879694DEST_PATH_IMAGE013
：第
Figure 903014DEST_PATH_IMAGE012
层脉冲神经元的阈值电压；
Figure 613481DEST_PATH_IMAGE014
：第
Figure 980615DEST_PATH_IMAGE012
层脉冲神经元在第t个时间步的脉冲值；
Figure 827348DEST_PATH_IMAGE015
：第
Figure 755990DEST_PATH_IMAGE012
层突触的全精度权重。
6.如权利要求5所述的一种基于低比特脉冲神经网络的图像数据分类方法，其特征在于，所述步骤三，具体包括以下子步骤：
步骤3.1，构建模型训练中的损失函数，包括：均方差损失函数
Figure 953753DEST_PATH_IMAGE016
，
Figure 626043DEST_PATH_IMAGE017
表示脉冲神经 网络模型的输出，
Figure 389599DEST_PATH_IMAGE018
表示训练样本的标签，以及采用2-范数损失函数的低比特权重更新的损 失函数；
因此训练中的损失函数可表示为：
Figure 957984DEST_PATH_IMAGE019
Figure 377464DEST_PATH_IMAGE020
：第
Figure 354909DEST_PATH_IMAGE012
层量化后低比特突触的权重；
步骤3.2，基于LIF神经元计算公式求解权重的梯度：
Figure 176235DEST_PATH_IMAGE021
Figure 977838DEST_PATH_IMAGE022
Figure 884614DEST_PATH_IMAGE023
Figure 898706DEST_PATH_IMAGE024
其中
Figure 840117DEST_PATH_IMAGE025
，
Figure 547042DEST_PATH_IMAGE026
：梯度计算符号；
步骤3.3，基于计算得到的权重的梯度更新突触的权重
Figure 675535DEST_PATH_IMAGE015
，更新低比特突触的权重
Figure 991854DEST_PATH_IMAGE020
， 具体表示式如下：
Figure 522192DEST_PATH_IMAGE027
Figure 400018DEST_PATH_IMAGE028
Figure 281387DEST_PATH_IMAGE029
Figure 902861DEST_PATH_IMAGE030
Figure 553285DEST_PATH_IMAGE031
其中
Figure 336433DEST_PATH_IMAGE032
表示第
Figure 705098DEST_PATH_IMAGE012
层突触的整数权重，
Figure 631728DEST_PATH_IMAGE033
表示第
Figure 402238DEST_PATH_IMAGE012
层量化因子，初始化为
Figure 356287DEST_PATH_IMAGE034
，
Figure 212248DEST_PATH_IMAGE035
：量化的 比特值。
7.一种基于低比特脉冲神经网络的图像数据分类装置，其特征在于，包括一个或多个处理器，用于实现权利要求1-6中任一项所述的基于低比特脉冲神经网络的图像数据分类方法。
8.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-6中任一项所述的基于低比特脉冲神经网络的图像数据分类方法。
CN202210261211.5A 2022-03-17 2022-03-17 一种基于低比特脉冲神经网络的图像数据分类方法和装置 Active CN114332545B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210261211.5A CN114332545B (zh) 2022-03-17 2022-03-17 一种基于低比特脉冲神经网络的图像数据分类方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210261211.5A CN114332545B (zh) 2022-03-17 2022-03-17 一种基于低比特脉冲神经网络的图像数据分类方法和装置

Publications (2)

Publication Number Publication Date
CN114332545A true CN114332545A (zh) 2022-04-12
CN114332545B CN114332545B (zh) 2022-08-05

Family

ID=81033478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210261211.5A Active CN114332545B (zh) 2022-03-17 2022-03-17 一种基于低比特脉冲神经网络的图像数据分类方法和装置

Country Status (1)

Country Link
CN (1) CN114332545B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114861892A (zh) * 2022-07-06 2022-08-05 深圳时识科技有限公司 芯片在环代理训练方法及设备、芯片及电子设备
CN114998659A (zh) * 2022-06-17 2022-09-02 北京大学 随时间在线训练脉冲神经网络模型的图像数据分类方法
CN115018804A (zh) * 2022-06-20 2022-09-06 北京中车赛德铁道电气科技有限公司 一种利用类脑技术识别受电弓缺陷的装置
CN115429293A (zh) * 2022-11-04 2022-12-06 之江实验室 一种基于脉冲神经网络的睡眠类型分类方法和装置
CN116579388A (zh) * 2023-05-09 2023-08-11 电子科技大学 一种提升脉冲神经网络训练效果的方法
CN117037287A (zh) * 2023-10-08 2023-11-10 武汉理工大学 一种基于3d脉冲神经网络的行为识别方法、系统及装置
WO2024152583A1 (zh) * 2023-01-16 2024-07-25 之江实验室 一种面向硬件的深度脉冲神经网络语音识别方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150170028A1 (en) * 2013-12-13 2015-06-18 Qualcomm Incorporated Neuronal diversity in spiking neural networks and pattern classification
CN112699956A (zh) * 2021-01-08 2021-04-23 西安交通大学 一种基于改进脉冲神经网络的神经形态视觉目标分类方法
CN113077017A (zh) * 2021-05-24 2021-07-06 河南大学 基于脉冲神经网络的合成孔径图像分类方法
CN113449864A (zh) * 2021-07-21 2021-09-28 北京大学 用于图像数据分类的反馈型脉冲神经网络模型训练方法
CN114186672A (zh) * 2021-12-16 2022-03-15 西安交通大学 一种用于脉冲神经网络的高效高精度训练算法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150170028A1 (en) * 2013-12-13 2015-06-18 Qualcomm Incorporated Neuronal diversity in spiking neural networks and pattern classification
CN112699956A (zh) * 2021-01-08 2021-04-23 西安交通大学 一种基于改进脉冲神经网络的神经形态视觉目标分类方法
CN113077017A (zh) * 2021-05-24 2021-07-06 河南大学 基于脉冲神经网络的合成孔径图像分类方法
CN113449864A (zh) * 2021-07-21 2021-09-28 北京大学 用于图像数据分类的反馈型脉冲神经网络模型训练方法
CN114186672A (zh) * 2021-12-16 2022-03-15 西安交通大学 一种用于脉冲神经网络的高效高精度训练算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAO JIANG等: ""Design of Multi-core Spiking Neural Network Chip Based on Butterfly Network"", 《2021 IEEE 14TH INTERNATIONAL CONFERENCE ON ASIC (ASICON)》 *
张哲益等: ""基于脉冲卷积神经网络稀疏表征的高分辨率遥感图像场景分类方法"", 《控制与决策》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998659A (zh) * 2022-06-17 2022-09-02 北京大学 随时间在线训练脉冲神经网络模型的图像数据分类方法
CN114998659B (zh) * 2022-06-17 2024-05-24 北京大学 随时间在线训练脉冲神经网络模型的图像数据分类方法
CN115018804A (zh) * 2022-06-20 2022-09-06 北京中车赛德铁道电气科技有限公司 一种利用类脑技术识别受电弓缺陷的装置
CN114861892A (zh) * 2022-07-06 2022-08-05 深圳时识科技有限公司 芯片在环代理训练方法及设备、芯片及电子设备
CN114861892B (zh) * 2022-07-06 2022-10-21 深圳时识科技有限公司 芯片在环代理训练方法及设备、芯片及电子设备
CN115429293A (zh) * 2022-11-04 2022-12-06 之江实验室 一种基于脉冲神经网络的睡眠类型分类方法和装置
WO2024152583A1 (zh) * 2023-01-16 2024-07-25 之江实验室 一种面向硬件的深度脉冲神经网络语音识别方法和系统
CN116579388A (zh) * 2023-05-09 2023-08-11 电子科技大学 一种提升脉冲神经网络训练效果的方法
CN117037287A (zh) * 2023-10-08 2023-11-10 武汉理工大学 一种基于3d脉冲神经网络的行为识别方法、系统及装置
CN117037287B (zh) * 2023-10-08 2023-12-29 武汉理工大学 一种基于3d脉冲神经网络的行为识别方法、系统及装置

Also Published As

Publication number Publication date
CN114332545B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN114332545B (zh) 一种基于低比特脉冲神经网络的图像数据分类方法和装置
CN111950596B (zh) 一种用于神经网络的训练方法以及相关设备
CN114049513A (zh) 一种基于多学生讨论的知识蒸馏方法和系统
CN112257815A (zh) 模型生成方法、目标检测方法、装置、电子设备及介质
CN114925320B (zh) 一种数据处理方法及相关装置
Moya Rueda et al. Neuron pruning for compressing deep networks using maxout architectures
Fatahi et al. Towards an spiking deep belief network for face recognition application
CN114742210A (zh) 混合神经网络训练方法、交通流预测方法、设备和介质
CN108920727A (zh) 视觉检索中的紧凑视觉描述子深度神经网络生成模型
Gao et al. Deep learning for sequence pattern recognition
Li et al. Adaptive dropout method based on biological principles
Zhu et al. TargetDrop: a targeted regularization method for convolutional neural networks
CN110197213A (zh) 基于神经网络的图像匹配方法、装置和设备
CN113762331A (zh) 关系型自蒸馏方法、装置和系统及存储介质
CN111783688B (zh) 一种基于卷积神经网络的遥感图像场景分类方法
Reddy et al. Effect of image colourspace on performance of convolution neural networks
CN116758331A (zh) 物体检测方法、装置及存储介质
CN116109868A (zh) 基于轻量化神经网络的图像分类模型构建和小样本图像分类方法
CN116310477A (zh) 基于S_ReLU脉冲神经网络的图像分类方法
CN117011577A (zh) 图像分类方法、装置、计算机设备和存储介质
Liao Trainable activation function in image classification
CN115063374A (zh) 模型训练、人脸图像质量评分方法、电子设备及存储介质
CN114818945A (zh) 融入类别自适应度量学习的小样本图像分类方法及装置
Eghbali et al. Deep Convolutional Neural Network (CNN) for Large-Scale Images Classification
CN110826726A (zh) 目标处理方法、目标处理装置、目标处理设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant