CN112633497A - 一种基于重加权膜电压的卷积脉冲神经网络的训练方法 - Google Patents

一种基于重加权膜电压的卷积脉冲神经网络的训练方法 Download PDF

Info

Publication number
CN112633497A
CN112633497A CN202011520139.0A CN202011520139A CN112633497A CN 112633497 A CN112633497 A CN 112633497A CN 202011520139 A CN202011520139 A CN 202011520139A CN 112633497 A CN112633497 A CN 112633497A
Authority
CN
China
Prior art keywords
pulse
neural network
convolutional
membrane voltage
reweighted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011520139.0A
Other languages
English (en)
Other versions
CN112633497B (zh
Inventor
赖剑煌
唐建雄
谢晓华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202011520139.0A priority Critical patent/CN112633497B/zh
Publication of CN112633497A publication Critical patent/CN112633497A/zh
Application granted granted Critical
Publication of CN112633497B publication Critical patent/CN112633497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于重加权膜电压的卷积脉冲神经网络的训练方法，该方法包括：获取输入图像并进行预处理，得到脉冲序列；基于重加权膜电压构建卷积脉冲神经网络的脉冲神经元；根据输入图像的规模设置卷积脉冲神经网络的网络层数；对脉冲神经元的输入刺激进行归一化处理；构建损失函数并基于时空反向传播算法对卷积脉冲神经网络进行训练；将脉冲序列输入到训练完成的卷积脉冲神经网络，得到输出结果。本发明可直接计算脉冲神经元的输出关于膜电压的梯度,且梯度会根据累积的膜电压值动态调整，改善了SNN训练过程中梯度不匹配问题。本发明作为一种基于重加权膜电压的卷积脉冲神经网络的训练方法，可广泛应用于脉冲神经网络领域。

Description

一种基于重加权膜电压的卷积脉冲神经网络的训练方法
技术领域
本发明属于脉冲神经网络领域，尤其涉及一种基于重加权膜电压的卷积脉冲神经网络的训练方法。
背景技术
脉冲神经网络(Spiking Neural Network,SNN)是一种基于模仿生物神经元放电机制的一种神经网络模型。由于其能够有效地处理离散的时空事件，在低功耗设备上具有广阔的应用场景。目前，学习SNN的方法可以归纳为两类，第一类方法是将预先训练好的人工神经网络转换为对应的SNN，第二类方法是直接基于训练数据训练SNN。第一类方法得到的SNN相比于其他方法能够获得更好的分类准确度，这主要得益于预训练得到的人工神经网络(Artificial Neural Network,ANN)的良好的泛化性能。然而该类方法在分类任务上的良好表现建立在庞大的推理时间步之上，换句话说，第一类方法需要在一个较大的时间窗内处理输入信号才能够获得良好的分类准确度，推理效率较低，在低功耗硬件上具有一定的局限性。对于直接训练SNN，脉冲时间依赖可塑性(Spike Timing DependentPlasticity,STDP)，根据突触前后脉冲到达的时序关系对突触权重进行调整，如果突触前神经元产生脉冲早于突触后神经元，说明突触前后神经元存在因果关系，对应的突触权重增加，反之，权重值减小，但是该SNN在分类任务上的表现并不令人满意。基于脉冲的反向传播算法是直接训练SNN的另一种有效方法，然而，该类方法通常需要估计脉冲神经元的输出关于输入的近端梯度，一定程度上增加了算法设计的复杂性。
发明内容
为了解决上述技术问题，本发明的目的是提供一种基于重加权膜电压的卷积脉冲神经网络的训练方法，与其他基于脉冲的反向传播相比，本发明所提出的方法无需进行专门的梯度估计，拓展性良好，容易复现。
本发明所采用的第一技术方案是：一种基于重加权膜电压的卷积脉冲神经网络的训练方法，包括以下步骤：
获取输入图像并对输入图像进行预处理，得到脉冲序列；
基于重加权膜电压构建卷积脉冲神经网络的脉冲神经元；
根据输入图像的规模设置卷积脉冲神经网络的网络层数；
对脉冲神经元的输入刺激进行归一化处理；
构建损失函数并基于时空反向传播算法对卷积脉冲神经网络进行训练，得到训练完成的卷积脉冲神经网络；
将脉冲序列输入到训练完成的卷积脉冲神经网络，得到输出结果。
进一步，所述获取输入图像并对输入图像进行预处理这一步骤，其具体包括：
获取输入图像并对输入图像每个通道的图像进行标准化处理，得到标准化图像；
对标准化图像进行脉冲编码，得到脉冲序列。
进一步，所述基于重加权膜电压构建卷积脉冲神经网络的脉冲神经元这一步骤，其具体包括：
根据神经动力学模型构建原始的脉冲神经元；
对原始的脉冲神经元的膜电压进行重加权处理，将其大小约束为0或1后作为脉冲神经元的输出，得到卷积脉冲神经网络的脉冲神经。
进一步，在第n层网络的第f张特征图的位置(i，j)，所述基于重加权膜电压构建卷积脉冲神经网络的脉冲神经元具体如下：
Figure BDA0002848680010000021
Figure BDA0002848680010000022
Figure BDA0002848680010000023
上式中，τ表示膜电压的衰减因子，n表示第n层网络，t表示时间窗T内的第t个时刻，Vth表示阈值电压，*表示卷积操作，R(i，j)表示位置(i，j)的局部感受野,
Figure BDA0002848680010000024
表示连接n-1层网络的第c个特征图与n层网络的第f个特征图之间的卷积核，
Figure BDA0002848680010000025
表示脉冲输出，
Figure BDA0002848680010000026
表示第t个时刻的输入刺激，
Figure BDA0002848680010000027
表示在前t个时刻累积的膜电压。
随后，将超出Vth的
Figure BDA0002848680010000028
代替
Figure BDA0002848680010000029
作为神经元的输出，即：
Figure BDA00028486800100000210
Figure BDA00028486800100000215
表示点积运算，通过对
Figure BDA00028486800100000211
和
Figure BDA00028486800100000212
进行点积运算，使得
Figure BDA00028486800100000213
中超出阈值电压的成员被保留，未超出阈值电压的成员将置为0。对
Figure BDA00028486800100000214
的每个成员进行权重调整，使其输出逼近真实的脉冲，即：
Figure BDA0002848680010000031
ε是足够小的正数，防止分母为0，此外，
Figure BDA0002848680010000032
是与
Figure BDA0002848680010000033
相等的常数，使得上式中的分母不参与梯度计算，且当
Figure BDA0002848680010000034
时，
Figure BDA0002848680010000035
能够逼近真实脉冲，即值接近于1。
进一步，所述根据输入图像的规模设置卷积脉冲神经网络的网络层数这一步骤，其具体包括：
根据输入图像的数据规模以及任务的复杂程度，设置卷积脉冲神经网络的网络层数，每层网络的特征图数、卷积核大小、各层权重的初始分布状态以及阈值膜电压。
进一步，所述对脉冲神经元的输入刺激进行归一化处理，具体公式如下：
Figure BDA0002848680010000036
Figure BDA0002848680010000037
上式中，It，n第n层网络在t时刻的整体输入刺激，
Figure BDA0002848680010000038
表示It，n的第f张特征图(i，j)位置的成员，Fn表示第n层网络的特征图总数，hn表示特征图的高度，wn为特征图宽度，μt，n表示均值，σt，n表示方差，
Figure BDA0002848680010000039
表示归一化后的整体输入刺激。
进一步，所述构建损失函数并基于时空反向传播算法对卷积脉冲神经网络进行训练，得到训练完成的卷积脉冲神经网络这一步骤，其具体包括：
构建描述网络输出以及样本真实标签的损失函数，基于时空反向传播算法，从时间、空间两个方向上对卷积脉冲神经网络的参数进行误差估计；
根据误差估计对卷积脉冲神经网络隔层的突触权重进行更新，得到训练完成的卷积脉冲神经网络。
进一步，所述训练完成的卷积脉冲神经网络包括输入层、隐藏层和输出层。
本发明方法的有益效果是：本发提出的重加权方法能有效地避免以往基于脉冲反向传播算法需要专门进行梯度设计的问题，由于重加权的膜电压作为近似的脉冲输出，误差可以直接从脉冲输出传递到神经元的膜电压以及神经元的输入，从学习机制上更具有合理性，另外，基于时空反向传播算法进行训练，使得突触权重能够被有效更新，当神经元被激活，其输出关于膜电压的梯度为
Figure BDA00028486800100000310
重加权的权重值与累积的膜电压相关，梯度的尺度会根据膜电压的大小进行调整。较小的膜电压赋予较大的梯度，较大的膜电压则赋予较小的梯度，一定程度上减缓SNN训练过程中梯度不匹配的问题。
附图说明
图1是本发明具体实施例一种基于重加权膜电压的卷积脉冲神经网络的训练方法的步骤流程图；
图2是本发明具体实施例卷积脉冲神经网络结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
如图1所示，本发明提供了一种基于重加权膜电压的卷积脉冲神经网络的训练方法，该方法包括以下步骤：
S1、获取输入图像并对输入图像进行预处理，得到脉冲序列；
S2、基于重加权膜电压构建卷积脉冲神经网络的脉冲神经元；
S3、根据输入图像的规模设置卷积脉冲神经网络的网络层数；
S4、对脉冲神经元的输入刺激进行归一化处理；
S5、构建损失函数并基于时空反向传播算法对卷积脉冲神经网络进行训练，得到训练完成的卷积脉冲神经网络；
S6、将脉冲序列输入到训练完成的卷积脉冲神经网络，得到输出结果。
进一步作为本方法的优选实施例，所述获取输入图像并对输入图像进行预处理这一步骤，其具体包括：
获取输入图像并对输入图像每个通道的图像进行标准化处理，得到标准化图像；
对标准化图像进行脉冲编码，得到脉冲序列。
具体地，对输入图像每个通道的图像进行标准化处理，对于输入为RGB图像，三通道的图像分别进行规范化，规范化后，每个通道均值分别为0.4914，0.4822，0.4465，标准差分别为0.557，0.549，0.5534，随后比较规范化后的像素绝对值与随机数的大小关系，如果大于随机数，则原图像对应的位置生成一个脉冲，脉冲的正负极性根据规范化后的像素值符号决定。假设时间窗大小为T，则RGB图像被编码为T×3×w×h的脉冲特征图序列，每个时刻t对应的脉冲特征图大小为3×w×h与原RGB图像大小一致。
进一步作为本方法优选实施例，所述基于重加权膜电压构建卷积脉冲神经网络的脉冲神经元这一步骤，其具体包括：
根据神经动力学模型构建原始的脉冲神经元；
对原始的脉冲神经元的膜电压进行重加权处理，将其大小约束为0或1后作为脉冲神经元的输出，得到卷积脉冲神经网络的脉冲神经。
进一步作为本发明的优选实施例，在第n层网络的第f张特征图的位置(i，j)，所述基于重加权膜电压构建卷积脉冲神经网络的脉冲神经元具体如下：
Figure BDA0002848680010000051
Figure BDA0002848680010000052
Figure BDA0002848680010000053
上式中，τ表示膜电压的衰减因子，n表示第n层网络，t表示时间窗T内的第t个时刻，Vth表示阈值电压，*表示卷积操作，R(i，j)表示位置(i，j)的局部感受野,
Figure BDA0002848680010000054
表示连接n-1层网络的第c个特征图与n层网络的第f个特征图之间的卷积核，
Figure BDA0002848680010000055
表示脉冲输出，
Figure BDA0002848680010000056
表示第t个时刻的输入刺激，
Figure BDA0002848680010000057
表示在前t个时刻累积的膜电压。
随后，将超出Vth的
Figure BDA0002848680010000058
代替
Figure BDA0002848680010000059
作为神经元的输出，即：
Figure BDA00028486800100000510
Figure BDA00028486800100000520
表示点积运算，通过对
Figure BDA00028486800100000511
和
Figure BDA00028486800100000512
进行点积运算，使得
Figure BDA00028486800100000513
中超出阈值电压的成员被保留，未超出阈值电压的成员将置为0。对
Figure BDA00028486800100000514
的每个成员进行权重调整，使其输出逼近真实的脉冲，即：
Figure BDA00028486800100000515
ε是足够小的正数，防止分母为0，此外，
Figure BDA00028486800100000516
是与
Figure BDA00028486800100000517
相等的常数，使得上式中的分母不参与梯度计算，且当
Figure BDA00028486800100000518
时，
Figure BDA00028486800100000519
能够逼近真实脉冲，即值接近于1。
进一步作为本发明优选实施例，所述根据输入图像的规模设置卷积脉冲神经网络的网络层数这一步骤，其具体包括：
根据输入图像的数据规模以及任务的复杂程度，设置卷积脉冲神经网络的网络层数，每层网络的特征图数、卷积核大小、各层权重的初始分布状态以及阈值膜电压。数据规模小、简单的分类任务，可设置较少的网络层数，对于数据规模大、相对复杂的分类任务，则可设置多层网络提升网络提取特征的能力。
进一步作为本发明优选实施例，所述对脉冲神经元的输入刺激进行归一化处理，具体公式如下：
Figure BDA0002848680010000061
Figure BDA0002848680010000062
上式中，It，n第n层网络在t时刻的整体输入刺激，
Figure BDA0002848680010000063
表示It，n的第f张特征图(i，j)位置的成员，Fn表示第n层网络的特征图总数，hn表示特征图的高度，wn为特征图宽度，μt，n表示均值，σt，n表示方差，
Figure BDA0002848680010000064
表示归一化后的整体输入刺激。
具体地，考虑到脉冲神经元在每个时间步接收到的输入刺激在数值上可能存在巨大差异，为此，在时间方向上的膜电压积累过程中，本发明利用归一化方法对脉冲神经元在每一个时刻整合的输入进行归一化操作。
进一步作为本方法的优选实施例，所述基于时空反向传播算法对卷积脉冲神经网络进行训练，得到训练完成的卷积脉冲神经网络这一步骤，其具体包括：
构建损失函数L：
Figure BDA0002848680010000065
其中N表示训练集的总样本数，yj是第j个样本的真实标签，|·||2表示二范数运算，
Figure BDA0002848680010000066
是网络对第j个样本的预测标签，T表示时间窗大小，WL-1∈Rf×C是网络的全连接层权重，f表示第L-1层网络输出的脉冲维度，C则表示样本的总类别数目，
Figure BDA0002848680010000067
是第L-1层网络在t时刻的脉冲输出，是成员取值为0或1的f维二值向量。
基于时空反向传播算法，从时间、空间两个方向上对卷积脉冲神经网络的参数进行误差估计；
根据误差估计对卷积脉冲神经网络隔层的突触权重进行更新，得到训练完成的卷积脉冲神经网络。
具体地，图2给出了在单个脉冲神经元的前向计算以及误差反向传播的过程，其中实线箭头表示前向计算，虚线箭头则表现误差反向传播。可以知道，在网络的训练过程中，脉冲神经元相邻两个被激活的脉冲间隙的梯度可以通过在这个时间间隙累积的膜电压直接反向传递。随着训练进行，突触权重能够被有效更新。
进一步作为本方法的优选实施例，所述训练完成的卷积脉冲神经网络包括输入层、隐藏层和输出层。
具体地，输入层为整个脉冲神经网络提供脉冲信号，其接收由步骤S1编码得到的脉冲序列；隐藏层为提取图像特征信息的主要存储体，共包含7个卷积层3个池化层，卷积层使用大小为3×3的卷积核作为突触权重，建立突触前后部分脉冲神经元之间的连接；输出层，共10个单元，表示输出10个类别的预测，隐藏层与输出层之间通过全连接层进行连接。脉冲神经元参数选取阈值电压Vth取值为1，衰减因子τ取值0.99,时间窗T取值为100,参数ε取值为1-10。
本发明基于重加权的膜电压设计的脉冲神经元能够直接利用时空反向传播算法进行训练。相比于其他大多数基于脉冲的反向传播算法，本发明的脉冲神经元的输出关于膜电压的梯度能够被直接计算，同时，每次迭代根据当前膜电压动态地对梯度进行缩放，使得SNN训练过程更稳定且能够有效收敛，无需进行相对复杂的梯度设计，拓展性好，易于仿真。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.一种基于重加权膜电压的卷积脉冲神经网络的训练方法，其特征在于，包括以下步骤：
获取输入图像并对输入图像进行预处理，得到脉冲序列；
基于重加权膜电压构建卷积脉冲神经网络的脉冲神经元；
根据输入图像的规模设置卷积脉冲神经网络的网络层数；
对脉冲神经元的输入刺激进行归一化处理；
构建损失函数并基于时空反向传播算法对卷积脉冲神经网络进行训练，得到训练完成的卷积脉冲神经网络；
将脉冲序列输入到训练完成的卷积脉冲神经网络，得到输出结果。
2.根据权利要求1所述一种基于重加权膜电压的卷积脉冲神经网络的训练方法，其特征在于，所述获取输入图像并对输入图像进行预处理这一步骤，其具体包括：
获取输入图像并对输入图像每个通道的图像进行标准化处理，得到标准化图像；
对标准化图像进行脉冲编码，得到脉冲序列。
3.根据权利要求2所述一种基于重加权膜电压的卷积脉冲神经网络的训练方法，其特征在于，所述基于重加权膜电压构建卷积脉冲神经网络的脉冲神经元这一步骤，其具体包括：
根据神经动力学模型构建原始的脉冲神经元；
对原始的脉冲神经元的膜电压进行重加权处理，将其大小约束为0或1后作为脉冲神经元的输出，得到卷积脉冲神经网络的脉冲神经。
4.根据权利要求3所述一种基于重加权膜电压的卷积脉冲神经网络的训练方法，其特征在于，在第n层网络的第f张特征图的位置(i，j)，所述基于重加权膜电压构建卷积脉冲神经网络的脉冲神经元具体如下：
Figure FDA0002848678000000011
Figure FDA0002848678000000012
Figure FDA0002848678000000013
上式中，τ表示膜电压的衰减因子，n表示第n层网络，t表示时间窗T内的第t个时刻，Vth表示阈值电压，*表示卷积操作，R(i，j)表示位置(i，j)的局部感受野，
Figure FDA0002848678000000014
表示连接n-1层网络的第c个特征图与n层网络的第f个特征图之间的卷积核，
Figure FDA0002848678000000015
表示脉冲输出，
Figure FDA0002848678000000016
表示第t个时刻的输入刺激，
Figure FDA0002848678000000017
表示在前t个时刻累积的膜电压。
随后，将超出Vth的
Figure FDA0002848678000000018
代替
Figure FDA0002848678000000019
作为神经元的输出，即：
Figure FDA0002848678000000021
Figure FDA0002848678000000022
表示点积运算，通过对
Figure FDA0002848678000000023
和
Figure FDA0002848678000000024
进行点积运算，使得
Figure FDA0002848678000000025
中超出阈值电压的成员被保留，未超出阈值电压的成员将置为0。对
Figure FDA0002848678000000026
的每个成员进行权重调整，使其输出逼近真实的脉冲，即：
Figure FDA0002848678000000027
ε是足够小的正数，防止分母为0，此外，
Figure FDA0002848678000000028
是与
Figure FDA0002848678000000029
相等的常数，使得上式中的分母不参与梯度计算，且当
Figure FDA00028486780000000210
时，
Figure FDA00028486780000000211
能够逼近真实脉冲，即值接近于1。
5.根据权利要求4所述一种基于重加权膜电压的卷积脉冲神经网络的训练方法，其特征在于，所述根据输入图像的规模设置卷积脉冲神经网络的网络层数这一步骤，其具体包括：
根据输入图像的数据规模以及任务的复杂程度，设置卷积脉冲神经网络的网络层数，每层网络的特征图数、卷积核大小、各层权重的初始分布状态以及阈值膜电压。
6.根据权利要求5所述一种基于重加权膜电压的卷积脉冲神经网络的训练方法，其特征在于，所述对脉冲神经元的输入刺激进行归一化处理，具体公式如下：
Figure FDA00028486780000000212
Figure FDA00028486780000000213
上式中，It，n第n层网络在t时刻的整体输入刺激，
Figure FDA00028486780000000214
表示It，n的第f张特征图(i，j)位置的成员，Fn表示第n层网络的特征图总数，hn表示特征图的高度，wn为特征图宽度，μt，n表示均值，σt，n表示方差，
Figure FDA00028486780000000215
表示归一化后的整体输入刺激。
7.根据权利要求6所述一种基于重加权膜电压的卷积脉冲神经网络的训练方法，其特征在于，所述构建损失函数并基于时空反向传播算法对卷积脉冲神经网络进行训练，得到训练完成的卷积脉冲神经网络这一步骤，其具体包括：
构建描述网络输出以及样本真实标签的损失函数，基于时空反向传播算法，从时间、空间两个方向上对卷积脉冲神经网络的参数进行误差估计；
根据误差估计对卷积脉冲神经网络隔层的突触权重进行更新，得到训练完成的卷积脉冲神经网络。
8.根据权利要求7所述一种基于重加权膜电压的卷积脉冲神经网络的训练方法，其特征在于，所述训练完成的卷积脉冲神经网络包括输入层、隐藏层和输出层。
CN202011520139.0A 2020-12-21 2020-12-21 一种基于重加权膜电压的卷积脉冲神经网络的训练方法 Active CN112633497B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011520139.0A CN112633497B (zh) 2020-12-21 2020-12-21 一种基于重加权膜电压的卷积脉冲神经网络的训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011520139.0A CN112633497B (zh) 2020-12-21 2020-12-21 一种基于重加权膜电压的卷积脉冲神经网络的训练方法

Publications (2)

Publication Number Publication Date
CN112633497A true CN112633497A (zh) 2021-04-09
CN112633497B CN112633497B (zh) 2023-08-18

Family

ID=75320865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011520139.0A Active CN112633497B (zh) 2020-12-21 2020-12-21 一种基于重加权膜电压的卷积脉冲神经网络的训练方法

Country Status (1)

Country Link
CN (1) CN112633497B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255905A (zh) * 2021-07-16 2021-08-13 成都时识科技有限公司 脉冲神经网络中神经元的信号处理方法及该网络训练方法
CN113408613A (zh) * 2021-06-18 2021-09-17 电子科技大学 一种基于延迟机制的单层图像分类方法
CN113449864A (zh) * 2021-07-21 2021-09-28 北京大学 用于图像数据分类的反馈型脉冲神经网络模型训练方法
CN113516676A (zh) * 2021-09-14 2021-10-19 成都时识科技有限公司 角点检测方法、脉冲神经网络处理器、芯片及电子产品
CN113627603A (zh) * 2021-10-12 2021-11-09 成都时识科技有限公司 在芯片中实现异步卷积的方法、类脑芯片及电子设备
CN114004343A (zh) * 2021-12-31 2022-02-01 之江实验室 基于忆阻器脉冲耦合神经网络的最短路径获取方法及装置
CN114065806A (zh) * 2021-10-28 2022-02-18 贵州大学 基于脉冲神经网络的机械手触觉数据分类方法
CN114282647A (zh) * 2021-12-09 2022-04-05 上海应用技术大学 基于脉冲神经网络的神经形态视觉传感器目标检测方法
CN114549852A (zh) * 2022-02-24 2022-05-27 四川大学 基于颜色拮抗与注意力机制的脉冲神经网络训练方法
CN114580630A (zh) * 2022-03-01 2022-06-03 厦门大学 用于ai芯片设计的神经网络模型训练方法及图形分类方法
CN114819114A (zh) * 2022-07-04 2022-07-29 南京大学 脉冲神经网络硬件加速器及其在卷积运算中的优化方法
CN115456149A (zh) * 2022-10-08 2022-12-09 鹏城实验室 脉冲神经网络加速器学习方法、装置、终端及存储介质
CN117493955A (zh) * 2023-11-01 2024-02-02 北京大学 一种癫痫患者的脑电信号分类模型的训练方法
CN117556877A (zh) * 2024-01-11 2024-02-13 西南交通大学 基于数据脉冲特征评估的脉冲神经网络训练方法
CN117709419A (zh) * 2022-10-09 2024-03-15 航天科工集团智能科技研究院有限公司 脉冲神经网络训练方法、识别系统搭建方法及识别系统
CN117709418A (zh) * 2022-10-09 2024-03-15 航天科工集团智能科技研究院有限公司 基于实值放电的脉冲神经网络训练方法、识别系统及设备
CN117875408A (zh) * 2024-03-13 2024-04-12 中南大学 一种面向瑕疵检测的脉冲神经网络的联邦学习方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710770A (zh) * 2018-05-31 2018-10-26 杭州电子科技大学 一种面向多脉冲神经网络监督学习的精确突触调整方法
CN108846408A (zh) * 2018-04-25 2018-11-20 中国人民解放军军事科学院军事医学研究院 基于脉冲神经网络的图像分类方法及装置
CN108876797A (zh) * 2018-06-08 2018-11-23 长安大学 一种基于Spiking-SOM神经网络聚类的图像分割系统及方法
CN109214395A (zh) * 2018-08-21 2019-01-15 电子科技大学 一种基于脉冲神经网络的图像特征描述方法
CN109816026A (zh) * 2019-01-29 2019-05-28 清华大学 卷积神经网络和脉冲神经网络的融合结构及方法
CN110119785A (zh) * 2019-05-17 2019-08-13 电子科技大学 一种基于多层spiking卷积神经网络的图像分类方法
CN110210563A (zh) * 2019-06-04 2019-09-06 北京大学 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法
CN110555523A (zh) * 2019-07-23 2019-12-10 中建三局智能技术有限公司 一种基于脉冲神经网络的短程跟踪方法及系统
CN111639754A (zh) * 2020-06-05 2020-09-08 四川大学 一种神经网络的构建、训练、识别方法和系统、存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846408A (zh) * 2018-04-25 2018-11-20 中国人民解放军军事科学院军事医学研究院 基于脉冲神经网络的图像分类方法及装置
CN108710770A (zh) * 2018-05-31 2018-10-26 杭州电子科技大学 一种面向多脉冲神经网络监督学习的精确突触调整方法
CN108876797A (zh) * 2018-06-08 2018-11-23 长安大学 一种基于Spiking-SOM神经网络聚类的图像分割系统及方法
CN109214395A (zh) * 2018-08-21 2019-01-15 电子科技大学 一种基于脉冲神经网络的图像特征描述方法
CN109816026A (zh) * 2019-01-29 2019-05-28 清华大学 卷积神经网络和脉冲神经网络的融合结构及方法
CN110119785A (zh) * 2019-05-17 2019-08-13 电子科技大学 一种基于多层spiking卷积神经网络的图像分类方法
CN110210563A (zh) * 2019-06-04 2019-09-06 北京大学 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法
CN110555523A (zh) * 2019-07-23 2019-12-10 中建三局智能技术有限公司 一种基于脉冲神经网络的短程跟踪方法及系统
CN111639754A (zh) * 2020-06-05 2020-09-08 四川大学 一种神经网络的构建、训练、识别方法和系统、存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
尚瑛杰;何虎;杨旭;董丽亚;: "仿生型脉冲神经网络学习算法和网络模型", 计算机工程与设计, no. 05, pages 1 - 4 *
赖策;魏小琴;: "基于卷积脉冲神经网络的图像分类算法仿真", 信息技术与信息化, no. 04, pages 1 - 5 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408613A (zh) * 2021-06-18 2021-09-17 电子科技大学 一种基于延迟机制的单层图像分类方法
CN113255905A (zh) * 2021-07-16 2021-08-13 成都时识科技有限公司 脉冲神经网络中神经元的信号处理方法及该网络训练方法
CN113449864A (zh) * 2021-07-21 2021-09-28 北京大学 用于图像数据分类的反馈型脉冲神经网络模型训练方法
CN113449864B (zh) * 2021-07-21 2023-08-25 北京大学 用于图像数据分类的反馈型脉冲神经网络模型训练方法
CN113516676A (zh) * 2021-09-14 2021-10-19 成都时识科技有限公司 角点检测方法、脉冲神经网络处理器、芯片及电子产品
CN113627603A (zh) * 2021-10-12 2021-11-09 成都时识科技有限公司 在芯片中实现异步卷积的方法、类脑芯片及电子设备
CN113627603B (zh) * 2021-10-12 2021-12-24 成都时识科技有限公司 在芯片中实现异步卷积的方法、类脑芯片及电子设备
CN114065806A (zh) * 2021-10-28 2022-02-18 贵州大学 基于脉冲神经网络的机械手触觉数据分类方法
CN114282647A (zh) * 2021-12-09 2022-04-05 上海应用技术大学 基于脉冲神经网络的神经形态视觉传感器目标检测方法
CN114282647B (zh) * 2021-12-09 2024-02-02 上海应用技术大学 基于脉冲神经网络的神经形态视觉传感器目标检测方法
CN114004343A (zh) * 2021-12-31 2022-02-01 之江实验室 基于忆阻器脉冲耦合神经网络的最短路径获取方法及装置
CN114549852A (zh) * 2022-02-24 2022-05-27 四川大学 基于颜色拮抗与注意力机制的脉冲神经网络训练方法
CN114549852B (zh) * 2022-02-24 2023-04-18 四川大学 基于颜色拮抗与注意力机制的脉冲神经网络训练方法
CN114580630A (zh) * 2022-03-01 2022-06-03 厦门大学 用于ai芯片设计的神经网络模型训练方法及图形分类方法
CN114580630B (zh) * 2022-03-01 2024-05-31 厦门大学 用于ai芯片设计的神经网络模型训练方法及图形分类方法
CN114819114A (zh) * 2022-07-04 2022-07-29 南京大学 脉冲神经网络硬件加速器及其在卷积运算中的优化方法
CN115456149A (zh) * 2022-10-08 2022-12-09 鹏城实验室 脉冲神经网络加速器学习方法、装置、终端及存储介质
CN117709419A (zh) * 2022-10-09 2024-03-15 航天科工集团智能科技研究院有限公司 脉冲神经网络训练方法、识别系统搭建方法及识别系统
CN117709418A (zh) * 2022-10-09 2024-03-15 航天科工集团智能科技研究院有限公司 基于实值放电的脉冲神经网络训练方法、识别系统及设备
CN117709418B (zh) * 2022-10-09 2024-08-06 航天科工集团智能科技研究院有限公司 基于实值放电的脉冲神经网络训练方法、识别系统及设备
CN117493955A (zh) * 2023-11-01 2024-02-02 北京大学 一种癫痫患者的脑电信号分类模型的训练方法
CN117493955B (zh) * 2023-11-01 2024-06-07 北京大学 一种癫痫患者的脑电信号分类模型的训练方法
CN117556877A (zh) * 2024-01-11 2024-02-13 西南交通大学 基于数据脉冲特征评估的脉冲神经网络训练方法
CN117556877B (zh) * 2024-01-11 2024-04-02 西南交通大学 基于数据脉冲特征评估的脉冲神经网络训练方法
CN117875408A (zh) * 2024-03-13 2024-04-12 中南大学 一种面向瑕疵检测的脉冲神经网络的联邦学习方法

Also Published As

Publication number Publication date
CN112633497B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN112633497A (zh) 一种基于重加权膜电压的卷积脉冲神经网络的训练方法
Alaloul et al. Data processing using artificial neural networks
CN111858989B (zh) 一种基于注意力机制的脉冲卷积神经网络的图像分类方法
CN109635917A (zh) 一种多智能体合作决策及训练方法
Burney et al. Levenberg-Marquardt algorithm for Karachi Stock Exchange share rates forecasting
CN110428042B (zh) 往复地缩放神经元的连接权重和输入值来挫败硬件限制
CN112906828A (zh) 一种基于时域编码和脉冲神经网络的图像分类方法
CN109102000A (zh) 一种基于分层特征提取与多层脉冲神经网络的图像识别方法
CN113205048B (zh) 一种手势识别方法及识别系统
CN108304912B (zh) 一种运用抑制信号实现脉冲神经网络监督学习的系统和方法
CN114998659B (zh) 随时间在线训练脉冲神经网络模型的图像数据分类方法
CN114186672A (zh) 一种用于脉冲神经网络的高效高精度训练算法
CN111310816B (zh) 基于无监督匹配追踪编码的仿脑架构图像识别方法
Fatahi et al. Towards an spiking deep belief network for face recognition application
CN114266351A (zh) 基于无监督学习时间编码的脉冲神经网络训练方法及系统
CN118114734A (zh) 基于稀疏正则化理论的卷积神经网络优化方法及系统
Harikrishnan et al. Handwritten digit recognition with feed-forward multi-layer perceptron and convolutional neural network architectures
JP7553893B2 (ja) ニューラルネットワーク装置、処理方法およびプログラム
She et al. Safe-dnn: a deep neural network with spike assisted feature extraction for noise robust inference
CN115546556A (zh) 用于图像分类的脉冲神经网络的训练方法
CN115063597B (zh) 一种基于类脑学习的图像识别方法
Dasgaonkar et al. Analysis of multi-layered perceptron, radial basis function and convolutional neural networks in recognizing handwritten digits
JPH08305855A (ja) 画像のパターン認識方法及び装置
CN113222206A (zh) 一种基于ResLS-C深度学习组合的交通状态预测方法
Veličković et al. Traffic sign classification using convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant