CN114091659A - 基于空时信息的超低延时脉冲神经网络及学习方法 - Google Patents

基于空时信息的超低延时脉冲神经网络及学习方法 Download PDF

Info

Publication number
CN114091659A
CN114091659A CN202111403991.4A CN202111403991A CN114091659A CN 114091659 A CN114091659 A CN 114091659A CN 202111403991 A CN202111403991 A CN 202111403991A CN 114091659 A CN114091659 A CN 114091659A
Authority
CN
China
Prior art keywords
pulse
neural network
neuron
impulse
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111403991.4A
Other languages
English (en)
Inventor
徐长卿
刘毅
朱毅
杨银堂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202111403991.4A priority Critical patent/CN114091659A/zh
Publication of CN114091659A publication Critical patent/CN114091659A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明涉及一种神经网络及学习法，具体涉及一种基于空时信息的超低延时脉冲神经网络及学习方法，以解决对于携带长脉冲序列的脉冲神经网络训练难以兼顾处理精度和处理时间信息能力的技术问题。脉冲神经网络为基于脉冲神经元的多层感知机或卷积神经网络，采用多阈值LIF模型，依次包括输入层、多个中间隐藏层和输出层。方法步骤包括：构建多阈值LIF模型的脉冲神经网络；采用正态分布初始化脉冲神经元权重；计算脉冲神经网络前向传播；计算损失函数，判断误差是否满足要求，若是，则学习完成；若否，则计算脉冲神经网络误差反向传播，更新权重，直至误差满足要求。

Description

基于空时信息的超低延时脉冲神经网络及学习方法
技术领域
本发明涉及一种神经网络及学习法，具体涉及一种基于空时信息的超低延时脉冲神经网络及学习方法。
背景技术
脉冲神经网络(Spiking Neural Networks，SNNs)是一种脑启发式的神经网络模型，该模型可以充分利用空时信息并且具有事件驱动的特性。不同于传统的由静态连续的神经元模型构成的人工智能网络，脉冲神经网络由更具生物特性的神经元模型构成可以处理离散的脉冲事件，这些特性使得脉冲神经网络在计算上和功耗效率上具有非常大的潜力。
然而，对于目前的脉冲神经网络，需要几十甚至几百个脉冲构成的脉冲序列携带的时间信息才能训练出和传统人工智能网络(Artificial Neural Networks，ANNs)同一级别精度的结果。这些长脉冲序列不仅给脉冲神经网络带来了功耗问题，同时引入的大量静态功耗也严重限制了脉冲神经网络在功耗方面的潜力。目前解决的方法主要是将训练好的人工智能网络转换成相对应的脉冲神经网络，这种方法可以使得获取的脉冲神经网络和人工智能网络具有相似的精度，但放弃了脉冲神经网络处理时间信息的能力，从而限制了脉冲神经网络在空时信息处理上的优势。另一种方法是直接训练脉冲神经网络，通过脉冲序列压缩等手段将脉冲序列缩短至几十甚至十几个脉冲长度，但该方法在高压缩率下存在精度下降严重的问题。
发明内容
本发明的目的是解决目前对于携带长脉冲序列的脉冲神经网络训练难以兼顾处理精度和处理时间信息能力的技术问题，提出一种基于空时信息的超低延时脉冲神经网络及学习方法，可以在保证处理精度的前提下有效缩短脉冲神经网络的延时。
为了实现上述目的，本发明所采用的技术方案是：
一种基于空时信息的超低延时脉冲神经网络，其特殊之处在于：基于脉冲神经元的多层感知机或卷积神经网络，采用多阈值LIF模型构建，包括依次设置的输入层、多个中间隐藏层和输出层；
所述输入层用于转化神经网络信息，采用归一化的方法将输入信息转化为0-1的实数值，作为输入电流传递给下一层网络；
所述中间隐藏层的脉冲神经元模型中突触模型采用零阶模型；
所述输出层将学习样本的标签转化为仅目标序号所对应的神经元可以产生脉冲，其余神经元均不产生脉冲。
进一步地，所述多阈值LIF模型为：
Figure BDA0003372094140000021
Figure BDA0003372094140000022
Figure BDA0003372094140000023
其中：
I[t]为上一层脉冲神经网络给第i个脉冲神经元发送的突触输入电流；
i表示脉冲神经网络的第i个脉冲神经元；
j表示上一层脉冲神经网络中第j个脉冲神经元；
N为上一层脉冲神经网络脉冲神经元的数量；
ωij为上一层脉冲神经网络中第j个脉冲神经元与本级脉冲神经网络中第i个脉冲神经元之间的权重；
sj[t]代表上一层脉冲神经网络中第j个脉冲神经元在t时刻的输出脉冲；
ui[t]为第i个脉冲神经元在t时刻的膜电压；
ui[t-1]为第i个脉冲神经元在前一时刻的膜电压；
ureset[t]为脉冲神经元在t时刻的复位电压；
τm为脉冲神经元的膜电压时间常数；
si[t]为第i个脉冲神经元在t时刻的输出脉冲；
Smax为脉冲神经元的输出脉冲上限；
Vth为脉冲神经元的阈值电压。
为了简化计算，中间隐藏层的脉冲神经元模型中突触模型采用零阶模型，即模型中I[t]采用零阶模型进行计算。
同时，本发明还提出一种基于空时信息的超低延时脉冲神经网络学习方法，其特殊之处在于，包括以下步骤：
步骤1、将传统单阈值LIF模型替换为多阈值LIF模型，并构建基于多阈值LIF模型的脉冲神经网络；
步骤2、基于多阈值LIF模型的脉冲神经网络，根据公式(1)采用正态分布初始化脉冲神经元权重：
Figure BDA0003372094140000031
其中：
l表示第l层脉冲神经网络；
W(l)为第l层脉冲神经网络的权重；
Vth为脉冲神经元的阈值电压；
Nl-1为上一层脉冲神经网络的脉冲神经元数量；
步骤3、根据脉冲神经元权重，计算基于多阈值LIF模型的脉冲神经网络前向传播，获得脉冲神经元的输出脉冲；
步骤4、计算脉冲神经网络损失函数，判断误差是否满足误差要求：
4.1)根据脉冲神经元的输出脉冲，通过公式(2)计算脉冲神经网络在tk时刻的损失函数：
Figure BDA0003372094140000032
其中：
i表示脉冲神经网络的第i个脉冲神经元；
L[tk]为脉冲神经网络在tk时刻的误差；
No为脉冲神经网络输出层脉冲神经元的数量；
yi[tk]为在tk时刻期望的输出脉冲；
si[tk]为在tk时刻的实际输出脉冲；
4.2)判断误差L[tk]是否满足误差要求：若是，则完成脉冲神经网络学习；若否，则执行步骤5；
步骤5、根据脉冲神经元权重和误差，计算基于多阈值LIF模型的脉冲神经网络误差反向传播，更新脉冲神经元权重，然后返回步骤3。
进一步地，步骤1中，所述多阈值LIF模型具体为公式(3)、(4)、(5)：
Figure BDA0003372094140000041
Figure BDA0003372094140000042
Figure BDA0003372094140000043
公式(3)用于计算上一层脉冲神经网络的突触输入电流；
其中：
I[t]为上一层脉冲神经网络给第i个脉冲神经元发送的突触输入电流；
i表示脉冲神经网络的第i个脉冲神经元；
j表示上一层脉冲神经网络中第j个脉冲神经元；
N为上一层脉冲神经网络脉冲神经元的数量；
ωij为上一层脉冲神经网络中第j个脉冲神经元与本级脉冲神经网络中第i个脉冲神经元之间的权重，ωij为矩阵W(l)中的元素；
sj[t]代表上一层脉冲神经网络中第j个脉冲神经元在t时刻的输出脉冲；
公式(4)用于计算更新脉冲神经元的膜电压；
其中：
ui[t]为第i个脉冲神经元在t时刻的膜电压；
ui[t-1]为第i个脉冲神经元在前一时刻的膜电压；
ureset[t]为脉冲神经元在t时刻的复位电压；
τm为脉冲神经元的膜电压时间常数；
公式(5)用于计算获得的输出脉冲：
其中：
si[t]为第i个脉冲神经元在t时刻的输出脉冲；
Smax为脉冲神经元的输出脉冲上限；
Vth为脉冲神经元的阈值电压。
进一步地，步骤3中，所述前向传播的计算过程具体为：
首先，根据公式(3)计算上一层神经元产生的突触电流；
其次，根据公式(4)和上一时刻的脉冲神经元的膜电压值，计算更新脉冲神经元的膜电压；
最后，通过公式(5)与阈值电压Vth比较确定是否产生脉冲，并计算获得的输出脉冲。
进一步地，步骤5中，所述误差反向传播计算过程具体为：
5.1)根据公式(6)计算膜电压对权重的偏导：
Figure BDA0003372094140000051
其中：
s(l)[tk]为第l层脉冲神经网络在tk时刻的输出脉冲；
s(l-1)[tk]为上一层脉冲神经网络在tk时刻的输出脉冲；
u(l)[tk]为第l层脉冲神经网络在tk时刻的膜电压；
u(l-1)[tk]为上一层脉冲神经网络在tk时刻的膜电压；
Figure BDA0003372094140000052
为第l层脉冲神经网络在tk时刻的输出脉冲对膜电压的偏导；
Figure BDA0003372094140000053
为第l层脉冲神经网络在tk时刻膜电压对权重的偏导；
Figure BDA0003372094140000054
为第l层脉冲神经网络在tk-1时刻膜电压对权重的偏导；
5.2)根据公式(10)、(11)计算误差对权重的偏导：
Figure BDA0003372094140000055
Figure BDA0003372094140000056
其中：
W(l+1)为下一层脉冲神经网络的权重；
δ(l)[tk]为第l层脉冲神经网络在tk时刻误差对膜电压的偏导；
δ(l+1)[tk]为下一层脉冲神经网络在tk时刻误差对膜电压的偏导；
5.3)采用Adam算法更新权重W(l)。
通过进行脉冲神经网络误差反向传播计算的方式更新权重，逐步减小误差，从而保证了脉冲神经网络获得高精度和低延时。
进一步地，步骤5.1)中，所述
Figure BDA0003372094140000061
由近似等效函数f1(u)、f2(u)或f3(u)替代，具体为公式(7)、(8)、(9)：
Figure BDA0003372094140000062
Figure BDA0003372094140000063
Figure BDA0003372094140000064
其中：
u为脉冲神经元的膜电压；
aH为第一近似等效函数参数，控制等效函数曲线的高度；
aW为第二近似等效函数参数，控制等效函数曲线的宽度。
采用近似等效函数f1(u)、f2(u)或f3(u)解决了误差反向传播过程中脉冲发生时离散过程无法计算获得
Figure BDA0003372094140000065
的问题，该三种近似等效函数均可获得较好的输出精度。
进一步地，步骤1中，所述基于脉冲神经元的多层感知机或卷积神经网络，采用Pytorch架构实现，仿真步长为1ms，训练时间为2个步长；所述输入信息包括像素及音频信息，定义输入信息的数量为批量数NBatch；
步骤5.3)中权重更新采用Adam算法作为优化器，采用数据集MNIST、FashionMNIST、CIFAR10的一种或几种，所述数据集MNIST、FashionMNIST、CIFAR10对应的学习率分别为η1、η2、η3。
进一步地，步骤3、步骤5中：
所述膜电压时间常数τm为10ms；所述阈值电压Vth为10mV；
所述第一近似等效函数参数αH为1；所述第二近似等效函数参数αW为20；
所述输出脉冲上限Smax为15；
所述批量数NBatch为128；
所述数据集MNIST、FashionMNIST、CIFAR10的学习率η1、η2、η3分别为0.005、0.005、0.0005。
进一步地，所述数据集采用CIFAR10，所述脉冲神经网络的训练周期为100个，所述近似等效函数选择f2(u)。
与现有技术相比，本发明的有益效果是：
1)本发明基于空时信息的超低延时脉冲神经网络学习方法，将传统单阈值LIF模型替换为多阈值LIF模型，并构建基于脉冲神经元的多层感知机(Muti－LayerPerception,MLP)或卷积神经网络，通过计算基于多阈值LIF模型的脉冲神经网络前向传播和误差反向传播，使得脉冲神经网络的误差满足要求，在保证处理精度的前提下有效缩短脉冲神经网络的延时。
2)本发明方法中基于多阈值LIF模型采用正态分布初始化脉冲神经元权重的方式，可使脉冲神经网络获得的输出精度提高。
3)本发明通过进行脉冲神经网络误差反向传播计算的方式更新权重，逐步减小误差，从而保证了脉冲神经网络获得高精度和低延时。
4)本发明在脉冲神经网络误差反向传播计算过程中，提出了三种近似等效函数，解决了误差反向传播过程中脉冲发生时离散过程无法计算获得
Figure BDA0003372094140000071
的问题，采用三种近似等效函数均可获得较好的输出精度。
附图说明
图1为本发明基于空时信息的超低延时脉冲神经网络学习方法中多阈值LIF模型的脉冲神经网络任意两层神经网络的示意图；
图2为本发明中
Figure BDA0003372094140000072
的近似等效函数替代的示意图，f1，f2，f3为三种近似等效函数，横坐标为膜电压(以阈值电压Vth为单位)；
图3为本发明中针对CIFAR10数据集，采用不同
Figure BDA0003372094140000081
的近似等效函数训练网络的比较；其中，横坐标为迭代次数，纵坐标为精度；
图4为图3的局部放大图。
具体实施方式
为了更清楚地说明本发明的技术方案，下面结合附图和具体实施例对本发明进行详细说明。
一种基于空时信息的超低延时脉冲神经网络学习方法，包括以下步骤：
步骤1、将传统单阈值LIF(Leaky integrate and Fired Model)模型替换为多阈值LIF模型，并构建基于脉冲神经元的多层感知机(Muti－Layer Perception,MLP)或卷积神经网络。构建的多层感知机或卷积神经网络包括输入层、多个中间隐藏层和输出层。
步骤2、根据公式(1)采用正态分布初始化神经元权重。
Figure BDA0003372094140000082
其中，W(l)为第l层脉冲神经网络的权重，矩阵中的元素记为ωij，Vth是脉冲神经元的电压阈值，Nl-1为上一层脉冲神经网络的神经元数量。
步骤3、计算基于多阈值LIF模型的脉冲神经网络前向传播，获得脉冲神经元输出脉冲的值。
根据多阈值LIF模型，首先计算上一层神经元产生的突触电流，再根据上一时刻的脉冲神经元的膜电压值，计算更新脉冲神经元的膜电压，最后通过与阈值电压Vth比较确定是否产生脉冲，并计算获得产生脉冲的值。
步骤4、根据公式(2)计算损失函数，并判断误差是否满足要求。
Figure BDA0003372094140000083
其中，L[tk]为脉冲神经网络在tk时刻的误差，No是输出层神经元的数量，yi[tk]和si[tk]分别是在tk时刻期望的脉冲和实际脉冲。
步骤5、若误差不满足要求，计算基于多阈值LIF模型的脉冲神经网络误差反向传播，更新脉冲神经元权重，返回步骤3，直至误差满足要求。
对本发明基于空时信息的超低延时脉冲神经网络学习方法的上述步骤进一步说明如下：
步骤1中，多阈值LIF模型由公式(3)-(5)描述：
Figure BDA0003372094140000091
Figure BDA0003372094140000092
Figure BDA0003372094140000093
公式(3)描述了上一层突触输入电流I[t]的计算，其中N为上一层脉冲神经网络的脉冲神经元数量，ωij为上一层神经网络中神经元j与本级神经网络中神经元i之间的权重，sj[t]代表上一层脉冲神经网络中第j个脉冲神经元在t时刻的输出脉冲。
公式(4)描述了脉冲神经元膜电压ui[t]更新计算，其中ui[t-1]代表上一时刻的膜电压值，ureset[t]代表复位电压，I[t]为上一层神经网络给神经元i发送的突触输入电流的总和，τm为膜电压的时间常数。
公式(5)描述了多阈值LIF模型的产生过程，其中si[t]为第i个脉冲神经元的输出脉冲，Smax为输出脉冲值的上限，Vth为阈值电压，ui[t]为神经元在t时刻的膜电压。
多阈值LIF模型，可用于构建但不限于基于脉冲神经元的多层感知机(MLP)或卷积神经网络。
步骤3中计算基于多阈值LIF模型的脉冲神经网络前向传播，首先根据公式(3)计算上一层神经元产生的突触电流，第二步根据公式(4)和上一时刻的脉冲神经元的膜电压值，计算更新脉冲神经元的膜电压，最后根据公式(5)通过与阈值电压Vth比较确定是否产生脉冲，并计算获得产生脉冲的值。
步骤5中，误差反向传播计算的具体过程为：
5.1)根据公式(6)计算膜电压对权重的偏导：
Figure BDA0003372094140000094
其中，
Figure BDA0003372094140000101
为在tk时刻产生的脉冲对膜电压的偏导，
Figure BDA0003372094140000102
为在tk-1时刻膜电压对权重的偏导，s(l-1)[tk]为上一层神经网络在tk时刻产生的脉冲，τm为膜电压的时间常数。
由于脉冲发生时离散过程无法计算获得
Figure BDA0003372094140000103
本发明中提出了三个近似等效函数取代
Figure BDA0003372094140000104
三个近似等效函数f1、f2、f3见公式(7)、(8)、(9)：
Figure BDA0003372094140000105
Figure BDA0003372094140000106
Figure BDA0003372094140000107
其中，u为脉冲神经元的膜电压，aH和aW为近似等效函数的两个参数，分别控制曲线的高度和宽度。
5.2)根据公式(10)(11)计算误差对权重的偏导：
Figure BDA0003372094140000108
Figure BDA0003372094140000109
其中，W(l+1)为下一层脉冲神经网络的权重，δ(l+1)[tk]为下一层神经网络在tk时刻误差对膜电压的偏导。
5.3)采用Adam算法更新权重W(l)
W(l)代表第l层的神经网络的权重。Adam算法采用数据集包括MNIST、FashionMNIST、CIFAR10，其中MNIST为手写体数据识别数据集，FashionMNIST为衣物图像数据集，CIFAR10是用于普通物体识别的数据集，三个数据集对应的学习率分别记为η1、η2、η3。当然不限于上述三个数据集，Adam算法也可以用于其他数据集。此外，更新权重的算法不限于Adam算法，也可以采用其他算法实现。
实施例
如图1所示，为基于多阈值LIF模型的脉冲神经网络中任意两层神经网络的示意图，实施例中的脉冲神经网络为多层感知机，在其他实施例中，也可以用于卷积神经网络。具体构建脉冲神经神经网络步骤如下：
脉冲神经网络的输入层主要功能是转化神经网络信息，采用归一化的方法将像素、音频等输入信息转化为0-1的实数值，作为输入电流传递给下一层神经网络。
在中间隐藏层(即除去第一层输入层和最后一层输出层后的多个隐藏层)中为了简化计算，步骤1中脉冲神经元模型中的突触模型采用零阶模型，具体计算见公式(3)。
在输出层中将学习样本的标签，转化为仅目标序号所对应的神经元可以产生脉冲，其余神经元均不产生脉冲。
该脉冲神经网络采用本发明基于空时信息的超低延时脉冲神经网络学习方法进行学习训练：采用正态分布初始化脉冲神经元权重；根据权重，计算脉冲神经网络前向传播，获得输出脉冲；根据输出脉冲和期望的输出脉冲计算tk时刻的损失函数，判断误差是否满足误差要求；若不满足要求，则根据权重和误差，计算脉冲神经网络误差反向传播，更新权重；然后重新计算脉冲神经网络前向传播、损失函数，直至误差满足要求。
在本发明的优选实例中，采用Pytorch架构实现，仿真步长选用1ms，训练时间设置为2个步长。Adam算法作为优化器，更新权重。
本实施例中前向传播和计算误差反向传播计算过程中所涉及的参数见表1。其中，批量数NBatch是指同时读入的输入信息数量。Adam算法采用数据集包括MNIST、FashionMNIST、CIFAR10，对应的学习率分别记为η1、η2、η3。
表1.前向传播和误差反向传播计算过程中所涉及的参数
Figure BDA0003372094140000121
如图2所示，为
Figure BDA0003372094140000122
的近似等效函数替代的示意图，本发明中
Figure BDA0003372094140000123
的近似等效函数f1，f2，f3为本发明核心技术之一，图中横坐标为膜电压，以阈值电压Vth的倍数表示，可以看出，在不同膜电压下，三个函数对
Figure BDA0003372094140000124
的近似等效值情况。
如图3、图4所示，在本发明的优选实例中采用数据集CIFAR10，比较采用近似等效函数f1，f2，f3的脉冲神经网络训练100个周期，识别精度的情况。图中可以看出，三种近似等效函数f1，f2，f3的均获得较好的精度，其中f2为最优选择。
以上仅是对本发明的优选实施方式进行了描述，并非对本发明技术方案的限制，本领域技术人员在本发明主要技术构思的基础上所作的任何变形都属于本发明所要保护的技术范畴。

Claims (10)

1.一种基于空时信息的超低延时脉冲神经网络，其特征在于：所述脉冲神经网络为采用多阈值LIF模型构建的基于脉冲神经元的多层感知机或卷积神经网络，包括依次设置的输入层、多个中间隐藏层和输出层；
所述输入层用于转化神经网络信息，采用归一化的方法将输入信息转化为0-1的实数值，作为输入电流传递给下一层网络；
所述中间隐藏层的脉冲神经元模型中突触模型采用零阶模型；
所述输出层将学习样本的标签转化为仅目标序号所对应的神经元可以产生脉冲，其余神经元均不产生脉冲。
2.根据权利要求1所述基于空时信息的超低延时脉冲神经网络，其特征在于，所述多阈值LIF模型为：
Figure FDA0003372094130000011
Figure FDA0003372094130000012
Figure FDA0003372094130000013
其中：
I[t]为上一层脉冲神经网络给第i个脉冲神经元发送的突触输入电流；
i表示脉冲神经网络的第i个脉冲神经元；
j表示上一层脉冲神经网络中第j个脉冲神经元；
N为上一层脉冲神经网络脉冲神经元的数量；
ωij为上一层脉冲神经网络中第j个脉冲神经元与本级脉冲神经网络中第i个脉冲神经元之间的权重；
sj[t]代表上一层脉冲神经网络中第j个脉冲神经元在t时刻的输出脉冲；
ui[t]为第i个脉冲神经元在t时刻的膜电压；
ui[t-1]为第i个脉冲神经元在前一时刻的膜电压；
ureset[t]为脉冲神经元在t时刻的复位电压；
τm为脉冲神经元的膜电压时间常数；
si[t]为第i个脉冲神经元在t时刻的输出脉冲；
Smax为脉冲神经元的输出脉冲上限；
Vth为脉冲神经元的阈值电压。
3.一种基于空时信息的超低延时脉冲神经网络学习方法，其特征在于，包括以下步骤：
步骤1、将传统单阈值LIF模型替换为多阈值LIF模型，并基于多阈值LIF模型构建脉冲神经网络；
步骤2、基于脉冲神经网络，根据公式(1)采用正态分布初始化脉冲神经元权重：
Figure FDA0003372094130000021
其中：
l表示第l层脉冲神经网络；
W(l)为第l层脉冲神经网络的权重；
Vth为脉冲神经元的阈值电压；
Nl-1为上一层脉冲神经网络的脉冲神经元数量；
步骤3、根据脉冲神经元权重，计算基于多阈值LIF模型的脉冲神经网络前向传播，获得脉冲神经元的输出脉冲；
步骤4、计算脉冲神经网络损失函数，判断误差是否满足误差要求：
4.1)根据脉冲神经元的输出脉冲，通过公式(2)计算脉冲神经网络在tk时刻的损失函数：
Figure FDA0003372094130000022
其中：
i表示脉冲神经网络的第i个脉冲神经元；
L[tk]为脉冲神经网络在tk时刻的误差；
No为脉冲神经网络输出层脉冲神经元的数量；
yi[tk]为在tk时刻期望的输出脉冲；
si[tk]为在tk时刻的实际输出脉冲；
4.2)判断误差L[tk]是否满足误差要求：若是，则完成脉冲神经网络学习；若否，则执行步骤5；
步骤5、根据脉冲神经元权重和误差，计算基于多阈值LIF模型的脉冲神经网络误差反向传播，更新脉冲神经元权重，然后返回步骤3。
4.根据权利要求3所述基于空时信息的超低延时脉冲神经网络学习方法，其特征在于，步骤1中，所述多阈值LIF模型具体为：
Figure FDA0003372094130000031
Figure FDA0003372094130000032
Figure FDA0003372094130000033
公式(3)用于计算上一层脉冲神经网络的突触输入电流；
其中：
I[t]为上一层脉冲神经网络给第i个脉冲神经元发送的突触输入电流；
i表示脉冲神经网络的第i个脉冲神经元；
j表示上一层脉冲神经网络中第j个脉冲神经元；
N为上一层脉冲神经网络脉冲神经元的数量；
ωij为上一层脉冲神经网络中第j个脉冲神经元与本级脉冲神经网络中第i个脉冲神经元之间的权重；
sj[t]代表上一层脉冲神经网络中第j个脉冲神经元在t时刻的输出脉冲；
公式(4)用于计算更新脉冲神经元的膜电压；
其中：
ui[t]为第i个脉冲神经元在t时刻的膜电压；
ui[t-1]为第i个脉冲神经元在前一时刻的膜电压；
ureset[t]为脉冲神经元在t时刻的复位电压；
τm为脉冲神经元的膜电压时间常数；
公式(5)用于计算获得的输出脉冲：
其中：
si[t]为第i个脉冲神经元在t时刻的输出脉冲；
Smax为脉冲神经元的输出脉冲上限；
Vth为脉冲神经元的阈值电压。
5.根据权利要求4所述基于空时信息的超低延时脉冲神经网络学习方法，其特征在于，步骤3中，所述前向传播的计算过程具体为：
首先，根据公式(3)计算上一层神经元产生的突触电流；
其次，根据公式(4)和上一时刻的脉冲神经元的膜电压值，计算更新脉冲神经元的膜电压；
最后，通过公式(5)与阈值电压Vth比较确定是否产生脉冲，并计算获得的输出脉冲。
6.根据权利要求5所述基于空时信息的超低延时脉冲神经网络学习方法，其特征在于，步骤5中，所述误差反向传播计算过程具体为：
5.1)根据公式(6)计算膜电压对权重的偏导：
Figure FDA0003372094130000041
其中：
s(l)[tk]为第l层脉冲神经网络在tk时刻的输出脉冲；
s(l-1)[tk]为上一层脉冲神经网络在tk时刻的输出脉冲；
u(l)[tk]为第l层脉冲神经网络在tk时刻的膜电压；
u(l-1)[tk]为上一层脉冲神经网络在tk时刻的膜电压；
Figure FDA0003372094130000042
为第l层脉冲神经网络在tk时刻的输出脉冲对膜电压的偏导；
Figure FDA0003372094130000043
为第l层脉冲神经网络在tk时刻膜电压对权重的偏导；
Figure FDA0003372094130000044
为第l层脉冲神经网络在tk-1时刻膜电压对权重的偏导；
5.2)根据公式(10)、(11)计算误差对权重的偏导：
Figure FDA0003372094130000045
Figure FDA0003372094130000046
其中：
W(l+1)为下一层脉冲神经网络的权重；
δ(l)[tk]为第l层脉冲神经网络在tk时刻误差对膜电压的偏导；
δ(l+1)[tk]为下一层脉冲神经网络在tk时刻误差对膜电压的偏导；
5.3)采用Adam算法更新权重W(l)。
7.根据权利要求6所述基于空时信息的超低延时脉冲神经网络学习方法，其特征在于，步骤5.1)中，所述
Figure FDA0003372094130000051
由近似等效函数f1(u)、f2(u)或f3(u)替代，具体为公式(7)、(8)、(9)：
Figure FDA0003372094130000052
Figure FDA0003372094130000053
Figure FDA0003372094130000054
其中：
u为脉冲神经元的膜电压；
aH为第一近似等效函数参数，控制等效函数曲线的高度；
aW为第二近似等效函数参数，控制等效函数曲线的宽度。
8.根据权利要求3至7任一所述基于空时信息的超低延时脉冲神经网络学习方法，其特征在于：
步骤1中，所述基于脉冲神经元的多层感知机或卷积神经网络，采用Pytorch架构实现，仿真步长为1ms，训练时间为2个步长；所述输入信息包括像素及音频信息，定义输入信息的数量为批量数NBatch；
步骤5.3)中权重更新采用Adam算法作为优化器，数据集采用MNIST、FashionMNIST、CIFAR10的一种或几种，所述MNIST、FashionMNIST、CIFAR10对应的学习率分别为η1、η2、η3。
9.根据权利要求8所述基于空时信息的超低延时脉冲神经网络学习方法，其特征在于，步骤3、步骤5中：
所述膜电压时间常数τm为10ms；
所述阈值电压Vth为10mV；
所述第一近似等效函数参数αH为1；
所述第二近似等效函数参数αW为20；
所述输出脉冲上限Smax为15；
所述批量数NBatch为128；
MNIST学习率η1为0.005；
FashionMNIST学习率η2为0.005；
CIFAR10学习率η3为0.0005。
10.根据权利要求9所述基于空时信息的超低延时脉冲神经网络学习方法，其特征在于：
所述数据集采用CIFAR10，所述脉冲神经网络的训练周期为100个，所述近似等效函数选择f2(u)。
CN202111403991.4A 2021-11-24 2021-11-24 基于空时信息的超低延时脉冲神经网络及学习方法 Pending CN114091659A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111403991.4A CN114091659A (zh) 2021-11-24 2021-11-24 基于空时信息的超低延时脉冲神经网络及学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111403991.4A CN114091659A (zh) 2021-11-24 2021-11-24 基于空时信息的超低延时脉冲神经网络及学习方法

Publications (1)

Publication Number Publication Date
CN114091659A true CN114091659A (zh) 2022-02-25

Family

ID=80303890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111403991.4A Pending CN114091659A (zh) 2021-11-24 2021-11-24 基于空时信息的超低延时脉冲神经网络及学习方法

Country Status (1)

Country Link
CN (1) CN114091659A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114548046A (zh) * 2022-04-25 2022-05-27 阿里巴巴达摩院(杭州)科技有限公司 文本处理方法以及装置
WO2023179482A1 (zh) * 2022-03-25 2023-09-28 华为技术有限公司 一种图像处理方法、神经网络的训练方法以及相关设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023179482A1 (zh) * 2022-03-25 2023-09-28 华为技术有限公司 一种图像处理方法、神经网络的训练方法以及相关设备
CN114548046A (zh) * 2022-04-25 2022-05-27 阿里巴巴达摩院(杭州)科技有限公司 文本处理方法以及装置

Similar Documents

Publication Publication Date Title
CN112633497B (zh) 一种基于重加权膜电压的卷积脉冲神经网络的训练方法
CN113449864B (zh) 用于图像数据分类的反馈型脉冲神经网络模型训练方法
CN113905391B (zh) 集成学习网络流量预测方法、系统、设备、终端、介质
CN114091659A (zh) 基于空时信息的超低延时脉冲神经网络及学习方法
CN111079931A (zh) 一种基于图神经网络的状态空间概率性多时间序列预测方法
CN107729999A (zh) 考虑矩阵相关性的深度神经网络压缩方法
CN112712170B (zh) 基于输入加权脉冲神经网络的神经形态视觉目标分类系统
CN113205048B (zh) 一种手势识别方法及识别系统
CN111260124A (zh) 一种基于注意力机制深度学习的混沌时间序列预测方法
CN112906828A (zh) 一种基于时域编码和脉冲神经网络的图像分类方法
US20220300823A1 (en) Methods and systems for cross-domain few-shot classification
CN112686376A (zh) 一种基于时序图神经网络的节点表示方法及增量学习方法
CN112765461A (zh) 一种基于多兴趣胶囊网络的会话推荐方法
CN115511109A (zh) 一种高泛化性的个性化联邦学习实现方法
CN112766062A (zh) 一种基于双流深度神经网络的人体行为识别方法
CN111292121A (zh) 一种基于园区画像的园区负荷预测方法及系统
CN115346096A (zh) 一种基于忆阻器所构建的脉冲神经网络模型
CN114998659B (zh) 随时间在线训练脉冲神经网络模型的图像数据分类方法
CN116486150A (zh) 一种基于不确定性感知的图像分类模型回归误差消减方法
CN115546556A (zh) 用于图像分类的脉冲神经网络的训练方法
CN115358485A (zh) 一种基于图自注意力机制与霍克斯过程的交通流预测方法
CN111242246B (zh) 一种基于强化学习的图像分类方法
CN108304913A (zh) 一种利用脉冲神经元阵列来实现卷积功能的方法
CN115358261A (zh) 基于脉冲时间序列误差反向传播的触觉物体识别方法
CN114638408A (zh) 一种基于时空信息的行人轨迹预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination