CN115809700A - 基于突触-阈值协同的脉冲神经网络学习方法 - Google Patents
基于突触-阈值协同的脉冲神经网络学习方法 Download PDFInfo
- Publication number
- CN115809700A CN115809700A CN202210644672.0A CN202210644672A CN115809700A CN 115809700 A CN115809700 A CN 115809700A CN 202210644672 A CN202210644672 A CN 202210644672A CN 115809700 A CN115809700 A CN 115809700A
- Authority
- CN
- China
- Prior art keywords
- neuron
- pulse
- time
- threshold
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012421 spiking Methods 0.000 title claims abstract description 17
- 210000002569 neuron Anatomy 0.000 claims abstract description 99
- 230000000946 synaptic effect Effects 0.000 claims abstract description 18
- 238000012360 testing method Methods 0.000 claims abstract description 4
- 239000012528 membrane Substances 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 210000000225 synapse Anatomy 0.000 claims description 7
- 238000010304 firing Methods 0.000 claims description 6
- 230000010365 information processing Effects 0.000 claims description 6
- 230000036961 partial effect Effects 0.000 claims description 5
- 230000005236 sound signal Effects 0.000 claims description 5
- 230000001537 neural effect Effects 0.000 claims description 4
- 238000006467 substitution reaction Methods 0.000 claims description 4
- 238000009795 derivation Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000009827 uniform distribution Methods 0.000 claims description 2
- 238000009826 distribution Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241001661355 Synapsis Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007321 biological mechanism Effects 0.000 description 1
- 230000008309 brain mechanism Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000008519 endogenous mechanism Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000003956 synaptic plasticity Effects 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于突触‑阈值协同的脉冲神经网络学习方法，包括：搭建脉冲神经网络；初始化脉冲神经网络参数；输入数据编码；数据前向传播；数据反向传播；测试网络精度。本发明的方法将神经元阈值参数化，实现了突触权重和神经元阈值的协同学习，通过增加神经元阈值异质性、平衡阈值和突触权重的关系改善了脉冲神经网络的性能；同时本发明通过调节神经元阈值的分布，在深度网络上进一步降低了脉冲神经网络的整体放电率，使网络能够在硬件系统上以低功耗的方式正常运行，节省了电能。
Description
技术领域
本发明属于类脑智能技术领域，具体涉及一种脉冲神经网络学习方法。
背景技术
脉冲神经网络(Spiking Neural Network，SNN)被称作第三代神经网络，并受到越来越多的关注。不同于目前广为流行的人工神经网络，脉冲神经网络受真实脑机制启发，以更具有生物可靠性的脉冲神经元作为信息处理的基本结构，并通过时间方向上离散的脉冲事件进行信息编码和信息传递。这种基于精确时间的信息处理和信息编码方式，使脉冲神经网络成为处理复杂时空信息的有效工具，且相对于人工神经网络，在鲁棒性、能耗以及准确率等方面显示出了优越性。
受限于脉冲事件的离散特性和神经元动态的复杂性，发展脉冲神经网络高效学习方法成为了一个亟待解决的重要课题。现有SNN学习方法可以分为无监督学习、间接学习、直接监督学习、融合学习，并取得了一定的效果。然而，这些学习方法都是以神经元突触可塑性为基础，但在真实大脑中，学习过程还会同时受到非突触性神经元内源机制的重要影响。通过深度融合突触和内源非突触机制，发展面向SNN的新型高效学习方法，有望提升其在复杂场景智能任务下的表现。
发明内容
针对现有技术存在的上述问题，本发明提出了一种基于突触-阈值协同的脉冲神经网络学习方法。
本发明的具体技术方案为：一种基于突触-阈值协同的脉冲神经网络学习方法，包括如下步骤：
S1.搭建脉冲神经网络；
S2.初始化脉冲神经网络参数：包括突触权重、神经元阈值、神经元膜电位、神经元膜时间常数、时间窗长度以及网络优化器具体参数；
S3.输入数据编码：图片的每个像素点或音频信号的每个通道将对应一个脉冲神经元进行编码，编码后的脉冲被传入隐藏层进行信息处理；
S4.数据前向传播：将编码后的脉冲传入脉冲神经网络，根据突触权重和神经元阈值更新神经元膜电位并生成神经元脉冲，通过解码层得到网络输出，最后通过损失函数和数据标签获取网络监督误差；
S5.数据反向传播：根据突触-阈值协同学习方法更新突触权重和神经元阈值；
S6.测试网络精度：若网络精度稳定，则停止网络训练。
本发明的有益效果：本发明的方法将神经元阈值参数化，实现了突触权重和神经元阈值的协同学习，通过增加神经元阈值异质性、平衡阈值和突触权重的关系改善了脉冲神经网络的性能，包括提升网络精度、提高网络鲁棒性等；同时，本发明通过调节神经元阈值的分布，在深度网络上进一步降低了脉冲神经网络的整体放电率，使网络能够在硬件系统上以低功耗的方式正常运行，节省了电能。
附图说明
图1是为本发明实施例的前馈型脉冲神经网络结构示意图。
图2是为本发明实施例的突触-阈值协同学习示意图。
图3是为本发明实施例的基于突触-阈值协同的脉冲神经网络学习方法流程示意图。
图4是为本发明实施例的基于突触-阈值协同的脉冲神经网络学习方法的结果展图示。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式，以便本领域的技术人员能够更好地理解本发明。
大量实验表明，神经元的放电阈值作为一个神经系统中重要的内源性特征，其在毫秒时间尺度上表现出丰富的动态特性，并被认为是促进神经信息处理的一种重要潜在机制。受上述实验发现的启发，构建了一种基于“突触-阈值”协同训练的SNN新型学习方法，实现了SNN训练效果的显著提升，对深入发展受生物脑启发的SNN高效协同学习策略具有重要意义和参考价值。因此本发明借鉴生物机制，通过神经元发放阈值对于网络稳态的调节作用，发展一种基于突触-阈值协同的脉冲神经网络学习方法，从而进一步提升脉冲神经网络性能。
本发明的技术方案为：本发明面向脉冲神经网络，通过借鉴神经元内部可塑性机制，发展一种突触权重和神经元阈值协同的学习方法。本发明所涉及脉冲神经网络包括信息编码层、隐藏层(卷积层和全连接层)以及信息解码层。本发明所处理信息包括但不限于静态图像、神经形态图像、音频信号。针对不同输入信息，编码层可以采取两种方案进行数据预处理：(1)在时间窗内的每个时刻通过伯努利随机数生成器，将输入数据的静态值编码为脉冲，并传递给隐藏层；(2)在时间窗内的每个时刻直接接受原始数据，由编码层神经元生成脉冲，并传递给隐藏层。隐藏层通过卷积和全连接等结构对数据进行时空特征提取和分类。解码层通过统计神经元放电率得到网络输出。网络使用脉冲神经元为基本信息处理单元，相邻层神经元使用正向突触进行连接，所有神经元配置可独立训练的阈值。网络训练方法包括但不限于近似梯度时空反向传播(STBP)、依赖脉冲发放时间的可塑性(STDP)、强化学习等。
参阅图1，本发明所涉及脉冲神经网络为前馈级联结构，由信息编码层、隐藏层以及信息解码层三部分组成。具体如下：
1.编码层：本发明所处理信息包括但不限于静态图像、神经形态图像、音频信号。本发明的一个具体实施例中，针对图片分类网络模型，采用MNIST手写体数字图片作为数据输入，使用区间为[0,1]的均匀分布随机数生成器生成随机值，将图片像素和生成的随机值进行大小比较。当像素值≥随机值时：编码神经元向隐藏层输入脉冲(1)；当像素值＜随机值时：编码神经元向隐藏层输入非脉冲(0)。本发明的另一个具体实施例中，针对图片分类网络模型，采用神经形态图片CIFAR10-DVS作为数据输入。神经形态图片是具有正负双通道的时序数据，且数据表征方式为脉冲(1)和非脉冲(0)，因此编码层直接接受原始数据并输入隐藏层。
2.隐藏层：每层可设置为卷积结构或全连接结构，并根据具体任务和需求，设置隐藏层的层数和每层的具体情况。
3.解码层：信息解码层用以统计神经元放电率并得到网络输出。本发明的一个具体实施例中，针对分类任务，解码层神经元分别对应某一数据类别，且在时间窗上具有最高放电率的类别神经元决定网络的预测结果。
参阅图1和图2，本发明具体实施例中，脉冲神经网络由泄露整合发放(LIF)脉冲神经元构成，泄露整合发放脉冲神经元是一种能够继承自身膜电位状态并同时接受外部电流的时空信息处理模型。具体实施例所涉及LIF神经元为离散模式，公式如下：
其中，第i个神经元在t时刻的神经元膜电位为
在t-1时刻的膜电位为
第i个神经元在t时刻的神经元脉冲发放为
在t-1时刻的脉冲发放为
第i个神经元的膜电位衰减常数为δi，
为第i个神经元在t时刻的输入信息，
为第j个神经元在t时刻的脉冲发放。本实施例中，连接第i个神经元和第j个神经元的突触权重
和神经元阈值vth，i都是可训练参数。
参阅图3，本发明具体实施例中，突触-阈值协同学习方法完整步骤如下：
S1：搭建脉冲神经网络：根据具体任务，选取编码方案并设定解码层神经元数量，设置隐藏层的深度和每层的结构，并定义损失函数。本发明的一个具体实施例中，针对MNIST数据集上分类任务，搭建卷积脉冲神经网络。编码层使用伯努利生成器将原始数据转换为脉冲，解码层由10个神经元分别代表10个数字类别，网络包含两个卷积层、两个池化层、两个全连接层，且使用BatchNorm和Dropout技术防止梯度消失和过拟合；
S2：初始化脉冲神经网络参数：网络突触权重W服从均匀分布
其中，fanin为赋权张量的元素数量；神经元初始阈值vth，i；神经元初始膜电位全部设置为0mV；神经元衰减常数δi；时间窗长度T。本发明的一个具体实施例中，针对MNIST数据集上分类任务，网络突触权重
全部神经元初始阈值vth，i＝2.0mA，神经元衰减常数δi＝0.5，时间窗长度T为4ms，网络优化器为Adam，且学习率以指数形式衰减，epoch为100，batch size为50；
S3：输入数据编码：图片的每个像素点或音频信号的每个通道将由一个脉冲神经元进行编码；
S4：数据前向传播：将编码后的脉冲序列传入脉冲神经网络，根据脉冲神经元膜电位迭代公式更新膜电位，根据神经元阈值获得神经元脉冲发放，且上一层神经元的脉冲发放将作为信息传递的媒介进入下层神经元。在脉冲神经网络中，前向传播过程基于时间窗进行迭代，由解码层计算网络输出，最终通过损失函数和数据标签值计算网络监督误差。本发明的一个具体实施例中，针对MNIST数据集上的分类任务，选取均方误差(MSE)作为损失函数，公式如下：
其中，S为样本数量，N代表编码层，T表示时间窗长度，ys为样本s的标签，
为脉冲神经网络接收样本s后，编码层在t时刻的脉冲发放情况。
S5：数据反向传播：根据链式求导法则，损失函数对神经元脉冲发放和神经元膜电位的偏导数公式如下：
其中，
为第n层第i个神经元在t时刻的脉冲发放情况，
为第n层第i个神经元在t时刻的神经元膜电位，l(n+1)表示第n+1层神经元的数量。
基于以上公式，可以得到损失函数对各层突触权重和神经元阈值的偏导数：
其中，Wn为矩阵，表示第n层神经元的突触权重；ut，n，xt，n，ot，n为列向量，表示第n层神经元在t时刻的膜电位、输入信息和脉冲发放情况；
为列向量，表示第n层神经元的放电阈值。
受限于脉冲神经元发放脉冲的过程是一个不可导的激活函数，本发明在时空反向传播过程中使用替代函数对发放脉冲的过程进行近似处理，替代函数公式如下：
其中，arctan()表示反正切函数，
为第n层第i个神经元在t时刻的神经元膜电位，
为第n层第i个神经元的放电阈值。
通过时空反向传播和链式求导法则，得到了监督误差对可训练参数“突触权重”和“神经元阈值”的偏导，并通过梯度下降算法实现参数的更新。
S6：测试网络精度：若网络精度稳定，则停止网络训练。
图4是为本发明实施例的基于突触-阈值协同的脉冲神经网络学习方法的结果展示图，图中阴影部分为真实训练曲线，黑线为10个epoch平滑之后的训练曲线。通过观察突触学习和协同学的训练曲线，可以发现协同学习能够显著提升网络精度。
Claims (5)
1.一种基于突触-阈值协同的脉冲神经网络学习方法，包括如下步骤：
S1.搭建脉冲神经网络；
S2.初始化脉冲神经网络参数：包括突触权重、神经元阈值、神经元膜电位、神经元膜时间常数、时间窗长度以及网络优化器具体参数；
S3.输入数据编码：图片的每个像素点或音频信号的每个通道将对应一个脉冲神经元进行编码，编码后的脉冲被传入隐藏层进行信息处理；
S4.数据前向传播：将编码后的脉冲传入脉冲神经网络，根据突触权重和神经元阈值更新神经元膜电位并生成神经元脉冲，通过解码层得到网络输出，最后通过损失函数和数据标签获取网络监督误差；
S5.数据反向传播：根据突触-阈值协同学习方法更新突触权重和神经元阈值；
S6.测试网络精度：若网络精度稳定，则停止网络训练。
2.根据权利要求1所述的一种基于突触-阈值协同的脉冲神经网络学习方法，其特征在于，步骤S1所述的脉冲神经网络由泄露整合发放(LIF)脉冲神经元构成，LIF神经元为离散模式，公式如下：
其中，第i个神经元在t时刻的神经元膜电位为
在t-1时刻的膜电位为
第i个神经元在t时刻的脉冲发放为
在t-1时刻的脉冲发放为
第i个神经元的膜电位衰减常数为δi，
为第i个神经元在t时刻的输入信息，
为第j个神经元在t时刻的脉冲发放，
为连接第i个神经元和第j个神经元的突触权重，vth，i为第i个神经元的神经元阈值。
3.根据权利要求2所述的一种基于突触-阈值协同的脉冲神经网络学习方法，其特征在于，步骤S2所述的突触权重W服从均匀分布
其中，fan_in为赋权张量的元素数量；神经元初始阈值vth，i；神经元初始膜电位
全部设置为0mV。
4.根据权利要求3所述的一种基于突触-阈值协同的脉冲神经网络学习方法，其特征在于，步骤S4选取均方误差(MSE)作为损失函数，公式如下：
其中，S为样本数量，N代表编码层，T表示时间窗长度，ys为样本s的标签，
为脉冲神经网络接收样本s后，编码层在t时刻的脉冲发放情况。
5.根据权利要求4所述的一种基于突触-阈值协同的脉冲神经网络学习方法，其特征在于，步骤S5的具体过程如下：
根据链式求导法则，损失函数对神经元脉冲发放和神经元膜电位的偏导数公式如下：
其中，
为第n层第i个神经元在t时刻的脉冲发放情况，
为第n层第i个神经元在t时刻的神经元膜电位，l(n+1)表示第n+1层神经元的数量；
基于以上公式，得到损失函数对各层突触权重和神经元阈值的偏导数：
其中，Wn为矩阵，表示第n层神经元的突触权重；ut，n，xt，n，ot，n为列向量，表示第n层在t时刻的神经元膜电位、输入信息和脉冲发放情况；
为列向量，表示第n层神经元的放电阈值；
在时空反向传播过程中使用替代函数对发放脉冲的过程进行近似处理，替代函数公式如下：
其中，arctan()表示反正切函数，
为第n层第i个神经元在t时刻的神经元膜电位，
为第n层第i个神经元的放电阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210644672.0A CN115809700A (zh) | 2022-06-09 | 2022-06-09 | 基于突触-阈值协同的脉冲神经网络学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210644672.0A CN115809700A (zh) | 2022-06-09 | 2022-06-09 | 基于突触-阈值协同的脉冲神经网络学习方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115809700A true CN115809700A (zh) | 2023-03-17 |
Family
ID=85482325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210644672.0A Pending CN115809700A (zh) | 2022-06-09 | 2022-06-09 | 基于突触-阈值协同的脉冲神经网络学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115809700A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117875408A (zh) * | 2024-03-13 | 2024-04-12 | 中南大学 | 一种面向瑕疵检测的脉冲神经网络的联邦学习方法 |
| CN117933499A (zh) * | 2024-03-22 | 2024-04-26 | 中国铁建电气化局集团有限公司 | 高速铁路接触网的入侵风险预测方法、装置和存储介质 |
| CN118278467A (zh) * | 2024-04-11 | 2024-07-02 | 深圳技术大学 | 一种基于图像平衡自稀疏编码的脉冲神经元模型及系统 |
-
2022
- 2022-06-09 CN CN202210644672.0A patent/CN115809700A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117875408A (zh) * | 2024-03-13 | 2024-04-12 | 中南大学 | 一种面向瑕疵检测的脉冲神经网络的联邦学习方法 |
| CN117933499A (zh) * | 2024-03-22 | 2024-04-26 | 中国铁建电气化局集团有限公司 | 高速铁路接触网的入侵风险预测方法、装置和存储介质 |
| CN118278467A (zh) * | 2024-04-11 | 2024-07-02 | 深圳技术大学 | 一种基于图像平衡自稀疏编码的脉冲神经元模型及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115809700A (zh) | 基于突触-阈值协同的脉冲神经网络学习方法 | |
| CN112633497B (zh) | 一种基于重加权膜电压的卷积脉冲神经网络的训练方法 | |
| US6009418A (en) | Method and apparatus for neural networking using semantic attractor architecture | |
| CN108304912B (zh) | 一种运用抑制信号实现脉冲神经网络监督学习的系统和方法 | |
| CN112906828A (zh) | 一种基于时域编码和脉冲神经网络的图像分类方法 | |
| CN108446766A (zh) | 一种快速训练堆栈自编码深度神经网络的方法 | |
| CN114998659B (zh) | 随时间在线训练脉冲神经网络模型的图像数据分类方法 | |
| CN111310816B (zh) | 基于无监督匹配追踪编码的仿脑架构图像识别方法 | |
| CN114861838B (zh) | 一种基于神经元复杂动力学的脉冲神经类脑智能分类方法 | |
| CN115936070A (zh) | 一种低延时低功耗脉冲神经网络转换方法 | |
| CN115170943A (zh) | 一种基于迁移学习的改进视觉Transformer海底底质声呐图像分类方法 | |
| CN114118378A (zh) | 基于阈值自适应神经元的硬件友好stdp学习方法和系统 | |
| Bishop | Pattern recognition and feed-forward networks | |
| CN112288078A (zh) | 一种基于脉冲神经网络的自学习、小样本学习和迁移学习的方法与系统 | |
| KR102191346B1 (ko) | 버스트 스파이크에 기반한 스파이킹 신경망 생성 방법 및 스파이킹 신경망 기반 추론 장치 | |
| Lin et al. | SPA: An efficient adversarial attack on spiking neural networks using spike probabilistic | |
| CN111260054A (zh) | 一种提高联想记忆脉冲神经网络准确度的学习方法 | |
| CN115546556A (zh) | 用于图像分类的脉冲神经网络的训练方法 | |
| CN115063597A (zh) | 一种基于类脑学习的图像识别方法 | |
| CN113723594A (zh) | 一种脉冲神经网络目标识别方法 | |
| CN115880324A (zh) | 基于脉冲卷积神经网络的战场目标图像阈值分割方法 | |
| CN111797968A (zh) | 一种基于脉冲神经网络的重加权稀疏重建方法 | |
| CN116797851B (zh) | 图像分类模型的类脑连续学习方法、图像分类方法和装置 | |
| Zhang et al. | A Bionic Spiking Recurrent Neural Network with Sparse Connections and Dale's Principle | |
| CN115761004A (zh) | 一种基于多神经网络的相机标定校正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |