CN112288078B - 一种基于脉冲神经网络的自学习、小样本学习和迁移学习的方法与系统 - Google Patents

Abstract

一种基于脉冲神经网络的自学习、小样本学习和迁移学习的方法，构建记忆网络、认知网络和知识归纳与迁移网络三个模块，通过模块之间协同合作实现自学习、小样本学习和迁移学习。小样本输入数据经过认知网络模块处理之后由记忆网络模块实现记忆生成，随后知识归纳与迁移网络模块发起记忆提取请求，记忆网络模块收到记忆提取请求后，提取记忆、重组并回放到认知网络模块；认知网络模块完成自学习过程，并通过不断持续该过程最终实现小样本学习，知识归纳与迁移网络模块不断更新当前任务所需知识，实现迁移学习。本发明实现了自学习、小样本学习和迁移学习，突破了神经网络学习需要大量标注样本、鲁棒性和适应性差、可解释性不足、能效比低等局限。

Description

一种基于脉冲神经网络的自学习、小样本学习和迁移学习的 方法与系统

技术领域

本发明属于人工智能、神经网络技术领域，特别涉及一种基于脉冲神经网络的自学习、小样本学习和迁移学习的方法与系统。

背景技术

当前主流的神经网络计算模型的训练需要大量标注数据，同时模型的好坏过于依赖数据的好坏，鲁棒性和适应性不好。并且整个过程是处于黑箱的，所以没有多少可解释性。并且也每个神经网络训练过程是孤立的，不同任务需要重新训练，缺少有效的迁移学习能力。受制于依赖大量标注样本、鲁棒性和适应性差、可解释性不足等局限，所以导致学习成本巨大，所以未来要走向更通用的人工智能，需要向人脑学习，在脑结构和功能启发下，研究新的学习算法和网络结构，实现神经网络的小样本学习和自学习。脉冲神经网络号称是第三代神经网络，因为其神经元模型更加接近真实神经元，所以认为其在学习人脑方面实现智能有更大的潜力。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于脉冲神经网络的自学习、小样本学习和迁移学习的方法与系统，结合脉冲神经网络的仿生型特性，不仅可以实现小样本学习，极大的降低神经网络训练成本，还可以实现自学习，设计了可控的记忆回放机制，使网络学习效率更高，效果更好，具有更强的自适应能力以及迁移能力，泛化性和鲁棒性表现更优，最后还天然集成了迁移学习，为发展通用型脉冲神经网络提供了基础。

为了实现上述目的，本发明采用的技术方案是：

一种基于脉冲神经网络的自学习、小样本学习和迁移学习的方法，构建记忆网络、认知网络和知识归纳与迁移网络，通过三个网络之间的协同来到达自学习、小样本学习和迁移学习的目的，其中，小样本数据经过认知网络处理之后由记忆网络实现记忆生成，随后知识归纳与迁移网络发起记忆提取请求，记忆网络收到记忆提取请求后，提取记忆、重组并回放到认知网络上，认知网络完成自学习过程，并通过不断地持续该过程最终实现小样本学习，知识归纳与迁移网络不断更新当前任务所需知识，实现迁移学习的过程。

对所述小样本数据进行初步的处理，通过非神经网络的方法屏蔽样本中的噪音，然后将处理后的样本按照脉冲转换规则转换成相应脉冲发射，将这些脉冲输入到认知网络；所述认知网络对所述脉冲输入进行处理，提取知识进行学习，得到输出，一部分输入至记忆网络，记忆网络将其蕴含的知识存储在自身的记忆模块中，另一部分处理后存储到知识归纳与迁移网络的知识归纳模块，所述知识归纳与迁移网络定时启动，以知识归纳模块存储的知识作为输入进行处理，进行联想和提取知识间的深度联系，将处理后的信息当作记忆提取请求输入到记忆网络，所述记忆网络接收到记忆提取请求后激活相关记忆模块，将输出输入到认知网络，认知网络进行自学习，不断重复上述步骤的循环，实现小样本数据情况下对数据进行深度学习的自学习过程。

本发明还提供了一种基于脉冲神经网络的自学习、小样本学习和迁移学习的系统，包括：

认知网络，用于小样本数据输入的处理和初步提取样本中的知识；

记忆网络，用于存储学习到的所有知识；

知识归纳与迁移网络，包括用于记忆提取的学习网络模块和用于表征当前任务所需要的记忆的知识归纳模块；

其中，所述认知网络的输出分为两个部分，一部分输出连接记忆网络，将知识存储在记忆网络中，另一部分输出连接知识归纳模块，将当前任务所需的知识存储在知识归纳模块中。

所述认知网络是一个基于STDP规则学习的多层脉冲神经元网络，整体上分为输入层、隐藏层和输出层，所述输入层使用a个脉冲生成器构建，接收脉冲信息后在对应的时间产生脉冲，所述隐藏层使用一个多层网络构建，层与层之间进行全连接，其中神经元包含抑制型神经元和兴奋型神经元，其权值学习和结构学习基于STDP规则和HEBB规则，并且是有监督的学习；所述输出层使用三个部分构建，第一部分是预测结果，第二部分是b个脉冲神经元，在接收到隐藏层的输入和预测结果后将其提取和转换对应成相应的脉冲输入到记忆网络进行记忆，第三部分由c个算子组成，用于将隐藏层输出和预测结果转换成静态结构，存储到知识归纳模块中；其中，输入层和隐藏层第一层之间全连接，隐藏层最后一层和输出层的脉冲神经元全连接。

述多层网络的层数和每层神经元数量视任务难度而定，不超过6层，每层约为1000个神经元；通过设置抑制型神经元和兴奋型神经元的比例让网络达到平衡；所述算子可以是对输出层神经元激发时间、频率的统计或对脉冲序列的转码。

所述记忆网络包括输入模块、记忆模块和输出模块，知识被存储在神经元之间的结构中，不仅包括突触权值，其本身的拓扑结构也存储着信息；所述记忆网络使用多层脉冲神经网络构建，整体上分为输入层、记忆层和输出层，所述输入层由b+1个正常脉冲神经元和一个门控神经元组成，正常脉冲神经元用于接收知识归纳与迁移网络或者认知网络输入的脉冲，门控神经元用于判断当前输入是需要提取相关记忆还是存储相关记忆，在记忆层进行处理前，如果门控神经元激发则为提取记忆，随后记忆层中的突触权值和结构都会被冻结，无法生成新的记忆，如果没激发则是存储，记忆层中的突触权值和结构是可被改变的；所述记忆层由d个记忆模块灵活组建，每个记忆模块视为p*q*l的脉冲神经元阵列，视任务难度调节d的值，记忆层维护一个时间窗，用于存储激发的神经元，如果有一群神经元激发时间的差值小于ε_t，并且空间距离也小于ε_dis，则认为这是存储了相关记忆的神经元团，将其中神经元随机连接到输出层的部分神经元上，记忆层突触生长和权值学习过程基于HEBB规则和STDP规则；所述输出层由a个正常脉冲神经元构建，对记忆层中的神经元团响应情况进行汇总，然后输出到认知网络；其中每个输入层神经元随机向e个记忆模块中的f个神经元建立连接，每个记忆模块中的神经元团和输出层之间建立全连接。

所述知识归纳与迁移网络使用多层脉冲神经网络构建，整体上分为定时器、输入层、隐藏层和输出层；所述输入层使用g个正常的脉冲生成器构建，将知识归纳模块进行编码转换成脉冲激发时间后输入到输入层，输入层中的脉冲生成器接收到输入后在对应的时间产生脉冲；所述隐藏层使用h个加了噪音的脉冲神经元构建，每层之间为全连接，加有噪声后，对输入脉冲之间的关系产生扰动，进而达到联想的效果，其中隐藏层中突触权值调整基于STDP规则；所述输出层使用b+1个正常脉冲神经元和一个脉冲生成器构建，正常脉冲神经元将隐藏层的输出进行汇总然后输入到记忆网络，脉冲神经元连接向记忆网络的门控神经元，在输出层其他神经元输入到记忆网络前激活记忆网络输入层的门控神经元；其中输入层和隐藏层之间全连接，隐藏层和输出层之间全连接，所述定时器设定合理的时候t后，每间隔t进行激发，将知识归纳模块输入到知识归纳与迁移网络中，开启一轮自学习。

所述知识归纳模块是一个N*M*K的权值矩阵，N*M是一个矩阵大小，K是矩阵数量，所述知识归纳模块是静态结构，每次更新时将原先的权值进行一些衰减，然后加上新数据，该过程是一个attention机制，随着知识归纳模块的更新，旧内容渐渐被新内容替换，天然具有实现迁移学习的能力。

所述知识归纳模块的更新过程如下：

步骤1：将当前输入和之前的输入进行相似度计算，使用Jaccard系数、余弦相似度来衡量相似度均可，假设相似度为si，保证si小于1.0；

步骤2：设置常数α，α>1，获得衰减系数si^α，这个公式表明，相似度越高，知识归纳与迁移网络的知识归纳模块的历史信息丢失越快，反之丢失越慢；

步骤3：将知识归纳模块原先权值乘以步骤2中计算的衰减系数后加上新的输入。

所述HEBB规则特征为：如果在时间窗内Neuron1在Neuron2激发前θ_t秒内激发的次数多于θ_th且Neuron1和Neuron2之间没有突触连接和距离小于θ_dis，则Neuron1将和Neuron2建立一个突触连接；

所述STDP规则特征为：对于一轮仿真，突触的权值变化如下：

其中t₂是突触后神经元激发时间，t₁是突触前神经元激发时间，λ是学习率，α是不对称参数，μ权值决定系数，τ是STDP时间窗常数，Δt＝t₂-t₁，Δw是权值改变量，w是更新前的权值。

与现有技术相比，本发明的有益效果是：

1)、本发明开创性的设计了记忆网络、认知网络和知识归纳与迁移网络三个模块，通过这三个模块的协同可以进行自学习，不断构建学习的循环，在实现自学习方面上具有先进性。

2)、本发明拥有很好的小样本学习效果，在自学习的过程中不断提取、归纳和学习现有样本中的知识，达到使用少量学习即可达到很好的效果。

3)、本发明设计的结构对具有通用性，适用于解决各种问题，并且具有很好的自适应性，天然集成了迁移学习的过程。

4)、本发明可用于语音识别中，经过少量的语音采样后使用此方法训练脉冲神经网络，就可以将语音识别出文字，并且针对不同语言，此方法可以用一个模型进行迁移学习，减少学习成本。

5)、本发明可用于图像识别中，只需提供少量标注图片作为样本，减低人工标注成本，学习完成后可以对图片中实体进行识别，并具有很好的泛化性。

附图说明

图1是本发明整体原理图。

图2是认知网络结构图。

图3是记忆网络结构图。

图4是知识归纳与迁移网络结构图。

图5是知识归纳与迁移网络的知识归纳模块的示意图。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

参考图1，本发明一种基于脉冲神经网络的自学习、小样本学习和迁移学习的方法，包括如下步骤：

步骤1：构建记忆网络、认知网络和知识归纳与迁移网络三个模块，通过这三个模块之间的协同来到达自学习、小样本学习和迁移学习的目的。小样本输入数据经过认知网络模块处理之后由记忆网络模块实现记忆生成。随后知识归纳与迁移网络模块会发起记忆提取请求。记忆网络模块收到记忆提取请求后，提取记忆、重组并回放到认知网络模块上。认知网络模块完成自学习过程，并通过不断的持续这个过程最终实现小样本学习，知识归纳与迁移网络会不断更新当前任务所需知识，实现迁移学习的过程；

步骤1.1：对小样本进行初步的处理，通过非神经网络的方法如去噪和卷积等方式来屏蔽样本中的噪音，然后将处理后的样本按照脉冲转换规则转换成相应脉冲发射；

步骤1.2：将这些脉冲输入到认知网络，认知网络对输入进行处理，提取知识进学习，得到输出，输出一部分输入记忆网络，一部分处理后存储到知识归纳与迁移网络的知识归纳模块；

步骤1.3：记忆网络获得来自认知网络的输入后将其蕴含的知识存储在自身的记忆模块中。

步骤1.4：知识归纳与迁移网络会定时的启动，其以知识归纳与迁移网络的知识归纳模块作为输入，进行处理，其可以进行联想和提取知识间的深度联系，将处理后的信息当作记忆提取请求输入到记忆网络；

步骤1.5：记忆网络接收到知识归纳与迁移网络的请求后激活相关记忆模块，将输出输入到认知网络，认知网络进行自学习；

步骤1.6：不断重复上述步骤的循环，此系统就可以实现在小样本的情况对数据进行深度学习的自学习过程。

步骤2：建立认知网络用于样本输入的处理和初步提取样本中的知识，结构如图2所示，认知网络是一个基于STDP规则学习的多层脉冲神经元网络，这个网络输出分为两个部分，一部分输出连接向记忆网络，用于把知识存储在记忆网络中，一部分输出连向知识归纳与迁移网络的知识归纳模块，用于存储当前任务所需的知识；

步骤2.1：使用多层的脉冲神经网络构建认知网络，整体上可以分为三层，输入层、输出层和隐藏层；

步骤2.2：使用a个脉冲生成器构建输入层，接收脉冲信息后在对应的时间产生脉冲；

步骤2.3：使用一个多层网络构建隐藏层，层数和每层神经元数量视任务难度而定，但一般不超过6层，每层1000个神经元，层与层之间进行全连接。其中神经元包含抑制型神经元和兴奋型神经元，通过合理的设置这两种神经元的比例让网络达到平衡，其权值学习和结构学习基于STDP规则和HEBB规则，并且是有监督的学习；

步骤2.4：使用三个部分构建输出层，一个部是预测结果。一部分是b个脉冲神经元，在接收到隐藏层的输入和预测结果后将其提取和转换对应成相应的脉冲输入到记忆网络进行记忆，另一部分由c个算子组成，用于将隐藏层输出和预测结果转换成静态结构，存储到知识归纳与迁移网络的知识归纳模块中，这些算子可以是对输出层神经元激发时间及频率的统计、对脉冲序列的转码等；

步骤2.5：输入层和隐藏层第一层之间全连接，隐藏层最后一层和输出层的脉冲神经元全连接。

步骤3：建立记忆网络用于存储学习到的所有知识，此网络基于三个子模块，输入模块、记忆模块和输出模块，整个网络规模巨大，可以认为知识被存储在神经元之间的结构中，不仅包括突触权值，其本身的拓扑结构也存储着信息，所以规模越大，记忆能力越强；

步骤3.1：使用多层脉冲神经元网络构建记忆网络，结构如图3所示，总体上可分为三层，输入层、记忆层和输出层；

步骤3.2：使用b+1个正常脉冲神经元和一个门控神经元组成输入层，正常脉冲神经元用于接收知识归纳与迁移网络或者认知网络输入的脉冲，而门控神经元用于判断当前输入是需要提取相关记忆还是存储相关记忆，在记忆层进行处理前，如果门控神经元激发则为提取记忆，随后记忆层中的突触权值和结构都会被冻结，无法生成新的记忆，如果没激发则是存储，记忆层中的突触权值和结构可以被改变；

步骤3.3：使用d个记忆模块灵活组建记忆层，每个记忆模块可以视为p*q*l的脉冲神经元阵列，视任务难度调节d的值。记忆层将会维护一个时间窗，用于存储激发的神经元，如果有一群神经元激发时间的差值小于ε_t，并且空间距离也小于ε_dis，则认为这是存储了相关记忆的神经元团，将其中神经元随机连接到输出层的部分神经元上。记忆层突触生长和权值学习过程基于HEBB规则和STDP规则；

步骤3.4：使用a个正常脉冲神经元构建输出层，对记忆层中的神经元团响应情况进行汇总，然后输出到认知网络；

步骤3.5：输出层和记忆模块之间随机建立连接，每个输入层神经元随机向e个记忆模块中的f给神经元建立连接。记忆模块中的神经元团和输出层之间建立全连接。

步骤4：建立知识归纳与迁移网络的学习网络模块用于记忆提取；

步骤4.1：参考图4，使用一个多层脉冲神经网络建立知识归纳与迁移网络，整体上分为定时器、输入层、隐藏层和输出层；

步骤4.2：使用g个正常的脉冲生成器构建输入层，将知识归纳与迁移网络的知识归纳模块进行编码转换成脉冲激发时间后输入到输入层，输入层中的脉冲生成器接收到输入后在对应的时间产生脉冲；

步骤4.3：使用h个加了噪音的脉冲神经元构建隐藏层，每层之间为全连接，加有噪声后，对输入脉冲之间的关系产生扰动，进而达到联想的效果。隐藏层中突触权值调整基于STDP规则；

步骤4.4：使用b+1个正常脉冲神经元和一个脉冲生成器构建输出层，正常脉冲神经元将隐藏层的输出进行汇总然后输入到记忆网络，脉冲神经元连接向记忆网络的门控神经元，在输出层其他神经元输入到记忆网络前激活记忆网络输入层的门控神经元；

步骤4.5：定时器设定合理的时候t后，每间隔t进行激发，将知识归纳与迁移网络的知识归纳模块输入到知识归纳与迁移网络中，开启一轮自学习；

步骤4.6：输入层和隐藏层之间全连接，隐藏层和输出层之间全连接。

步骤5：建立知识归纳与迁移网络的知识归纳模块，用于表征当前任务所需要的记忆，知识归纳模块是一个N*M*K的权值矩阵；

步骤5.1：使用N*M*K的权值矩阵阵列构建知识归纳模块，结构如图5所示，N*M是一个矩阵大小，K是矩阵数量；

步骤5.2：知识归纳模块是静态结构，每次更新时将原先的权值进行一些衰减，然后加上新数据，这个过程是一个attention机制，随着知识归纳模块的更新，旧内容渐渐被新内容替换，天然具有实现迁移学习的能力。

步骤5.2.1：将当前输入和之前的输入进行相似度计算，使用Jaccard系数、余弦相似度来衡量相似度均可，假设相似度为si，保证si小于1.0；

步骤5.2.2：设置常数α，α>1，获得衰减系数si^α，这个公式表明，相似度越高，知识归纳与迁移网络的知识归纳模块的历史信息丢失越快，反之丢失越慢，这将使此发明具有很好的自适应性；

步骤5.2.3：知识归纳与迁移网络的知识归纳模块的原先权值乘以步骤5.2.2中计算的衰减系数后加上新的输入。

详细介绍步骤2.3和步骤3.3中所提的HEBB规则，HEBB规则描述为：如果在时间窗内Neuron1在Neuron2激发前θ_t秒内激发的次数多于θ_th且Neuron1和Neuron2之间没有突触连接和距离小于θ_dis，则Neuron1将和Neuron2建立一个突触连接。

详细介绍步骤2.3、步骤3.3和步骤4.3中所提的STDP规则，STDP规则描述为：对于一轮仿真，突触的权值变化如公式1和公式2所示，

Δt＝t₂-t₁ 公式1

其中t2是突触后神经元激发时间，t1是突触前神经元激发时间，λ是学习率，α是不对称参数，μ权值决定系数，τ是STDP时间窗常数。

以下是本发明在MNIST数据集识别中的一个具体应用实施例。

以基于脉冲神经网络的自学习、小样本学习和迁移学习——MNIST数据集识别为例。

在该例中，首先对MNIST数据集每个数字各挑选100张图片出来作为训练集用于训练。下一步将选出来的训练集中的图片进行卷积操作，在此例中，选择了四个卷积核，卷积完成后每张图片转换到大小为12*12*4。下一步将数据集按类别进行排序，然后按顺序输入本发明所述系统，每次输入之间间隔10s。按照步骤2构建认知层，此例中输入层脉冲神经元数量为12*12*4个，隐藏层规模选择1000*3，每层抑制性神经元和兴奋性神经元比例为1：5。因为MNIST图片数据集中只有10种数字，所以输出层的预测结果部分是10个脉冲神经元，b选择为576，所有连向这576个神经元的突触的权值固定为500。对认知网络进行基于HEBB的监督学习。在此例中，算子选择两种，一个是频率统计，计算步骤2所述的作为输出的b个神经元对当前图片输入时的激发频率，另一个是统计这b个神经元的时间窗内的激发序列。下一步按步骤5更新知识归纳模块，常数α取2。按步骤3构建记忆网络，在此例中，选择10个记忆模块，每个记忆模块大小为50*50*5，输出层大小a选择576，ε_t选择5ms，ε_dis选择4。下一步按照步骤4构建知识归纳与迁移网络的学习网络模块，输入层g为576*2，隐藏层h为1000，定时器设置t为100ms。如此按此发明建立了一个拥有自学习、小样本学习和迁移学习的脉冲神经网络系统。训练时，每张图片10s，可以在系统中自学习100次，所以虽然是小样本，但是进行了充分的学习。预测时，关闭所有突触的可塑性和定时器，输入要预测的图片到认知网络，但不取第一次认知网络的输出结果，而是让认知网络输入到知识归纳与迁移网络中，然后提取记忆网络中的记忆，再次输入到认知网络，预测结果为此时认知网络的输出。

在此实例中最终使用1000张图片就完成了对MNIST数据集的学习，能够准确对不同数字进行区分，准确率达到正常水平，实现了小样本学习和自学习。这个方法可以作为一种通用的脉冲神经网络学习方法，将MNIST数据集替换成其他数据集，可以解决计算机视觉和人工自然语言处理等领域问题，可以应用在语音识别中对语音转换为文字，经过少量的语音采样后使用此方法训练脉冲神经网络，就可以将语音识别出文字，并且针对不同语言，此方法可以用一个模型进行迁移学习，减少学习成本。在图像中实体识别问题中，按照此方法只需提供少量标注图片作为样本，减低人工标注成本，学习完成后可以对图片中实体进行识别，并具有很好的泛化性。

Claims (2)

1.一种基于脉冲神经网络的MNIST数据集识别方法，基于的系统包括认知网络、记忆网络以及知识归纳与迁移网络；

所述认知网络，用于小样本数据输入的处理和初步提取样本中的知识；

所述记忆网络，用于存储学习到的所有知识；

所述知识归纳与迁移网络，包括用于记忆提取的学习网络模块和用于表征当前任务所需要的记忆的知识归纳模块；

其中，所述认知网络的输出分为两个部分，一部分输出连接记忆网络，将知识存储在记忆网络中，另一部分输出连接知识归纳模块，将当前任务所需的知识存储在知识归纳模块中；

所述认知网络是一个基于STDP规则学习的多层脉冲神经元网络，整体上分为输入层、隐藏层和输出层，所述输入层使用a个脉冲生成器构建，接收脉冲信息后在对应的时间产生脉冲，所述隐藏层使用一个多层网络构建，层与层之间进行全连接，其中神经元包含抑制型神经元和兴奋型神经元，其权值学习和结构学习基于STDP规则和HEBB规则，并且是有监督的学习；所述输出层使用三个部分构建，第一部分是预测结果，第二部分是b个脉冲神经元，在接收到隐藏层的输入和预测结果后将其提取和转换对应成相应的脉冲输入到记忆网络进行记忆，第三部分由c个算子组成，用于将隐藏层输出和预测结果转换成静态结构，存储到知识归纳模块中；其中，输入层和隐藏层第一层之间全连接，隐藏层最后一层和输出层的脉冲神经元全连接；

所述记忆网络包括输入模块、记忆模块和输出模块，知识被存储在神经元之间的结构中，不仅包括突触权值，其本身的拓扑结构也存储着信息；所述记忆网络使用多层脉冲神经网络构建，整体上分为输入层、记忆层和输出层，所述输入层由b+1个正常脉冲神经元和一个门控神经元组成，正常脉冲神经元用于接收知识归纳与迁移网络或者认知网络输入的脉冲，门控神经元用于判断当前输入是需要提取相关记忆还是存储相关记忆，在记忆层进行处理前，如果门控神经元激发则为提取记忆，随后记忆层中的突触权值和结构都会被冻结，无法生成新的记忆，如果没激发则是存储，记忆层中的突触权值和结构是可被改变的；所述记忆层由d个记忆模块灵活组建，每个记忆模块视为p*q*l的脉冲神经元阵列，视任务难度调节d的值，记忆层维护一个时间窗，用于存储激发的神经元，如果有一群神经元激发时间的差值小于ε_t，并且空间距离也小于ε_dis，则认为这是存储了相关记忆的神经元团，将其中神经元随机连接到输出层的部分神经元上，记忆层突触生长和权值学习过程基于HEBB规则和STDP规则；所述输出层由a个正常脉冲神经元构建，对记忆层中的神经元团响应情况进行汇总，然后输出到认知网络；其中每个输入层神经元随机向e个记忆模块中的f个神经元建立连接，每个记忆模块中的神经元团和输出层之间建立全连接；

所述知识归纳与迁移网络使用多层脉冲神经网络构建，整体上分为定时器、输入层、隐藏层和输出层；所述输入层使用g个正常的脉冲生成器构建，将知识归纳模块进行编码转换成脉冲激发时间后输入到输入层，输入层中的脉冲生成器接收到输入后在对应的时间产生脉冲；所述隐藏层使用h个加了噪音的脉冲神经元构建，每层之间为全连接，加有噪声后，对输入脉冲之间的关系产生扰动，进而达到联想的效果，其中隐藏层中突触权值调整基于STDP规则；所述输出层使用b+1个正常脉冲神经元和一个脉冲生成器构建，正常脉冲神经元将隐藏层的输出进行汇总然后输入到记忆网络，脉冲神经元连接向记忆网络的门控神经元，在输出层其他神经元输入到记忆网络前激活记忆网络输入层的门控神经元；其中输入层和隐藏层之间全连接，隐藏层和输出层之间全连接，所述定时器设定合理的时候t后，每间隔t进行激发，将知识归纳模块输入到知识归纳与迁移网络中，开启一轮自学习；

所述知识归纳模块是一个N*M*K的权值矩阵，N*M是一个矩阵大小，K是矩阵数量，所述知识归纳模块是静态结构，每次更新时将原先的权值进行一些衰减，然后加上新数据，该过程是一个attention机制，随着知识归纳模块的更新，旧内容渐渐被新内容替换，天然具有实现迁移学习的能力；

所述知识归纳模块的更新过程如下：

步骤1：将当前输入和之前的输入进行相似度计算，使用Jaccard系数、余弦相似度来衡量相似度均可，假设相似度为si，保证si小于1.0；

步骤2：设置常数α，α>1，获得衰减系数si^α，这个公式表明，相似度越高，知识归纳与迁移网络的知识归纳模块的历史信息丢失越快，反之丢失越慢；

步骤3：将知识归纳模块原先权值乘以步骤2中计算的衰减系数后加上新的输入；

其特征在于，识别方法包括：

s1，对MNIST数据集每个数字各挑选100张图片作为训练集用于训练；

s2，将选出来的训练集中的图片进行卷积操作，选择四个卷积核，卷积完成后每张图片转换到大小为12*12*4；

s3，将数据集按类别进行排序，再按顺序输入所述系统，每次输入之间间隔10s，其中认知网络的输入层脉冲神经元数量为12*12*4个，隐藏层规模选择1000*3，每层抑制性神经元和兴奋性神经元比例为1：5，输出层的预测结果部分是10个脉冲神经元，b选择为576，所有连向这576个神经元的突触的权值固定为500；

s4，对认知网络进行基于HEBB的监督学习，算子选择两种，一个是频率统计，计算作为输出的b个神经元对当前图片输入时的激发频率，另一个是统计这b个神经元的时间窗内的激发序列；

s5，更新知识归纳模块，常数α取2；构建记忆网络，选择10个记忆模块，每个记忆模块大小为50*50*5，输出层大小选择576，ε_t选择5ms，ε_dis选择4；

s6，构建知识归纳与迁移网络的学习网络模块，输入层g为576*2，隐藏层h为1000，定时器设置t为100ms；

s7，训练时，每张图片10s，在系统中自学习100次；预测时，关闭所有突触的可塑性和定时器，输入要预测的图片到认知网络，但不取第一次认知网络的输出结果，而是让认知网络输入到知识归纳与迁移网络中，然后提取记忆网络中的记忆，再次输入到认知网络，预测结果为此时认知网络的输出。

2.根据权利要求1所述基于脉冲神经网络的MNIST数据集识别方法，其特征在于，所述HEBB规则特征为：如果在时间窗内Neuron1在Neuron2激发前θ_t秒内激发的次数多于θ_th且Neuron1和Neuron2之间没有突触连接和距离小于θ_dis，则Neuron1将和Neuron2建立一个突触连接；

所述STDP规则特征为：对于一轮仿真，突触的权值变化如下：

/>

其中t₂是突触后神经元激发时间，t₁是突触前神经元激发时间，λ是学习率，α是不对称参数，μ权值决定系数，τ是STDP时间窗常数，△t＝t₂-t₁，Δw是权值改变量，w是更新前的权值。

Images