CN112232440A - 一种运用特异化神经元团实现脉冲神经网络信息记忆和区分的方法 - Google Patents

Abstract

一种运用特异化神经元团实现脉冲神经网络信息记忆和区分的方法，包括信息预处理阶段、新突触形成记忆的阶段、重复与神经元团提取阶段、记忆提取阶段和实验结果评估阶段，使用包括输入层、隐藏层、输出层在内的三层基本脉冲神经网络架构，给出一种“累积式生长连接算法”完成网络的权值学习和结构学习。提出“神经元团”的概念作为“记忆”的载体，并采取了一系列有效的神经元团提取方案，以及脉冲序列解释逻辑策略等。本方法在小样本情况下达到网络对输入信息的特征提取形成“记忆”，并能有效地根据网络“记忆”做出信息的解释、区分等的输出效果。

Description

一种运用特异化神经元团实现脉冲神经网络信息记忆和区分 的方法

技术领域

本发明属于人工智能技术领域，特别涉及一种运用特异化神经元团实现脉冲神经网络信息记忆和区分的方法。

背景技术

在当前的机器学习领域，使用传统的人工神经网络可以解决模式识别、有效分类、函数估计等复杂的问题，在一些具有高度的非线性和非连续约束的复杂优化问题上也能表现出很好的效果。传统的人工神经网络发展到今天不可否认其在解决某些特定问题以及实践应用方面的优势，但是其在更近一步智能化的处理上也存在着难以解决的瓶颈。主要体现在：随着层数的增加，出现梯度消失；参数数量的膨胀容易使网络陷入局部最优；学习过程需要大量的数据支持，费时费力，而小样本又容易被欺骗；存在智能极限，难以实现强智能等。

被誉为第三代人工神经网络的脉冲人工神经网络(SNN)相比之下具备更强智能优化的可能。其脉冲神经元模仿生物的突触放电机制，具备更高的生物似然性。而脉冲神经网络中传递的是节点激发与否的二进制数据。这让网络理论上可以逼近几乎所有的连续函数，脉冲神经网络增加了时间的维度，网络的拓扑结构受限小，神经元之间的连接方式更加灵活，导致最后网络的呈现也更加多元。但是由于目前有效的训练算法相对贫乏，脉冲人工神经网络的潜力还未得以充分发挥。SNN的监督学习算法算是一个新的研究方向，由于脉冲神经网络本身不连续与非线性的机制，给领域内的有效训练算法的研究带来了困难，新的学习算法与机制还有待进一步发掘。

发明内容

为了解决以上传统人工神经网络针对更复杂问题时在计算力和能耗上的高需求，以及目前脉冲人工神经网络在有效的学习模式和训练算法方面的缺乏等问题，本发明的目的在于提供一种运用特异化神经元团实现脉冲神经网络信息记忆和区分的方法，利用脉冲神经元的生物似然性，仿生性地提出了一套学习模式，构建训练网络，在小样本情况下达到网络对输入信息的特征提取，形成“记忆”，并能有效地根据网络“记忆”做出信息的解释、区分等的输出效果。

为了实现上述目的，本发明采用的技术方案是：

一种运用特异化神经元团实现脉冲神经网络信息记忆和区分的方法，包括如下五个阶段：

信息预处理阶段，对信息进行一次加工，加工的效果需要达到特征提取、冗余信息剔除、信息编码三个方面的要求；

新突触形成记忆的阶段，经过预处理的信息以脉冲序列的方式输入到网络中激活网络的记忆训练，在网络空间中使用算法生成新突触，同时伴随着网络权值的无监督初步调整；

重复与神经元团提取阶段，网络完成训练后，整合生成各神经元团；

记忆提取阶段，再次给网络输入信息，网络将以神经元团为抽象记忆实体，结合神经元团的活跃状态根据产生的脉冲序列输出进行模式分析，做出区分分类的判断，给出判定结果；

实验结果评估阶段，将训练好的网络在检验时的表现数据进行统计整合与分析优化，从宏观上对每个阶段采取的方法进行策略或者参数的调控。

为实现上述方法，本发明采用三层网络的神经网络结构，包括：

输入层，由若干脉冲生成器组成；

隐藏层，由若干脉冲神经元组成；

输出层，即检验层，由若干输出脉冲神经元组成；

层间连接方式如下：输入层的脉冲生成器连接隐藏层的先锋神经元，产生输出脉冲激活隐藏层；隐藏层内部随机初始化若干连接；隐藏层到输出层采取多对一的连接，输出层在每次仿真后由脉冲探测器检测脉冲序列。

优选地，所述隐藏层和输出层的脉冲神经元均选择LIF脉冲神经元模型。

优选地，所述新突触形成记忆的阶段，使用累积式生长连接算法指导生成新的突触，训练网络在初始阶段产生记忆的行为。

优选地，所述累积式生长连接算法采用以下公式计算每次仿真过后潜在突触生长趋势的累积量ac_weight：

ac_weight＝time_weight×voltage_weight

其中，time_weight为时间权重，voltage_weight为电位权重，Δt为接近激发神经元的峰值时间点与已经激发神经元的激发时间点的时间差，V_reset为脉冲神经元的静息电位，V_spike为接近激发神经元的峰值电位，V_th为神经元的激发阈值。

优选地，所述记忆提取阶段分两轮进行，在第一轮，主要确定如何将神经元团内的节点脉冲转化为输出层对应节点的脉冲序列；在第二轮则在结合神经元团内脉冲激发状态的基础上进一步分析处理输出层各节点输出的脉冲序列，然后给出最后的判定结果。

优选地，所述第一轮使用两种权值分配策略决定脉冲序列输出：

策略1，均匀分配：统一分配相同的权值；

策略2，不均匀分配：给神经元团间重复次数多的神经元分配小的权值，给神经元团间重复次数少的神经元分配大的权值；

所述第二轮结合神经元团状态进行脉冲序列的分析与分类判定，判定规则为：输出层结点激发次数多的节点所对应的数字即为网络识别的最终结果。

其中，所述策略1中，从神经元团内每一个节点到输出层对应节点的决策权值都设置为12.0；所述策略2中，分配的权值大小y与重复次数x的函数关系为：y＝2x+30，x取值范围为[0,10]，则权值最小为10，最大为30；

所述第二轮，对于可能存在脉冲激发次数一样的情况，采取下面三种方法之一来进一步过滤判定：

方法1，统计神经元团中100个节点总的激发次数，激发次数多的优胜；

方法2，神经元团中被两个神经元团共有的节点激发只计0.5次虚拟激发，被三个神经元共有的只计1/3次虚拟激发，依次类推，神经元团中虚拟激发次数多的优胜；

方法3，统计每个神经元团的虚拟节点数目，被两个神经元团共有的节点只计0.5个，被三个神经元团共有的只计1/3个，依次类推，虚拟激发密度则为：虚拟激发次数/虚拟神经元团大小，神经元团中虚拟激发密度大的优胜。

优选地，在图片分类场景下，所述信息预处理阶段，针对灰度图片的像素信息采用非线性平方曲线的方式编码到具体的脉冲激发时间点，步骤如下：

1)将[0,255]的像素值均匀映射到区间

中，得到新值z；

2)计算出z²+1即为，该像素值对应输入的脉冲激发时间点；

所述新突触形成记忆的阶段包括如下步骤：

步骤1，设置网络的初始化参数和训练参数，包括：隐含层神经元节点数n、隐含层神经元的激发阈值st、隐含层神经元的不应期时长rp、网络初始连接比率icr、网络初始突触的初始权值isw、神经元的最大入度限制mi、每类图片的新突触数限制sle、新突触的初始权值nsw、新突触形成前总共需要累积的生长趋势阈值at、潜在突触存在的临界条件vi、判断网络出现过度激发状态的临界标准cj；

步骤2，初始化网络，隐含层创建1000个神经元节点并在这些节点间随机初始化10⁶×icr个突触连接；

步骤3，从第一类图片开始选择一个图片类型生成sle个新突触，循环进行仿真，每次仿真对潜在突触进行生长趋势的累积，累积超过at则新突触生成，与此同时已经存在的突触的权值也会按STDP规则进行调整；若某一次仿真出现网络过度激发的情况，则执行步骤5，否则执行步骤4；sle个新突触生长完成后，若所有类型的图片训练生长出足够新突触，则结束算法，否则换下一类图片继续执行步骤3；

步骤4，记录本次仿真结束后网络突触连接的分布与权值情况；

步骤5，本次仿真的所有改动作废，提取上次仿真结束后网络突触连接的分布重新覆盖过度激发后的网络，同时所有突触权值在原基础上降低5％；

所述重复与神经元团提取阶段采用以下两种方案进行神经元团的提取：

方案1，对每类图片，100次重复仿真后，统计激发次数最多的前100个节点作为该类图片的神经元团；

方案2，100次重复仿真后，对某一类图片，把所有激发次数靠前的节点又分为相对高活跃与相对低活跃两类，不同图片类别的相对高活跃的节点中出现的共同节点，称之为共性节点，出现的不同节点称之为特性节点；这些来自相对高活跃的节点中的共性节点与特性节点统一构成全局特征节点群，相对应的来自相对低活跃的节点称之为细节节点，构成局部特征节点群，对同一类图片按比例提取100个全局和局部特征节点群组成神经元团，同一个神经元允许多次出现在不同的神经元团的全局特征节点群之中，而不同神经元团的细节特征节点是互斥的，在同一神经元团中两类特征节点所占比例和为1。

与现有技术相比，本发明的有益效果是：

1、基于仿生的思考，设计提出了一套网络构建与训练模型，证明了这套模型在针对一般模式识别，尤其是图片区分问题上的有效性。

2、结合Hebb机制，提出一种新的网络突触生长连接算法，经过训练网络可以在特定脉冲刺激下训练出新的结构和权值状态，产生一定程度的联想和记忆。

3、特质化的神经元团概念给网络内局部节点间的特定拓扑连接进行抽象，也给出了神经元团的几种提取方式，提高神经元团的质量将是记忆生成效果的关键。网络内部可解释性更高，认为神经元团是网络中信息的存储形式而且特定的信息输入能够使特定的神经元团进入激活状态。

4、对输出的脉冲序列携带信息的分析与提取进行了探讨，给出了几种基于脉冲产生频度和密度的有效理解方式。

5、网络在小样本下的训练效果能有所提高。

附图说明

图1是本发明提出的包括信息预处理到实验结果评估五个阶段的网络训练和评估模型。

图2是本发明提出的三层脉冲神经网络结构图。

图3是以MNIST手写数据集图片识别为实例给出的基于上述三层网络结构的网络训练以及检验的流程示意。

图4是将灰度像素值编码采用非线性的平方映射为脉冲输入网络时间点的函数曲线图。

图5是累积式生长连接算法核心思想示意。

图6是使用累积式生长连接算法在网络中生成新突触的流程图。

图7是提取某次训练好的网络中一个神经元团的拓扑结构图。

图8是观测某次训练好的隐藏层突触连接权值分布情况。

图9是观测某次训练好的隐藏层1000个神经元节点的重复度情况。

图10是结合神经元团的状态，依据特定逻辑对输出层(检验层)节点输出的脉冲序列进行分析理解，最终给出信息的区分判定结果。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

本发明为运用特异化神经元团实现脉冲神经网络信息记忆和区分的方法，利用脉冲神经网络较高的生物似然性，提出一套仿生性的学习模式，使用包括输入层、隐藏层、输出层在内的三层基本脉冲神经网络架构，给出一种“累积式生长连接算法”完成网络的权值学习和结构学习。提出“神经元团”的概念作为“记忆”的载体，并采取了一系列有效的神经元团提取方案，以及脉冲序列解释逻辑策略等。本方法在小样本情况下达到网络对输入信息的特征提取形成“记忆”，并能有效地根据网络“记忆”做出信息的解释、区分等的输出效果。

具体地，参考图1，本发明方法模型包括信息预处理、新突触形成“记忆”、重复与神经元团提取、记忆提取机制、实验结果评估五个阶段：

信息预处理阶段，在这个阶段将对信息进行一次加工，加工的效果一般认为需要达到以下三点要求：第一，提取信息中的全局与局部特征，一方面要保证相似信息输入网络的重合度，另一方面对不同信息的输入也要有明显的区分。第二，剔除冗余信息，简化输入，减少网络需要耗费的资源(于区分效果不明显的同质化信息应当合理剔除)。第三，将处理过后的信息转化为脉冲神经网络能够识别的脉冲序列输入到网络中，不同信息点输入的先后次序可以根据重要程度做出调整。即，加工的效果需要达到特征提取、冗余信息剔除、信息编码三个方面的要求。

新突触形成“记忆”的阶段，在网络空间中使用特定算法完成新突触的生成，同时伴随着网络权值的无监督初步调整。

重复与神经元团提取阶段，整合生成各神经元团，形成神经元团的具体方式体现了神经网络对输入信息的“重复学习”与“总结归纳”过程。

记忆提取阶段，是网络的核心决策部分，这部分的逻辑体现了如何从一次网络仿真中复杂的脉冲激发事件中提取到关键的“知识记忆”，并做出区分或者分类的判断，给出判定结果。

实验结果评估阶段，将训练好的网络在检验时的表现数据进行统计整合与分析优化，从宏观上对每个阶段采取的方法进行策略或者参数的调控。

在上述模型之下，本发明采用三层脉冲神经网络结构，包括输入层、隐含层以及输出层：

输入层，由若干脉冲生成器组成。

隐藏层，由若干脉冲神经元组成，神经元模型优先选择LIF脉冲神经元模型。

输出层(检验层)，由若干输出脉冲神经元组成，神经元模型优先选择LIF脉冲神经元模型。

层间连接：输入层脉冲生成器连接隐藏层的先锋神经元，产生输出脉冲激活隐藏层；隐藏层内部随机初始化若干连接；隐藏层到输出层采取多对一的连接，输出层在每次仿真后会得到输出脉冲序列，脉冲序列由脉冲探测器检测。

在上述的三层脉冲神经网络结构之下，以图片分类为例，针对每个阶段采用以下具体办法：

1)对信息进行预处理，具体地，若信息为黑白像素图片类信息可详细地分为以下步骤：

1.1)图片卷积，进行特征提取，主要采用以下四种4*4卷积核

1.2)采用2*2窗口池化图片卷积后的结果

1.3)编码，采用非线性的平方曲线将不同的像素值映射到[0,100]的脉冲激发时间点上，具体转换方式如下：

步骤1.3.1)将[0,255]的像素值均匀映射到区间

中，得到新值z；

步骤1.3.2)计算出z²+1，即为该像素值对应输入的脉冲激发时间点。

2)新突触形成“记忆”阶段，本发明采用“累积式生长连接算法”来指导生成新的突触，训练网络在初始阶段“产生记忆”的行为。这套算法应用于图片分类的具体表述如下：

步骤2.1)设置网络的一些初始化参数和训练参数，包括但不限于：隐含层神经元节点数n、隐含层神经元的激发阈值st、隐含层神经元的不应期时长rp、网络初始连接比率icr、网络初始突触的初始权值isw、神经元的最大入度限制mi、每类图片的新突触数限制sle、新突触的初始权值nsw、新突触形成前总共需要累积的生长趋势阈值at、潜在突触存在的临界条件vi、判断网络出现过度激发状态的临界标准cj。

步骤2.2.)初始化网络，隐含层创建1000个神经元节点并在这些节点间随机初始化10^6×icr个突触连接。

步骤2.3)从第一类图片开始选择一个图片类型生成sle个新突触，循环进行仿真，每次仿真对潜在突触进行生长趋势的累积，累积超过at则新突触生成。与此同时已经存在的突触的权值也会按STDP规则进行调整。若某一次仿真出现网络过度激发(网络中几乎所有的神经元都产生了高频率的激发)的情况，则执行步骤5,否则执行步骤4。sle个新突触生长完成后，若所有类型图片训练生长出足够新突触则结束算法，否则换下一类图片继续执行步骤3。

步骤2.4)记录本次仿真结束后网络突触连接的分布与权值情况。

步骤2.5)本次仿真的所有改动作废，提取上次仿真结束后网络突触连接的分布重新覆盖过度激发后的网络，同时所有突触权值在原基础上降低5％。

具体地，本发明采用以下公式计算每次仿真过后潜在突触生长趋势的累积量ac_weight：

ac_weight＝time_weight×voltage_weight

其中，time_weight为时间权重，voltage_weight为电位权重。

Δt为接近激发神经元的峰值时间点与已经激发神经元的激发时间点的时间差，V_reset为脉冲神经元的静息电位，V_spike为接近激发神经元的峰值电位，V_th为神经元的激发阈值。

3)重复与神经元团提取阶段，经多次重复仿真后，本发明将从隐含层中提取部分具备相同行为或者逻辑的节点组成神经元团，作为网络对某类图片“记忆”和认知的载体。每类图片都对应生成一个神经元团，神经元团不只是简单的神经元节点集合，每个神经元团除了拥有自己的某些特性和行为外更是依附于网络的整体连接状态(拓扑结构)和突触权值分布的情况而存在。神经元团的提取方式不特别设限，只要能提取出好的特异化神经元团都属于合理范围。本发明现给出以下两种从重复仿真到神经元团提取的方式：

方案1，对每类图片，100次重复仿真后，统计激发次数最多的前100个节点作为该类图片的神经元团。

方案2，100次重复仿真后，对某一类图片，把所有激发次数靠前的节点又分为相对高活跃与相对低活跃两类，不同图片类别数字的相对高活跃的节点中容易出现很多相同的节点，称之为共性节点，不同的节点称之为特性节点；这些来自相对高活跃的节点中的共性节点与特性节点统一构成全局特征节点群，相对应的来自相对低活跃的节点称之为细节节点，构成局部特征节点群。对同一类图片按比例提取100个全局和局部特征节点群组成神经元团，同一个神经元可以多次出现在不同的神经元团的全局特征节点群之中，而不同神经元团的细节特征节点是互斥的，在同一神经元团中两类特征节点所占比例和为1。

4)在“记忆”提取阶段，需要根据各个神经元团的激发状态，对在输出层内各个节点输出的脉冲序列进行整合“理解”，进而判断图片的类别。这部分的工作将依次分两轮完成：在第一轮，主要确定怎么将神经元团内的节点脉冲转化为输出层对应节点的脉冲序列；在第二轮则在结合神经元团内脉冲激发状态的基础上进一步分析处理输出层各节点输出的脉冲序列，然后给出最后的判定结果。每一轮采用的方法可以根据具体情况变化，下面给出本发明在各轮次采用的方案：

第一轮——使用权值分布决定脉冲序列输出：

策略1，统一分配相同的权值，从神经元团内每一个节点到输出层对应节点的决策权值都设置为12.0(均匀分配)。

策略2，给神经元团间重复次数多的神经元分配小的权值，给神经元团间重复次数少的神经元分配大的权值。一个线性分配方式如下：分配的权值大小(y)与重复次数(x)的函数关系为：y＝2x+30。x取值范围为[0,10]，则权值最小为10，最大为30(不均匀分配)。

第二轮——结合神经元团状态进行脉冲序列的分析与分类判定：

在本轮中，主要的判定规则是输出层节点激发次数多的节点所对应的数字为网络识别的最终结果。对于可能存在脉冲激发次数一样的情况，采取下面三种方法之一来进一步过滤判定：

方法1，统计神经元团中100个节点总的激发次数，激发次数多的优胜。

方法2，神经元团中被两个神经元团共有的节点激发只计0.5次虚拟激发，被三个神经元共有的只计1/3次虚拟激发，依次类推，神经元团中虚拟激发次数多的优胜。

方法3，统计每个神经元团的虚拟节点数目，被两个神经元团共有的节点只计0.5个，被三个神经元团共有的只计1/3个，依次类推，虚拟激发密度则为：虚拟激发次数/虚拟神经元团大小。神经元团中虚拟激发密度大的优胜。

5)实验结果评估阶段，可对各种不同的实施方案、策略、方法等进行对比分析，找到最适合当前问题的解决办法。同时也可以根据结果对实验参数进行调整，反馈优化或者给系统可能存在的误差引入一个修正方案等。

下面以识别区分MNIST手写数据集各类数字图片为例，结合附图对本发明的实施方式作进一步说明。

给出发明内容中各项参数特定的值如下表所示：

st	rp	icr	isw	mi	sle	nsw	at	vi	sd	cj
											-68.0	15.0	0.0075	41.0	6	120	1.0	10.0	10	500	10<sup>5</sup>

如图2所示，先在NEST平台上构建好需要的网络模型，包括24*24输入层脉冲生成器，脉冲生成器将被编码后的信息设置成不同的脉冲生成时间点，最左侧色块灰度越浅对应设置的脉冲生成时间点越早；1000个隐藏层LIF神经元(NEST平台中选择psc_iaf_alpha类型的神经元)；输出层10个LIF神经元(对应0～9十类手写数字)以及10个脉冲探测器。其中，输入层脉冲生成器与隐藏层先锋节点(576个)形成一对一的静态连接；隐藏层内部节点间随机生成10^6*icr＝750个初始突触连接；隐藏层节点以多对一的方式连接输出层十个节点，具体更精确的连接方式需经算法计算，将在下文说明。需要注意的是隐藏层内部神经元节点间的连接属于STDP连接，其权值调整受STDP规则制约；最后输出层一对一连接脉冲探测器，输出的脉冲序列再待后续逻辑模块的分析处理。

网络搭建好后，按照图3所示流程完成网络的训练。

首先是图片信息输入网络前的预处理，包括卷积、池化以及编码，具体方式在发明内容中有说明。特别地，图4展示了编码时从灰度像素信息转化为脉冲神经网络能识别的脉冲发生时间点的对应关系。

接着是网络训练，训练集中在隐藏层中，主要包括网络权值训练(权值调整)、网络结构训练(新的连接生成)、神经元团提取以及神经元团对应连接到输出层节点。隐藏层中的连接为STDP连接，其在网络训练过程中会自动根据STDP规则进行权值调整完成权值训练，结构训练则采取上文发明内容中提到的累积式生长连接算法。其主要思想参考图5，若在某次仿真中，已经激发的神经元节点的激发时间点与峰值接近激发得神经元节点的峰值时间点很接近(要求t1先于t2)，那么这两个神经元之间就被认为有可能存在这样的一个突触。每次仿真网络会对每一个潜在突触的生成趋势做一定累积，累积到一定程度网络就会将这个新突触生成。每类图片生成同样数目的新突触。

具体到本实施案例中针对MNIST手写数字图片的识别，针对每次时长为sd的仿真后网络的激发情况，累积式生长连接算法可采取下面的步骤进行突触生长趋势的累积：

输入：脉冲检测器SD和万用表MUL中的数据，SD的数据包含等长的Times列表(脉冲激发时间)和Senders列表(脉冲来源)，MUL的数据包含等长的Times列表、Senders列表和V_m列表(电压值)。

步骤1：首先对数据以节点为单位进行划分整理，然后遍历每个节点，转步骤2，遍历完成则转步骤4。

步骤2：遍历节点的每个电位数据，若该电位是峰值电位，转步骤3；否则时间向后推，转步骤2；遍历完成则转步骤1。

步骤3：首先根据峰值电位的发生时间，寻找在这之前一段时间内激发的脉冲数据，然后遍历脉冲数据，若符合条件则累积权值，否则不累积。遍历完成则时间向后推，转步骤2。

步骤4：对积累权值的二元组字典按值进行由大到小排序，然后遍历，若权值累计大于阈值at，则建立一条权值为nsw的新连接，同时删除字典中对应的键，否则保留键值对。遍历完成则流程结束。

输出：本次仿真后新生成的突触连接集合。

参考图6，每类图片都需经历上述新突触生长趋势的累积和一定数目(sle)的新突触生成，当每类图片完成相应的新突触累积，网络的权值训练和结构训练结束。

继续，在训练好的权值分布和拓扑结构下，网络进行重复仿真，按照上文发明内容中的方案1进行神经元团的提取。按照上文发明内容中的策略1将隐含层中提取好的神经元团多对一连到对应的输出层节点上。图7和图8分别展示了某次实验下，训练好的某个神经元团的拓扑结构，以及隐藏层内整体连接的权值分布情况。特别地，图片9展示了整个隐藏层1000个神经元节点被多个神经元团共享的情况，以重复度为衡量标准，重复度为1表示该神经元被一个神经元团拥有，重复度为2表示被两个神经元团共有，以此类推重复度可以从0到10，图中每个小方格代表一个神经元团，而颜色越深代表其重复度越高。重复度可以作为反应神经元团间差异度的指标之一。

然后，参考图片10按照上文发明内容中的方法3对输出层产生的脉冲序列进行分析和逻辑提取，给出数字图片的分类结果。图片中左侧多个线段与箭头的组合代表各输出层节点产生的脉冲序列输入到最终决策判定的逻辑模块中。

最后，多次实验下统计图片识别分类的准确率，并进行分析和参数的调优。比如考虑到系统本身的误差，可以给神经元团的激发密度补偿一个修正值，以提高系统的整体一致性和稳定性。下表是一种可能的修正方案示例：

0	1	2	3	4	5	6	7	8	9
										0.0256	0.0276	0.0414	0.0306	0.0296	0.0388	0.0232	0.0186	0.0440	0.0306

综上，本发明由五阶段训练模型，三层学习网络、累积式生长连接算法、特定的神经元团提取方式以及结合神经元团状态的脉冲序列分析逻辑等组成。可用于人工智能领域实现记忆的类似效果，尤其在模式识别分类问题上表现突出。同其它模式识别的方案相比本发明更多地结合生物特性注重神经元间脉冲触发的联系与神经元团的区别划分，能够实现最高达95％以上的数字图片区分效果，具有小样本、小规模计算量和低能耗等方面的优势。

以上所述仅为本发明在图片分类特定问题下的较佳实施例，本发明不应局限于问题形式以及实施特例和附图中所公开内容。凡是不脱离本发明所公开精神下完成的等效或修改，都应落入本发明的保护范围。

Claims (9)

1.一种运用特异化神经元团实现脉冲神经网络信息记忆和区分的方法，其特征在于，包括如下五个阶段：

信息预处理阶段，对信息进行一次加工，加工的效果需要达到特征提取、冗余信息剔除、信息编码三个方面的要求；

新突触形成记忆的阶段，经过预处理的信息以脉冲序列的方式输入到网络中激活网络的记忆训练，在网络空间中使用算法生成新突触，同时伴随着网络权值的无监督初步调整；

重复与神经元团提取阶段，网络完成训练后，整合生成各神经元团；

记忆提取阶段，再次给网络输入信息，网络将以神经元团为抽象记忆实体，结合神经元团的活跃状态根据产生的脉冲序列输出进行模式分析，做出区分分类的判断，给出判定结果；

实验结果评估阶段，将训练好的网络在检验时的表现数据进行统计整合与分析优化，从宏观上对每个阶段采取的方法进行策略或者参数的调控。

2.根据权利要求1所述运用特异化神经元团实现脉冲神经网络信息记忆和区分的方法，其特征在于，采用三层网络的神经网络结构，包括：

输入层，由若干脉冲生成器组成；

隐藏层，由若干脉冲神经元组成；

输出层，即检验层，由若干输出脉冲神经元组成；

层间连接方式如下：输入层的脉冲生成器连接隐藏层的先锋神经元，产生输出脉冲激活隐藏层；隐藏层内部随机初始化若干连接；隐藏层到输出层采取多对一的连接，输出层在每次仿真后由脉冲探测器检测脉冲序列。

3.根据权利要求2所述运用特异化神经元团实现脉冲神经网络信息记忆和区分的方法，其特征在于，所述隐藏层和输出层的脉冲神经元均选择LIF脉冲神经元模型。

4.根据权利要求2所述运用特异化神经元团实现脉冲神经网络信息记忆和区分的方法，其特征在于，所述新突触形成记忆的阶段，使用累积式生长连接算法指导生成新的突触，训练网络在初始阶段产生记忆的行为。

5.根据权利要求4所述运用特异化神经元团实现脉冲神经网络信息记忆和区分的方法，其特征在于，所述累积式生长连接算法采用以下公式计算每次仿真过后潜在突触生长趋势的累积量ac_weight：

ac_weight＝time_weight×voltage_weight

其中，time_weight为时间权重，voltage_weight为电位权重，Δt为接近激发神经元的峰值时间点与已经激发神经元的激发时间点的时间差，V_reset为脉冲神经元的静息电位，V_spike为接近激发神经元的峰值电位，V_th为神经元的激发阈值。

6.根据权利要求1所述运用特异化神经元团实现脉冲神经网络信息记忆和区分的方法，其特征在于，所述记忆提取阶段分两轮进行，在第一轮，主要确定如何将神经元团内的节点脉冲转化为输出层对应节点的脉冲序列；在第二轮则在结合神经元团内脉冲激发状态的基础上进一步分析处理输出层各节点输出的脉冲序列，然后给出最后的判定结果。

7.根据权利要求6所述运用特异化神经元团实现脉冲神经网络信息记忆和区分的方法，其特征在于，所述第一轮使用两种权值分配策略决定脉冲序列输出：

策略1，均匀分配：统一分配相同的权值；

策略2，不均匀分配：给神经元团间重复次数多的神经元分配小的权值，给神经元团间重复次数少的神经元分配大的权值；

所述第二轮结合神经元团状态进行脉冲序列的分析与分类判定，判定规则为：输出层结点激发次数多的节点所对应的数字即为网络识别的最终结果。

8.根据权利要求7所述运用特异化神经元团实现脉冲神经网络信息记忆和区分的方法，其特征在于，所述策略1中，从神经元团内每一个节点到输出层对应节点的决策权值都设置为12.0；所述策略2中，分配的权值大小y与重复次数x的函数关系为：y＝2x+30，x取值范围为[0,10]，则权值最小为10，最大为30；

所述第二轮，对于可能存在脉冲激发次数一样的情况，采取下面三种方法之一来进一步过滤判定：

方法1，统计神经元团中100个节点总的激发次数，激发次数多的优胜；

方法2，神经元团中被两个神经元团共有的节点激发只计0.5次虚拟激发，被三个神经元共有的只计1/3次虚拟激发，依次类推，神经元团中虚拟激发次数多的优胜；

方法3，统计每个神经元团的虚拟节点数目，被两个神经元团共有的节点只计0.5个，被三个神经元团共有的只计1/3个，依次类推，虚拟激发密度则为：虚拟激发次数/虚拟神经元团大小，神经元团中虚拟激发密度大的优胜。

9.根据权利要求2至8任一权利要求所述运用特异化神经元团实现脉冲神经网络信息记忆和区分的方法，其特征在于，在图片分类场景下，所述信息预处理阶段，针对灰度图片的像素信息采用非线性平方曲线的方式编码到具体的脉冲激发时间点，步骤如下：

1)将[0,255]的像素值均匀映射到区间

中，得到新值z；

2)计算出z²+1即为，该像素值对应输入的脉冲激发时间点；

所述新突触形成记忆的阶段包括如下步骤：

步骤1，设置网络的初始化参数和训练参数，包括：隐含层神经元节点数n、隐含层神经元的激发阈值st、隐含层神经元的不应期时长rp、网络初始连接比率icr、网络初始突触的初始权值isw、神经元的最大入度限制mi、每类图片的新突触数限制sle、新突触的初始权值nsw、新突触形成前总共需要累积的生长趋势阈值at、潜在突触存在的临界条件vi、判断网络出现过度激发状态的临界标准cj；

步骤2，初始化网络，隐含层创建1000个神经元节点并在这些节点间随机初始化10⁶×icr个突触连接；

步骤3，从第一类图片开始选择一个图片类型生成sle个新突触，循环进行仿真，每次仿真对潜在突触进行生长趋势的累积，累积超过at则新突触生成，与此同时已经存在的突触的权值也会按STDP规则进行调整；若某一次仿真出现网络过度激发的情况，则执行步骤5，否则执行步骤4；sle个新突触生长完成后，若所有类型的图片训练生长出足够新突触，则结束算法，否则换下一类图片继续执行步骤3；

步骤4，记录本次仿真结束后网络突触连接的分布与权值情况；

步骤5，本次仿真的所有改动作废，提取上次仿真结束后网络突触连接的分布重新覆盖过度激发后的网络，同时所有突触权值在原基础上降低5％；

所述重复与神经元团提取阶段采用以下两种方案进行神经元团的提取：

方案1，对每类图片，100次重复仿真后，统计激发次数最多的前100个节点作为该类图片的神经元团；

方案2，100次重复仿真后，对某一类图片，把所有激发次数靠前的节点又分为相对高活跃与相对低活跃两类，不同图片类别的相对高活跃的节点中出现的共同节点，称之为共性节点，出现的不同节点称之为特性节点；这些来自相对高活跃的节点中的共性节点与特性节点统一构成全局特征节点群，相对应的来自相对低活跃的节点称之为细节节点，构成局部特征节点群，对同一类图片按比例提取100个全局和局部特征节点群组成神经元团，同一个神经元允许多次出现在不同的神经元团的全局特征节点群之中，而不同神经元团的细节特征节点是互斥的，在同一神经元团中两类特征节点所占比例和为1。

Images