CN107798384A

CN107798384A - 可进化脉冲神经网络构建方法和装置

Info

Publication number: CN107798384A
Application number: CN201711048918.3A
Authority: CN
Inventors: 陆强; 田娟; 张兆臣; 李文锋
Original assignee: Taishan Medical University
Current assignee: Shandong First Medical University and Shandong Academy of Medical Sciences
Priority date: 2017-10-31
Filing date: 2017-10-31
Publication date: 2018-03-13
Anticipated expiration: 2037-10-31
Also published as: CN107798384B

Abstract

本发明公开了一种可进化脉冲神经网络构建方法和装置，其特征在于，所述方法包括初始化可进化脉冲神经网络；采用训练样本对可进化脉冲神经网络进行训练，计算样本在突触后电势时间区域中产生脉冲的对应时刻；基于所述脉冲产生时刻选择网络进化策略进化所述神经网络，所述网络进化策略包括添加输出神经元策略、取消输入脉冲序列训练策略和权重参数更新策略。本发明通过三种进化策略的选择，可以避免网络权值的不必要更新，加快网络进化速度。

Description

可进化脉冲神经网络构建方法和装置

技术领域

本发明属于脉冲神经网络构建领域，尤其涉及一种可进化脉冲神经网络构建方法和装置。

背景技术

人工神经网络在自然科学领域应用很广的一个技术，迄今为止人工神经网络共经历了三代的发展。第一代人工神经网络基于McCulloch-Pitts神经元模型形成，输出为布尔逻辑变量；第二代人工神经网络使用连续函数作为激活函数，以适合系统的模拟输入/输出的实现。但是近年来的一些研究表明，在生物系统中频率编码的办法很多时候并不适用。研究者发现，大脑皮层中的神经元能够以令人难以置信的速度进行信息传递，频率编码的假设明显与皮层神经元的高速运算不符。另一方面，近些年的一些实验证据表明，视觉、听觉、体觉等许多生物神经系统都采用神经元发放的动作电位的时间来编码信息。针对这些问题，更加符合生物神经系统实际情况的第三代人工神经网络模型—脉冲神经网络模型应运而生。脉冲神经网络使用时间编码方式进行数据处理，直接利用单个神经元脉冲发放的时间信息作为模型的输入/输出，因而相对于第一、二代人工神经网络模型能更接近地描述实际生物神经系统，尤其在处理速度为重要因素的情形时，脉冲神经网络的能力优于前两代模型。

近些年来，关于脉冲神经网络的研究也取得了一些进展。研究者证明了脉冲神经网络能够模拟任意的前向Sigmoid神经网络，从而可以实现任意连续函数的逼近。而研究已经表明传递神经元脉冲序列时域信息的脉冲神经网络的计算能力要强于一般使用Sigmoid为激励函数的神经网络模型。基于脉冲神经网络模型的结构形式迄今已有一定的研究成果，研究者提出了类似于Hopfield网络的全互连的脉冲神经网络结构，提出了利用神经脉冲输入密度实现文字识别的脉冲神经网络结构形式。

当前脉冲神经网络的研究处于起步阶段，尚缺乏符合生物机理的学习算法，神经网络应该具有学习性和进化性，而该方面还没有有效的算法。

发明内容

为克服上述现有技术的不足，本发明提供了一种可进化的脉冲神经网络算法，在网络训练过程中实现了网络结构的可调整性和可进化性。训练后的脉冲神经网络可以用于特征分类。

为实现上述目的，本发明采用如下技术方案：

一种可进化脉冲神经网络构建方法，包括：

步骤1：初始化可进化脉冲神经网络；

步骤2：采用训练样本对可进化脉冲神经网络进行训练，计算样本在突触后电势时间区域中产生脉冲的对应时刻；

步骤3：基于所述脉冲产生时刻选择网络进化策略进化所述神经网络，所述网络进化策略包括添加输出神经元策略、取消输入脉冲序列训练策略和权重参数更新策略。

进一步地，所述步骤1包括：根据输入训练样本确定输出类型数目；设置网络最大输出神经元数；初始化输入样本对应的接受域神经元数目及其参数。

进一步地，所述添加输出神经元策略包括输出神经元，并计算所述神经元的连接权重。

进一步地，所述权重参数更新策略包括不改变已有神经网络结构，仅进行权重参数更新。

进一步地，所述步骤3具体包括：

Step1：选取第一个输入脉冲序列训练样本数据；

Step2：计算与样本所属类相同的脉冲产生时刻，并赋给t_CC，计算与样本所属类不相同的脉冲产生时刻，并赋给t_MC；

Step3：根据所述训练样本数据对神经网络进行更新：

如果已有网络没有输入样本所对应的类，或者样本所属类已存在，但是

t_CC>T_n(T_n＝T_id+0.8)，则采用添加输出神经元策略进化网络，其中，T_id为输入脉冲序列对应所属类的脉冲产生理想时刻；

如果t_CC<T_d(T_d＝T_id+0.25)，且(t_MC-t_CC)≥T_m(T_m＝0.3)，则采用取消输入脉冲序列训练策略进化网络；

如果以上条件都不满足，且t_CC>T_d(T_d＝T_id+0.25)，则采用权重参数更新策略更新与输入样本同类神经元的权值；如果则采用权重参数更新策略更新与输入样本不同类神经元的权值，式中是期望脉冲序列产生时刻；

Step4：选取下一个训练样本数据，返回Step2，直至对所有训练样本执行上述过程，网络结构进化结束。

进一步地，所述权重变化值为：

其中，来自监督神经元，其关系式为：

其中，w_i突触连接权重；△w_i表示权重变化值，Δv为突触后神经元的电势变化值，t_d为网络输出脉冲产生时刻，Γ＝[t_d-1,t_d]。

根据本发明的第二目的，本发明还提供了一种可进化脉冲神经网络构建装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的可进化脉冲神经网络构建方法。

根据本发明的第三目的，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述处理器执行所述程序时实现所述的可进化脉冲神经网络构建方法。

本发明的有益效果

1、现有脉冲神经网络结构是固定化的，而不是自调整和进化的，这与实际生物特征不符，为了体现脉冲神经网络的可调整性和可进化性，本发明通过设置不同进化策略，在网络训练过程中实现了网络结构的可调整性和可进化性；

2、本发明加入的监督神经元可以比较输入脉冲序列产生的权值与已有网络的权值，进而决定权值的更新，这样可以避免网络中权值的过度训练；监督神经元位于输入层和输出层之间，为权值的更新提供了一个修正参数，该参数反映了已有网络具有的特性，是已有网络权值计算得到的，反映了已有网络的权值特性；

3、本发明提出了三种网络进化策略，在网络进化过程中通过对三种网络进化策略的选择，可以避免网络权值的不必要更新，加快网络进化速度；

4、本发明的可进化脉冲神经网络可应用于图像处理，语音识别和特征分类等领域。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本发明可进化脉冲神经网络模型的结构图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例公开了一种可进化脉冲神经网络构建方法，包括：

步骤1：初始化可进化脉冲神经网络；

具体地，所述神经网络包括输入层、监督神经元和输出层；设置网络最大输出神经元数，根据输入训练样本确定输出类型数目；同时初始化可进化脉冲神经网络中的其它参数。

如图1所示，结构分为输入层、监督神经元和输出层，脉冲神经网络输入为x＝{x₁,...,x_i,...,x_m}，输出为Y＝{Y₁,...,Y_j,...,Y_k}，监督神经元位于输入层和输出层之间，用于根据网络已有特征来更新网络权重。监督神经元为权值的更新提供了一个修正参数，该参数反映了已有网络具有的特性，如式(8)所示，它是已有网络权值计算得到的，反映了已有网络的权值特性)

具体地，按照式(1)，将每个输入训练样本x_i解码为时间[0,T]内的脉冲序列；并假设理想产生脉冲时刻为T₀；选择突触后电势的时间区域为[0,T_max]；按照式(2)计算突触后电势并标准化。

步骤3：根据所述脉冲产生时刻选择网络进化策略进化所述神经网络。所述网络可以用于特征分类。

所述网络进化策略包括三种，分别为添加输出神经元策略、取消输入脉冲序列训练策略和权重参数更新策略。

添加输出神经元策略：当输入脉冲序列具有原有脉冲神经网络不具有的典型特征时，采用此策略；设T_id为输入脉冲序列对应所属类的脉冲产生理想时刻，设t_CC为输入序列对应相同所属类的实际时刻，当t_CC>T_n(T_n＝T_id+0.8)，此策略有效。

取消输入脉冲序列训练策略：当输入脉冲序列具有原有脉冲神经网络所具有的类时，且脉冲产生时间与期望时刻相近时，采用此策略；设t_MC为输入序列对应其它类脉冲产生的实际时刻，当t_CC<T_d(T_d＝T_id+0.25)，且(t_MC-t_CC)≥T_m(T_m＝0.3)，此策略有效。

权重参数更新策略：当以上两种策略条件都不满足时，执行此策略更新权重参数；此策略的目的是为了保证输入脉冲序列对应脉冲产生时刻逼近理想时刻，且使所属类与其它类差距变大，以正确区分类。当输入脉冲序列脉冲产生时间与理想时刻相近时，此时，t_CC>T_d(T_d＝T_id+0.25)，则更新与所属类相同的神经元的权值，在此策略中，期望产生脉冲时刻与实际时刻的关系是其中期望时刻；当则更新其它类相对应的神经元的权值，不同类产生脉冲时刻更新关系式为为期望时刻。

所述步骤3的具体实现方法为：

Step1：选取第一个输入脉冲序列训练样本数据；

Step3：根据所述训练样本数据对神经网络进行更新：

如果t_CC>T_n(T_n＝T_id+0.8)，则采用添加输出神经元策略进化网络，其中，T_id为输入脉冲序列对应所属类的脉冲产生理想时刻；所述添加输出神经元策略包括添加输出神经元，并计算所述神经元的连接权重；

如果t_CC<T_d(T_d＝T_id+0.25)，且(t_MC-t_CC)≥T_m(T_m＝0.3)，则采用取消输入脉冲序列训练策略进化网络；所述取消输出神经元策略即不对神经网络进行更新；

如果以上条件都不满足，且t_CC>T_d(T_d＝T_id+0.25)，则采用权重参数更新策略更新与输入样本同类神经元的权值；如果则采用权重参数更新策略更新与输入样本不同类神经元的权值；

Step4：选取下一个训练样本数据，返回Step2继续执行，直至对所有训练样本执行上述过程，则网络结构进化结束。

所述权值更新方法为：

对于可进化脉冲神经网络，设每个输入x_i都会被P个高斯接受域的神经元们按照式(1)解码为时间[0,T]内的脉冲序列，即

式(1)中，I_min＝0,I_max＝1,P＝6,γ＝0.7。

在时间t由第g个脉冲序列产生的突触后电势为ε(s)表达式为

式(2)中，τ＝3。

进而得到在时间t时，突触后神经元的电势为

式(3)中，w_i突触连接权重。

当突触后神经元的电势的值大于阈值θ，就会产生脉冲，设t_d为网络输出期望产生脉冲的时刻，为了保证在训练脉冲神经网络中，权重的正确更新，突触后神经元的电势变化为

△v(t)＝θ-v(t_d) (4)

所以权重变化值与突触后神经元的电势变化值得关系式为

式(5)中，Γ＝[t_d-1,t_d]。

基于改进算法，△w_i也可以表示为

式(6)中，来自监督神经元，其关系式为

式(7)中，

则更新后的权重为

w_new＝w_i+△w_i(9)

实施例二

本实施例的目的是提供一种计算装置。

一种可进化脉冲神经网络构建装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤，包括：

步骤1：初始化可进化脉冲神经网络；

步骤3：基于所述时刻选择网络进化策略进化所述神经网络，所述网络进化策略包括添加输出神经元策略、取消输入脉冲序列训练策略和权重参数更新策略。

实施例三

本实施例的目的是提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行以下步骤：

步骤1：初始化可进化脉冲神经网络；

以上实施例二和三的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

实验效果：

本发明选用UCI机器学习库里的Iris(鸢尾花卉)数据集。数据集通过花萼长度、花萼宽度、花瓣长度和花瓣宽度4个属性预测鸢尾花卉属于哪一类。本例子选取Iris-setosa和Iris-versicolor两类的各50个特征量，两类的前25个特征组合作为训练样本，而后25个特征组合作为测试样本。按照上述算法，得到测试准确率达到98％。

本发明通过采用监督神经元根据网络现有特点对权重进行更新，加入的监督神经元可以比较输入脉冲序列产生的权值与已有网络的权值，进而决定权值的更新，这样可以避免网络中权值的过度训练；本发明通过三种策略的选择，可以避免网络权值的不必要更新，加快网络进化速度。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种可进化脉冲神经网络构建方法，其特征在于，包括：

步骤1：初始化可进化脉冲神经网络；

步骤3：基于脉冲产生时刻选择网络进化策略进化所述神经网络，所述网络进化策略包括添加输出神经元策略、取消输入脉冲序列训练策略和权重参数更新策略。

2.如权利要求1所述的一种可进化脉冲神经网络构建方法，其特征在于，所述步骤1包括：根据输入训练样本确定输出类型数目；设置网络最大输出神经元数；初始化输入样本对应的接受域神经元数目及其参数。

3.如权利要求1所述的一种可进化脉冲神经网络构建方法，其特征在于，所述添加输出神经元策略包括输出神经元，并计算所述神经元的连接权重。

4.如权利要求1所述的一种可进化脉冲神经网络构建方法，其特征在于，所述权重参数更新策略包括不改变已有神经网络结构，仅进行权重参数更新。

5.如权利要求1所述的一种可进化脉冲神经网络构建方法，其特征在于，所述步骤3具体包括：

Step1：选取第一个输入脉冲序列训练样本数据；

Step3：根据所述训练样本数据对神经网络进行更新：

如果已有网络没有输入样本所对应的类，或者样本所属类已存在，但是t_CC>T_n(T_n＝T_id+0.8)，则采用添加输出神经元策略进化网络，其中，T_id为输入脉冲序列对应所属类的脉冲产生理想时刻；

6.如权利要求1所述的一种可进化脉冲神经网络构建方法，其特征在于，可进化脉冲神经网络包括输入层、监督神经元和输出层。

7.如权利要求6所述的一种可进化脉冲神经网络构建方法，其特征在于，所述权重变化值为：

<mrow> <msub> <mi>&Delta;w</mi> <mi>i</mi> </msub> <mo>=</mo> <msubsup> <mi>M</mi> <mi>i</mi> <mi>d</mi> </msubsup> <mfrac> <mrow> <mi>&Delta;</mi> <mi>v</mi> </mrow> <mrow> <msub> <mo>&Sigma;</mo> <mrow> <msubsup> <mi>t</mi> <mi>i</mi> <mi>g</mi> </msubsup> <mo>&Element;</mo> <mi>&Gamma;</mi> </mrow> </msub> <mi>&epsiv;</mi> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>d</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>g</mi> </msubsup> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>

其中，来自监督神经元，其关系式为：

<mrow> <msub> <mi>u</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>d</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mo>&Sigma;</mo> <mrow> <msubsup> <mi>t</mi> <mi>i</mi> <mi>g</mi> </msubsup> <mo>&Element;</mo> <mi>&Gamma;</mi> </mrow> </msub> <mi>&epsiv;</mi> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>d</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>g</mi> </msubsup> <mo>)</mo> </mrow> </mrow> <mrow> <msub> <mo>&Sigma;</mo> <mi>i</mi> </msub> <msub> <mo>&Sigma;</mo> <mrow> <msubsup> <mi>t</mi> <mi>i</mi> <mi>g</mi> </msubsup> <mo>&Element;</mo> <mi>&Gamma;</mi> </mrow> </msub> <mi>&epsiv;</mi> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>d</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mi>g</mi> </msubsup> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>

其中，w_i突触连接权重；△w_i表示权重变化值，△v为突触后神经元的电势变化值，t_d为网络输出期望产生脉冲的时刻，Γ＝[t_d-1,t_d]。

8.一种可进化脉冲神经网络构建装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7所述的可进化脉冲神经网络构建方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7所述的可进化脉冲神经网络构建方法。