CN107273971B - 基于神经元显著性的前馈神经网络结构自组织方法 - Google Patents

Abstract

本发明公开了一种基于神经元显著性的前馈神经网络结构自组织方法，涉及神经网络技术领域，针对传统前馈神经网络结构选取困难的问题，本发明提出的方法根据隐含层神经元的显著性大小动态调整神经网络的网络结构。实验结果表明：改进后的算法能够降低网络结构选取的盲目性，实现了网络结构的动态优化调整，提高了网络识别的精度。其在非线性系统辨识、数据分类和工程类缺陷类型识别上均具备较高的精度。

Description

基于神经元显著性的前馈神经网络结构自组织方法

技术领域

本发明涉及神经网络技术领域，特别是涉及基于神经元显著性的前馈神经网络结构自组织方法。

背景技术

人工神经网络，是20实际80年代以来人工智能领域兴起的研究热点。他从信息处理的角度对人脑神经元网络进行了抽象，建立起了一种类似人脑的数学模型，按不同的连接方式组成不同的网络。前馈神经网络作为一种误差反向传播网络，是目前人工神经网络研究领域应用最为广泛的网络。

前馈神经网络，是一种信息正向传播，误差反向传播的一种神经网络；是一种三层或者三层以上的多层神经网络，每一个神经元都与右边的每个神经元全连接，但是上下两层的各神经元之间无连接。在前馈神经网络的具体使用过程中，需要首先对其网络的结构进行初始化，网络结构的选择取决于训练数据的复杂程度和整个系统的复杂程度。而确定网络结构的重点是确定网络的隐含层节点个数，目前最为普遍的方法为利用经验公式进行试凑选取，但此方法过于繁琐，需要进行不断尝试，而且此方法没有统一的理论作为支撑，缺乏科学性。

传统的前馈神经网络有以下缺点：

1、局部极小问题：传统的BP算法为一种局部搜的优化方法，它要解决一个复杂非线性化问题，网络的权值是通过沿局部改善的方向逐渐进行调整的，这样会使算法陷入局部极值，权值收敛到局部极小点，从而导致网络训练失败。

2、收敛速度慢：BP算法本质为梯度下降算法，它所要优化的目标函数是非常复杂的，而且大量的训练数据使得BP算法效率低下，导致了网络收敛速度慢的现象。

3、神经网络结构选择不一：神经网络结构的选择至今尚无一种统一而完整的理论指导，一般只能由经验选定。网络结构选择过大，训练中效率不高，可能出现过拟合现象，造成网络性能低，容错性下降，若选择过小，则又会造成网络可能不收敛。而网络的结构直接影响网络的逼近能力及推广性质。因此，应用中如何选择合适的网络结构是一个重要的问题。

4、通用能力差：传统的神经网络结构具有唯一性，即与训练数据具有一一对应关系，这使得BP神经网络的通用性下降，限制了前馈神经网络的发展。

发明内容

本发明实施例提供了基于神经元显著性的前馈神经网络结构自组织方法，可以解决现有技术中存在的问题。

一种基于神经元显著性的前馈神经网络结构自组织方法，包括以下步骤：

(1)系统建模；

(2)网络初始化；

(3)训练网络；

(4)判断当前训练得到的隐含层第j个节点是否满足增长条件，若是，进入步骤(5)，否则进入步骤(6)；

(5)在隐含层中增加神经元并再次训练网络；

(6)判断是否达到预设的训练次数，如果是，进入步骤(7)，否则返回步骤(3)；

(7)训练网络；

(8)判断当前得到的隐含层第j个节点是否满足删减条件，若是，进入步骤(9)，否则进入步骤(10)；

(9)删除隐含层对应的神经元，将删除的神经元的连接权值增加到目前显著性最大的神经元，并训练网络；

(10)判断是否达到预设的训练次数，如果是则进入步骤(11)，否则返回步骤(7)；

(11)用新参数训练网络；

(12)带入测试数据测试网络，流程结束。

本发明实施例中的基于神经元显著性的前馈神经网络结构自组织方法存在以下优点：

1、明显提升了前馈神经网络结构选取的合理性和科学性。

2、通过增长算法使网络的结构更加合理化，在保证准确率的前提下明显提升了网络的收敛速度。

3、通过修剪算法消除网络结构中存在的冗余节点，较小了网络误差，提高了网络的准确性。

4、增长-修剪算法的提高了前馈神经网络结构的自适应能力，使网络的使用领域更宽、通用性更强。

5、本方法在非线性系统辨识、模式分类和工程缺陷识别等方面具有较广泛的应用价值。结构自组织的特点使本方法在实际问题中有非常优秀的自适应能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为三层前馈网络的基本结构；

图2为本发明基于神经元显著性的前馈神经网络结构自组织方法的流程图；

图3为增长算法的示意图；

图4为删减算法的示意图；

图5为本发明第一实施例中隐含层神经元个数变化曲线；

图6为网络测试结果示意图；

图7为提取的语音信号示意图；

图8为语音信号分类算法流程图；

图9为本发明第二实施例中隐含层节点个数变化曲线；

图10为网络分类误差；

图11为本发明第三实施例中隐含层节点个数变化曲线；

图12为识别结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在介绍本发明的技术方案前，先介绍一些基本知识：

1、前馈神经网络简介(Introduction of Feedforward neural network)

前馈神经网络是目前应用最广泛的神经网络模型之一，它能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的基本网络结构包含三层或者三层以上的神经元，每一个神经元都与右边的每个神经元全连接，但是上下两层的神经元之间无连接，一个三层的前馈神经网络如图1所示。

2、BP算法(BP algorithm)

BP算法训练FNN的学习规则基于梯度下降算法，通过误差反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。

(1)网络初始化。

设输入层、隐含层、输出层神经元个数分别为：L，N，M，设训练样本集为X＝[x₁，x₂，…，x_i，…，x_L]^T，期望响应h＝[h₁，h₂，…，h_j，…，h_N]^T，实际输出为Y＝[y₁，y₂，…，y_k，…，y_M]^T；输入层节点i到隐含层节点j的连接权值为w^h _ij，隐含层节点j到输出层节点k的连接权值为w^o _jk。隐含层神经元的激励函数采用sigmoid函数，输入层和隐含层的神经元采用线性求和函数。

(2)工作信号正向传播

工作信号从输入层经隐含层处理，直至输出层产生输出信号。第n次训练时隐含层第j个神经元的输入为：

隐含层第j个神经元的输出为：

h_j(n)＝f(u_j(n)) j＝1,2,…,N (2)

输出层第k个神经元的输出为：

输出层第k个神经元的输出误差为：

e_k(n)＝d_k(n)-y_k(n) (4)

3)误差反向传播及权值调整

如果在输出层不能得到期望的输出，则转入误差反向传播。根据BP反向传播的原则，权值的改变量与误差的负梯度成正比，由梯度下降算法，网络权值的更新公式为：

其中，J表示训练指标如式(7)所示，sigmoid函数的求导过程由式(8)所示：

h'_j(n)＝h_j(n)·(1-h_j(n)) (8)

所以，第n+1次权值的更新为：

w^o _jk(n+1)＝w^o _jk(n)+Δw^o _jk(n) (9)

w^h _ij(n+1)＝w^h _ij(n)+Δw^h _ij(n) (10)

式(1～10)为FNN的BP算法训练过程，通过多次训练，改进权值，最后得到理想的网络。

参照图2，本发明实施例提供了一种基于神经元显著性的前馈神经网络结构自组织方法，该方法包括以下步骤：

步骤100，系统建模。

步骤110，网络初始化。

步骤120，训练网络。

步骤130，判断当前训练得到的隐含层第j个节点是否满足增长条件：

p_j(n)>G_TH(n) (11)

其中，n表示第n次训练，p_j(n)为增长指数，由式(12)计算得到，G_TH(n)为增长阈值，由式13计算得到：

其中，M为输出层节点个数，N为隐含层节点个数，w^o _jk(n)为第n次训练时隐含层第j个节点到输出层第k个节点的连接权值，h_j(n)为第n次训练时隐含层第j个神经元的输出。

其中，α为增长分散系数，本实施例中取0.9；

如果当前训练得到的隐含层第j个节点满足式(11)的增长条件，则进入步骤140，否则进入步骤150。

步骤140，在隐含层中增加神经元并再次训练网络，增长网络动态结构如图3所示，新增节点与输入层和输出层之间的连接权值为：

其中，w^h _inew(n)为第n次训练时输入层第i个节点与隐含层新增节点之间的连接权值，w^o _newk(n)为第n次训练时隐含层新增节点与输出层第k个节点之间的连接权值，d_k(n)为第n次训练时输出层第k个节点的目标输出，y_k(n)为第n次训练时输出层第k个节点的输出，h_new(n)为第n次训练时隐含层新增节点的输出。

步骤150，判断是否达到预设的训练次数，如果是则进入步骤160，否则返回步骤120继续训练网络。

步骤160，训练网络。

步骤170，判断当前训练得到的隐含层第j个节点是否满足删减条件：

d_j(n)<P_TH(n) (15)

其中，d_j(n)表示删减指数，由式(16)计算得到，P_TH(n)表示删减阈值，由式(17)计算得到：

其中，a为常系数，

表示隐含层第j个神经元输出平方的均值，δ_j(n)表示隐含层第j个神经元输出的标准差。

其中，β为删减分散系数，本实施例中取0.6。

如果当前训练得到的隐含层第j个节点满足式(15)的删减条件，则进入步骤180，否则进入步骤190。

步骤180，删除隐含层对应的神经元，删减网络动态结构如图4所示，将删除的神经元的连接权值增加到目前显著性最大的神经元，并训练网络：

其中，w^o _lk(n)表示隐含层显著性最大的神经元与输出层第k个节点的连接权值，w^o _sk(n)表示删除的神经元与输出层第k个节点的连接权值，h_s(n)表示删除的神经元的输出，h_l(n)表示隐含层显著性最大的神经元的输出。

步骤190，判断是否达到预设的训练次数，如果是则进入步骤200，否则返回步骤160继续训练网络。

步骤200，用新参数训练网络。

步骤210，带入测试数据测试网络，流程结束。

自组织神经网络增长删减过程的收敛性分析：

定理1.若神经网络学习率η(n)满足

那么神经网络的学习过程是收敛的。

证构造Lyapunov函数为

其中，输出层神经元个数为M。明显地，E(n)≥0，即E(n)是半正定的。

其中，e_k(n+1)＝e_k(n)+Δe_k(n) (21)

其中，w^o _jk(n)代表隐含层第j个神经元与输出层第k个神经元之间的连接权值，隐含层神经元个数为N。

将公式(26)代入公式(25)，有:

其中，h(n)＝[h₁(n),h₂(n),…,h_j(n),…,h_N(n)]代表第n步训练隐含层神经元输出矩阵。

若

那么

[(1-η(n)·||h(n)||²)²-1]<0 (26)

此时，ΔE(n)≤0，且当误差向量e(n)为非零向量时，ΔE(n)<0。根据Lyapunov定理，定理1得证。

增长过程的收敛性分析：

引理1.若在满足定理1的条件下，前馈网络采用式(14)对隐含层神经元进行增长，则不改变网络学习过程的收敛性。

证在第n步的增长过程中，增加的神经元隐含层输出是h_new，那么增长后神经网络输出层的第k个节点的输出为：

增长后网络的误差为：

将式(27)代入式(28)有：

∴新增加的隐层神经元补偿了网络的输出误差，增长过程不改变神经网络学习过程的收敛性。引理1得证。

删减过程收敛性分析：

引理2.若在满足定理1的条件下，前馈网络采用式(18)对隐含层神经元进行删减，不改变网络学习过程的收敛性。

证在第n步的删减过程中，显著性满足删减条件的神经元隐含层输出为h_s，显著性最大的神经元隐含层输出为h_l，删减后网络的输出为：

代入式(28)，删减后输出层第k个输出神经元的误差为：

∴删减过程将被删减的神经元输出补偿到显著性最大的神经元上，网络的输出误差并未改变，删减过程不改变神经网络学习过程的收敛性。引理2得证。

实例验证

1、Mackey-Glass时间序列预测(Mackey-Glass time series prediction)

Mackey-Glass时间序列由下式给出：

其中：a＝0.1，b＝0.2，τ＝17，x(0)＝1.2。

预测系统模型如下：

在本实验中，一共选取了1500组数据，其中前1000组为训练数据，后500组为测试数据，训练数据一共迭代200次，前100次用于结构自组织训练，后100次为正常的迭代。

图5为网络自组织训练过程中隐含层神经元个数的变化曲线；图6为测试预测结果与实际值的对比曲线；表1为自组织网络算法与其它算法的性能比较。

表1自组织网络与不同算法性能比较

注：Number表示最终隐含层神经元数；

性能评价指标采用最终隐含层神经元个数、平均百分比误差APE和均方根误差RMSE，其中APE和RMSE如下式表示：

式中：T表示测试样本数，d(t)、y(t)表示分别第t组数据的期望和预测输出。

从表1可以看出本发明所设计的结构自组织BP算法最终确定隐含层神经元个数为6个，测试APE和RMSE分别为0.0073和0.0076，都优于其它算法。实验结果表明，本发明所设计的结构自组织算法可以对Mackey-Glass时间序列进行准确预测。

2、语音特征信号识别(Speech feature signal recognition)

(1)语音信号分类(Speech signal classification)

本发明选取了民歌，古筝，摇滚和流行四类不同音乐，并参考了文献的语音信号数据，提取的500组24维语音特征信号如图7所示。

(2)语音信号模型建立(Establishment of speech signal model)

①网络初始化：网络输入层神经个数24个，网络隐含层神经元初始个数2个，网络输出层神经个数4个，学习率η＝0.05；随机选取400组数据用于网络训练，其余100组数据用于网络测试。

②基于改进BP神经网络的语音信号分类算法建模如图8所示。

(3)结果分析(Interpretation of result)

用训练好的网络分类语音特征信号测试数据，最终确定隐含层个数变化如图9所示。由图可得:通过结构自组织BP算法得出网络的最佳隐含层个数为25个。

网络分类误差如图10所示，网络分类正确率如下表所示：

表2网络分类正确率

从网络隐含层变化和网络分类正确率可以看出，网络对语音信号的分类具有较高的拟合度，识别准确度高。

3、锚杆缺陷识别(Anchor defect recognition)

锚杆检测对安全检查，保障施工质量具有重要意义和广泛的应用前景。因此锚杆缺陷识别问题也是目前研究的热点，本发明利用所设计的结构自组织算法实现了对锚杆的缺陷识别和分类。

(1)锚杆缺陷分类(Classification of anchor defects)

本实验通过采用ANSYS建立不同情况的锚杆锚固系统模型，并对不同的缺陷进行了分别测试，获得200组数据，其中160组数据用于网络训练，40组数据用来测试。不同缺陷锚杆对应输出如下表(表3)所示：

表3缺陷类型分类表

(2)训练网络(Training network)

训练网络具体步骤如下：

①初始化网络参数：学习率为η＝0.15，网络输入层个数为8个，初始隐含层个数为2个，网络输出层个数为4个，使用增长算法迭代25次，删减算法迭代25次，并用训练好的网络进行了50次训练。

②将归一化后的数据带入网络进行训练。

③将测试数据带入训练好的网络进行测试。

(3)实验结果(Experimental result)

本发明以准确度在90％以上作为准确识别的标志对网络结果的识别率进行了分析。为了减小初始权值的随机性带来的实验误差，本发明一共进行了100次实验，并对100次实验结果进行了记录：

表4识别率结果记录

表5识别率80％以上所的网络节点数

由上图结果可以确定，当隐含层节点个数在4至6之间时，网络识别准确度最高，且隐含层节点为4出现的概率最大。本发明以结点个数4为例分析隐含层结点个数变化和各类锚杆的识别情况。隐含层结点个数变化如图11所示，本发明对四种不同类型锚杆的识别精度进行了分析，结果图12所示，图中实线为期望输出，虚点线为神经网络实际输出。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (3)

1.一种基于神经元显著性的前馈神经网络结构自组织的锚杆缺陷识别方法，其特征在于，包括以下步骤：

(1)建立锚杆锚固系统模型，并对锚杆缺陷进行分类；

(2)网络初始化；

(3)训练网络；

(4)判断当前训练得到的隐含层第j个节点是否满足增长条件，若是，进入步骤(5)，否则进入步骤(6)；

(5)在隐含层中增加神经元并再次训练网络；

(6)判断是否达到预设的训练次数，如果是，进入步骤(7)，否则返回步骤(3)；

(7)训练网络；

(8)判断当前得到的隐含层第j个节点是否满足删减条件，若是，进入步骤(9)，否则进入步骤(10)；

(9)删除隐含层对应的神经元，将删除的神经元的连接权值增加到目前显著性最大的神经元，并训练网络；

(10)判断是否达到预设的训练次数，如果是则进入步骤(11)，否则返回步骤(7)；

(11)用新参数训练网络；

(12)带入测试数据测试网络，得到锚杆缺陷识别结果，流程结束；

其中，所述的增长条件为：

p_j(n)>G_TH(n) (1)

其中，n表示第n次训练，p_j(n)为增长指数，由式(2)计算得到，G_TH(n)为增长阈值，由式(3)计算得到：

其中，M为输出层节点个数，N为隐含层节点个数，w^o _jk(n)为第n次训练时隐含层第j个节点到输出层第k个节点的连接权值，h_j(n)为第n次训练时隐含层第j个神经元的输出；

其中，α为增长分散系数；

所述在隐含层中增加神经元，新增节点与输入层和输出层之间的连接权值为：

其中，w^h _inew(n)为第n次训练时输入层第i个节点与隐含层新增节点之间的连接权值，w^o _newk(n)为第n次训练时隐含层新增节点与输出层第k个节点之间的连接权值，d_k(n)为第n次训练时输出层第k个节点的目标输出，y_k(n)为第n次训练时输出层第k个节点的输出，h_new(n)为第n次训练时隐含层新增节点的输出。

2.如权利要求1所述的方法，其特征在于，所述的删减条件为：

d_j(n)<P_TH(n) (5)

其中，n表示第n次训练，d_j(n)表示删减指数，由式(6)计算得到，P_TH(n)表示删减阈值，由式(7)计算得到：

其中，a为常系数，

表示隐含层第j个神经元输出平方的均值，δ_j(n)表示隐含层第j个神经元输出的标准差；

其中，N为隐含层节点个数，β为删减分散系数。

3.如权利要求1所述的方法，其特征在于，具体的删减方法为：

其中，w^o _lk,new(n)表示其更新后的权值；w^o _lk(n)表示隐含层显著性最大的神经元与输出层第k个节点的连接权值，w^o _sk(n)表示删除的神经元与输出层第k个节点的连接权值，h_s(n)表示删除的神经元的输出，h_l(n)表示隐含层显著性最大的神经元的输出。

Images