CN107273971A - 基于神经元显著性的前馈神经网络结构自组织方法 - Google Patents
基于神经元显著性的前馈神经网络结构自组织方法 Download PDFInfo
- Publication number
- CN107273971A CN107273971A CN201710440600.3A CN201710440600A CN107273971A CN 107273971 A CN107273971 A CN 107273971A CN 201710440600 A CN201710440600 A CN 201710440600A CN 107273971 A CN107273971 A CN 107273971A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- network
- training
- hidden layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000002569 neuron Anatomy 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 41
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 68
- 230000008569 process Effects 0.000 claims description 20
- 238000012217 deletion Methods 0.000 claims description 9
- 230000037430 deletion Effects 0.000 claims description 9
- 238000013138 pruning Methods 0.000 claims description 9
- 239000006185 dispersion Substances 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 abstract description 25
- 230000006872 improvement Effects 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 abstract description 2
- 201000004569 Blindness Diseases 0.000 abstract 1
- 230000007935 neutral effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 12
- 230000007547 defect Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Feedback Control In General (AREA)
Abstract
本发明公开了一种基于神经元显著性的前馈神经网络结构自组织方法,涉及神经网络技术领域,针对传统前馈神经网络结构选取困难的问题,本发明提出的方法根据隐含层神经元的显著性大小动态调整神经网络的网络结构。实验结果表明:改进后的算法能够降低网络结构选取的盲目性,实现了网络结构的动态优化调整,提高了网络识别的精度。其在非线性系统辨识、数据分类和工程类缺陷类型识别上均具备较高的精度。
Description
技术领域
本发明涉及神经网络技术领域,特别是涉及基于神经元显著性的前馈神经网络结构自组织方法。
背景技术
人工神经网络,是20实际80年代以来人工智能领域兴起的研究热点。他从信息处理的角度对人脑神经元网络进行了抽象,建立起了一种类似人脑的数学模型,按不同的连接方式组成不同的网络。前馈神经网络作为一种误差反向传播网络,是目前人工神经网络研究领域应用最为广泛的网络。
前馈神经网络,是一种信息正向传播,误差反向传播的一种神经网络;是一种三层或者三层以上的多层神经网络,每一个神经元都与右边的每个神经元全连接,但是上下两层的各神经元之间无连接。在前馈神经网络的具体使用过程中,需要首先对其网络的结构进行初始化,网络结构的选择取决于训练数据的复杂程度和整个系统的复杂程度。而确定网络结构的重点是确定网络的隐含层节点个数,目前最为普遍的方法为利用经验公式进行试凑选取,但此方法过于繁琐,需要进行不断尝试,而且此方法没有统一的理论作为支撑,缺乏科学性。
传统的前馈神经网络有以下缺点:
1、局部极小问题:传统的BP算法为一种局部搜的优化方法,它要解决一个复杂非线性化问题,网络的权值是通过沿局部改善的方向逐渐进行调整的,这样会使算法陷入局部极值,权值收敛到局部极小点,从而导致网络训练失败。
2、收敛速度慢:BP算法本质为梯度下降算法,它所要优化的目标函数是非常复杂的,而且大量的训练数据使得BP算法效率低下,导致了网络收敛速度慢的现象。
3、神经网络结构选择不一:神经网络结构的选择至今尚无一种统一而完整的理论指导,一般只能由经验选定。网络结构选择过大,训练中效率不高,可能出现过拟合现象,造成网络性能低,容错性下降,若选择过小,则又会造成网络可能不收敛。而网络的结构直接影响网络的逼近能力及推广性质。因此,应用中如何选择合适的网络结构是一个重要的问题。
4、通用能力差:传统的神经网络结构具有唯一性,即与训练数据具有一一对应关系,这使得BP神经网络的通用性下降,限制了前馈神经网络的发展。
发明内容
本发明实施例提供了基于神经元显著性的前馈神经网络结构自组织方法,可以解决现有技术中存在的问题。
一种基于神经元显著性的前馈神经网络结构自组织方法,包括以下步骤:
(1)系统建模;
(2)网络初始化;
(3)训练网络;
(4)判断当前训练得到的隐含层第j个节点是否满足增长条件,若是,进入步骤(5),否则进入步骤(6);
(5)在隐含层中增加神经元并再次训练网络;
(6)判断是否达到预设的训练次数,如果是,进入步骤(7),否则返回步骤(3);
(7)训练网络;
(8)判断当前得到的隐含层第j个节点是否满足删减条件,若是,进入步骤(9),否则进入步骤(10);
(9)删除隐含层对应的神经元,将删除的神经元的连接权值增加到目前显著性最大的神经元,并训练网络;
(10)判断是否达到预设的训练次数,如果是则进入步骤(11),否则返回步骤(7);
(11)用新参数训练网络;
(12)带入测试数据测试网络,流程结束。
本发明实施例中的基于神经元显著性的前馈神经网络结构自组织方法存在以下优点:
1、明显提升了前馈神经网络结构选取的合理性和科学性。
2、通过增长算法使网络的结构更加合理化,在保证准确率的前提下明显提升了网络的收敛速度。
3、通过修剪算法消除网络结构中存在的冗余节点,较小了网络误差,提高了网络的准确性。
4、增长-修剪算法的提高了前馈神经网络结构的自适应能力,使网络的使用领域更宽、通用性更强。
5、本方法在非线性系统辨识、模式分类和工程缺陷识别等方面具有较广泛的应用价值。结构自组织的特点使本方法在实际问题中有非常优秀的自适应能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为三层前馈网络的基本结构;
图2为本发明基于神经元显著性的前馈神经网络结构自组织方法的流程图;
图3为增长算法的示意图;
图4为删减算法的示意图;
图5为本发明第一实施例中隐含层神经元个数变化曲线;
图6为网络测试结果示意图;
图7为提取的语音信号示意图;
图8为语音信号分类算法流程图;
图9为本发明第二实施例中隐含层节点个数变化曲线;
图10为网络分类误差;
图11为本发明第三实施例中隐含层节点个数变化曲线;
图12为识别结果示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在介绍本发明的技术方案前,先介绍一些基本知识:
1、前馈神经网络简介(Introduction of Feedforward neural network)
前馈神经网络是目前应用最广泛的神经网络模型之一,它能学习和存贮大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。它的基本网络结构包含三层或者三层以上的神经元,每一个神经元都与右边的每个神经元全连接,但是上下两层的神经元之间无连接,一个三层的前馈神经网络如图1所示。
2、BP算法(BP algorithm)
BP算法训练FNN的学习规则基于梯度下降算法,通过误差反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。
(1)网络初始化。
设输入层、隐含层、输出层神经元个数分别为:L,N,M,设训练样本集为X=[x1,x2,…,xi,…,xL]T,期望响应h=[h1,h2,…,hj,…,hN]T,实际输出为Y=[y1,y2,…,yk,…,yM]T;输入层节点i到隐含层节点j的连接权值为wh ij,隐含层节点j到输出层节点k的连接权值为wo jk。隐含层神经元的激励函数采用sigmoid函数,输入层和隐含层的神经元采用线性求和函数。
(2)工作信号正向传播
工作信号从输入层经隐含层处理,直至输出层产生输出信号。第n次训练时隐含层第j个神经元的输入为:
隐含层第j个神经元的输出为:
hj(n)=f(uj(n)) j=1,2,…,N (2)
输出层第k个神经元的输出为:
输出层第k个神经元的输出误差为:
ek(n)=dk(n)-yk(n) (4)
3)误差反向传播及权值调整
如果在输出层不能得到期望的输出,则转入误差反向传播。根据BP反向传播的原则,权值的改变量与误差的负梯度成正比,由梯度下降算法,网络权值的更新公式为:
其中,J表示训练指标如式(7)所示,sigmoid函数的求导过程由式(8)所示:
h'j(n)=hj(n)·(1-hj(n)) (8)
所以,第n+1次权值的更新为:
wo jk(n+1)=wo jk(n)+Δwo jk(n) (9)
wh ij(n+1)=wh ij(n)+Δwh ij(n) (10)
式(1~10)为FNN的BP算法训练过程,通过多次训练,改进权值,最后得到理想的网络。
参照图2,本发明实施例提供了一种基于神经元显著性的前馈神经网络结构自组织方法,该方法包括以下步骤:
步骤100,系统建模。
步骤110,网络初始化。
步骤120,训练网络。
步骤130,判断当前训练得到的隐含层第j个节点是否满足增长条件:
pj(n)>GTH(n) (11)
其中,n表示第n次训练,pj(n)为增长指数,由式(12)计算得到,GTH(n)为增长阈值,由式13计算得到:
其中,M为输出层节点个数,N为隐含层节点个数,wo jk(n)为第n次训练时隐含层第j个节点到输出层第k个节点的连接权值,hj(n)为第n次训练时隐含层第j个神经元的输出。
其中,α为增长分散系数,本实施例中取0.9;
如果当前训练得到的隐含层第j个节点满足式(11)的增长条件,则进入步骤140,否则进入步骤150。
步骤140,在隐含层中增加神经元并再次训练网络,增长网络动态结构如图3所示,新增节点与输入层和输出层之间的连接权值为:
其中,wh inew(n)为第n次训练时输入层第i个节点与隐含层新增节点之间的连接权值,wo newk(n)为第n次训练时隐含层新增节点与输出层第k个节点之间的连接权值,dk(n)为第n次训练时输出层第k个节点的目标输出,yk(n)为第n次训练时输出层第k个节点的输出,hnew(n)为第n次训练时隐含层新增节点的输出。
步骤150,判断是否达到预设的训练次数,如果是则进入步骤160,否则返回步骤120继续训练网络。
步骤160,训练网络。
步骤170,判断当前训练得到的隐含层第j个节点是否满足删减条件:
dj(n)<PTH(n) (15)
其中,dj(n)表示删减指数,由式(16)计算得到,PTH(n)表示删减阈值,由式(17)计算得到:
其中,a为常系数,表示隐含层第j个神经元输出平方的均值,δj(n)表示隐含层第j个神经元输出的标准差。
其中,β为删减分散系数,本实施例中取0.6。
如果当前训练得到的隐含层第j个节点满足式(15)的删减条件,则进入步骤180,否则进入步骤190。
步骤180,删除隐含层对应的神经元,删减网络动态结构如图4所示,将删除的神经元的连接权值增加到目前显著性最大的神经元,并训练网络:
其中,wo lk(n)表示隐含层显著性最大的神经元与输出层第k个节点的连接权值,wo sk(n)表示删除的神经元与输出层第k个节点的连接权值,hs(n)表示删除的神经元的输出,hl(n)表示隐含层显著性最大的神经元的输出。
步骤190,判断是否达到预设的训练次数,如果是则进入步骤200,否则返回步骤160继续训练网络。
步骤200,用新参数训练网络。
步骤210,带入测试数据测试网络,流程结束。
自组织神经网络增长删减过程的收敛性分析:
定理1.若神经网络学习率η(n)满足
那么神经网络的学习过程是收敛的。
证构造Lyapunov函数为
其中,输出层神经元个数为M。明显地,E(n)≥0,即E(n)是半正定的。
其中,ek(n+1)=ek(n)+Δek(n) (21)
其中,wo jk(n)代表隐含层第j个神经元与输出层第k个神经元之间的连接权值,隐含层神经元个数为N。
将公式(26)代入公式(25),有:
其中,h(n)=[h1(n),h2(n),…,hj(n),…,hN(n)]代表第n步训练隐含层神经元输出矩阵。
若那么
[(1-η(n)·||h(n)||2)2-1]<0 (26)
此时,ΔE(n)≤0,且当误差向量e(n)为非零向量时,ΔE(n)<0。根据Lyapunov定理,定理1得证。
增长过程的收敛性分析:
引理1.若在满足定理1的条件下,前馈网络采用式(14)对隐含层神经元进行增长,则不改变网络学习过程的收敛性。
证在第n步的增长过程中,增加的神经元隐含层输出是hnew,那么增长后神经网络输出层的第k个节点的输出为:
增长后网络的误差为:
将式(27)代入式(28)有:
∴新增加的隐层神经元补偿了网络的输出误差,增长过程不改变神经网络学习过程的收敛性。引理1得证。
删减过程收敛性分析:
引理2.若在满足定理1的条件下,前馈网络采用式(18)对隐含层神经元进行删减,不改变网络学习过程的收敛性。
证在第n步的删减过程中,显著性满足删减条件的神经元隐含层输出为hs,显著性最大的神经元隐含层输出为hl,删减后网络的输出为:
代入式(28),删减后输出层第k个输出神经元的误差为:
∴删减过程将被删减的神经元输出补偿到显著性最大的神经元上,网络的输出误差并未改变,删减过程不改变神经网络学习过程的收敛性。引理2得证。
实例验证
1、Mackey-Glass时间序列预测(Mackey-Glass time series prediction)
Mackey-Glass时间序列由下式给出:
其中:a=0.1,b=0.2,τ=17,x(0)=1.2。
预测系统模型如下:
在本实验中,一共选取了1500组数据,其中前1000组为训练数据,后500组为测试数据,训练数据一共迭代200次,前100次用于结构自组织训练,后100次为正常的迭代。
图5为网络自组织训练过程中隐含层神经元个数的变化曲线;图6为测试预测结果与实际值的对比曲线;表1为自组织网络算法与其它算法的性能比较。
表1自组织网络与不同算法性能比较
注:Number表示最终隐含层神经元数;
性能评价指标采用最终隐含层神经元个数、平均百分比误差APE和均方根误差RMSE,其中APE和RMSE如下式表示:
式中:T表示测试样本数,d(t)、y(t)表示分别第t组数据的期望和预测输出。
从表1可以看出本发明所设计的结构自组织BP算法最终确定隐含层神经元个数为6个,测试APE和RMSE分别为0.0073和0.0076,都优于其它算法。实验结果表明,本发明所设计的结构自组织算法可以对Mackey-Glass时间序列进行准确预测。
2、语音特征信号识别(Speech feature signal recognition)
(1)语音信号分类(Speech signal classification)
本发明选取了民歌,古筝,摇滚和流行四类不同音乐,并参考了文献的语音信号数据,提取的500组24维语音特征信号如图7所示。
(2)语音信号模型建立(Establishment of speech signal model)
①网络初始化:网络输入层神经个数24个,网络隐含层神经元初始个数2个,网络输出层神经个数4个,学习率η=0.05;随机选取400组数据用于网络训练,其余100组数据用于网络测试。
②基于改进BP神经网络的语音信号分类算法建模如图8所示。
(3)结果分析(Interpretation of result)
用训练好的网络分类语音特征信号测试数据,最终确定隐含层个数变化如图9所示。由图可得:通过结构自组织BP算法得出网络的最佳隐含层个数为25个。
网络分类误差如图10所示,网络分类正确率如下表所示:
表2网络分类正确率
从网络隐含层变化和网络分类正确率可以看出,网络对语音信号的分类具有较高的拟合度,识别准确度高。
3、锚杆缺陷识别(Anchor defect recognition)
锚杆检测对安全检查,保障施工质量具有重要意义和广泛的应用前景。因此锚杆缺陷识别问题也是目前研究的热点,本发明利用所设计的结构自组织算法实现了对锚杆的缺陷识别和分类。
(1)锚杆缺陷分类(Classification of anchor defects)
本实验通过采用ANSYS建立不同情况的锚杆锚固系统模型,并对不同的缺陷进行了分别测试,获得200组数据,其中160组数据用于网络训练,40组数据用来测试。不同缺陷锚杆对应输出如下表(表3)所示:
表3缺陷类型分类表
(2)训练网络(Training network)
训练网络具体步骤如下:
①初始化网络参数:学习率为η=0.15,网络输入层个数为8个,初始隐含层个数为2个,网络输出层个数为4个,使用增长算法迭代25次,删减算法迭代25次,并用训练好的网络进行了50次训练。
②将归一化后的数据带入网络进行训练。
③将测试数据带入训练好的网络进行测试。
(3)实验结果(Experimental result)
本发明以准确度在90%以上作为准确识别的标志对网络结果的识别率进行了分析。为了减小初始权值的随机性带来的实验误差,本发明一共进行了100次实验,并对100次实验结果进行了记录:
表4识别率结果记录
表5识别率80%以上所的网络节点数
由上图结果可以确定,当隐含层节点个数在4至6之间时,网络识别准确度最高,且隐含层节点为4出现的概率最大。本发明以结点个数4为例分析隐含层结点个数变化和各类锚杆的识别情况。隐含层结点个数变化如图11所示,本发明对四种不同类型锚杆的识别精度进行了分析,结果图12所示,图中实线为期望输出,虚点线为神经网络实际输出。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (5)
1.一种基于神经元显著性的前馈神经网络结构自组织方法,其特征在于,包括以下步骤:
(1)系统建模;
(2)网络初始化;
(3)训练网络;
(4)判断当前训练得到的隐含层第j个节点是否满足增长条件,若是,进入步骤(5),否则进入步骤(6);
(5)在隐含层中增加神经元并再次训练网络;
(6)判断是否达到预设的训练次数,如果是,进入步骤(7),否则返回步骤(3);
(7)训练网络;
(8)判断当前得到的隐含层第j个节点是否满足删减条件,若是,进入步骤(9),否则进入步骤(10);
(9)删除隐含层对应的神经元,将删除的神经元的连接权值增加到目前显著性最大的神经元,并训练网络;
(10)判断是否达到预设的训练次数,如果是则进入步骤(11),否则返回步骤(7);
(11)用新参数训练网络;
(12)带入测试数据测试网络,流程结束。
2.如权利要求1所述的方法,其特征在于,所述的增长条件为:
pj(n)>GTH(n) (1)
其中,n表示第n次训练,pj(n)为增长指数,由式(2)计算得到,GTH(n)为增长阈值,由式(3)计算得到:
<mrow>
<msub>
<mi>p</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<mfrac>
<mrow>
<msub>
<msup>
<mi>w</mi>
<mi>o</mi>
</msup>
<mrow>
<mi>j</mi>
<mi>k</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<msub>
<mi>h</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<msup>
<mi>w</mi>
<mi>o</mi>
</msup>
<mrow>
<mi>j</mi>
<mi>k</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<msub>
<mi>h</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,M为输出层节点个数,N为隐含层节点个数,wo jk(n)为第n次训练时隐含层第j个节点到输出层第k个节点的连接权值,hj(n)为第n次训练时隐含层第j个神经元的输出;
<mrow>
<msub>
<mi>G</mi>
<mrow>
<mi>T</mi>
<mi>H</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>&alpha;</mi>
<mi>N</mi>
<mi>M</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>p</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mi>&alpha;</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>0</mn>
<mo>,</mo>
<mn>1</mn>
<mo>&rsqb;</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,α为增长分散系数。
3.如权利要求2所述的方法,其特征在于,新增节点与输入层和输出层之间的连接权值为:
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<msup>
<mi>w</mi>
<mi>h</mi>
</msup>
<mrow>
<mi>i</mi>
<mi>n</mi>
<mi>e</mi>
<mi>w</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<msup>
<mi>w</mi>
<mi>h</mi>
</msup>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<msup>
<mi>w</mi>
<mi>o</mi>
</msup>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>w</mi>
<mi>k</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>d</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>y</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>h</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>w</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,wh inew(n)为第n次训练时输入层第i个节点与隐含层新增节点之间的连接权值,wo newk(n)为第n次训练时隐含层新增节点与输出层第k个节点之间的连接权值,dk(n)为第n次训练时输出层第k个节点的目标输出,yk(n)为第n次训练时输出层第k个节点的输出,hnew(n)为第n次训练时隐含层新增节点的输出。
4.如权利要求1所述的方法,其特征在于,所述的删减条件为:
dj(n)<PTH(n) (5)
其中,n表示第n次训练,dj(n)表示删减指数,由式(6)计算得到,PTH(n)表示删减阈值,由式(7)计算得到:
<mrow>
<msub>
<mi>d</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>a</mi>
<mover>
<mrow>
<msub>
<mi>h</mi>
<mi>j</mi>
</msub>
<msup>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
<mo>&OverBar;</mo>
</mover>
<mo>&CenterDot;</mo>
<msub>
<mi>&delta;</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,a为常系数,表示隐含层第j个神经元输出平方的均值,δj(n)表示隐含层第j个神经元输出的标准差;
<mrow>
<msub>
<mi>P</mi>
<mrow>
<mi>T</mi>
<mi>H</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mi>&beta;</mi>
<mi>N</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>d</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mi>&beta;</mi>
<mo>&Element;</mo>
<mo>(</mo>
<mn>0</mn>
<mo>,</mo>
<mn>1</mn>
<mo>&rsqb;</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,N为隐含层节点个数,β为删减分散系数。
5.如权利要求1所述的方法,其特征在于,具体的删减方法为:
<mrow>
<msub>
<msup>
<mi>w</mi>
<mi>o</mi>
</msup>
<mrow>
<mi>l</mi>
<mi>k</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<msup>
<mi>w</mi>
<mi>o</mi>
</msup>
<mrow>
<mi>s</mi>
<mi>k</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<msub>
<mi>h</mi>
<mi>s</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<msup>
<mi>w</mi>
<mi>o</mi>
</msup>
<mrow>
<mi>l</mi>
<mi>k</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<msub>
<mi>h</mi>
<mi>l</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>h</mi>
<mi>l</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,wo lk(n)表示隐含层显著性最大的神经元与输出层第k个节点的连接权值,wo sk(n)表示删除的神经元与输出层第k个节点的连接权值,hs(n)表示删除的神经元的输出,hl(n)表示隐含层显著性最大的神经元的输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710440600.3A CN107273971B (zh) | 2017-06-13 | 2017-06-13 | 基于神经元显著性的前馈神经网络结构自组织方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710440600.3A CN107273971B (zh) | 2017-06-13 | 2017-06-13 | 基于神经元显著性的前馈神经网络结构自组织方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107273971A true CN107273971A (zh) | 2017-10-20 |
CN107273971B CN107273971B (zh) | 2021-10-22 |
Family
ID=60067136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710440600.3A Active CN107273971B (zh) | 2017-06-13 | 2017-06-13 | 基于神经元显著性的前馈神经网络结构自组织方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107273971B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109543818A (zh) * | 2018-10-19 | 2019-03-29 | 中国科学院计算技术研究所 | 一种基于深度学习模型的链路评估方法和系统 |
WO2020042832A1 (zh) * | 2018-08-29 | 2020-03-05 | 厦门快商通信息技术有限公司 | 神经网络节点的自增减方法、装置及存储介质 |
CN111767418A (zh) * | 2020-07-07 | 2020-10-13 | 中电万维信息技术有限责任公司 | 基于神经网络的电子图像文件自动分类方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104933841A (zh) * | 2015-04-30 | 2015-09-23 | 重庆三峡学院 | 一种基于自组织神经网络的火灾预测方法 |
CA2867968A1 (en) * | 2014-10-17 | 2016-04-17 | Seyed Mojaba Smma Mohammadian Abkenar | Cloud computing: neural network processor |
CN105921522A (zh) * | 2016-05-27 | 2016-09-07 | 天津重电气自动化有限公司 | 基于rbf神经网络的层流冷却温度自适应控制方法 |
CN106501465A (zh) * | 2016-12-23 | 2017-03-15 | 石家庄铁道大学 | 一种用于检测锚杆锚固质量的检测方法 |
-
2017
- 2017-06-13 CN CN201710440600.3A patent/CN107273971B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2867968A1 (en) * | 2014-10-17 | 2016-04-17 | Seyed Mojaba Smma Mohammadian Abkenar | Cloud computing: neural network processor |
CN104933841A (zh) * | 2015-04-30 | 2015-09-23 | 重庆三峡学院 | 一种基于自组织神经网络的火灾预测方法 |
CN105921522A (zh) * | 2016-05-27 | 2016-09-07 | 天津重电气自动化有限公司 | 基于rbf神经网络的层流冷却温度自适应控制方法 |
CN106501465A (zh) * | 2016-12-23 | 2017-03-15 | 石家庄铁道大学 | 一种用于检测锚杆锚固质量的检测方法 |
Non-Patent Citations (2)
Title |
---|
MD. MONIRUL ISLAM ETAL.: "An Adaptive Merging and Growing Algorithm for Designing Artificial Neural Networks", 《2008 IEEE INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS》 * |
张米娜等: "前馈神经网络结构动态增长一修剪方法", 《智能系统学报》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020042832A1 (zh) * | 2018-08-29 | 2020-03-05 | 厦门快商通信息技术有限公司 | 神经网络节点的自增减方法、装置及存储介质 |
CN109543818A (zh) * | 2018-10-19 | 2019-03-29 | 中国科学院计算技术研究所 | 一种基于深度学习模型的链路评估方法和系统 |
CN111767418A (zh) * | 2020-07-07 | 2020-10-13 | 中电万维信息技术有限责任公司 | 基于神经网络的电子图像文件自动分类方法 |
CN111767418B (zh) * | 2020-07-07 | 2023-10-27 | 中电万维信息技术有限责任公司 | 基于神经网络的电子图像文件自动分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107273971B (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103105246A (zh) | 一种基于遗传算法改进的bp神经网络的温室环境预测反馈方法 | |
CN110262233B (zh) | 一种磁控镀膜仪工艺参数的优化方法 | |
JP6466590B2 (ja) | K次数スパース制約を満たす深層学習モデルに基づくビッグデータの処理方法 | |
CN102622515B (zh) | 一种天气预测方法 | |
CN107729999A (zh) | 考虑矩阵相关性的深度神经网络压缩方法 | |
CN106022954B (zh) | 基于灰色关联度的多重bp神经网络负荷预测方法 | |
CN110046710A (zh) | 一种神经网络的非线性函数极值优化方法及系统 | |
Liu et al. | A fault diagnosis intelligent algorithm based on improved BP neural network | |
CN110689171A (zh) | 一种基于e-lstm的汽轮机健康状态预测方法 | |
CN110941734B (zh) | 基于稀疏图结构的深度无监督图像检索方法 | |
CN104751228A (zh) | 深度神经网络的构建方法及系统 | |
CN111488946A (zh) | 基于信息融合的雷达伺服系统故障诊断方法 | |
CN108596327A (zh) | 一种基于深度学习的地震速度谱人工智能拾取方法 | |
CN104636801A (zh) | 一种基于优化bp神经网络的预测输电线路可听噪声方法 | |
CN107273971B (zh) | 基于神经元显著性的前馈神经网络结构自组织方法 | |
CN103559537B (zh) | 一种乱序数据流中基于误差反向传播的模板匹配方法 | |
CN113722980B (zh) | 海洋浪高预测方法、系统、计算机设备、存储介质、终端 | |
CN104050505A (zh) | 一种基于带学习因子蜂群算法的多层感知器训练方法 | |
Ettaouil et al. | Architecture optimization model for the multilayer perceptron and clustering. | |
CN114692310A (zh) | 一种基于Dueling DQN的虚实融合一二级分离模型参数优化方法 | |
CN110941902A (zh) | 一种输电线路雷击故障预警方法和系统 | |
CN106896724A (zh) | 用于太阳跟踪器的跟踪系统及跟踪方法 | |
CN110738363A (zh) | 一种光伏发电功率预测模型及其构建方法和应用 | |
CN114077883A (zh) | 在环境空气预报中基于深度信念网络的数据融合的方法 | |
CN114596567A (zh) | 一种基于动态前馈神经网络结构和成长率函数的手写数字识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |