CN104504441A - 基于敏感性的madaline神经网络构建方法及其装置 - Google Patents

基于敏感性的madaline神经网络构建方法及其装置 Download PDF

Info

Publication number
CN104504441A
CN104504441A CN201410751428.XA CN201410751428A CN104504441A CN 104504441 A CN104504441 A CN 104504441A CN 201410751428 A CN201410751428 A CN 201410751428A CN 104504441 A CN104504441 A CN 104504441A
Authority
CN
China
Prior art keywords
neural network
madaline
network
module
susceptibility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410751428.XA
Other languages
English (en)
Inventor
储荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201410751428.XA priority Critical patent/CN104504441A/zh
Publication of CN104504441A publication Critical patent/CN104504441A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Feedback Control In General (AREA)

Abstract

本发明公开了一种基于敏感性的MADALINE神经网络构建方法及其装置，选取一个足够大的正整数m作为隐层神经元数，构建一个三层MADALINE神经网络，并给定初始网络参数；利用有标记的样本集训练神经网络直到代价函数收敛到某个给定的很小的阈值e，得到经过训练的分类器；计算隐层神经元的敏感性，并按照敏感性由小到大排序；去掉敏感性最小的隐层神经元，得到新结构的MADALINE神经网络；对新的MADALINE神经网络在原有参数的基础上再次使用有标记的样本集进行训练；取隐层神经元数最小且能收敛的MADALINE神经网络网络结构为最终的网络结构，其网络为最终输出的分类器。本发明可以有效提高神经网络构建效率，并提高MADALINE神经网络的性能。

Description

基于敏感性的MADALINE神经网络构建方法及其装置
技术领域
本发明一种MADALINE神经网络设计时的网络构建方法及其装置，尤其涉及一种可有效提高MADALINE神经网络分类效率或回归效率的网络构建方法及其装置，属于智能科学与技术中的机器学习领域。
背景技术
在设计MADALINE神经网络分类器时，如何确定神经网络的结构是一个重要而且关键的步骤。针对具体问题构建一个合适的网络对提高分类精度、泛化能力都有巨大的帮助。目前广泛使用的是三层神经网络。文献已经证明，三层神经网络当第二层(也称隐层、中间层)神经元数增多时可以逼近任何连续函数。在具体应用中，三层神经网络的第一层神经元数依赖于输入变量的维数，第三层神经元数依赖于输出变量的维数。因为输入变量和输出变量的维数一般都是确知的，所以第一层和第三层神经元的个数一般也是确定的。对于三层神经网络的网络构建实际上是确定第二层神经元数目的一个过程。
在训练神经网络的时候，通常使用有监督的学习方法。有监督的学习方法是指在训练神经网络的过程中通过告诉网络输入和相对应的输出来调节网络参数，达到训练神经网络的目的。在这个过程中需要使用有标记的训练样本。训练样本的标记一般是由专家来完成的，这往往要花费大量的金钱和时间代价。在实际应用中，无标记的样本比有标记的样本要容易获得得多。例如在某些互联网应用中，由专家标记的有标记样本和无标记样本相比只占很少的一部分。能否使用那些没有标记的样本帮助辅助确定网络的最优结构就变得很有必要。
对于三层MADALINE神经网络，确定隐层神经网络的方法主要有：
1)增枝法。这个方法确定隐层神经元数量的过程是首先选择一个很小的隐藏神经元数。由于隐层神经元数太少，所以网络的结构太简单，导致使用训练样本训练神经网络不成功。数学上的表征就是误差不收敛。在这个隐层神经元数量的基础上一个一个地增加隐层神经元数量，没增加一个训练一次网络，直到隐层神经元数量增加到某一数量时神经网络能够训练成功为止。能够使得神经网络训练成功的最小隐层神经元数量就是我们需要寻找的隐层神经元数。
2)减枝法。这个方法与增枝法相反，它的操作方法是首先确定一个足够大的隐层神经元数来构造一个三层神经网络，在这个结构下能够使用有标记的样本很容易地训练好神经网络。然后对隐层神经元去除一个，在去除之后的网络基础上使用有标记的样本进行训练，使得网络再次训练完成。重复上述去除过程，直到网络训练不能完成为止。这时候取最小能完成的隐层神经元数量作为最终确定的隐层神经元数。增枝法和减枝法背后的理论基础是统计学习理论要求对于一个具体的分类问题分类器要有一个合适的复杂度，保证既不过拟合也不欠拟合。只有这样的分类器才能具有最好的泛化能力。对于三层MADALINE神经网络这样的分类器而言，网络复杂度就体现在隐层神经元的数量上，神经元数量太少网络欠拟合，训练不能完成，神经元数量太多网络过拟合，泛化能力差。
3)经验法。这种方法确定隐层神经元数需要对具体问题所涉及的领域有深刻的理解，从而凭借经验确定隐层神经元的数量。即使这样也不能保证所取的隐层神经元数量是最优的。
对于上述方法减枝法目前使用较多。在具体的减枝过程中，首先减去哪个隐层神经元、其次减去哪个隐层神经元对于确定最终的网络结构非常重要。一般认为每个隐层神经元在训练过程中起到的作用或者重要程度是不一样的。理论上首先去掉对分类没有作用的或者不重要的神经元可以使得最终训练完成的神经网络的泛化性能更好。如何利用无标记的样本来辅助确定隐层神经元以更好地确定网络就变得非常重要。
发明内容
发明目的：针对现有技术中存在的问题与不足，本发明提供一种利用有标记样本和无标记样本辅助确定三层MADALINE神经网络隐层神经元敏感性的方法，同时也提供了一种基于无标记样本的MADALINE神经网络构建装置及其工作方法。
技术方案：一种基于敏感性的MADALINE神经网络构建方法，包括以下步骤：
(S101)选取一个足够大的正整数m(针对不同问题，足够大的取值方法并不相同，一般来说，足够大至少是能够将网络训练成功的数值，低于这个数值网络训练将不成功)作为隐层神经元数，构建一个三层MADALINE神经网络，并给定初始网络参数；
(S103)利用有标记的样本集训练神经网络直到代价函数收敛到某个给定的很小的阈值e(e取值小于10的-2次方)，得到经过训练的分类器；
(S105)计算隐层神经元的敏感性，并按照敏感性由小到大排序；
(S107)去掉敏感性最小的隐层神经元，得到新结构的MADALINE神经网络；
(S109)对新的MADALINE神经网络在原有参数的基础上再次使用有标记的样本集进行训练，如果代价函数能够收敛到某个很小的阈值e，则得到经过参数更新的分类器并重复步骤(S107)、(S109)；如果不能收敛则进入下一步；
(S111)取隐层神经元数最小且能收敛的MADALINE神经网络网络结构为最终的网络结构，其网络为最终输出的分类器。
一种MADALINE神经网络设计时的网络构建装置，该装置包括：初始模块、训练模块、隐层神经元选择模块和输出模块；上述模块按照如下顺序依次构建：初始模块、训练模块、隐层神经元选择模块、输出模块。
(1)构建初始模块：其选取一个足够大的正整数m作为MADALINE隐层神经元数，构建一个三层神经网络，并给定初始网络参数；
(2)构建训练模块：其利用有标记的样本集训练MADALINE神经网络直到代价函数收敛到某个给定的很小的阈值e，得到经过训练的分类器；
(3)隐层神经元选择模块：其计算隐层神经元的敏感性，按照敏感性由小到大排序，并去掉敏感性最小的隐层神经元，形成新结构的MADALINE神经网络；重新利用有标记样本集训练新结构的神经网络，如果代价函数能够收敛到某个很小的阈值e，则得到经过参数更新的分类器并重复本步骤；如果代价函数不能够收敛到某个很小的阈值e，则进入下一个步骤；
(4)构建输出模块：取隐层神经元数最小且能收敛的MADALINE神经网络网络结构为最终的网络结构，并输出这个网络为最终的分类器。
本发明采用上述技术方案，具有以下有益效果：本发明所述基于无标记样本的MADALINE神经网络构建方法为裁剪隐层神经元以确定网络结构提供依据，提高了神经网络分类器的分类性能。
本发明所述基于无标记样本的MADALINE神经网络构建装置有效利用无标记样本所蕴含的信息，从而在判断隐层神经元个体重要性方面比以往的方法更加准确，更加方便，同时采用基于无标记样本的MADALINE神经网络构建装置的工作方法裁剪过的神经网络具有更好的泛化性。
附图说明
图1为MADALINE神经网络结构图；
图2为本发明具体实施方式的方法流程图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
实施例
现以MADALINE神经网络为例，说明根据本发明的前向神经网络样本选择方法。
MADALINE神经网络是一种全连接的前向神经网络，适用于目标的分类。MADALINE神经网络的结构如图1所示，它是一种三层前向网络：输入层MA由输入模式节点组成，xi表示输入模式向量的第i个分量(i＝1,2,...,n)；第二层是隐含层MB，它由m个节点bj(j＝1,2,...,m)组成。第三层是输出层MC，它由p个节点ck(k＝1,2,...,p)组成。
在训练之前需要对输入向量的每个元素规范化，这里将每个元素规范化到[-1,1]。
对于上述MADALINE神经网络的训练在这里可以采用标准BP算法。
下面我们定义上述MADALINE神经网络隐层神经元的敏感性。
当神经网络训练完成后，它的映射关系也就确定了。设映射关系函数为F(X)(其中X为输入向量)。假设裁掉的是第j个隐层神经元，那么去掉第j个隐层神经元后神经网络的映射关系函数变成Fj(X)，定义第j个隐层神经元的敏感性为：Sj(X)＝E(|F(X)-Fj(X)|/2)＝Nerr/Ninp   (1)
|·|是求取·的绝对值的算符。E为求取期望的算符。Ninp是所有可能输入的个数，Nerr是在所有可能的输入中由于裁掉了第j个隐层神经元所导致和原输出不同的个数。与连续神经网络不同的是，MADALINE神经网络的输入和输出都是离散值，一般为+1和-1。因此MADALINE神经网络的输入空间的数量是有限的，Ninp实际上就是输入空间的数量。
由敏感性的定义可以看出，敏感性实际上代表了有第j个隐层神经元和没有第j个隐层神经元函数输出的差别。这个差别越小表示第j个隐层神经元越不重要，反之则越重要。
如图2所示为本发明基于无标记样本的神经网络构建方法流程图。
在步骤S101中，选取一个足够大的正整数m作为MADALINE隐层神经元数，构建一个三层神经网络，并给定初始网络参数。
在步骤S103中，利用有标记的样本集训练神经网络直到代价函数收敛到某个给定的很小的阈值e，得到经过训练的分类器。
在步骤S105中，计算隐层神经元的敏感性，并按照敏感性由小到大排序。
在步骤S107中，去掉敏感性最小的隐层神经元，得到新结构的MADALINE神经网络。
在步骤S109中，对新的MADALINE神经网络在原有参数的基础上再次使用有标记的样本集进行训练，如果代价函数能够收敛到某个很小的阈值e，则得到经过参数更新的分类器并重复步骤S107、S109。如果不能收敛则进入下一步。在步骤S111中，取隐层神经元数最小且能收敛的MADALINE神经网络网络结构为最终的网络结构，其网络为最终输出的分类器。
本实施例所属方法基于所述基于无标记样本的神经网络构建装置，该装置包括：初始模块、训练模块、隐层神经元选择模块和输出模块；上述模块按照如下顺序依次构建：初始模块、训练模块、隐层神经元选择模块、输出模块。
上述基于无标记样本的神经网络构建装置的工作方法，具体步骤如下：
(1)构建初始模块：其选取一个足够大的正整数m作为MADALINE隐层神经元数，构建一个三层神经网络，并给定初始网络参数；
(2)构建训练模块：其利用有标记的样本集训练MADALINE神经网络直到代价函数收敛到某个给定的很小的阈值e，得到经过训练的分类器；
(3)隐层神经元选择模块：其计算隐层神经元的敏感性，按照敏感性由小到大排序，并去掉敏感性最小的隐层神经元，形成新结构的MADALINE神经网络；重新利用有标记样本集训练新结构的神经网络，如果代价函数能够收敛到某个很小的阈值e，则得到经过参数更新的分类器并重复本步骤；如果代价函数不能够收敛到某个很小的阈值e，则进入下一个步骤；
(4)构建输出模块：取隐层神经元数最小且能收敛的MADALINE神经网络网络结构为最终的网络结构，并输出这个网络为最终的分类器。

Claims (2)

1.一种基于敏感性的MADALINE神经网络构建方法，其特征在于，包括以下步骤：
（S101）选取一个足够大的正整数m作为隐层神经元数，构建一个三层MADALINE神经网络，并给定初始网络参数；
（S103）利用有标记的样本集训练神经网络直到代价函数收敛到某个给定的很小的阈值e（e取值小于10的-2次方），得到经过训练的分类器；
（S105）计算隐层神经元的敏感性，并按照敏感性由小到大排序；
（S107）去掉敏感性最小的隐层神经元，得到新结构的MADALINE神经网络；
（S109）对新的MADALINE神经网络在原有参数的基础上再次使用有标记的样本集进行训练，如果代价函数能够收敛到某个很小的阈值e，则得到经过参数更新的分类器并重复步骤（S107）、（S109）；如果不能收敛则进入下一步；
（S111）取隐层神经元数最小且能收敛的MADALINE神经网络网络结构为最终的网络结构，其网络为最终输出的分类器。
2.一种MADALINE神经网络设计时的网络构建装置，其特征在于，该装置包括：初始模块、训练模块、隐层神经元选择模块和输出模块；上述模块按照如下顺序依次构建：初始模块、训练模块、隐层神经元选择模块、输出模块；
（1）构建初始模块：其选取一个足够大的正整数m作为MADALINE隐层神经元数，构建一个三层神经网络，并给定初始网络参数；
（2）构建训练模块：其利用有标记的样本集训练MADALINE神经网络直到代价函数收敛到某个给定的很小的阈值e，得到经过训练的分类器；
（3）隐层神经元选择模块：其计算隐层神经元的敏感性，按照敏感性由小到大排序，并去掉敏感性最小的隐层神经元，形成新结构的MADALINE神经网络；重新利用有标记样本集训练新结构的神经网络，如果代价函数能够收敛到某个很小的阈值e，则得到经过参数更新的分类器并重复本步骤；如果代价函数不能够收敛到某个很小的阈值e，则进入下一个步骤；
（4）构建输出模块：取隐层神经元数最小且能收敛的MADALINE神经网络网络结构为最终的网络结构，并输出这个网络为最终的分类器。
CN201410751428.XA 2014-12-09 2014-12-09 基于敏感性的madaline神经网络构建方法及其装置 Pending CN104504441A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410751428.XA CN104504441A (zh) 2014-12-09 2014-12-09 基于敏感性的madaline神经网络构建方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410751428.XA CN104504441A (zh) 2014-12-09 2014-12-09 基于敏感性的madaline神经网络构建方法及其装置

Publications (1)

Publication Number Publication Date
CN104504441A true CN104504441A (zh) 2015-04-08

Family

ID=52945836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410751428.XA Pending CN104504441A (zh) 2014-12-09 2014-12-09 基于敏感性的madaline神经网络构建方法及其装置

Country Status (1)

Country Link
CN (1) CN104504441A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214386A (zh) * 2018-09-14 2019-01-15 北京京东金融科技控股有限公司 用于生成图像识别模型的方法和装置
CN110874471A (zh) * 2019-11-19 2020-03-10 支付宝(杭州)信息技术有限公司 保护隐私安全的神经网络模型的训练方法和装置
CN111950711A (zh) * 2020-08-14 2020-11-17 苏州大学 复值前向神经网络的二阶混合构建方法及系统
US11315018B2 (en) 2016-10-21 2022-04-26 Nvidia Corporation Systems and methods for pruning neural networks for resource efficient inference

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100177943A1 (en) * 2006-08-11 2010-07-15 Koninklijke Philips Electronics N.V. Methods and apparatus to integrate systematic data scaling into genetic algorithm-based feature subset selection
CN103679267A (zh) * 2013-12-05 2014-03-26 河海大学 基于无标记样本的rbf神经网络构建方法及其装置
CN103995775A (zh) * 2014-05-20 2014-08-20 浪潮电子信息产业股份有限公司 一种基于神经网络的测试数据生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100177943A1 (en) * 2006-08-11 2010-07-15 Koninklijke Philips Electronics N.V. Methods and apparatus to integrate systematic data scaling into genetic algorithm-based feature subset selection
CN103679267A (zh) * 2013-12-05 2014-03-26 河海大学 基于无标记样本的rbf神经网络构建方法及其装置
CN103995775A (zh) * 2014-05-20 2014-08-20 浪潮电子信息产业股份有限公司 一种基于神经网络的测试数据生成方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11315018B2 (en) 2016-10-21 2022-04-26 Nvidia Corporation Systems and methods for pruning neural networks for resource efficient inference
CN109214386A (zh) * 2018-09-14 2019-01-15 北京京东金融科技控股有限公司 用于生成图像识别模型的方法和装置
CN110874471A (zh) * 2019-11-19 2020-03-10 支付宝(杭州)信息技术有限公司 保护隐私安全的神经网络模型的训练方法和装置
WO2021098255A1 (zh) * 2019-11-19 2021-05-27 支付宝(杭州)信息技术有限公司 保护隐私安全的神经网络模型的训练方法和装置
CN111950711A (zh) * 2020-08-14 2020-11-17 苏州大学 复值前向神经网络的二阶混合构建方法及系统

Similar Documents

Publication Publication Date Title
CN113361680B (zh) 一种神经网络架构搜索方法、装置、设备及介质
Shokri et al. Algorithm for increasing the speed of evolutionary optimization and its accuracy in multi-objective problems
CN105701571A (zh) 一种基于神经网络组合模型的短时交通流量预测方法
Bozorg-Haddad et al. A self-tuning ANN model for simulation and forecasting of surface flows
CN109491816A (zh) 基于知识的故障诊断方法
Malik et al. Transmission line fault classification using modified fuzzy Q learning
CN104504441A (zh) 基于敏感性的madaline神经网络构建方法及其装置
CN108537366B (zh) 基于最优卷积二维化的水库调度方法
CN112491096B (zh) 一种用于生成电网仿真分析算例的方法及系统
CN102968663A (zh) 基于无标记样本的神经网络构建方法及其装置
Dhahri et al. Hierarchical multi-dimensional differential evolution for the design of beta basis function neural network
CN112818588B (zh) 一种电力系统的最优潮流计算方法、装置及存储介质
CN107392307A (zh) 并行化时序数据的预测方法
CN112200316A (zh) 一种针对在线预测任务的gbdt学习方法
CN104915714A (zh) 一种基于回声状态网络的预测方法及装置
CN103679267A (zh) 基于无标记样本的rbf神经网络构建方法及其装置
Benmiloud Multi-output adaptive neuro-fuzzy inference system
Choueiki et al. Training data development with the D-optimality criterion
CN117149410A (zh) 一种基于ai智能模型训练调度指挥监控系统
CN109716288A (zh) 网络模型编译器及相关产品
CN110829434B (zh) 一种提高深度神经网络潮流模型扩展性的方法
Abd Samad Evolutionary computation in system identification: review and recommendations
Panapongpakorn et al. Short-Term Load Forecast for Energy Management System Using Neural Networks with Mutual Information Method of Input Selection
Renault et al. Genetic algorithm optimization of SoS meta-architecture attributes for fuzzy rule based assessments
Kaur et al. Extended Bipolar Sigmoid Algorithm for Enhancing Performance of Constructive Neural Network

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150408