CN1251136C - 神经网络建模方法 - Google Patents

神经网络建模方法 Download PDF

Info

Publication number
CN1251136C
CN1251136C CN 200310108052 CN200310108052A CN1251136C CN 1251136 C CN1251136 C CN 1251136C CN 200310108052 CN200310108052 CN 200310108052 CN 200310108052 A CN200310108052 A CN 200310108052A CN 1251136 C CN1251136 C CN 1251136C
Authority
CN
China
Prior art keywords
network
species
neural network
subclass
appraising
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 200310108052
Other languages
English (en)
Other versions
CN1529281A (zh
Inventor
张春慨
邵惠鹤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN 200310108052 priority Critical patent/CN1251136C/zh
Publication of CN1529281A publication Critical patent/CN1529281A/zh
Application granted granted Critical
Publication of CN1251136C publication Critical patent/CN1251136C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种神经网络建模方法。属于智能信息处理技术领域。本发明基于结构风险最小化原则，结合合作协作进化算法，同时进行神经网络的网络结构和连接权值学习，最终得到网络结构和连接权值之间最优折衷，方法具体包括数据处理、网络学习和网络估计预测三个基本步骤。本发明同时进行网络结构和连接权值的学习，较好地解决了传统神经网络学习中存在的结果与初始值相关、收敛速度慢、易陷于局部最小值、误差函数必须可导、过学习等实际问题，提高了网络的学习能力和泛化能力。本发明可应用于心脏病智能诊断、工业领域中的故障诊断、软测量等，经济领域的股票价格预测、商品价格预测等。

Description

神经网络建模方法
技术领域
本发明涉及的是一种建模方法，特别是一种神经网络建模方法。属于智能信息处理技术领域。
背景技术
传统数学建模方法，包括机理建模、多元统计方法、卡尔曼滤波方法、基于模型的回归方法等，这些方法在应用中取得了一定的效果。但是，随着待解决问题的日益复杂，传统数学方法对其难以精确描述，加之评价指标选择不恰当，实际效果一般不很满意。于是基于神经网络的建模方法被提出来，该方法在相当程度上提高了模型性能，但由于连接权值学习通常采用本质属于梯度下降的算法，且网络结构依赖经验选取，因而不可避免地存在结果与初始值相关、收敛速度慢、非线性映射差、易陷于局部最小值、过学习等实际问题，导致学习能力不足、泛化能力较弱。进化算法是一类全局随机搜索算法，能够在复杂、多峰值、不可微的大矢量空间中迅速有效地寻找到全局最优值，且只要能建立起正确的适应度函数，不要求可导，就可对各种结构的网络实施有效的学习，从而弥补传统神经网络权值学习算法所存在的不足。
经文献检索发现，Yao X.在《Intemational Journal of Intelligent Systems》(《智能系统国际杂志》)(Vol.8(4)，539-567，1993)上撰文“A Review of EvolutionaryArtificial Neural Networks”(“进化神经网络的评述”)，该文研究并评论了采用进化算法训练神经网络的多种方法，研究表明，进化神经网络仍不能自动设计网络结构，对小样本、非线性及要求模型泛化能力强的这类问题的建模性能不好。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种神经网络建模方法，使得网络结构和连接权值都能自动学习，在建模准确度提高同时，大幅提高模型的泛化能力。
本发明是通过以下技术方案实现的，本发明基于统计学习理论的结构风险最小化原则，结合合作协作进化算法，同时进行神经网络的网络结构和连接权值学习，最终得到网络结构和连接权值之间最优折衷，方法具体包括数据处理、网络学习和网络估计预测三个基本步骤。
结构风险最小化原则定义了在对给定数据集逼近的精度和逼近函数复杂性之间的一种折衷，即考虑连接权值和网络结构之间的最优折衷，此时模型具有最好的学习准确度和泛化能力。基于此原则，在神经网络进化学习过程中，存在两种物种的进化：一种物种进化网络结构，称之为“主导物种”；另一种物种进化连接权值，称之为“评优物种”。目的是利用主导物种进化来引导评优物种的进化方向；利用评优物种进化来评价已进化过的网络结构的优劣，它们之间是合作协作关系，最终得到网络结构和连接权值的最优折衷。
以下对本发明方法作进一步的说明，具体内容如下：
1、数据处理
确定神经网络的输入和输出变量，并基于交叉验证思想和新型合作协作进化模型特点，将样本数据随机分割成3个子集：训练样本子集、有效样本子集和测试样本子集，分别用于网络的学习、有效性检验和测试。相比传统神经网络中的数据处理方法，这种方法可较好地提高神经网络的泛化能力。
2、网络学习
网络学习包括网络结构和连接权值学习两部分，采用合作协作进化算法，协作进化网络结构和连接权值，具体如下：
(1)编码方法
主导物种的个体代表了网络结构，其编码内容是正整数；评优物种的个体代表了一给定网络结构的神经网络的连接权值，其编码内容是实数，它的个体长度与对应的网络结构有关，该网络结构对应于主导物种中一个个体。主导物种的一个个体与评优物种的一个个体可以组合一个完整的神经网络。
(2)适应值函数
在评价个体优劣时，首先将评优物种中的个体与主导物种中对应的个体结合组成一个完整的神经网络，然后计算该网络的性能，作为该个体的适应值。为此，将训练样本子集用于评优物种，对已给定网络结构的神经网络的连接权值进行进化，其个体适应值函数等于训练样本子集通过该神经网络所产生的均方误差函数的倒数；将有效样本子集用于主导物种，对神经网络的网络结构进行进化，其个体适应值函数等于有效样本子集通过该神经网络所产生的均方误差函数的倒数。
(3)学习过程
首先，确定主导物种和评优物种的种群规模，并随机初始化种群，其中评优物种的每个种群对应于主导物种的一个个体，每个种群中的个体代表了一个给定网络结构的神经网络的全部连接权值。
其次，采用训练样本子集，利用局部进化算法(PTA)进化评优物种的种群，并选择最好个体作为该种群的个体代表；采用有效样本子集，利用一般进化算法进化主导物种的种群，其中每个个体与该个体对应的评优物种中的个体代表组成一个完整的神经网络实例，并选择最好实例作为当前最好神经网络。
当评优物种的种群所对应的网络结构改变时，利用增加和删除节点方法(EAN)和局部进化算法(PTA)来进化评优物种的种群。若增加了隐层节点，在增加和删除节点方法下，局部进化算法仅进化与新增加的隐层节点相连的输入、输出层节点间的连接权值，以减小剩余的训练均方误差，而其他连接权值保持不变。与已存在的神经网络节点相比，新增加的节点表示了整个神经网络在映射输入和输出样本时的细节问题，即剩余的训练均方误差，这样极大地减小了搜索空间，并且由于已存在的连接权值保持不变，防止破坏神经网络已学到行为；若删除了隐层节点，在增加和删除节点方法下，如果该网络曾经增加过隐层节点，那么以原来增加节点次序的逆序来删除节点，否则随机删除节点。然后，利用局部进化算法进化每个个体代表的所有连接权值。
最后，在完成进化过程后，利用局部进化算法进一步地进化当前最好神经网络，它的样本集合包括训练样本子集和有效样本子集。这样，可进一步提高神经网络的泛化能力。
3、网络估计预测
网络学习过程结束后，采用测试样本子集，测试网络的估计预测准确率，验证网络的泛化能力。
本发明具有实质性特点和显著进步。本发明基于统计学习理论的结构风险最小化原则，使神经网络学习有了理论基础；利用新型合作协作进化模型，同时进行网络结构和连接权值的学习，较好地解决了传统神经网络学习中存在的结果与初始值相关、收敛速度慢、易陷于局部最小值、误差函数必须可导、过学习等实际问题，提高了网络的学习能力和泛化能力。本发明可应用于心脏病智能诊断，具有较好的结果，也可用于工业领域中的故障诊断、软测量等，经济领域的股票价格预测、商品价格预测等。
附图说明
图1本发明方法的逻辑结构图；
图2本发明实施例方法与传统方法在网络学习过程的输出均方误差曲线；
图3本发明基于合作协作进化神经网络的个体编码方法示意图。
具体实施方式
为了更好地理解本发明的技术方案，以下结合附图及具体的实施例作进一步描述。
如图1所示，本发明方法的逻辑结构图。图中主要分为两个部分：主导物种进化和评优物种进化，主导物种的进化和评优物种的进化是交替进行的，直到算法终止为止。其目的是利用评优物种的进化来评价已进化过的网络结构的优劣；反过来，利用主导物种的进化来引导评优物种的进化方向，使其朝着搜索空间中可能具有最优网络结构的区域内进行搜索，它们是相互协作的关系。其中，进化评优物种时，利用了增加和删除节点方法和局部进化算法，维护评优物种中父代和子代个体间的行为连接，提高了搜索效率。
实施例：将本发明方法应用于心脏病智能诊断中的实例
由于心脏病智能诊断的复杂特性，使得传统数学方法对其难以精确描述，加之评价指标选择不恰当，实际效果一般不很满意。本发明应用于心脏病智能诊断，具体实施过程如下：
1、数据处理
心脏病数据样本中，共有303个数据样本，经过筛选，只保留其中的270个用于神经网络的学习。每个样本的病理检测有75项，心脏病状况分为5类(value0，1，2，3，4)。为了简化起见，在实际诊断时，只利用了病理检测中的13项：Age、Sex、Cp、Trest、Chol、Fbs、Reste、Thal、Exan、Old、Slop、Ca、Thal，心脏病状况只分为两类：presence(value 0)和absence(value 1，2，3，4)。这样，每个数据样本包括13个属性，分为两类，对应于输入层有13个节点、输出层有1个节点的神经网络。
所有数据样本划分为三个子集，其中前134个数据样本属于训练样本子集，接下来的68个数据属于有效样本子集，最后68个属于检验样本子集。
2、网络学习
(1)编码方法
如图3所示，图中右半部为一个13×n×1的三层神经网络(n为隐层节点数)。左半部为个体编码，其中主导物种的个体编码为隐层节点数n，长度为1；评优物种的个体编码为输入层-隐层的连接权值和隐层-输出层的连接权值，长度为(13×n+n)。
(2)适应值函数
神经网络的均方误差函数为
E = 100 · ( O max - O min ) T · n Σ k P Σ i = 1 N ( Y i k - Z i k ) 2
其中，Omax和Omin分别是网络输出的最大和最小值，N是样本集合大小，P是网络输出的维数，Yi k和Zi k分别是第i个样本在网络的第k个实际输出和期望输出。评优物种和主导物种的个体适应值函数为均方误差函数的倒数，在该实施例中，Omax＝1和Omin＝0，P＝1，对于评优物种，样本集合采用训练样本子集，N＝134；对于主导物种，样本集合采用有效样本子集，N＝68。
(3)学习过程
主导物种和评优物种的种群规模均为30，每个个体的初始值是在一个小范围内随机一致分布的。
采用训练样本子集，利用局部进化算法进化评优物种，并选择物种中最好个体作为该物种的个体代表；采用有效样本子集，利用评优进化算法进化主导物种，其中每个个体代表一个神经网络实例的网络结构，该实例所代表的连接权值等于与该个体对应的评优物种中的个体代表所表示的连接权值，并选择主导物种的最好个体，与对应的评优物种的个体代表相结合组成一个完整的神经网络，作为当前最好神经网络。
3、网络估计预测
为了说明本发明的有效性，对该实施例分别采用传统神经网络方法和本发明方法进行网络学习。经过30次独立运行，计算统计结果的平均值。这里，统计结果包括训练均方误差、测试均方误差、有效性均方误差(仅对于SDCEANN)及神经网络的输出均方误差曲线，分别如表1和图2所示。
表1本发明和传统方法的统计结果
       训练样本子集        有效样本子集         测试样本子集
  误差   误差率   误差   误差率   误差   误差率
传统方法   平均   11.921   0.126   *   *   13.303   0.192
  均方差   0.933   0.017   *   *   0.991   0.031
  最大   13.863   0.182   *   *   15.251   0.294
  最小   10.130   0.101   *   *   11.286   0.142
本发明方法   平均   11.392   0.113   14.163   0.189   12.127   0.135
  均方差   0.718   0.015   0.575   0.025   0.925   0.019
  最大   12.724   0.159   15.348   0.249   13.948   0.202
  最小   9.068   0.097   13.046   0.147   10.245   0.124
从数据统计结果和网络输出的均方误差曲线可以看出，相比传统方法，本发明方法在收敛速度、准确率、网络泛化能力和算法稳定性方面均有相当提高。

Claims (3)

1、一种神经网络建模方法，其特征在于，基于结构风险最小化原则，结合合作协作进化算法，同时进行神经网络的网络结构和连接权值学习，最终得到网络结构和连接权值之间最优折衷，方法具体包括数据处理、网络学习和网络估计预测三个基本步骤：
数据处理：确定神经网络的输入和输出变量，并基于交叉验证和合作协作进化模型特点，将样本数据随机分割成3个子集：训练样本子集、有效样本子集和测试样本子集，分别用于网络的学习、有效性检验和测试；
网络学习：数据处理过程结束后，采用训练样本子集和有效样本子集，利用合作协作进化算法，协作进化网络结构和连接权值，最终得到网络结构和连接权值之间最优折衷；
网络估计预测：网络学习过程结束后，采用测试样本子集，测试网络的估计预测准确率，验证网络的泛化能力。
2、根据权利要求1所述的神经网络建模方法，其特征是，所述的网络学习包含如下步骤：
(1)编码方法
主导物种的个体代表了网络结构，其编码内容是正整数，评优物种的个体代表了一给定网络结构的神经网络的连接权值，其编码内容是实数，它的个体长度与对应的网络结构有关，该网络结构对应于主导物种中一个个体，主导物种的一个个体与评优物种的一个个体组合一个完整的神经网络；
(2)适应值函数
在评价个体优劣时，首先将评优物种中的个体与主导物种中对应的个体结合组成一个完整的神经网络，然后计算该网络的性能，作为该个体的适应值，为此，将训练样本子集用于评优物种，对已给定网络结构的神经网络的连接权值进行进化，其个体适应值函数等于训练样本子集通过该神经网络所产生的均方误差函数的倒数，将有效样本子集用于主导物种，对神经网络的网络结构进行进化，其个体适应值函数等于有效样本子集通过该神经网络所产生的均方误差函数的倒数；
(3)学习过程
首先，确定主导物种和评优物种的种群规模，并随机初始化种群，其中评优物种的每个种群对应于主导物种的一个个体，每个种群中的个体代表了一个给定网络结构的神经网络的全部连接权值；
其次，采用训练样本子集，利用局部进化算法进化评优物种的种群，并选择最好个体作为该种群的个体代表，采用有效样本子集，利用评优进化算法进化主导物种的种群，其中每个个体与该个体对应的评优物种中的个体代表组成一个完整的神经网络实例，并选择最好实例作为当前最好神经网络；
最后，在完成进化过程后，利用局部进化算法进一步地进化当前最好神经网络，它的样本集合包括训练样本子集和有效样本子集。
3、根据权利要求1或2所述的神经网络建模方法，其特征是，当评优物种的种群所对应的网络结构改变时，利用增加和删除节点方法和局部进化算法来进化评优物种的种群，若增加了隐层节点，在增加和删除节点方法下，局部进化算法仅进化与新增加的隐层节点相连的输入、输出层节点间的连接权值，以减小剩余的训练均方误差，若删除了隐层节点，在增加和删除节点方法下，如果该网络曾经增加过隐层节点，那么以原来增加节点次序的逆序来删除节点，否则随机删除节点，然后，利用局部进化算法进化每个个体代表的所有连接权值。
CN 200310108052 2003-10-21 2003-10-21 神经网络建模方法 Expired - Fee Related CN1251136C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200310108052 CN1251136C (zh) 2003-10-21 2003-10-21 神经网络建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200310108052 CN1251136C (zh) 2003-10-21 2003-10-21 神经网络建模方法

Publications (2)

Publication Number Publication Date
CN1529281A CN1529281A (zh) 2004-09-15
CN1251136C true CN1251136C (zh) 2006-04-12

Family

ID=34304620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200310108052 Expired - Fee Related CN1251136C (zh) 2003-10-21 2003-10-21 神经网络建模方法

Country Status (1)

Country Link
CN (1) CN1251136C (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663497A (zh) * 2012-04-05 2012-09-12 北京大学 一种自路由单元电路及其控制方法
TWI622940B (zh) * 2014-12-19 2018-05-01 英特爾股份有限公司 用於在類神經網路中協同式及分散式計算的方法及設備
US9983880B2 (en) 2014-09-26 2018-05-29 Intel Corporation Method and apparatus for improved thread selection

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100352912C (zh) * 2004-12-13 2007-12-05 东南大学 红霉素发酵过程变量的神经网络逆软测量方法及软仪表构造
CN101344935B (zh) * 2008-08-15 2011-04-06 合肥工业大学 用于预测折弯机补偿力的神经网络建模方法
CN101383023B (zh) * 2008-10-22 2011-04-06 西安交通大学 基于样本动态组织与温度补偿的神经网络短期电力负荷预测
CN101706888B (zh) * 2009-04-30 2012-07-18 北京世纪高通科技有限公司 一种旅行时间预测的方法
CN101882238B (zh) * 2010-07-15 2012-02-22 长安大学 基于sopc的小波神经网络处理器
CN102075352B (zh) * 2010-12-17 2013-10-16 北京邮电大学 一种网络用户行为预测的方法和装置
CN102331320B (zh) * 2011-06-20 2013-04-10 沈阳理工大学 一种基于神经网络的游梁式抽油机示功图软测量方法
CN102946613B (zh) * 2012-10-10 2015-01-21 北京邮电大学 一种用于测量用户业务体验质量的方法
CN103033214B (zh) * 2012-12-18 2016-02-03 重庆科技学院 借助Pearson相关系数实现生产过程主导变量精简化软测量方法
CN103500280A (zh) * 2013-09-30 2014-01-08 沈阳化工大学 谷氨酸发酵过程菌体浓度在线软测量方法
JP2017182710A (ja) * 2016-03-31 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法および情報提供方法
CN106202986A (zh) * 2016-09-28 2016-12-07 湖南老码信息科技有限责任公司 一种基于增量式神经网络模型的扁桃体炎预测方法和预测系统
WO2018112892A1 (zh) * 2016-12-23 2018-06-28 北京中科寒武纪科技有限公司 一种支持快速人工神经网络运算的装置及方法
CN111126590B (zh) * 2016-12-23 2023-09-29 中科寒武纪科技股份有限公司 一种人工神经网络运算的装置及方法
CN111105029B (zh) * 2018-10-29 2024-04-16 北京地平线机器人技术研发有限公司 神经网络的生成方法、生成装置和电子设备
CN110309911B (zh) * 2019-07-05 2021-01-05 安徽寒武纪信息科技有限公司 神经网络模型验证方法、装置、计算机设备和存储介质
CN113657040A (zh) * 2021-08-24 2021-11-16 山东大学 一种基于神经进化的激光扫描焊接熔深预测方法及应用

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663497A (zh) * 2012-04-05 2012-09-12 北京大学 一种自路由单元电路及其控制方法
CN102663497B (zh) * 2012-04-05 2014-04-30 北京大学 一种自路由单元电路及其控制方法
US9983880B2 (en) 2014-09-26 2018-05-29 Intel Corporation Method and apparatus for improved thread selection
TWI622940B (zh) * 2014-12-19 2018-05-01 英特爾股份有限公司 用於在類神經網路中協同式及分散式計算的方法及設備
US10997273B2 (en) 2014-12-19 2021-05-04 Intel Corporation Method and apparatus for distributed and cooperative computation in artificial neural networks

Also Published As

Publication number Publication date
CN1529281A (zh) 2004-09-15

Similar Documents

Publication Publication Date Title
CN1251136C (zh) 神经网络建模方法
CN110633792B (zh) 端到端基于卷积循环神经网络的轴承健康指标构建方法
Yuan et al. A method for estimating the number of hidden neurons in feed-forward neural networks based on information entropy
CN112577747A (zh) 一种基于空间池化网络的滚动轴承故障诊断方法
CN108469507B (zh) 一种基于自组织rbf神经网络的出水bod软测量方法
CN110516818A (zh) 一种基于集成学习技术的高维度数据预测方法
CN110232400A (zh) 一种梯度提升决策神经网络分类预测方法
CN111242302A (zh) 一种智能参数优化模块的XGBoost预测方法
CN113157957A (zh) 一种基于图卷积神经网络的属性图文献聚类方法
CN110895878A (zh) 一种基于ge-gan的交通状态虚拟检测器的生成方法
CN111861756A (zh) 一种基于金融交易网络的团伙检测方法及其实现装置
CN112085161A (zh) 一种基于随机信息传递的图神经网络方法
CN109543818A (zh) 一种基于深度学习模型的链路评估方法和系统
CN116542382A (zh) 基于混合优化算法的污水处理溶解氧浓度预测方法
CN116363423A (zh) 面向小样本学习的知识蒸馏方法、装置及存储介质
CN113505225A (zh) 一种基于多层注意力机制的小样本医疗关系分类方法
CN114708479A (zh) 一种基于图结构和特征的自适应防御方法
CN114757433B (zh) 一种饮用水源抗生素抗性相对风险快速识别方法
CN115526308A (zh) 基于宽度剪枝回声状态网络的时间序列预测方法
CN113726564B (zh) 服务器节点重要度分析方法
CN114357869A (zh) 一种基于数据关系学习和预测的多目标优化代理模型设计方法及系统
CN114638342A (zh) 基于深度无监督自动编码器的图异常检测方法
CN115601745A (zh) 一种面向应用端的多视图三维物体识别方法
CN112766537B (zh) 一种短期电负荷预测方法
CN103269342B (zh) 一种基于ipv6的高维大规模包匹配方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee