CN109146055A - 基于正交化实验和人工神经网络的改进粒子群优化方法 - Google Patents

基于正交化实验和人工神经网络的改进粒子群优化方法 Download PDF

Info

Publication number
CN109146055A
CN109146055A CN201811018970.9A CN201811018970A CN109146055A CN 109146055 A CN109146055 A CN 109146055A CN 201811018970 A CN201811018970 A CN 201811018970A CN 109146055 A CN109146055 A CN 109146055A
Authority
CN
China
Prior art keywords
neural network
artificial neural
training
particle swarm
optimization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811018970.9A
Other languages
English (en)
Inventor
闵强
程皓涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaxin Technology Co Ltd
Original Assignee
Beijing Jiaxin Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaxin Technology Co Ltd filed Critical Beijing Jiaxin Technology Co Ltd
Priority to CN201811018970.9A priority Critical patent/CN109146055A/zh
Publication of CN109146055A publication Critical patent/CN109146055A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出了一种基于正交化实验和人工神经网络的改进粒子群优化方法,包括采用正交实验设计方法,利用正交表格组织训练和测试人工神经网络,包括:设置训练数据集和测试数据集;利用正交表格,采用反向传播(Back Propagtion)人工神经网络得到输入和输出的映射物理模型,包括:求解训练数据集中的每个训练样本,对参数进行尺度变换,然后由BP人工神经网络学习变换前后的映射关系,得到输入和输出的映射物理模型;利用BP人工神经网络得出的映射,采用粒子群优化算法PSO对优化目标进行优化,得到优化出的设计参数。本发明可以加快粒子的计算速度,一方面扩张了原有粒子群算法的使用范围。

Description

基于正交化实验和人工神经网络的改进粒子群优化方法
技术领域
本发明涉及粒子群优化技术领域,特别涉及一种基于正交化实验和人工神经网络的改进粒子群优化方法。
背景技术
粒子群优化算法是一种新兴的优化技术,其思想来源于食鱼鹰的捕食过程。PSO通过粒子追随自己找到的最好解和整个群的最好解来完成优化。该算法简单易实现,可调参数少,已得到广泛研究和应用。但是由于计算每个粒子的适配值需要知道其物理模型,而在在工程实际中,物理模型并不能显示给出,故需对其进行适当改进。运用反向传播(BP)神经网络实现该映射,即得到其“隐式”物理模型。BP神经网络是一种神经网络学习算法,可实现从输入到输出的任意的非线性映射,即给定参数值可获取其适配值。而人工神经网络的学习需要大量样本,计算时间长,故须对其训练样本数进行适当调整,加快其训练速度。
发明内容
本发明的目的旨在至少解决所述技术缺陷之一。
为此,本发明的目的在于提出一种基于正交化实验和人工神经网络的改进粒子群优化方法。
为了实现上述目的,本发明的实施例提供一种基于正交化实验和人工神经网络的改进粒子群优化方法,包括如下步骤:
步骤S1,采用正交实验设计方法,利用正交表格组织训练和测试人工神经网络,包括:设置训练数据集和测试数据集,其中,所述训练数据集包括多个训练正交表格,用于记录优化目标的多个参数的训练数据;所述测试数据集包括读个测试正交表格,用于记录优化目标的多个参数的测试数据;
步骤S2,利用正交表格,采用BP人工神经网络得到输入和输出的映射物理模型,包括:求解所述训练数据集中的每个训练样本,对参数进行尺度变换,即将参数范围变换到[-1,1]之间。然后由所述BP人工神经网络学习变换前后的映射关系,得到输入和输出的映射物理模型;
步骤S3,利用BP人工神经网络得出的映射,采用粒子群优化算法PSO对优化目标进行优化,得到优化出的设计参数。
进一步,在所述步骤S2中,BP神经网络的神经变换函数采用如下S型函数:
其中,y为输出,s为输入,μ为形状函数。
根据本发明实施例的基于正交化实验和人工神经网络的改进粒子群优化方法,利用正交化实验和人工神经网络对粒子群算法进行改进,一方面加快粒子的计算速度,一方面扩张了原有粒子群算法的使用范围。本发明已经被运用于电磁阀优化,稳压器优化,测井曲线分析等机械、核能和石油领域等多个领域,应用广泛。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明实施例的基于正交化实验和人工神经网络的改进粒子群优化方法的流程图;
图2为根据本发明实施例的BP神经网络的示意图;
图3为根据本发明实施例的经过BP神经网络10000次训练后的学习曲线;
图4为根据本发明实施例的PSO算法优化过程的示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
正交实验设计方法是一种科学的安排与分析因素实验的方法,具有实验次数少,能有对实验数据进行简单分析等优点。利用正交化实验减少了人工神经网络的训练样本数又保证了训练的多样性,而人工神经网络实现了输入到输出的“隐式”物理模型,扩展了原有粒子群算法的运用范围。本发明利用正交化方法和BP人工神经网络对粒子群优化算法改进,称为正交神经网络粒子群算法(Orthogonal BP PSO)。
如图1所示,本发明实施例的基于正交化实验和人工神经网络的改进粒子群优化方法,包括如下步骤:
步骤S1,采用正交实验设计方法,利用正交表格组织训练和测试人工神经网络,包括:设置训练数据集和测试数据集。其中,训练数据集包括多个训练正交表格,用于记录优化目标的多个参数的训练数据;测试数据集包括读个测试正交表格,用于记录优化目标的多个参数的测试数据。优化的目标参数是由对象参数和正交化实验来决定。
正交设计方法是处理多因素试验的一种科学的方法,它可利用一种规格化的表“正交表格”,合理安排试验,用这种方法只做较少次数的试验便可得出较优条件,若再对试验结果进行简单的统计分析,还可以得出全面和系统的结果,作出正确判断。这里,用“正交表格”组织训练和测试人工神经网络,一方面可以得出优化参数初步结果,另一方面减少了BP网络训练样本数,加快了优化速度。
正交表是合理组织试验,并对试验结果直接进行分析的主要工具,最简单的正交表是Lx(yz),记号Lx(yz)的含意:“L”代表正交表;“x”表示该表有x个横行,及要做x次试验;括号内的指数“z”表示有z纵列,表明最多允许安排的因素个数是z,底数“y”表示该主要部分只有y个数字,即因素有y种水平,分别称为1水平,2水平,…,y水平。
表Lx(yz)称为正交表是因为它有以下两个性质:
1.每一列中,不同的数字出现的次数相等。
2.任意两列中将同一横行的两个数字看成有序数对,每种数对出现的次数相等。
常用的正交表有:L4(23),L8(27),L16(215),L32(231),L9(34),L27(313),L16(45),L25(56),等。正交试验能给出一个初步的优化结果。步骤S2,利用正交表格,采用BP(反向传播,Back Propagtion)人工神经网络得出“隐式”物理模型,即输入和输出的映射物理模型,包括:求解训练数据集中的每个训练样本,对参数进行尺度变换,即将参数范围变换到[-1,1]。然后由BP人工神经网络学习变换前后的映射关系,得到输入和输出的映射物理模型。
在本步骤中,BP神经网络的神经变换函数采用如下S型函数:
其中,y为输出,s为输入,μ为形状函数。
在BP网络中,第1层为输入层,第Q层为输出层,中间层为隐层。设第q层(q=1,2,…,Q)的神经元个数为nq,输入到第q层的第i个神经元的连接权系数为 网络的输入和输出变换关系如表1中“Test BP neural network”所示;设定P组输入输出样本如表1中“P group input and output samples”,运用连接权系数的学习方法,设取拟合误差的代价函数为
采用梯度法使函数E的代价最小,通过数学推导可得BP网络的学习算法如表1中“Training BP neural network”。
步骤S3,利用BP人工神经网络得出的映射,采用粒子群优化算法PSO对优化目标进行优化,得到优化出的设计参数。
表1.Orthogonal BP PSO
粒子群优化算法是一种新兴的优化技术,其思想来源于食鱼鹰的捕食过程。PSO通过粒子追随自己找到的最好解和整个群的最好解来完成优化。PSO算法简单易实现,可调参数少,已得到广泛研究和应用。粒子群优化算法如表1中“PSO algorithm”所示。
其中,i为粒子标号,d为维度,xid为粒子当前位置,pid为粒子历史最佳位置,pgd为所有粒子中最佳位置,即全局最佳位置,该值由粒子间通讯方式影响,为学习率,ω为速度惯性项。适配值即优化目标值大小,粒子当前位置即优化参数,粒子个数为人为确定,粒子初始状态随机生成,粒子间通讯方式采用星型拓扑结构,即广播方式,学习率取值一般为1,速度惯性项取值一般为0.9。
图2为经过BP神经网络训练后的学习曲线,由曲线可知网络达到了该问题的学习要求,可获得训练均方误差,测试均方误差。
如图3所示,当粒子群优化算法迭代次数达到某种次数时,平均适配值和最大适配值达到稳定。
下面以优化直动电磁阀为例对本发明的基于正交化实验和人工神经网络的改进粒子群优化方法进行描述:
直动电磁阀的各个参数和电磁力之间为非线性映射,因此运用反向传播(BP)神经网络实现该映射。BP人工神经网络是一种神经网络学习算法,可实现从输入到输出的任意的非线性映射。而ANSYS软件求解一个工况即一个数据样本的时间较长,故可以运用正交实验设计组织学习样本。
正交实验设计方法是一种科学的安排与分析因素实验的方法,具有实验次数少,能有对实验数据进行简单分析等优点。为了保证样本的多样性,故训练数据由8个正交化表格L64(89)和8个正交化表格L25(56)组织,如表2所示,共712个训练数据,测试数据由4个正交化表格L64(89)和4个正交化表格L25(56)组织,如表3所示,共356个测试数据。
通过ANSYS软件求解每个训练样本后,需对5个参数变量和电磁力做尺度变换,然后由BP神经网络学习其之间的映射关系。
表2训练数据集
表3测试数据集
BP神经网络的神经变换函数采用式(1)的S型函数:
其中,y为输出,s为输入,形状函数μ取值为0.99,网络选用3层网络结构,即2个隐层,每个隐层20个节点,如图2所示。
通过BP神经网络实现了5个参数和电磁力的非线性映射后,运用粒子群优化算法(PSO)对该映射优化,使直动电磁阀的电磁力最大。
经过PSO算法优化该映射后可得出优化出的5个参数,如表4所示,以及得到最大电磁力711N。而用ANSYS求解将该优化出的参数工况得出电磁力为710N,验证了运用正交化实验设计和BP网络结合建模该问题具有准确性。在本问题中,适配值即电磁力大小,粒子当前位置即优化参数,粒子个数为1000,粒子初始状态随机生成,粒子间通讯方式采用星型拓扑结构,即广播方式,学习率取值为1,速度惯性项取值为0.9。
图2为经过BP神经网络10000次训练后的学习曲线,由曲线可知网络达到了该问题的学习要求,训练均方误差为0.035372,测试均方误差为0.019323。
如图3所示,当粒子群优化算法迭代次数达到10000次时,平均适配值和最大适配值达到稳定。
表4优化的设计参数
根据本发明实施例的基于正交化实验和人工神经网络的改进粒子群优化方法,利用正交化实验和人工神经网络对粒子群算法进行改进,一方面加快粒子的计算速度,一方面扩张了原有粒子群算法的使用范围。本发明已经被运用于电磁阀优化,稳压器优化,测井曲线分析等机械、核能和石油领域等多个领域,应用广泛。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims (2)

1.一种基于正交化实验和人工神经网络的改进粒子群优化方法,其特征在于,包括如下步骤:
步骤S1,采用正交实验设计方法,包括:设置训练数据集和测试数据集,其中,所述训练数据集包括多个训练正交表格,用于记录优化目标的多个参数的训练数据;所述测试数据集包括读个测试正交表格,用于记录优化目标的多个参数的测试数据;
步骤S2,利用正交表格,采用BP人工神经网络得到输入和输出的映射物理模型,包括:求解所述训练数据集中的每个训练样本,对参数进行尺度变换,即将参数范围变换到[-1,1]之间,然后由所述BP人工神经网络学习变换前后的映射关系,得到输入和输出的映射物理模型;
步骤S3,利用BP人工神经网络得出的映射,采用粒子群优化算法PSO对优化目标进行优化,得到优化出的设计参数。
2.如权利要求1所述的基于正交化实验和人工神经网络的改进粒子群优化方法,其特征在于,在所述步骤S2中,BP神经网络的神经变换函数采用如下S型函数:
其中,y为输出,s为输入,μ为形状函数。
CN201811018970.9A 2018-09-03 2018-09-03 基于正交化实验和人工神经网络的改进粒子群优化方法 Pending CN109146055A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811018970.9A CN109146055A (zh) 2018-09-03 2018-09-03 基于正交化实验和人工神经网络的改进粒子群优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811018970.9A CN109146055A (zh) 2018-09-03 2018-09-03 基于正交化实验和人工神经网络的改进粒子群优化方法

Publications (1)

Publication Number Publication Date
CN109146055A true CN109146055A (zh) 2019-01-04

Family

ID=64826281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811018970.9A Pending CN109146055A (zh) 2018-09-03 2018-09-03 基于正交化实验和人工神经网络的改进粒子群优化方法

Country Status (1)

Country Link
CN (1) CN109146055A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110750939A (zh) * 2019-09-09 2020-02-04 中国石油化工股份有限公司 基于大样本正交设计表提高稠油热采潜力预测精度的方法
CN110807557A (zh) * 2019-11-06 2020-02-18 中法渤海地质服务有限公司 一种基于bp神经网络的钻速预测方法和基于bp神经网络以及粒子群算法的钻速优化方法
CN111863027A (zh) * 2019-04-24 2020-10-30 北京京东尚科信息技术有限公司 处理音频的方法、装置和系统
CN113807030A (zh) * 2021-10-29 2021-12-17 重庆科炬企业孵化器有限公司 一种面向用户体验优化的豆浆智能生产方法及其存储装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101221213A (zh) * 2008-01-25 2008-07-16 湖南大学 基于粒子群算法的模拟电路故障诊断神经网络方法
EP2310880A1 (en) * 2008-08-06 2011-04-20 Halliburton Energy Service, Inc. Systems and methods employing cooperative optimization-based dimensionality reduction
CN103258234A (zh) * 2013-05-02 2013-08-21 江苏大学 基于粒子群优化bp神经网络的惯容器力学性能预测方法
CN103258131A (zh) * 2013-04-25 2013-08-21 中山大学 基于正交学习粒子群的功率电路元件优化方法
CN104062901A (zh) * 2014-06-17 2014-09-24 河海大学 基于正交优选粒子群算法的控制系统参数优化方法
CN105677667A (zh) * 2014-11-19 2016-06-15 珠海格力电器股份有限公司 用于正交试验的数据处理方法和装置
CN106503790A (zh) * 2015-08-28 2017-03-15 余学飞 一种改进粒子群优化神经网络的压力导丝温度补偿方法
CN106779177A (zh) * 2016-11-28 2017-05-31 国网冀北电力有限公司唐山供电公司 基于粒子群优化的多分辨率小波神经网络用电量预测方法
WO2018090657A1 (zh) * 2016-11-18 2018-05-24 同济大学 基于BP_Adaboost模型的信用卡用户违约的预测方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101221213A (zh) * 2008-01-25 2008-07-16 湖南大学 基于粒子群算法的模拟电路故障诊断神经网络方法
EP2310880A1 (en) * 2008-08-06 2011-04-20 Halliburton Energy Service, Inc. Systems and methods employing cooperative optimization-based dimensionality reduction
CN103258131A (zh) * 2013-04-25 2013-08-21 中山大学 基于正交学习粒子群的功率电路元件优化方法
CN103258234A (zh) * 2013-05-02 2013-08-21 江苏大学 基于粒子群优化bp神经网络的惯容器力学性能预测方法
CN104062901A (zh) * 2014-06-17 2014-09-24 河海大学 基于正交优选粒子群算法的控制系统参数优化方法
CN105677667A (zh) * 2014-11-19 2016-06-15 珠海格力电器股份有限公司 用于正交试验的数据处理方法和装置
CN106503790A (zh) * 2015-08-28 2017-03-15 余学飞 一种改进粒子群优化神经网络的压力导丝温度补偿方法
WO2018090657A1 (zh) * 2016-11-18 2018-05-24 同济大学 基于BP_Adaboost模型的信用卡用户违约的预测方法及系统
CN106779177A (zh) * 2016-11-28 2017-05-31 国网冀北电力有限公司唐山供电公司 基于粒子群优化的多分辨率小波神经网络用电量预测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YOU ZHANG-PING 等: "Modeling and Simulation of Screw Axis Based on PSO-BP Neural Network and Orthogonal Experiment", 《2009 SECOND INTERNATIONAL SYMPOSIUM ON COMPUTATIONAL INTELLIGENCE AND DESIGN》 *
刘月云 等: "基于BP神经网络及PSO算法的食品输送齿轮注塑工艺参数优化研究", 《塑料科技》 *
刘载文 等著: "《污水处理过程优化控制系统》", 30 April 2014 *
吴建民 编著: "《概率论与数理统计》", 31 October 1987, 青海人民出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111863027A (zh) * 2019-04-24 2020-10-30 北京京东尚科信息技术有限公司 处理音频的方法、装置和系统
CN110750939A (zh) * 2019-09-09 2020-02-04 中国石油化工股份有限公司 基于大样本正交设计表提高稠油热采潜力预测精度的方法
CN110750939B (zh) * 2019-09-09 2023-06-30 中国石油化工股份有限公司 基于大样本正交设计表提高稠油热采潜力预测精度的方法
CN110807557A (zh) * 2019-11-06 2020-02-18 中法渤海地质服务有限公司 一种基于bp神经网络的钻速预测方法和基于bp神经网络以及粒子群算法的钻速优化方法
CN113807030A (zh) * 2021-10-29 2021-12-17 重庆科炬企业孵化器有限公司 一种面向用户体验优化的豆浆智能生产方法及其存储装置

Similar Documents

Publication Publication Date Title
CN109146055A (zh) 基于正交化实验和人工神经网络的改进粒子群优化方法
CN106781489B (zh) 一种基于递归神经网络的路网状态预测方法
Lav et al. A framework to develop data-driven turbulence models for flows with organised unsteadiness
CN105335619B (zh) 一种岩爆过程数值计算模型参数反分析的协同优化法
CN110286586A (zh) 一种磁流变阻尼器混合建模方法
CN107832789B (zh) 基于平均影响值数据变换的特征加权k近邻故障诊断方法
CN103559340B (zh) 一种基于comi‑pso算法的不相关多源频域载荷识别方法
White et al. Neural networks predict fluid dynamics solutions from tiny datasets
CN115438589A (zh) 一种基于bp神经网络的钓竿调性预测模型及其优化方法
Koziel et al. Variable-fidelity CFD models and co-Kriging for expedited multi-objective aerodynamic design optimization
Zhou et al. Use of artificial neural networks for selective omission in updating road networks
CN107563518A (zh) 一种基于社会力模型群优化算法的极限学习机的学习方法
CN111783335B (zh) 一种基于迁移学习的少样本结构频响动力学模型修正方法
Weihong et al. Optimization of BP neural network classifier using genetic algorithm
Kawase et al. Parametric t-stochastic neighbor embedding with quantum neural network
CN109885877B (zh) 一种基于聚类算法的约束域优化拉丁超立方设计方法
Selvan On the effect of shape parameterization on aerofoil shape optimization
El-Beltagy et al. Gaussian processes for model fusion
Yin et al. Multi-step Prediction Algorithm of Traffic Flow Chaotic Time Series Based on Volterra Neural Network.
Agius et al. Optimising the multiplicative AF model parameters for AA7075 cyclic plasticity and fatigue simulation
Peng Evaluation and Analysis of the Implementation Effects in Practical-Course Blended Learning Based on Virtual Reality Technology.
Parzen et al. United Statistical Algorithm, Small and Big Data: Future OF Statistician
CN113821012B (zh) 一种用于变工况卫星姿态控制系统的故障诊断方法
CN114491790B (zh) 一种基于maml的气动建模方法及系统
TWI719743B (zh) 提高類神經網路在分類問題的準確度之方法與電腦可讀儲存媒介

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190104

RJ01 Rejection of invention patent application after publication