CN110363344A - 基于miv-gp算法优化bp神经网络的概率积分参数预测方法 - Google Patents

基于miv-gp算法优化bp神经网络的概率积分参数预测方法 Download PDF

Info

Publication number
CN110363344A
CN110363344A CN201910625366.0A CN201910625366A CN110363344A CN 110363344 A CN110363344 A CN 110363344A CN 201910625366 A CN201910625366 A CN 201910625366A CN 110363344 A CN110363344 A CN 110363344A
Authority
CN
China
Prior art keywords
neural network
particle
miv
algorithm
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910625366.0A
Other languages
English (en)
Other versions
CN110363344B (zh
Inventor
池深深
余学祥
王磊
吕伟才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Science and Technology
Original Assignee
Anhui University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Science and Technology filed Critical Anhui University of Science and Technology
Priority to CN201910625366.0A priority Critical patent/CN110363344B/zh
Publication of CN110363344A publication Critical patent/CN110363344A/zh
Application granted granted Critical
Publication of CN110363344B publication Critical patent/CN110363344B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Mining

Abstract

本发明提出一种基于遗传算法和粒子群算法的组合算法(GP)优化BP神经网络的概率积分法参数预测模型，并采用平均影响值算法(MIV)来优化BP神经网络的输入层，从而降低网络的复杂程度，达到提高预测精度的目的。以50个工作面的实测资料作为BP神经网络的训练集和测试集建立MIV‑GP‑BP模型，并分析模型预测结果的精度和可靠性，结果表明：在5个参数中，均方根误差均在0.0058～1.1575之间，q、tanβ、b、θ的最大相对误差不超过5.42％，平均相对中误差低于2.81％，s/H相对误差不超过9.66％，平均相对中误差低于4.31％(参数本身较小),优化后的神经网络模型具有更高的预测精度和稳定性。

Description

基于MIV-GP算法优化BP神经网络的概率积分参数预测方法
技术领域
本发明涉及概率积分参数预测领域，尤其涉及一种基于MIV-GP算法优化BP神经网络的概率积分参数预测方法。
背景技术
随着中国经济的快速发展，对煤炭资源的需求量也越来越大。近年来地下煤炭资源被大量开采出来，地下煤炭开采造成一系列环境问题，如：地表沉陷、裂缝、粉尘、固态垃圾等，给矿区的生产生活带来严重的威胁。为最大程度采出煤炭资源并减小地表大面积沉陷，学者们对开采沉陷预计理论展开广泛的研究。其中基于随机介质力学理论的概率积分法是应用较为广泛的开采沉陷预计方法，所以概率积分法参数的获取是预测的关键。概率积分法参数求取的常用方法有:第一种方法是基于实测数据采用智能优化算法拟合求取参数(遗传算法、量子退火法等)；第二种方法是利用机器学习的方法求取参数(神经网络、支持向量机等)；第三种方法是利用相似理论结合覆岩岩性计算，这些算法预测模型在一定的程度提高了概率积分法的求参精度。
自概率积分法在中国盛行以来，多数矿区相继进行了岩移观测，并获取了相应矿区的概率积分法参数，为开采沉陷理论研究提供了宝贵的资料，这些实测资料包括概率积分法基本参数(下沉系数q,水平移动系数b,主要影响角正切tanb,拐点偏移距s，开采影响传播角θ)和地质采矿条件(上覆岩层的岩性f,煤层采深H,开采厚度M,煤层倾角T，采动程度n，松散层厚度W,重复采动X)，概率积分法参数与地质采矿条件之间存在复杂的非线性关系，很难用具体的数学模型描述。上述方法一和方法三均是基于实测变形量求取概率积分法参数的方法，这常常需要建立大量的地表移动观测站，耗费大量的人力、物力，而且观测周期长，无法获取新建矿区的参数。上述的神经网络技术具有较好的自学习、自适应性和强容错性能，能建立复杂的非线性映射关系，被广泛应用于模式分类、聚类分析、回归拟合分析以及优化计算等领域。
为充分利用已有的矿区资料，建立地质采矿条件与概率积分法参数之间的关系，基于神经网络学习的求参方法得以广泛应用。对于BP神经网络来说，其权值和阈值选择具有随机性，从而导致标准的BP神经网络算法收敛速度慢且容易陷入局部最优值。利用智能优化算法优化BP神经网络训练过程中的参数优化过程，可以达到提高训练效率的目的。这些算法包括模拟退火法(SA)、GA算法、PSO算法等，这些优化算法中PSO算法简单、运算效率高，但是它具有精度不高，容易陷入局部最优等缺点。
发明内容
为克服上述技术问题，本发明提出一种基于MIV-GP算法优化BP神经网络的概率积分参数预测方法，目的在于提高神经网络的预测精度，从而应用在概率积分法参数的预测中。
本发明提出了一种基于MIV-GP算法优化BP神经网络的概率积分参数预测方法，所述方法包括如下步骤:
步骤S1、基于MIV算法对BP神经网络的输入变量进行筛选，对影响概率积分法参数的因子进行排序，剔除排序靠后的影响因子；
步骤S2、采用G-P算法优化BP神经网络的权值和阈值，从而建立MIV-GP-BP神经网络预测模型，实现概率积分参数预测。
优选的，所述步骤S1之前还包括构建BP神经网络。
优选的，所述步骤S1具体包括，
步骤S101、在所述BP神经网络训练终止之后，将训练单一自变量样本在原值的基础上增加和减少一定的比例，形成两组新的样本P1、P2；
步骤S102、利用训练好的样本P1、P2,得到各自的预测输出数据T1、T2；
步骤S103、求两组预测数据T1、T2之间的差值，得到变动该自变量对输出产生的影响变化值IV；
步骤S104、剔除每组样本值中的异常值，将获取的样本值的IV按照观测样本数取平均，得到该自变量对因变量网络输出的MIV值。
优选的，所述比例为10％。
优选的，所述步骤S2具体包括，
步骤S201、初始化BP神经网络的拓扑结构,设定所述BP神经网络的输入层、隐含层、输出层节点的个数；
步骤S202、初始化种群，将需要待优化的权值和阈值信息根据预设编码规则进行编码；并按照设定的种群规模和初始化方法初始化种群；
步骤S203、将初始化后的种群按照GP算法规则进行迭代运算，直至算法满足结束条件时，最终得到全局最优个体，解码得到权值和阈值信息；
步骤S204、将解码得到的权值和阈值信息带入到BP神经网络中，得到网络的初始权值和阈值；
步骤S205、对神经网络进行反复学习训练，直至满足结束条件，最终得到优化后的BP神经网络的输出。
优选的，所述GP算法规则具体如下：
步骤S301、GP算法中相关参数的设定，粒子的个数N,经过进化后的粒子个数M,变异概率Pm,交叉概率Pc,粒子群算法中粒子的最大速度V,惯性常数ω,学习因子c1,c2和迭代次数epoch,求解精度E；
步骤S302、种群的初始化，设置种群的规模N和粒子的维度n，采用实数随机编码，对粒子的速度和位置进行编码，利用适应度函数计算粒子群个体适应度值，更新粒子的个体极值和全局极值；
步骤S303、粒子群的迭代，更新粒子的速度和位置信息，并利用适应度函数计算每个粒子的适应度值，更新个体极值和种群的全局极值；
步骤S304、将N个粒子按照适应度函数值的大小排序，选取其中适应度值较小的N/3个粒子，由保留的N/3个粒子的位置值选择复制生成2N/3个GA个体。
步骤S305、对GA个体进行交叉和变异；
步骤S306、将GA算法生成的2N/3个个体与N/3个粒子合并组成新的N个粒子，再计算粒子群的适应度，并更新个体极值和全局极值；
步骤S307、算法结束的判断，判断粒子进化的迭代次数是否满足设定的最大进化代数，若是则算法结束，输出粒子群的全局极值，及最优解。
优选的，所述适应度函数为：
其中,l为BP神经网络的输出层个数，yk表示第k个节点的期望输出值。
优选的，所述更新粒子的速度和位置信息，具体计算公式为：
vi+1＝ω*vi+c1r1(pbesti-xi)+c2r2(gbesti-xi) (7)
xi+1＝xi+vi+1 (8)
式中：c1、c2为加速因子，ω为惯性系数，r1、r2为[0,1]之间的随机数,vi是粒子的速度向量，vi,vi+1分别为粒子的当前速度和更新后的速度，xi,xi+1分别为粒子的当前位置和更新后的位置，pbesti为粒子的当前最优位置即个体极值，gbesti为粒子群当前的最优位置即全局最优极值。
优选的，对GA个体按照如下公式(10)和公式(11)进行交叉和变异，
交叉操作采用实数交叉法，第k个染色体ak和第l个染色体al在j位的交叉操作方法为
其中，b是[0,1]区间的随机数；
第i个个体的第j个基因aij进行变异的操作方法为
其中，amax是基因aij的上界；amin是基因aij的下界；f(g)＝r2(1-g/Gmax)2,g是当前的迭代次数，Gmax是最大进化次数，r2为[0,1]区间的随机数。
附图说明
图1为神经网络的拓扑结构示意图；
图2为MIV算法流程图；
图3为GP-BP算法流程图；
图4为GP算法流程图；
图5为本发明一实施例中各个影响因素的MIV值；
图6为原始数据的平滑处理结果；
图7为本发明提出的预测方法与MIV-BP神经网络预测模型对照示意图；
图8为不同输入层的下沉系数预测模型预测值；
图9为不同输入层的水平移动系数预测模型预测值；
图10为基于不同算法的下沉系数预测模型的预测值；
图11为基于不同算法的水平移动系数预测模型的预测值。
具体实施方式
以下结合附图对本发明的具体实施方式作出详细说明。
BP神经网络的预测精度与输入层的个数密切相关，输入层个数越多，需要更为庞大的网络，才能有效的逼近正确的结果，这一定程度上降低其预测精度，因此有必要降低样本的维数，平均影响值法(MIV方法)是基于BP神经网络建立的数据降维的方法，目前广泛应用于数据分析领域。所以本文采用MIV方法引入到模型中，对地质采矿条件进行筛选分析，以简化输入层，降低神经网络的复杂性，提高预测精度。
BP神经网络由输入层、隐含层、输出层组成[11]，隐含层可以有一层或者多层，其拓扑结构如图1所示。
设3层BP神经网络的输入节点有m个，输出参数有n个，训练样本有N个，则输入和输出的关系可以表示成[12]：
式中：f(x)＝1/(1+e-x)；k＝1,2,…,n,t＝1,2,…,N；xi为网络的输入；为第k个输出节点的输出值；wij为输入层i节点到输出层j节点的权值；vjk为隐含层j节点到输出层k节点的权值；θj为隐含层j节点处的阈值；rk为输出k节点处的阈值；f为激活函数。
传统的BP神经网络采用的是误差按照梯度下降的学习算法，使得网络的实际输出值和期望输出值之间的误差最小。误差定义为：
其中,l为BP神经网络的输出层个数，yk表示第k个节点的期望输出值，可以看出，神经网络可以分为2个阶段：1是输入信息从输入层经隐含层并计算出输出值(正向过程)，2是根据输出误差E逐层向前求出隐含层各单元的误差，并根据误差来修正权值和阈值(误差的反向传播过程)。
为降低神经网络的拓扑结构，提高模型的预测精度，本文建立的模型均为多输入层单输出层神经网络预测模型。
MIV是建立在BP神经网络基础之上的，MIV算法可用来定量评价各自变量对于因变量影响的重要性大小，其算法具体步骤如下：
(1)在神经网络训练终止后，将将训练单一自变量样本在原值的基础上增加和减少一定的比例(调节率)，形成两组新的样本P1、P2。本文取调节率为10％，即将原始样本增加增加和减少到原来的10％。(2)利用步骤1已训练好的网络训练新样本P1、P2,得到各自的预测输出数据T1、T2。(3)求两组预测数据T1、T2之间的差值，可得到变动该自变量对输出产生的影响变化值IV(Impact Value)。(4)将获取的样本值的IV按照观测样本数取平均，即可得到该自变量对因变量网络输出的MIV值。MIV算法流程简图如图2所示。
依据上述步骤依次求出每个自变量的MIV值。获取的MIV值有正负之分，其符号代表影响相关方向。本文对训练样本数据进行多次实验求取MIV值，为提高计算效率，选取每组的运算次数为50次，剔除每组值中的异常值，将每组中同一自变量的MIV值取绝对值后进行相加取平均。根据最后获取的MIV值的大小进行排序，即可实现变量的筛选。
粒子群算法(PSO)是一种仿照鸟群觅食的生物智能算法，其基本思想是：粒子群算法把每一个需要寻优问题假象成鸟，称为“粒子”，所有的粒子都在一个特定的空间进行搜索，且所有的粒子均有一个适应度函数来判断目前位置的好坏。PSO算法搜索速度快、效率高，算法简单，应用广泛。
假设在一个D维的目标搜索空间中，由N个粒子组成一个群落，其中第i个粒子位置表示成一个D维向量：
Xi＝(xi1,xi2,…,xiD),i＝1,2,...,N (3)
第i个粒子的速度也是一个D维向量记为
Vi＝(vi1,vi2,…,viD),i＝1,2,...,N (4)
根据适应度函数计算得到的第i个粒子搜索到的最优位置为个体极值，极值记为：
pbest＝(pi1,pi2,…,piD),i＝1,2,...,N (5)
粒子群搜索到的全局最优位置为全局极值，可以记为：
gbest＝(pg1,pg2,…,pgD) (6)
找到两个最优值时粒子可以根据式(3)和式(4)来更新每个粒子的速度和位置，
vi+1＝ω*vi+c1r1(pbesti-xi)+c2r2(gbesti-xi) (7)
xi+1＝xi+vi+1 (8)
式中：c1、c2为加速因子，ω为惯性系数，r1、r2为[0,1]之间的随机数,vi是粒子的速度向量，vi,vi+1分别为粒子的当前速度和更新后的速度，xi,xi+1分别为粒子的当前位置和更新后的位置，pbesti为粒子的当前最优位置即个体极值，gbesti为粒子群当前的最优位置即全局最优极值。通过上述不断的迭代过程，最后得到粒子群算法全局最优解gbest。
遗传算法(GA)是一种模拟自然界生物进化的“优胜劣汰，适者生存”的一种智能优化算法，具有良好的全局搜索能力，按照所选择的适应度函数并通过遗传中的选择,交叉和变异对个体进行筛选，使适应值好的个体被保留，适应度差的个体被淘汰，新的群体继承了上一代的信息，又优于上一代。这样反复循环，直至满足条件。遗传算法具有高效启发式搜索、并行计算等特点，目前已经应用在函数优化、组合优化以及生产调度等方面。
首先要根据待优化的问题设计一个适应度函数，然后对待优化问题按照一定的规则进行编码得到初始种群，本文选择的方法为实数编码，然后对种群进行评价以及遗传操作，这样经过不断进化，得到适应度最好的个体作为问题的最优解。主要的遗传操作介绍如下：
选择操作：选择操作即为从旧种群中以一定的概率选出优良个体组成新的种群，以繁殖得到下一代个体，常见的选择操作算法有轮盘赌法、锦标赛法等多种方法，本文选择的是轮盘赌法，其方法中个体i被选中的概率为
其中，Ei为个体i的适应度值；N为种群个体数目。
交叉操作：交叉操作时指从种群中随机选择两个个体，通过染色体的交换，把父代优秀特征遗传给子代，本文个体的编码采用实数编码，所以交叉操作采用实数交叉法，第k个染色体ak和第l个染色体al在j位的交叉操作方法为
其中，b是[0,1]区间的随机数。
变异操作：变异操作是从种群中随机选取一个个体，选择个体中一点进行变异以产生更优秀的个体。第i个个体的第j个基因aij进行变异的操作方法为
其中，amax是基因aij的上界；amin是基因aij的下界；f(g)＝r2(1-g/Gmax)2
g是当前的迭代次数，Gmax是最大进化次数，r为[0,1]区间的随机数。
GP算法优化BP神经网络的过程是以最小化BP神经网络对学习样本的输出误差为目的，来优化BP神经网络的权值和阈值参数。
需要将BP神经网络的结构参数编码成粒子群的个体信息：设BP神经网络的输入层、隐含层、输出层的神经元的个数分别为x、y、z,那么隐含层每个神经元则包括x个权值和1个阈值信息，输出层每个神经元包括y个权值和1个阈值信息，则BP神经网络共需要优化I＝(x+1)y+(y+1)z个参数，将所有待优化的参数表示成一个D维的向量，并将其作为粒子群个体的编码信息。
GP-BP算法流程图如图3所示，优化主要过程如下：
(1)初始化神经网络的拓扑结构,即根据所研究的问题设定BP神经网络的输入层、隐含层、输出层节点的个数；
(2)初始化种群，将需要待优化的权值和阈值信息根据特定的编码规则进行编码；并按照设定的种群规模和初始化方法初始化种群；
(3)GP算法的迭代运算，对步骤(2)得到的种群按照GP算法规则进行迭代运算，直至算法满足结束条件时，最终得到全局最优个体，解码得到权值和阈值信息；
(4)BP神经网络权值和阈值的初始化，将解码得到的权值和阈值信息带入到BP神经网络中，得到网络的初始权值和阈值；
(5)GP-BP神经网络的运算，对神经网络进行反复学习训练，直至满足结束条件，最终得到优化后的BP神经网络的输出。
本文将GA算法的遗传操作引用到PSO算法当中，在粒子群的迭代过程中对粒子的位置和速度向量分别进行交叉和变异操作，该算法首先由PSO进化一定的代数后，按照适应度由大到小进行排序，排序后的然后将种群分成两份，保留适应度值较大的M个粒子,去掉剩余的N-M个粒子，以保留的M个粒子为基准，选择复制得到N-M个个体，并进行交叉变异等遗传算法算子运算。最后将PSO保留的M个粒子的位置值与GA算法进化得到的N-M合成新的粒子群，进行下一代运算。
GP算法描述如下:
(1)算法中相关参数的设定，粒子的个数N,经过进化后的粒子个数M,变异概率Pm,交叉概率Pc,粒子群算法中粒子的最大速度V,惯性常数ω,学因子习c1,c2和迭代次数epoch,求解精度E等。
(2)种群的初始化，设置种群的规模N和粒子的维度n，采用实数随机编码，对粒子的速度和位置进行编码，利用适应度函数计算粒子群个体适应度值，更新粒子的个体极值和全局极值，本文选择的适应度函数为公式(2)
(3)粒子群的迭代，根据公式(7)公式(8)更新粒子的速度和位置信息，根据公式(2)计算每个粒子的适应度值，更新个体极值和种群的全局极值。
(4)将N个粒子按照适应度函数值的大小排序，选取其中适应度值较小的N/3个粒子，由保留的N/3个粒子的位置值选择复制生成2N/3个GA个体。
(5)GA个体按照公式(10)和公式(11)进行交叉和变异。
(6)将GA算法生成的2N/3个个体与N/3个粒子合并组成新的N个粒子，再计算粒子群的适应度，并更新个体极值和全局极值。
(7)算法结束的判断，判断粒子进化的迭代次数是否满足设定的最大进化代数，若是则算法结束，输出粒子群的全局极值，及待优化问题的最优解。
根据本发明的实施例，本发明结合实际实验数据验证本发明模型的可用性，具体来说，
本文选取了50个工作面作为实验数据，其中前40个工作面数据作为训练样本来训练模型，后10个工作面数据测试样本，用于检验模型的预测精度。部分数据见表1所示，本文选取的用概率积分法常见的参数有：下沉系数q,水平移动系数b,主要影响角正切tanb,拐点偏移距s(可以用s/H表示，H为开采深度)，开采影响传播角θ。
地质采矿条件因素有：上覆岩层的岩性f,煤层采深H,开采厚度M,煤层倾角T，采动程度n，松散层厚度W,重复采动X(初次采动采用0作为输入变量，重复采动采用1作为输入变量)。
表1数据对比分析表
本文基于MATLAB程序编制MIV算法程序，把MIV算法的调节率设置为10％，对每个概率积分法参数进行50次MIV测算实验，对每次实验取得的MIV值取绝对值后，进行加权平均，则每个概率积分法参数对应的影响因子的MIV值如表2和图5所示。图5中的(a)、(b)、(c)、(d)、(e)分别对应参数q、b、tanβ、θ以及s/H，具体如下表2所示。
表2不同影响因素对应MIV值
通过求取各个影响因素的MIV值，并由大到小对MIV值进行了排序，结果见表3。
表3各影响因素的MIV值排序结果
可以根据表3的排序结果，选取MIV值较大的前五个的影响因子作为BP神经网络的输入层，从而达到简化神经网络输入提高预测精度的目。
由于由于观测环境的复杂，实验数据的获取也有一定的误差，且数据波动范围大，数据自身的误差也会引入到BP神经网络中，进一步扩大误差，所以要在预测前可以对数据进行去噪处理，降低实验数据的误差。
本文采用Savitzky-Golay算法对数据进行去噪处理，Savitzky-Golay算法是在时域内基于局部多项式的最小二乘拟合的滤波方法，它的优点是在去噪的过程中，保证信号的宽度和形状不变，使数据变的相对平滑。处理后的结果与实测结果对比如图6所示，根据数据处理结果，可以算出去噪后的数据和实测数据的相关系数R,如表4所示，
表4去噪后的数据与实测数据之间的相关系数
地质因素 f H M T W n
R 0.6722 0.8018 0.547 0.761 0.7064 0.7487
由图3以及表4可知，平滑后的相关系数均在0.547以上，相关系数高，平滑后的实验数据上下浮动较小，且曲线更趋向于圆滑。平滑一些波动大的点，同时用平滑后的数值代替，从而达到降低误差的效果。
本文相关算法均基于MATLAB程序。为降低神经网络的复杂结构，本文对每个概率积分法参数分别进行建立神经网络，即多对一的拓扑结构(多输入层单输出层)。
BP神经网络中各参数设置为:训练次数设置为3000，学习率设置为0.01，训练目标误差设置为0.0001，神经网络采用3层结构如图1所示，本文根据公式J＝2m+1确定隐含层个数，其中m为输入层神经元的个数，选择sigmoid函数作为输入层和隐含层之间的传递函数，purelin函数为隐含层与输出层之间的传递函数。PSO算法相关参数为:粒子种群数为20，最大允许迭代次数为20，加速因子c1，c2均为1.49445，最大限制速度为5。GA算法中：种群数量为40，交叉概率为0.4，变异概率为0.06，最大迭代次数为50。
对表1提供前40个工作面的实测数据作为训练样本，41～50号工作面作为测试样本，为更好的验证本文提出的MIV-GP-BP神经网络预测模型，同时采用MIV-BP神经网络预测模型作为对照，结果如图7所示：
由图7中可以看出，GP组合算法优化后BP神经网络对地质采矿条件和概率积分法参数之间有着较好的泛化能力，优化后的BP神经网络预测精度在多数点上高于未优化的BP神经网络。
为定性的分析优化后的BP神经网络预测模型和未优化的BP神经网络模型的预测性能差异，计算MIV-GP-BP预测模型和MIV-BP预测模型的预测值的精度评价指标，本文以预测结果的最大相对误差((maximum relative error,MaxRE)、平均相对误差(meanrelative error,MeaRE)和均方根误差(root mean square error,RMSE)作为精度评价指标：
式中,x′i为第i个预测值；xi为第i个实测值；n为预测样本数。精度指标计算结果见表5所示，
表5预测模型的精度
表5和图7可以看出，MIV-GP-BP预测模型在5个概率积分法参数预测中MaxRE值和MeaRE值比MIV-BP预测模型小的多，由于RMSE能够有效地反映模型预测值与真实值之间的偏离程度，可知具有最小RMSE值的MIV-GP-BP模型预测值更逼近真值。
考虑到部分预计参数值本身很小，微小的变化都会造成相对误差变化较大，但是其绝对误差较小，所以其精度还是很高的，可以满足工程需要.
为验证MIV算法的正确性，从影响因素中随机抽取5个因素作为神经网络的输入层建立GP-BP预测模型，然后与MIV算法筛选的5个因素作为神经网络的输入层建立的MIV-GP-BP预测模型进行预测对比，(5个随机因素中至少包含一个MIV算法未筛选的因素)，本文共随机抽取3组地质采矿因素。本文选取其中下沉系数预测模型和水平移动系数预测模型作为案例进行分析，分组方案如表6所示：
表6随机抽取输入层因素方案
对上述8组不同的输入因素组合，采用表1所示的数据分别建立GP-BP预测模型，预测结果如表7,表8，图8，图9所示：
表7基于不同输入层的下沉系数预测模型的精度指标
表8基于不同输入层的水平移动系数预测模型精度指标对比
从图8、图9中4组预测值和表7、表8所示的预测精度指标可知，在5个参数中，各参数的平均相对误差、最大相对误差和均方根误差均有不同程度的改善。MIV算法简化了输入层，降低神经网络的复杂性，提高预测精度。从而证明了MIV算法的可行性。
为验证本文建立的GP算法具有更好的运算性能，同时建立GA算法和PSO算法分别优化BP神经网络的预测模型(MIV-GA-BP预测模型和MIV-PSO-BP预测模型),其中输入层数据均来自MIV算法筛选获得(输入层数据相同)，训练数据和测试数据来源于表1。相关算法参数设置和上文所述相同，本文只建立下沉系数预测模型和水平移动系数模型的神经网络预测模型，其他模型预测结果类似。为了能更加直观地分析结果可靠性,根据以上模型对训练集、测试集进行预测对比分析，结果见图表9，表10，图7图8所示。
表9基于不同算法的下沉系数预测模型的精度指标
表10基于不同算法的水平移动系数预测模型的精度指标
从表7，表8，表9，表10，图7，图8所示的预测值和预测精度指标可知，采用MIV-GP-BP神经网络预测模型的进行预测的精度指标均优于MIV-GA-BP预测模型和PSO-BP预测模型，验证了GP-BP神经网络预测概率积分法参数具有较好的精度,预测性能优于GA-BP模型和PSO-BP预测模型，能满足工程技术的实际要求。
概率积分法参数的获取是煤矿地表变形监测数据处理中的一个热点和难点。针对传统BP神经网络预测概率积分法参数精度不高的问题，本文提出一种MIV-GP-BP预测模型。本模型综合采用了MIV算法和GP组合算法来优化BP神经网络，主要结论如下：
(1)以50个典型矿区的实测资料为例，同时采用去噪处理和MIV算法优化BP神经网络的输入。采用MIV算法对影响概率积分法参数的地质采矿因素进行排序，剔除影响因子较小的因素后作为BP神经网络的输入；采用平滑去噪的方式，剔除实测数据中可能含有的偶然误差，代替原有的输入层。通过分析预测精度得到了提升。
(2)采用粒子群算法和遗传算法的组合算法来优化BP神经网络的权值和阈值，并基于MIV算法降低神经网络的拓扑结构，建立MIV-GP-BP概率积分法预测模型，预测结果表明：在5个参数中，均方根误差均在0.0058～1.1575之间，q、tanβ、b、θ的最大相对误差不超过5.42％，平均相对中误差低于2.81％，s/H相对误差不超过9.66％，平均相对中误差低于4.31％，相对于BP模型、MIV-BP模型、MIV-GA模型、MIV-PSO模型精度得到一定程度提升。
最后应说明的是，以上实施方式仅用以说明本发明实施例的技术方案而非限制，尽管参照以上较佳实施方式对本发明实施例进行了详细说明，本领域的普通技术人员应当理解，可以对本发明实施例的技术方案进行修改或等同替换都不应脱离本发明实施例的技术方案的精神和范围。

Claims (9)

1.基于MIV-GP算法优化BP神经网络的概率积分参数预测方法，其特征在于，所述方法包括如下步骤:
步骤S1、基于MIV算法对BP神经网络的输入变量进行筛选，对影响概率积分法参数的因子进行排序，剔除排序靠后的影响因子；
步骤S2、采用G-P算法优化BP神经网络的权值和阈值，从而建立MIV-GP-BP神经网络预测模型，实现概率积分参数预测。
2.根据权利要求1所述的基于MIV-GP算法优化BP神经网络的概率积分参数预测方法，其特征在于，所述步骤S1之前还包括构建BP神经网络。
3.根据权利要求2所述的基于MIV-GP算法优化BP神经网络的概率积分参数预测方法，其特征在于，所述步骤S1具体包括，
步骤S101、在所述BP神经网络训练终止之后，将训练单一自变量样本在原值的基础上增加和减少一定的比例，形成两组新的样本P1、P2；
步骤S102、利用训练好的样本P1、P2,得到各自的预测输出数据T1、T2；
步骤S103、求两组预测数据T1、T2之间的差值，得到变动该自变量对输出产生的影响变化值IV；
步骤S104、剔除每组样本值中的异常值，将获取的样本值的IV按照观测样本数取平均，得到该自变量对因变量网络输出的MIV值。
4.根据权利要求3所述的基于MIV-GP算法优化BP神经网络的概率积分参数预测方法，其特征在于，所述比例为10％。
5.根据权利要求1所述的基于MIV-GP算法优化BP神经网络的概率积分参数预测方法，其特征在于，所述步骤S2具体包括，
步骤S201、初始化BP神经网络的拓扑结构,设定所述BP神经网络的输入层、隐含层、输出层节点的个数；
步骤S202、初始化种群，将需要待优化的权值和阈值信息根据预设编码规则进行编码；并按照设定的种群规模和初始化方法初始化种群；
步骤S203、将初始化后的种群按照GP算法规则进行迭代运算，直至算法满足结束条件时，最终得到全局最优个体，解码得到权值和阈值信息；
步骤S204、将解码得到的权值和阈值信息带入到BP神经网络中，得到网络的初始权值和阈值；
步骤S205、对神经网络进行反复学习训练，直至满足结束条件，最终得到优化后的BP神经网络的输出。
6.根据权利要求1所述的基于MIV-GP算法优化BP神经网络的概率积分参数预测方法，其特征在于，所述GP算法规则具体如下：
步骤S301、GP算法中相关参数的设定，粒子的个数N,经过进化后的粒子个数M,变异概率Pm,交叉概率Pc,粒子群算法中粒子的最大速度V,惯性常数ω,学习因子c1,c2和迭代次数epoch,求解精度E；
步骤S302、种群的初始化，设置种群的规模N和粒子的维度n，采用实数随机编码，对粒子的速度和位置进行编码，利用适应度函数计算粒子群个体适应度值，更新粒子的个体极值和全局极值；
步骤S303、粒子群的迭代，更新粒子的速度和位置信息，并利用适应度函数计算每个粒子的适应度值，更新个体极值和种群的全局极值；
步骤S304、将N个粒子按照适应度函数值的大小排序，选取其中适应度值较小的N/3个粒子，由保留的N/3个粒子的位置值选择复制生成2N/3个GA个体。
步骤S305、对GA个体进行交叉和变异；
步骤S306、将GA算法生成的2N/3个个体与N/3个粒子合并组成新的N个粒子，再计算粒子群的适应度，并更新个体极值和全局极值；
步骤S307、算法结束的判断，判断粒子进化的迭代次数是否满足设定的最大进化代数，若是则算法结束，输出粒子群的全局极值，及最优解。
7.根据权利要求6所述的基于MIV-GP算法优化BP神经网络的概率积分参数预测方法，其特征在于，所述适应度函数为：
其中,l为BP神经网络的输出层个数，yk表示第k个节点的期望输出值。
8.根据权利要求6所述的基于MIV-GP算法优化BP神经网络的概率积分参数预测方法，其特征在于，所述更新粒子的速度和位置信息，具体计算公式为：
vi+1＝ω*vi+c1r1(pbesti-xi)+c2r2(gbesti-xi) (7)
xi+1＝xi+vi+1 (8)
式中：c1、c2为加速因子，ω为惯性系数，r1、r2为[0,1]之间的随机数,vi是粒子的速度向量，vi,vi+1分别为粒子的当前速度和更新后的速度，xi,xi+1分别为粒子的当前位置和更新后的位置，pbesti为粒子的当前最优位置即个体极值，gbesti为粒子群当前的最优位置即全局最优极值。
9.根据权利要求6所述的基于MIV-GP算法优化BP神经网络的概率积分参数预测方法，其特征在于，对GA个体按照如下公式(10)和公式(11)进行交叉和变异，
交叉操作采用实数交叉法，第k个染色体ak和第l个染色体al在j位的交叉操作方法为
其中，b是[0,1]区间的随机数；
第i个个体的第j个基因aij进行变异的操作方法为
其中，amax是基因aij的上界；amin是基因aij的下界；f(g)＝r2(1-g/Gmax)2,g是当前的迭代次数，Gmax是最大进化次数，r2为[0,1]区间的随机数。
CN201910625366.0A 2019-07-11 2019-07-11 基于miv-gp算法优化bp神经网络的概率积分参数预测方法 Active CN110363344B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910625366.0A CN110363344B (zh) 2019-07-11 2019-07-11 基于miv-gp算法优化bp神经网络的概率积分参数预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910625366.0A CN110363344B (zh) 2019-07-11 2019-07-11 基于miv-gp算法优化bp神经网络的概率积分参数预测方法

Publications (2)

Publication Number Publication Date
CN110363344A true CN110363344A (zh) 2019-10-22
CN110363344B CN110363344B (zh) 2022-07-12

Family

ID=68219062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910625366.0A Active CN110363344B (zh) 2019-07-11 2019-07-11 基于miv-gp算法优化bp神经网络的概率积分参数预测方法

Country Status (1)

Country Link
CN (1) CN110363344B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110764154A (zh) * 2019-11-08 2020-02-07 吉林大学 基于改进粒子群算法的时间域航空电磁一维反演方法
CN110843767A (zh) * 2019-10-25 2020-02-28 池州学院 一种基于样条理论的自动入库泊车方法及系统
CN111292124A (zh) * 2020-01-18 2020-06-16 河北工程大学 一种基于优化组合神经网络的需水预测方法
CN111324989A (zh) * 2020-03-19 2020-06-23 重庆大学 一种基于ga-bp神经网络的齿轮接触疲劳寿命预测方法
CN111327462A (zh) * 2020-02-11 2020-06-23 安徽理工大学 基于遗传算法优化深度神经网络的通信网络风险评估方法
CN111651940A (zh) * 2020-06-11 2020-09-11 中国人民解放军海军航空大学 基于pso-narx的涡轴发动机稳态模型辨识方法
CN111967745A (zh) * 2020-08-06 2020-11-20 中煤能源研究院有限责任公司 基于bp神经网络和概率统计的综采放煤时间智能确定方法
CN112100918A (zh) * 2020-09-15 2020-12-18 中国人民解放军陆军装甲兵学院 火炮身管烧蚀磨损量的ga-bp预测模型研究方法
CN112215391A (zh) * 2020-08-07 2021-01-12 沈阳工业大学 一种基于pso-bp的齿轮再制造质量预测模型方法
CN112529403A (zh) * 2020-12-07 2021-03-19 南京航空航天大学 一种运用神经网络算法确定建设用地面积影响因素权重值的方法
CN112557811A (zh) * 2020-11-19 2021-03-26 安徽理工大学 一种基于改进遗传算法的含分布式电源配电网故障定位
CN112651176A (zh) * 2020-12-24 2021-04-13 广西大学 一种基于ga-bp算法的屏蔽门电机输出力预测方法
CN112801364A (zh) * 2021-01-26 2021-05-14 昆明理工大学 基于miv与改进蝙蝠算法的参考作物腾发量预测方法
CN113111573A (zh) * 2021-03-24 2021-07-13 桂林电子科技大学 基于gru的滑坡位移预测方法
CN113569478A (zh) * 2021-07-27 2021-10-29 郑州铁路职业技术学院 基于元素影响度和置信规则库的旋转机械故障诊断方法
CN114047413A (zh) * 2021-11-11 2022-02-15 国网上海市电力公司 一种基于miv和mea-lvq神经网络的gis局部放电识别方法和系统
CN114793304A (zh) * 2022-06-22 2022-07-26 深圳市文浩科技有限公司 一种人工智能物联网数据信息测量、传输及分析方法
CN115512780A (zh) * 2022-11-23 2022-12-23 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) 一种PaCO2实时预警模型建立方法及系统
CN115910193A (zh) * 2022-12-01 2023-04-04 华南农业大学 Bp-miv预测木质纤维素原料同步糖化发酵乙醇过程的方法
CN116128165A (zh) * 2023-04-13 2023-05-16 深圳大学 一种基于miv-bp的建筑构件质量预测方法及系统
CN116822328A (zh) * 2023-05-11 2023-09-29 中南大学 一种矿山采空区地表沉陷预计参数的确定方法
CN117723594A (zh) * 2024-02-09 2024-03-19 深圳大学 一种基于miv-bp模型的保温建筑构件的检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512383A (zh) * 2015-12-03 2016-04-20 河海大学常州校区 基于bp神经网络的疏浚工艺调控参量筛选方法
CN108229721A (zh) * 2017-12-04 2018-06-29 西北大学 基于改进型bp神经网络的煤热解产物的预测方法
CN108460461A (zh) * 2018-02-06 2018-08-28 吉林大学 基于ga-bp神经网络的火星壤剪切参数预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512383A (zh) * 2015-12-03 2016-04-20 河海大学常州校区 基于bp神经网络的疏浚工艺调控参量筛选方法
CN108229721A (zh) * 2017-12-04 2018-06-29 西北大学 基于改进型bp神经网络的煤热解产物的预测方法
CN108460461A (zh) * 2018-02-06 2018-08-28 吉林大学 基于ga-bp神经网络的火星壤剪切参数预测方法

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110843767A (zh) * 2019-10-25 2020-02-28 池州学院 一种基于样条理论的自动入库泊车方法及系统
CN110764154B (zh) * 2019-11-08 2020-10-02 吉林大学 基于改进粒子群算法的时间域航空电磁一维反演方法
CN110764154A (zh) * 2019-11-08 2020-02-07 吉林大学 基于改进粒子群算法的时间域航空电磁一维反演方法
CN111292124A (zh) * 2020-01-18 2020-06-16 河北工程大学 一种基于优化组合神经网络的需水预测方法
CN111327462A (zh) * 2020-02-11 2020-06-23 安徽理工大学 基于遗传算法优化深度神经网络的通信网络风险评估方法
CN111324989A (zh) * 2020-03-19 2020-06-23 重庆大学 一种基于ga-bp神经网络的齿轮接触疲劳寿命预测方法
CN111324989B (zh) * 2020-03-19 2024-01-30 重庆大学 一种基于ga-bp神经网络的齿轮接触疲劳寿命预测方法
CN111651940A (zh) * 2020-06-11 2020-09-11 中国人民解放军海军航空大学 基于pso-narx的涡轴发动机稳态模型辨识方法
CN111967745A (zh) * 2020-08-06 2020-11-20 中煤能源研究院有限责任公司 基于bp神经网络和概率统计的综采放煤时间智能确定方法
CN111967745B (zh) * 2020-08-06 2023-10-24 中煤能源研究院有限责任公司 基于bp神经网络和概率统计的综采放煤时间智能确定方法
CN112215391A (zh) * 2020-08-07 2021-01-12 沈阳工业大学 一种基于pso-bp的齿轮再制造质量预测模型方法
CN112100918A (zh) * 2020-09-15 2020-12-18 中国人民解放军陆军装甲兵学院 火炮身管烧蚀磨损量的ga-bp预测模型研究方法
CN112557811A (zh) * 2020-11-19 2021-03-26 安徽理工大学 一种基于改进遗传算法的含分布式电源配电网故障定位
CN112557811B (zh) * 2020-11-19 2024-01-12 安徽理工大学 一种基于改进遗传算法的含分布式电源配电网故障定位
CN112529403B (zh) * 2020-12-07 2023-09-15 南京航空航天大学 一种运用神经网络算法确定建设用地面积影响因素权重值的方法
CN112529403A (zh) * 2020-12-07 2021-03-19 南京航空航天大学 一种运用神经网络算法确定建设用地面积影响因素权重值的方法
CN112651176A (zh) * 2020-12-24 2021-04-13 广西大学 一种基于ga-bp算法的屏蔽门电机输出力预测方法
CN112801364A (zh) * 2021-01-26 2021-05-14 昆明理工大学 基于miv与改进蝙蝠算法的参考作物腾发量预测方法
CN113111573A (zh) * 2021-03-24 2021-07-13 桂林电子科技大学 基于gru的滑坡位移预测方法
CN113569478A (zh) * 2021-07-27 2021-10-29 郑州铁路职业技术学院 基于元素影响度和置信规则库的旋转机械故障诊断方法
CN114047413A (zh) * 2021-11-11 2022-02-15 国网上海市电力公司 一种基于miv和mea-lvq神经网络的gis局部放电识别方法和系统
CN114793304A (zh) * 2022-06-22 2022-07-26 深圳市文浩科技有限公司 一种人工智能物联网数据信息测量、传输及分析方法
CN115512780A (zh) * 2022-11-23 2022-12-23 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) 一种PaCO2实时预警模型建立方法及系统
CN115910193A (zh) * 2022-12-01 2023-04-04 华南农业大学 Bp-miv预测木质纤维素原料同步糖化发酵乙醇过程的方法
CN116128165A (zh) * 2023-04-13 2023-05-16 深圳大学 一种基于miv-bp的建筑构件质量预测方法及系统
CN116822328A (zh) * 2023-05-11 2023-09-29 中南大学 一种矿山采空区地表沉陷预计参数的确定方法
CN117723594A (zh) * 2024-02-09 2024-03-19 深圳大学 一种基于miv-bp模型的保温建筑构件的检测方法

Also Published As

Publication number Publication date
CN110363344B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN110363344A (zh) 基于miv-gp算法优化bp神经网络的概率积分参数预测方法
Wang et al. Committee-based active learning for surrogate-assisted particle swarm optimization of expensive problems
He et al. A discrete multi-objective fireworks algorithm for flowshop scheduling with sequence-dependent setup times
Yang et al. An enhanced artificial neural network with a shuffled complex evolutionary global optimization with principal component analysis
CN106869990B (zh) 基于lvq-cpso-bp算法的煤体瓦斯渗透率预测方法
CN111429415B (zh) 基于网络协同剪枝的产品表面缺陷高效检测模型构建方法
CN103617147A (zh) 一种矿井突水水源层识别方法
CN104809476B (zh) 一种基于分解的多目标进化模糊规则分类方法
EP2271954A2 (en) System and method for interpretation of well data
Mu et al. Multi-objective ant colony optimization algorithm based on decomposition for community detection in complex networks
CN110287985B (zh) 一种基于带变异粒子群算法的可变拓扑结构的深度神经网络图像识别方法
US20070179917A1 (en) Intelligent design optimization method and system
CN115188412A (zh) 基于Transformer和图神经网络的药物预测算法
CN104732067A (zh) 一种面向流程对象的工业过程建模预测方法
Wang et al. A critical review on intelligent optimization algorithms and surrogate models for conventional and unconventional reservoir production optimization
CN110490234A (zh) 基于聚类分类联合机制的分类器的构建方法以及分类方法
CN108256688B (zh) 改进萤火虫算法优化grnn的蒸汽驱开发效果预测方法
CN109919374A (zh) 基于apso-bp神经网络的股票价格预测方法
CN108388769A (zh) 基于边驱动的标签传播算法的蛋白质功能模块识别方法
Vimaladevi et al. A microarray gene expression data classification using hybrid back propagation neural network
CN110263125B (zh) 一种基于极限学习机的服务发现方法
CN116542382A (zh) 基于混合优化算法的污水处理溶解氧浓度预测方法
Wan et al. RSSM-Net: Remote sensing image scene classification based on multi-objective neural architecture search
ElMustafa et al. Community detection using intelligent water drops optimisation algorithm
Wang et al. History-Guided Hill Exploration for Evolutionary Computation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant