CN109214503B - 基于kpca-la-rbm的输变电工程造价预测方法 - Google Patents

Abstract

本发明公开了属于电数字数据处理技术领域的一种基于KPCA‑LA‑RBM的输变电工程造价预测方法。包括以下步骤：1对各样本数据进行数据选择与预处理，并获得关键影响因素集；2将若干组预处理后的样本数据组成训练集，并使用训练集训练KPCA‑LA‑RBM组合模型；3将剩余的数据作为测试集，根据训练好的组合模型，运用测试集对训练好的模型进行预测，得到最终的预测结果。本发明根据主成分累计方差贡献率选取前4个主成分作为组合模型的输入向量，在保证预测精度的情况下，提高了模型的计算效率。本发明提出的组合模型能够有效降低单一模型带来的误差，提高预测精度，使其提高泛化能力和鲁棒性，适用于输变电工程造价预测。

Description

基于KPCA-LA-RBM的输变电工程造价预测方法

技术领域

本发明属于电数字数据处理技术领域，具体为一种基于KPCA-LA-RBM的输变电工程造价预测方法。

背景技术

电力建设属于基础建设，相对于其他的消费性需求，基础设施建设的好坏对人们的生活水平和质量有很大的影响，可以说在一定的程度上电力建设也是一个城市发达水平的标志。近年来，随着我国GDP的增长，电网行业发展迅速，输变电工程建设规模不断增大，电网投资也随着变得越来越大。为了在电力实际建设过程中合理控制成本、优化资源配置并有效调整计划安排，最终为企业决策提供依据，需要运用工程造价预测的方法对项目进行投资估计，为工程施工和项目评审提供参考依据和衡量尺度。因此，输变电工程造价预测对于加强电力行业的建设、优化电力工程投资具有重要的意义。

目前，输变电工程造价预测模型主要分为两类：一类是传统预测模型，另一类是人工智能预测模型。传统的预测方法特点是原理简单，但是周期较长、速度较慢、误差较大，主要有：专家会议法、德尔菲法、移动平均法、指数平滑法等。建立在传统预测方法的基础上提出的智能算法，主要包括协整理论、灰色分析理论法、粒子群算法理论、模糊分析法和BP(Back Propagation)神经网络法等，因其较为智能的算法与个性化，在电力建设工程方面有较为广泛的应用。但是针对小样本特征的工程造价预测问题方面，支持向量机(SVM)方法预测效果相对较好。

在人工智能预测模型这一类别中，BP神经网络和支持向量机是两种较为常见的算法。神经网络在模式识别和数据拟合方面具有很大的优势，也在相关变量的回归与分类问题、函数拟合问题上达到有效的成果。

但是BP神经网络算法收敛速度慢、容易陷入局部最优解，针对该算法存在的不足，许多学者使用因子分析、模糊算法等与神经网络进行结合形成新的组合算法，或者使用遗传算法、粒子群算法等对其进行改进。

虽然BP神经网络算法在预测性能方面得到了较大的改善，并能取得较为精确的预测结果，但是BP神经网络不适用于小样本数据的预测。因此，支持向量机因其鲁棒性强、预测精度较好，适用于小样本数据得到许多学者的青睐。

除了以上算法，还有的学者使用了随机森林等方法进行输变电工程造价预测。

以上这些算法属于浅层学习算法，针对复杂的函数问题处理能力有限，并且这些算法是以先验知识为基础的，不能完全反应信息的特征，受限玻尔兹曼机算法能够将底层特征组合抽象为高层特征，从而更好的反应数据特征。目前，受限玻尔兹曼机在各个领域得到了广泛的应用，尤其是预测领域。

输变电工程周期长、工程量大，针对这样的特点，如果能对输变电工程造价进行预测，一定能够提高输变电工程建设效率。因此目前急需一种用于预测输变电工程造价的方法针以对输变电工程造价在预测过程中存在的问题。

发明内容

针对背景技术中所提到的问题，本发明公开了一种基于KPCA-LA-RBM的输变电工程造价预测方法，其特征在于，包括：

步骤1、对各样本数据进行数据选择与预处理，并获得关键影响因素集；

步骤2、将若干组预处理后的样本数据组成训练集，并使用训练集训练KPCA-LA-RBM组合模型；

步骤3、输变电工程造价预测：

将剩余的数据作为测试集，运用测试集对训练好的KPCA-LA-RBM组合模型进行预测，得到最终的预测结果。

所述步骤1具体为：

步骤11、收集若干组样本数据，将异常数据进行处理，根据GB/T18710-2002中规定的相关参数合理变化范围剔除异常数据，并用上一时刻与下一时刻的平均值替代；并进行无量纲化处理，使其标准化于[0，1]之间；

步骤12、使用各个自变量与因变量之间的相关系数R对影响因素进行剔除，把可以忽略的、对模型影响不大的影响因素从模型分析中去除，从而找到关键影响因素；相关系数R的计算公式如下：

其中，xi表示影响因素值，

表示该类影响因素的平均值；y_i表示输出向量值，

表示输出向量平均值；

步骤13、获得带有各自相关系数R的关键影响因素集。

所述步骤2具体为：

步骤21、使用核主成分分析法KPCA提取若干组预处理后样本数据的主成分；

步骤22将前若干组样本数据集组成训练集，使用训练集并利用狮子算法对受限玻尔兹曼机模型的参数集

进行迭代优化，建立LA-RBM模型；

步骤23、随机设定狮子算法初始种群，以RBM模型最终结果作为本步骤的适应度值

重复使用步骤22对RBM模型参数不断优化，从而得到较优的RBM模型参数。

步骤24采用重构误差为误差条件的评估函数，在经过j次迭代的重构误差吉布斯块采样后，计算与原始数据的差值；当隐含层输出结果满足误差条件时，隐含层输出结果即为系统输出结果，否则返回步骤23继续计算；

第j次迭代的重构误差计算如下：

其中，m表示可见层节点数，k表示训练样本的数目；

当该误差条件满足时，隐含层输出结果即为系统输出结果。

所述步骤22具体为：

步骤221建立受限玻尔兹曼机算法RBM模型，并初始化RBM模型参数。对于RBM来说，其模型参数为

其中，α_ij，β_i，γ_j分别表示可见层第i个节点和隐藏层第j个节点之间的权值、可见层第i个节点的偏置、隐藏层第i个节点的偏置；

步骤222、采用训练集对RBM模型进行训练，并计算RBM模型的最终结果。

所述步骤221具体分为：

步骤2211、RBM模型中可见变量和隐藏变量的联合配置的能量函数表示为：

其中，α_ij，β_i，γ_j表示可见层第i个节点和隐藏层第j个节点之间的权值、可见层第i个节点的偏置、隐藏层第i个节点的偏置，

为模型的待定参数；n为可见层神经元个数，m为隐藏层，V_i,H_j分别表示可见层的第i个节点和隐藏层的第j个节点；

步骤2212、设置可见层和隐含层的节点数，并通过能量函数继而得到(V,H)的联合概率分布；

基于式(5)的能量函数，得到(V,H)的联合概率分布:

将公式(5)代入公式(6)可得：

其中，

为配分函数，以确保函数是标准化的；配分函数

表示为：

步骤2213、通过对相邻层间的神经元间的函数映射求出隐藏层和可视层的激活概率值，具体为：

RBM模型所描述的关于数据样本r的分布，即公式(6)的边缘分布：

由于根据二部图特征，可视层和隐藏层内部的神经元之间都没有互联，只有相邻层间的神经元有对称的连接，则同层神经元之间具有条件独立性，选定节点的激活函数为sigmoid函数，可计算出可视层已知时隐藏层第j个节点u_j＝1时的概率为：

其中

为sigmoid函数，该函数为：

通过sigmoid函数映射，隐藏层的激活概率值就会以S型的方式分布；

在给定隐藏层g，可视层第i个节点k_i＝1时的概率为：

步骤2214、根据隐藏层和可视层中每个节点的激活概率值，求出最大化似然函数

具体为：

假设样本数据训练集为

n₁表示训练样本的数目；其中

i＝1,2,...,n₂，n₂表示可见层节点数，也就是输入数据的维数；

在训练优化RBM的参数时，其目标是最大化似然函数

表示如下：

步骤2215、对最大化似然函数(训练目标)进行对数处理，并把结果作为目标函数的适应度值

对

进行对数处理，即对训练目标进行对数处理，得到目标函数的适应度值

所述步骤23具体为：

在步骤231之前，设目标函数，将适应度值

代入目标函数，目标函数为：

min f(x₁,x₂,...,x_n) (15)

其中n≥1；

步骤231：生成种群

在算法的初始阶段，将狮群初始化为2n头狮子并将其平分为两组，得到一个候选种群；其中，公狮子结构为

母狮结构为

l为解向量的长度；

步骤232：交配

通过交配使生成的A^male和A^female产生新的幼崽

通过

和

随机选择两个交叉点进行双概率交叉可以生成四只幼仔群

变异操作是使用概率p进行随机变异产生幼崽

交叉和变异均完成后，幼崽种类数为8个；

聚类就是使用K-means方法将已有的8个解集进行性别分组：雄性幼崽A^m_cub雌性幼崽A^f_cub；

根据每个个体代表的可行解，杀死总数较多一组的瘦小个体以保证两组幼崽数量平衡，最终达到更新种群的目的；

步骤233：领土防御

在领土防御过程中，随机初始化游动狮子ψ^nomad，将其作为新的可行解，并使用新解决方案ψ^nomad攻击雄狮

如果新的解决方案更好，则将之与整个狮群的解进行比较；如果新方案仍然更好，则这套解决方案ψ^nomad将取代原来的雄狮

新的狮子将继续交配，并且原来的雄狮和幼仔将被杀死；否则原狮子继续领土防御，幼崽长大一岁，直到幼崽成年，并将其保留在种群中，继续交配产生下一代；在种群更新完成之后，将幼崽的年龄初始化为0；

设f(.)为目标函数，f(ψ^pride)是整个种群的值，计算公式如下：

其中，f(ψ^male)和f(ψ^female)分别是雄狮和雌狮的值，

和

分别是雄性幼崽和雌性幼崽的值，||ψ^m_cub||代表种群中雄性幼崽的数量并且age_mat是达到交配要求的年龄，age_cub是幼崽的年龄；

步骤234：领土接管

在领土接管阶段，分别寻找雌狮和雄狮中的最佳解决方案，替代劣质解决方案，进行交配，替代过程如下：

按照以下标准：

选择最好的雄狮

和最好的雌狮

其中，

ψ^male、ψ^m_cub分别表示雄狮群中的可行解，成年雄狮代表的可行解，雄狮中的幼崽代表的可行解，

ψ^female、ψ^f_cub分别表示雌狮群中的可行解，成年雌狮代表的可行解，雌狮中的幼崽代表的可行解；

设κ为

的育种数，κ_strenth为雌狮最优育种能力，通常设定为5，并且，随着狮群的交配行为逐步加一；如果雌狮被替换，则κ初始化为0；如果原雌狮被替换回来，κ在原基础上继续累加；

步骤235、整个过程重复迭代直至达成终止条件；

完成步骤234后，如不符合终止条件，返回步骤232，终止条件为GEN≥GEN_max；GEN为狮群的遗传代数，GEN_max为整个过程重复迭代直到最大遗传代数；达成终止条件后，选择出的最优狮子作为较优的模型参数输出；最优狮子为整个过程重复种群中最好的狮子。

本发明的有益效果为：

(1)在数据进行无量纲化处理时，将原始数据标准化使其均处于[0，1]之间，将原始数据经过标准化后，能够消除数据量纲影响。

(2)本发明采用核主成分分析法(KPCA)将多个影响因素转化为几个代表重要信息的主成分，这些主成分既能反应原始变量的大部分信息，而且互不重叠。

(3)本发明根据主成分累计方差贡献率选取前4个主成分作为模型的输入向量，在保证预测精度的情况下，提高了模型的计算效率。

(4)为了解决浅层学习算法复杂的函数问题处理能力有限，并且这些算法是以先验知识为基础的，不能完全反应信息的特征这些问题，本发明采用受限玻尔兹曼机模型进行输变电工程造价预测。受限玻尔兹曼机算法能够将底层特征组合抽象为高层特征，从而更好的反应数据特征。但是，受限玻尔兹曼机算法存在泛化能力较低、且固定的训练率不利于网络跳出极小点等问题。狮子算法是一种基于狮子社会行为的仿生算法。相对于Gaussian-Bernoulli算法、遗传算法、模糊算法等，狮子算法在求解性能上，具有很强的鲁棒性和搜索较好解的能力，易于并行实现并且收敛速度快，因此本发明决定采用狮子算法对受限玻尔兹曼机算法的参数进行优化。

(5)本发明提出的KPCA-LA-RBM组合模型能够有效降低单一模型带来的误差，提高预测精度，使其提高泛化能力和鲁棒性，适用于输变电工程造价预测。

附图说明

图1为本发明一种基于KPCA-LA-RBM的输变电工程造价预测方法实施例的总流程图；

图2为本发明实施例中KPCA-LA-RBM组合模型的相对误差；

图3为本发明实施例中KPCA-LA-RBM组合模型的预测值和实际值对比；

图4为本发明实施例中各模型的预测值；

图5为本发明实施例中受限玻尔兹曼机模型的流程图；

图6为本发明实施例中的狮子防御图；

图7为本发明实施例中狮子算法的流程图；

图8为本发明实施例中LA-RBM模型的流程图。

具体实施方式

下面结合附图对本发明的实施例进行进一步的描述，在本发明中KPCA为核主成分分析，LA为狮子算法，RBM为受限玻尔兹曼机算法；

如图1所示，本实施例具体分为以下步骤；

步骤1、对各样本数据进行数据选择与预处理，并获得关键影响因素集；

收集若干组样本数据，识别架空线路工程造价的原始影响因素集＝{导线价格，线材量，线路长度，单根导线面积，塔材价格，塔材量，塔基数，基础钢材量，钢材价格，基础混凝土量，土石方量，海拔高度，地形分布，地质条件，建场费，建设管理费，建设技术服务费}。本发明的输入向量为影响因素集中的原始影响因素，输出向量为工程造价(用静态投资衡量)。然后，根据样本数据的具体情况对数据进行预处理，并根据相关系数进行数据筛选，获得带有各自相关系数R的关键影响因素集。在本实施例中步骤1具体为：

步骤11、收集若干组样本数据，将异常数据进行处理，根据GB/T18710-2002中规定的相关参数合理变化范围剔除异常数据，并用上一时刻与下一时刻的平均值替代；并进行无量纲化处理，使其标准化于[0，1]之间；

本实施例以线路工程为例，对工程造价预测模型进行实证分析。选取110kV输电线路工程的历史数据进行输变电工程造价预测。

在本实施例中首先进行数据选择：

总共取136个样本进行分析，首先取前100个样本为训练集建立KPCA-LA-RBM组合模型，再用得到的KPCA-LA-RBM组合模型对后36个样本进行预测，最后将后36个样本的实际值与预测值进行拟合比较，得出预测的效果，从而判断选取的模型是否合适。该地区某5个输变电工程样本造价影响因素以及造价的数据展示如表1所示。

表1.原始数据表

步骤12、并使用各个自变量与因变量之间的相关系数R对影响因素进行剔除，把可以忽略的、对模型影响不大的影响因素从模型分析中去除，从而找到关键影响因素，建立科学的造价预测模型。通过经验统计，一般情况下当R≥0.6时，就认为两个原始影响因素的相关性显著，反之当R<0.6，则说明这两个原始影响因素的相关性不显著。皮尔森相关系数计算公式如下：

其中，x_i表示影响因素值，

表示该类影响因素的平均值；y_i表示输出向量值，

表示输出向量平均值。

本实施例中，影响因素与工程造价之间的相关系数R如表2所示。

表2.相关系数表

由影响因素与工程造价相关系数表知，基础钢材量、导线价格、建设管理费、塔材价格、钢材价格、单根导线面积、海拔高度、地形分布、地质条件与工程造价的相关系数绝对值均小于0.6，可以认为这四种因素与工程造价的关系十分微弱，将其淘汰。最后，提取17种因素中的8种重要因素，分别为：线材量、线路长度、建设技术服务费、土石方量、塔基数、基础混凝土量、塔材量、建场费。

步骤13、根据各组样本数据中原始影响因素的相关系数R，获得带有各自相关系数R的关键影响因素集。

步骤2、将若干组预处理后的样本数据组成训练集，并使用训练集训练KPCA-LA-RBM组合模型；

步骤21、使用核主成分分析法(KPCA)提取若干组预处理后样本数据的主成分；

采用核主成分分析法(KPCA)将各组样本数据筛选出的关键影响因素转化为几个代表重要信息的主成分，并将其作为LA-RBM模型的输入向量。核主成分分析是将数据从特定空间非线性投影到高维特征空间的一种分析方法。其中，该分析方法中的非线性投影是通过核函数实现的。

该方法可以克服特征向量线性不可分的问题；在本实施例中步骤21具体为：

假定数据集T＝{t₁,t₂,...,t_n},t_i∈R^d，数据的非线性映射表示为：φ:T→Q，那么，空间Q的协方差矩阵就可以表示为：

其中，R^d为输入空间，d表示空间的维度，i＝1,2,...,n

根据特征值与特征向量的求法，可计算得到矩阵C的特征值λ和特征向量V，设C的特征值为0≤λ₁≤λ₂≤...≤λ_d，对应的特征向量为v₁,v₂,...,v_d。记：

其中，r∈d；

记核矩阵为K，其计算公式如下K＝(k_ij)_d×d＝(φ(t_i)·φ(t_j))(i,j＝1,2,...,d)，由Kα＝dλα知其特征值为dλ_i，特征向量为α_i。根据累计方差贡献率，选取前m(m＜d)个特征值对应的标准化特征向量α_i,i＝1.2,...,m。对φ(t_j)在v_r的投影：

y_r(t_j)＝(φ(t_j)·v_r),(r＝1,2,...,m) (4)

式中，y_r(t_j)为φ对应的第r个非线性主元分量。

将所有投影值y(t_j)＝(y₁(t_j),y₂(t_j),...,y_m(t_j))作为样本特征值。用核函数代替Q重的内积进行运算，然后按照计算规则计算主成分值。

将带有各自相关系数R的关键影响因素作为输入变量输入MATLAB的核主成分分析模型，根据累计方差贡献率，选取前四个主成分。这四个主成分包含了大部分信息，且这四个主成分为核主成分分析法的输出变量，并将其作为LA-RBM模型的输入向量。

本实施例中，使用KPCA算法对输变电工程造价影响因素进行转化，将其提取为包含大部分信息的主成分，并取前4个主成分作为LA-RBM的输入向量。

本实施例中对样本数据进行核主成分分析，得到协方差矩阵、方差贡献率和累计贡献率如表3所示。

表3.主成分特征值及方差贡献率

由上表分析可知，前四个主成分的累积方差贡献率已经达到了89.85％，能够代表影响因素的主要信息，因此选择前四个主成分作为KPCA-LA-RBM预测模型的输入量，假定x_i,i＝1,2,3,...,8分别代表八个影响因素，y_i,i＝1,2,3,4分别代表四个主成分

步骤22将前若干组样本数据集组成训练集，使用训练集并利用狮子算法对受限玻尔兹曼机模型的参数集

进行迭代优化，建立LA-RBM模型；

如图5所示，受限玻尔兹曼机(Restricted Boltzmann Machine，简称RBM)是由Hinton和Sejnowski于1986年提出的一种生成式随机神经网络，是玻尔兹曼机(BoltzmannMachine，BM)的一种，其网络可以看成是可视层和隐藏层组成的。可视层由观察数值构成，用于数据的输入，通常为二值型数据；隐藏层是一串随机生成的数据，用于特征的提取，通常也为二值型数据。在假定模型的每一个神经元节点都是二值型数据的情况下，即

当节点取值为1时，表示该神经元当前处于激活状态，0则表示该神经元为抑制状态。RBM是一种典型的基于能量函数的模型，定义了可视特征矢量和隐藏节点矢量的分布概率，能够将可视单元映射到随机的二值隐含层上，从而获得更多信息的特征向量。受限玻尔兹曼机模型结构是一个无向的二部图模型

为了增强受限玻尔兹曼机算法的性能，提高预测精度，本发明使用狮子算法对受限玻尔兹曼机的参数集

进行优化。本实施例在使用MATLAB进行模型仿真时，以样本数据的前100组数据(前4个主成分作为输入向量，输变电工程造价作为输出变量)作为训练集，输入MATLAB中的狮子算法优化的受限玻尔兹曼机模型中，进行模型训练。

如图8所示的LA-RBM模型；

步骤22具体为：

步骤221建立RBM(受限玻尔兹曼机算法)模型，并初始化RBM模型参数。对于RBM来说，其模型参数为

其中，α_ij，β_i，γ_j分别表示可见层第i个节点和隐藏层第j个节点之间的权值、可见层第i个节点的偏置、隐藏层第i个节点的偏置。

RBM模型为一种基于能量的模型，

步骤221具体分为：

步骤2211、RBM模型中可见变量和隐藏变量的联合配置的能量函数表示为：

其中，α_ij，β_i，γ_j表示可见层第i个节点和隐藏层第j个节点之间的权值、可见层第i个节点的偏置、隐藏层第i个节点的偏置，

为模型的待定参数；n为可见层神经元个数，m为隐藏层，V_i,H_j分别表示可见层的第i个节点和隐藏层的第j个节点

步骤2212、设置可见层和隐含层的节点数，并通过能量函数继而得到(V,H)的联合概率分布；

基于式(5)的能量函数，得到(V,H)的联合概率分布:

将公式(5)代入公式(6)可得：

其中，

为配分函数，以确保函数是标准化的；配分函数

表示为：

步骤2213、通过对相邻层间的神经元间的函数映射求出隐藏层和可视层的激活概率值，具体为：

RBM模型所描述的关于数据样本r的分布，即公式(6)的边缘分布：

由于根据二部图特征，可视层和隐藏层内部的神经元之间都没有互联，只有相邻层间的神经元有对称的连接，则同层神经元之间具有条件独立性，选定节点的激活函数为sigmoid函数，可计算出可视层已知时隐藏层第j个节点u_j＝1时的概率为：

其中

为sigmoid函数，该函数为：

通过sigmoid函数映射，隐藏层的激活概率值就会以S型的方式分布。

同理，在给定隐藏层g，可视层第i个节点k_i＝1时的概率为：

步骤2214、根据隐藏层和可视层中每个节点的激活概率值，求出最大化似然函数

具体为：

假设样本数据训练集为

n₁表示训练样本的数目；其中

i＝1,2,...,n₂，n₂表示可见层节点数，也就是输入数据的维数。

在训练优化RBM的参数时，其目标是最大化似然函数

表示如下：

步骤2215、对最大化似然函数(训练目标)进行对数处理，并把结果作为目标函数的适应度值

对

进行对数处理，即对训练目标进行对数处理，得到目标函数的适应度值

步骤222、采用训练集对RBM模型进行训练，并计算RBM模型的最终结果。

步骤23、随机设定狮子算法初始种群，以RBM模型最终结果作为本步骤的适应度值

重复使用步骤22对RBM模型参数不断优化，从而得到较优的RBM模型参数。

其中，步骤23中较优的RBM模型参数是通过狮子算法进行的，如图7所示，狮子算法模拟了狮子群的社会行为，主要步骤包括产生初始种群、交配变异、领土防卫、领土接管。该算法通过不断地迭代和搜索优化目标函数，最终得到最优解，该算法可加快模型的训练效率，提高模型的学习能力，具体为：

在步骤231之前，设目标函数，将适应度值

代入目标函数，目标函数为：

min f(x₁,x₂,...,x_n) (15)

其中n≥1；

步骤231：生成种群

在算法的初始阶段，将狮群初始化为2n头狮子并将其平分为两组，得到一个候选种群；其中，公狮子结构为

母狮结构为

l为解向量的长度。

步骤232：交配

在迭代和搜索最优解的过程中，交配可以通过现有的解决方案产生新的解决方案，交配操作通过交叉，变异，集群，杀死生病、弱的幼崽等步骤达到更新狮群并维持狮群稳定的目的。

交配步骤引入了基于双概率的交叉方式(用两种不同的概率进行交叉)。

通过交配使生成的A^male和A^female产生新的幼崽

通过

和

随机选择两个交叉点进行双概率交叉可以生成四只幼仔群

变异操作是使用概率p进行随机变异产生幼崽

交叉和变异均完成后，幼崽种类数为8个。

聚类就是使用K-means方法将已有的8个解集进行性别分组：雄性幼崽(A^m_cub)雌性幼崽(A^f_cub)。

最后，通过测试健康状况(或目标)，根据每个个体代表的可行解，杀死总数较多一组的瘦小个体(即使可行解较小的个体)以保证两组幼崽数量平衡，最终达到更新种群的目的。

步骤233：领土防御

如图6所示，在狮群的繁殖过程中，会受到游动狮子的攻击。此时，雄狮为了保护幼崽，继续占有领土，会对游动狮子的攻击行为展开防御，

在领土防御过程中，随机初始化游动狮子ψ^nomad，将其作为新的可行解，并使用新解决方案(ψ^nomad)攻击雄狮

如果新的解决方案更好，则将之与整个狮群的解进行比较；如果新方案仍然更好，则这套解决方案(ψ^nomad)将取代原来的雄狮

新的狮子将继续交配，并且原来的雄狮和幼仔将被杀死；否则原狮子继续领土防御，幼崽长大一岁，直到幼崽成年，并将其保留在种群中，继续交配产生下一代。在种群更新完成之后，将幼崽的年龄初始化为0。此处种群更新指的是领土防御失败或者防御成功之后幼崽成年。

设f(.)为目标函数，f(ψ^pride)是整个种群的值，计算公式如下：

其中，f(ψ^male)和f(ψ^female)分别是雄狮和雌狮的值，

和

分别是雄性幼崽和雌性幼崽的值，||ψ^m_cub||代表种群中雄性幼崽的数量并且age_mat是达到交配要求的年龄，age_cub是幼崽的年龄。

步骤234：领土接管

在领土接管阶段，分别寻找雌狮和雄狮中的最佳解决方案，替代劣质解决方案，进行交配，替代过程如下：

首先按照以下标准：

选择最好的雄狮

和最好的雌狮

其中，

ψ^male、ψ^m_cub分别表示雄狮群中的可行解，成年雄狮代表的可行解，雄狮中的幼崽代表的可行解，

ψ^female、ψ^f_cub分别表示雌狮群中的可行解，成年雌狮代表的可行解，雌狮中的幼崽代表的可行解。

设κ为

的育种数，κ_strenth为雌狮最优育种能力(新幼崽的数量)，通常设定为5，并且，随着狮群的交配行为逐步加一(初始化狮群时，也设定为0)；如果雌狮被替换，则κ初始化为0；如果原雌狮被替换回来，κ在原基础上继续累加。

步骤235、整个过程重复迭代直至达成终止条件；

完成步骤234后，如不符合终止条件，返回步骤232，终止条件为GEN≥GEN_max；GEN为狮群的遗传代数，GEN_max为整个过程重复迭代直到最大遗传代数；达成终止条件后，选择出的最优狮子作为较优的模型参数输出；最优狮子为整个过程重复种群中最好的狮子。

步骤24采用重构误差为误差条件的评估函数，在经过j次吉布斯块采样后，计算与原始数据的差值；当隐含层输出结果满足误差条件时，隐含层输出结果即为系统输出结果，否则返回步骤23继续计算；具体为：

考虑似然函数计算的复杂性，本文采用重构误差(reconstruction error)代替似然函数作为RBM的评估函数。重构误差以训练样本作为初始状态，经过若干次吉布斯块采样(block Gibbs Sample)后，计算与原始数据的差值。吉布斯块采样是MCMC采样算法中的一种，它交替的固定某一维度，然后通过其他维度的值来抽样该维度的值，并且该采样算法只对二维以上的空间有效。在RBM训练过程中，第j次迭代的重构误差计算如下：

其中，m表示可见层节点数，k表示训练样本的数目；

当该误差条件满足时，隐含层输出结果即为系统输出结果。

本实施例中，表3内各主成分所对应的特征向量如表4所示。

表4.前四个主成分特征值对应的特征向量

根据上表可写出前四个主成分的表达式如下所示：

y₁＝0.115787x₁+0.117246x₂+0.121396x₃+0.004136x₄+0.182637x₅+0.331x₆-0.90229x₇+0.0298x₈

y₂＝0.488516x₁+0.289233x₂-0.38349x₃-0.28737x₄-0.56235x₅+0.124031x₆-0.00965x₇+0.341x₈ (20)

y₃＝0.030807x₁+0.021009x₂+0.244522x₃+0.579465x₄-0.368x₅-0.57124x₆-0.232x₇+0.29562x₈

y₄＝0.434935x₁+0.1636x₂+0.007786x₃+0.313366x₄-0.18398x₅+0.039846x₆+0.03x₇-0.80588x₈

根据该表达式求出136组样本数据的前四个主成分的值，并以某地区输变电工程中的线路工程为例进行工程造价预测分析，使用这些值作为模型输入变量来获得预测结果。

本发明以前100个工程样本的样本数据进行训练，得出基于狮子算法优化受限玻尔兹曼机算法的输变电工程造价预测模型。

步骤3、输变电工程造价预测

将剩余的数据作为测试集，根据训练好的各KPCA-LA-RBM组合模型，运用测试集对训练好的KPCA-LA-RBM组合模型进行预测，得到最终的预测结果。

本实施例中，使用训练模型来预测剩余36个输电工程样本的造价。

首先，设定LA的参数如表5所示。

表5.LA参数表

然后，利用LA对RBM进行训练，优化RBM的参数。并基于优化模型对测试集的造价进行预测。KPCA-LA-RBM组合模型的预测结果和36个数据点的相对误差如图2所示。

结果表明，采用KPCA-LA-RBM组合模型预测输变电工程造价时，样本静态造价预测值与实际值基本吻合，拟合效果良好。该模型能为输变电工程造价预测提供准确的预测结果，是一种有效的预测方法。

如图2所示，误差率最高的样本是第23个样本，相对误差为8％，16个样本的相对误差的绝对值小于0.30％。同时，样本预测值相对误差绝对值的平均值为1.76％，小于2％，大多数点的相对误差的绝对值小于5％，均小于8％，表明所提出的模型具有很强的泛化能力以及鲁棒性。

如图4所示，为了证明本文提出的模型的优越性，本发明使用BP神经网络(BP)、支持向量机、受限玻尔兹曼机(RBM)和狮子算法优化的受限玻尔兹曼机(LA-RBM)对输变电工程造价进行预测，并将预测结果与KPCA-LA-RBM进行对比。KPCA-LA-RBM和其他4种模型之间的造价预测结果比较。

与BP神经网络、支持向量机、RBM和LA-RBM相比，KPCA-LA-RBM具有更好的性能。KPCA-LA-RBM组合模型预测值更接近实际值，与其它4种模型相比，预测精度更高。虽然五种模型都能达到预测目标，得到合理的结果，但BP神经网络预测曲线拟合不好，预测效果不好。在该预测情况下，SVM比BP神经网络具有更好的性能，但结果仍然不令人满意。RBM用于造价预测，其结果优于前两种模型。RBM优化后，造价预测精度得到提高。对36个测试点的预测结果和相对误差进行了分析，结果表明，KPCA-LA-RBM组合模型可以从所有影响因素中提取重要信息，并提取底层向量，从而获得良好的预测结果。

本实施例对之前得到的模型进行误差分析：

为了验证本文所提出的基于KPCA-LA-RBM的输变电工程造价预测模型的精确性和有效性，分别使用BP神经网络、SVM、RBM、LA-RBM等模型对同一组样本进行输变电工程造价预测，对比分析各个模型所得的预测结果。

随后对各个模型所得的预测结果进行对比分析：

本文采用平均绝对百分误差(MAPE)、均方根误差(RMSE)、平均绝对误差(MAE)和非线性函数拟合优度(R²)等四个指标来比较各个模型的预测精度，以期能够更加准确的评价各个模型的预测性能。各个指标的计算公式如下所示：

各个模型的指标计算结果如表6所示：

表6.指标计算结果表

从表6中可以看出，这五种模型都能实现输变电工程造价的预测，得到预测结果。本文提出的KPCA-LA-RBM组合模型的三个误差指标(MAPE，RMSE，MAE)在所有模型中最小，模型具有优良的拟合优度，达到93.06％。此时，KPCA-LA-RBM组合模型的三个误差指标符(MAPE，RMSE，MAE)分别为8.54％、45.81和36.134。同时，BP模型的三个误差指标最大，分别为21.70％、112.14和99.164，拟合优度也较差，为82.51％。KPCA-LA-RBM的预测精度优于BP、SVM、LA-RBM模型。

因此，四个指标在预测模型的评价结果上趋于一致。通过对四个指标的综合分析，得出输变电工程造价的预测准确度可以得出如下结论：KPCA-LA-RBM＞LA-RBM>RBM>SVM＞BP。

Claims (3)

1.一种基于KPCA-LA-RBM的输变电工程造价预测方法，其特征在于，包括：

步骤1、对各样本数据进行数据选择与预处理，并获得关键影响因素集；

步骤2、将若干组预处理后的样本数据组成训练集，并使用训练集训练KPCA-LA-RBM组合模型；

所述步骤2具体为：

步骤21、使用核主成分分析法KPCA提取若干组预处理后样本数据的主成分；

步骤22将前若干组样本数据集组成训练集，使用训练集并利用狮子算法对受限玻尔兹曼机模型的参数集

进行迭代优化，建立LA-RBM模型；

步骤23、随机设定狮子算法初始种群，以RBM模型最终结果作为本步骤的适应度值

重复使用步骤22对RBM模型参数不断优化，从而得到较优的RBM模型参数；

步骤24采用重构误差为误差条件的评估函数，在经过j次迭代的重构误差吉布斯块采样后，计算与原始数据的差值；当隐含层输出结果满足误差条件时，隐含层输出结果即为系统输出结果，否则返回步骤23继续计算；

第j次迭代的重构误差计算如下：

其中，m表示可见层节点数，k表示训练样本的数目；

当该误差条件满足时，隐含层输出结果即为系统输出结果；

所述步骤22具体为：

步骤221建立受限玻尔兹曼机算法RBM模型，并初始化RBM模型参数；对于RBM来说，其模型参数为

其中，α_ij，β_i，γ_j分别表示可见层第i个节点和隐藏层第j个节点之间的权值、可见层第i个节点的偏置、隐藏层第i个节点的偏置；

步骤222、采用训练集对RBM模型进行训练，并计算RBM模型的最终结果；所述步骤23具体为：

在步骤231之前，设目标函数，将适应度值

代入目标函数，目标函数为：

min f(x₁,x₂,...,x_n) (15)

其中n≥1；

步骤231：生成种群

在算法的初始阶段，将狮群初始化为2n头狮子并将其平分为两组，得到一个候选种群；其中，公狮子结构为

母狮结构为

l为解向量的长度；

步骤232：交配

通过交配使生成的A^male和A^female产生新的幼崽

通过

和

随机选择两个交叉点进行双概率交叉可以生成四只幼仔群

变异操作是使用概率p进行随机变异产生幼崽

交叉和变异均完成后，幼崽种类数为8个；

聚类就是使用K-means方法将已有的8个解集进行性别分组：雄性幼崽A^m_cub雌性幼崽A^{f _cub}；

根据每个个体代表的可行解，杀死总数较多一组的瘦小个体以保证两组幼崽数量平衡，最终达到更新种群的目的；

步骤233：领土防御

在领土防御过程中，随机初始化游动狮子ψ^nomad，将其作为新的可行解，并使用新解决方案ψ^nomad攻击雄狮

如果新的解决方案更好，则将之与整个狮群的解进行比较；如果新方案仍然更好，则这套解决方案ψ^nomad将取代原来的雄狮

新的狮子将继续交配，并且原来的雄狮和幼仔将被杀死；否则原狮子继续领土防御，幼崽长大一岁，直到幼崽成年，并将其保留在种群中，继续交配产生下一代；在种群更新完成之后，将幼崽的年龄初始化为0；

设f(.)为目标函数，f(ψ^pride)是整个种群的值，计算公式如下：

其中，f(ψ^male)和f(ψ^female)分别是雄狮和雌狮的值，

和

分别是雄性幼崽和雌性幼崽的值，||ψ^m_cub||代表种群中雄性幼崽的数量并且age_mat是达到交配要求的年龄，age_cub是幼崽的年龄；

步骤234：领土接管

在领土接管阶段，分别寻找雌狮和雄狮中的最佳解决方案，替代劣质解决方案，进行交配，替代过程如下：

按照以下标准：

选择最好的雄狮

和最好的雌狮

其中，

ψ^male、ψ^m_cub分别表示雄狮群中的可行解，成年雄狮代表的可行解，雄狮中的幼崽代表的可行解，

ψ^female、ψ^f_cub分别表示雌狮群中的可行解，成年雌狮代表的可行解，雌狮中的幼崽代表的可行解；

设κ为

的育种数，κ_strenth为雌狮最优育种能力，通常设定为5，并且，随着狮群的交配行为逐步加一；如果雌狮被替换，则κ初始化为0；如果原雌狮被替换回来，κ在原基础上继续累加；

步骤235、整个过程重复迭代直至达成终止条件；

完成步骤234后，如不符合终止条件，返回步骤232，终止条件为GEN≥GEN_max；GEN为狮群的遗传代数，GEN_max为整个过程重复迭代直到最大遗传代数；达成终止条件后，选择出的最优狮子作为较优的模型参数输出；最优狮子为整个过程重复种群中最好的狮子；

步骤3、输变电工程造价预测：

将剩余的数据作为测试集，运用测试集对训练好的KPCA-LA-RBM组合模型进行预测，得到最终的预测结果。

2.根据权利要求1所述的一种基于KPCA-LA-RBM的输变电工程造价预测方法，其特征在于，所述步骤1具体为：

步骤11、收集若干组样本数据，将异常数据进行处理，根据GB/T18710-2002中规定的相关参数合理变化范围剔除异常数据，并用上一时刻与下一时刻的平均值替代；并进行无量纲化处理，使其标准化于[0，1]之间；

步骤12、使用各个自变量与因变量之间的相关系数R对影响因素进行剔除，把可以忽略的、对模型影响不大的影响因素从模型分析中去除，从而找到关键影响因素；相关系数R的计算公式如下：

其中，x_i表示影响因素值，

表示该类影响因素的平均值；y_i表示输出向量值，

表示输出向量平均值；

步骤13、获得带有各自相关系数R的关键影响因素集。

3.根据权利要求1所述的一种基于KPCA-LA-RBM的输变电工程造价预测方法，其特征在于，所述步骤221具体分为：

步骤2211、RBM模型中可见变量和隐藏变量的联合配置的能量函数表示为：

其中，α_ij，β_i，γ_j表示可见层第i个节点和隐藏层第j个节点之间的权值、可见层第i个节点的偏置、隐藏层第i个节点的偏置，

为模型的待定参数；n为可见层神经元个数，m为隐藏层，V_i,H_j分别表示可见层的第i个节点和隐藏层的第j个节点；

步骤2212、设置可见层和隐含层的节点数，并通过能量函数继而得到(V,H)的联合概率分布；

基于式(5)的能量函数，得到(V,H)的联合概率分布:

将公式(5)代入公式(6)可得：

其中，

为配分函数，以确保函数是标准化的；配分函数

表示为：

步骤2213、通过对相邻层间的神经元间的函数映射求出隐藏层和可视层的激活概率值，具体为：

RBM模型所描述的关于数据样本r的分布，即公式(6)的边缘分布：

由于根据二部图特征，可视层和隐藏层内部的神经元之间都没有互联，只有相邻层间的神经元有对称的连接，则同层神经元之间具有条件独立性，选定节点的激活函数为sigmoid函数，可计算出可视层已知时隐藏层第j个节点u_j＝1时的概率为：

其中

为sigmoid函数，该函数为：

通过sigmoid函数映射，隐藏层的激活概率值就会以S型的方式分布；

在给定隐藏层g，可视层第i个节点k_i＝1时的概率为：

步骤2214、根据隐藏层和可视层中每个节点的激活概率值，求出最大化似然函数

具体为：

假设样本数据训练集为

n₁表示训练样本的数目；其中

i＝1,2,...,n₂，n₂表示可见层节点数，也就是输入数据的维数；

在训练优化RBM的参数时，其目标是最大化似然函数

表示如下：

步骤2215、对最大化似然函数进行对数处理，并把结果作为目标函数的适应度值

对

进行对数处理，即对训练目标进行对数处理，得到目标函数的适应度值

Images