CN109754122A - 一种基于随机森林特征提取的bp神经网络的数值预测方法 - Google Patents

Abstract

本发明涉及基于随机森林特征提取的BP神经网络的数值预测方法属于机器学习和数据挖掘领域，其特征在于采用如下步骤：(1)选择袋外数据X₁(x₁，x₂，...，x_n)，计算袋外数据误差error⁽¹⁾；(2)随机对袋外数据所有样本的特征T(t₁，t₂，...，t_m)加入噪声干扰，再次计算袋外数据误差error⁽²⁾；(3)计算所有特征T(t₁，t₂，...，t_m)的重要性I；(4)确定重要性较大的特征T(t₁，t₂，...，t_s)及其重要程度ω(ω₁，ω₂，...ω_s)；(5)训练BP神经网络，更新连接权值ω_i；(6)将测试集样本作为输入，进行特征选择然后将选择好的特征输入到BP神经网络中进行预测，得到预测结果。本发明所建立的基于随机森林特征提取的BP神经网络的数值预测方法，用随机森林提取样本集的特征并对其重要性程度进行了量化，实现数值预测。通过多组数据实验对比结果可知，该预测方法为数值预测，提供了在保证了预测精度的基础上增强模型的泛化能力的预测方法。

Description

一种基于随机森林特征提取的BP神经网络的数值预测方法

技术领域

本发明涉及机器学习与数据挖掘领域，主要是一种数值预测方法。

背景技术

目前针对数值预测问题，大多数模型可以在很高的程度上拟合原始数据，但是模型泛化能力较差。这些模型往往在训练集上表现出很好的预测性能，然而在测试集上或者一些新出现的数据中，预测能力会大大降低。神经网络虽然具有很好的泛化能力，但是在模型训练过程中收敛速度太慢，导致训练时间过长，不能满足数值预测对时效性的要求。以BP神经网络为例，早期的BP神经网络存在收敛速度慢，易陷入局部最优等问题。虽然BP神经网络采用误差反向传播的方法来调整各层神经元之间的权值，但是在最初始建模的时候，输入层神经元与第一个隐藏层神经元之间的连接权值是通过初始化的方法设定的随机数，这可能是导致后续网络训练是陷入局部最优的一个原因。

我国在数值预测方面也取得了一些丰富成果。例如，利用深度学习在电力负荷、交通流量、空气质量等方面实现了较好的数值预测。随着计算机互联网的飞速发展以及海量数据的指数级增长，对模型的特征选择以及预测性能指标提出了更高的要求。因此，要实现准确、高效地对某些领域的数值进行预测，达到数值预测的要求，必须建立一种精确、泛化能力强的数值预测方法，进一步减小模型预测值与实际值之间的误差，使得预测结果更加准确，为我国经济和商业等领域提供一种精准、可靠的数值变化监测方式，为未来的发展和管理提供指导性意见。

发明内容

针对上述现有技术中存在的问题，本发明要解决的技术问题是提供一种精确、泛化能力强的数值预测方法，其具体流程如图1所示。

技术方案实施步骤如下：

(1)选择袋外数据X₁(x₁，x₂，...，x_n)，计算袋外数据误差error⁽¹⁾：

式中，g₂，g₃，...，g_i是没有抽到的袋外数据，N为样本总数。

(2)随机对袋外数据所有样本的特征T(t₁，t₂，...，t_m)加入噪声干扰，再次计算袋外数据误差error⁽²⁾：

式中，g₂，g₃，...，g_i是没有抽到的袋外数据特征中加入噪声的数据，N为样本总数。

(3)计算所有特征T(t₁，t₂，...，t_m)的重要性I：

式中，N为决策树的个数，m为特征个数，error⁽¹⁾为未加入噪声前袋外误差，error⁽²⁾为在特征中加入噪声后的袋外误差。

(4)确定重要性较大的特征T(t₁，t₂，...，t_s)及其重要程度w(w₁，w₂，...w_s)：

设定最后需要预留的特征个数s，重复上述三步，删除重要性较小的特征，得到最终的特征T(t₁，t₂，...，t_s)和特征对应的重要性程度w(w₁，w₂，...w_s)。

(5)训练BP神经网络，更新连接权值w_i：

将上一步骤得到的特征重要性程度设为输入层神经元和第一个隐藏层神经元之间的连接权值w(w₁，w₂，...w_s)，然后根据误差反向传播算法，更新连接权值w_i，，具体公式如下：

其中，为实际输出值，y_i为理想输出值，η为每次更新的步长。

(6)将测试集样本作为输入，进行特征选择然后将选择好的特征输入到BP神经网络中进行预测，得到预测结果，完成基于随机森林特征提取的BP神经网络的数值预测方法。

本发明比现有技术具有的优点：

(1)本发明采用了将BP神经网络与随机森林组合的方式，用随机森林提取样本集的特征并对其重要性程度进行了量化，然后用选取的特征作为神经网络的输入，重要性程度度量作为神经网络的初始化连接权值，实现了数值预测，充分利用了随机森林输出的特征向量的特征信息，减小了相对误差，提高了模型精度。

(2)本发明对多组数据进行实验，实验结果与现有技术相比都取得了比较明显的优势，并且数据结果相对稳定。这说明本发明在保证了预测精度的基础上提高了模型的泛化能力，能够更好的完成数值预测任务。

为了更好地理解本发明，下面结合附图作进一步的说明。

图1是建立基于随机森林特征提取的BP神经网络的数值预测模型的步骤流程图；

图2是建立基于随机森林特征提取的BP神经网络的数值预测模型的算法流程图；

图3是简易的神经网络结构图；

图4是多种模型的实验结果对比；

图5是对本发明进行多组仿真实验结果对比；

具体实施方案

下面通过实施案例对本发明作进一步详细说明。

以电力负荷预测为例，选用的数据集是某工厂某年的电力监测数据，数据集中包含了该工厂12个月的天气温度、日期、星期、以及各个车间各个时间段的设备用电情况等各种信息，共8760条数据。选取数据集的80％即7008条数据作为训练集，剩下的20％即1752条作为测试集。

本发明所提供的数值预测方法整体流程如图1所示，具体步骤如下：

(1)选择袋外数据X₁(x₁，x₂，...，x_n)，计算袋外数据误差error⁽¹⁾：

根据本例中训练集的数据共有7008条数据，训练集中有数据作为袋外数据，因此N的大小为7008，i大小为2336。

式中，g₂，g₃，...，g_i是没有抽到的袋外数据，N为样本总数。

(2)随机对袋外数据所有样本的特征T(t₁，t₂，...，t_m)加入噪声干扰，再次计算袋外数据误差error⁽²⁾：

该式中，N的大小为7008，i大小为2336。

式中，g₂，g₃，...，g_i是没有抽到的袋外数据特征中加入噪声的数据，N为样本总数。

(3)计算所有特征T(t₁，t₂，…，t_m)的重要性I：

本例中特征总数为15，设定决策树个数为200。

式中，N为决策树的个数，m为特征个数，error⁽¹⁾为未加入噪声前袋外误差，error⁽²⁾为在特征中加入噪声后的袋外误差。

(4)确定重要性较大的特征T(t₁，t₂，...，t_s)及其重要程度w(w₁，w₂，...w_s)：

设定最后需要预留的特征个数s为8，重复上述三步，删除重要性较小的特征，得到最终的特征T(t₁，t₂，...，t₈)分别为温度、月数、变压器温度、天气、日期、负载率、时间段、星期和特征对应的重要性程度w(w₁，w₂，...w₈)分别为0.55,0.37,0.33,0.32,0.28,0.22,0.14,0.14、0.12。

(5)训练BP神经网络，更新连接权值w_i：

构建BP神经网络，设置BP神经网络的隐藏层为2，第一层神经元个数为8，第二层神经元个数为4，激活函数f(x)采用sigmoid函数以及迭代次数l为300。采用反向传播算法及BP算法对卷积神经网络中的连接权值w_i进行更新：

其中，为实际输出值，y_i为理想输出值，η为每次更新的步长。

(6)将测试集样本作为输入，进行特征选择然后将选择好的特征输入到BP神经网络中进行预测，得到预测结果，完成基于随机森林特征提取的BP神经网络的数值预测方法。

为了验证本发明对数值预测的精度以及模型的泛化能力，用测试集对本发明进行了多组数值预测仿真实验，并将结果与一些其他预测模型进行了对比，仿真结果如表1所示。

表1多种模型实验结果对比

实验方法	MSE(％)
		基于改进卷积神经网络的数值预测方法	12.10
基于SARIM和SVR的数值预测方法	15.50
		基于卷积神经网络和支持向量机的手写数字识别	18.67
本发明	9.20

由仿真结果表1可知，在使用同样数据集的情况下，本发明通过随机森林进行特征提取并进行BP神经网络训练以后，均方误差可以降到9.2％。与其他三种方法相比，具有更高的精度。这表明本发明建立的数值预测方法是精确的，为建立精确的数值预测模型提供了有效的方法。

表2多组仿真实验对比

序号	MSE(％)
		1	10.30
2	9.20
		3	9.50
4	9.55
		5	10.25

由仿真结果表2可知，在用测试集进行多组实验后，均方误差在9.2％-10.3％之间，波动范围仅为1.1％，这表明本发明建立的数值预测方法在保持较高精度的基础上，具有较强的泛化能力，对未知数据能进行很好的预测，可以满足多数场景下的数值预测。本发明为建立精确的数值预测模型提供了可靠的方法。

Claims (1)

1.基于随机森林特征提取的BP神经网络的数值预测方法，其具体归类步骤如下：

(1)选择袋外数据X₁(x₁，x₂，...，x_n)，计算袋外数据误差error⁽¹⁾：

式中，g₂，g₃，...，g_i是没有抽到的袋外数据，N为样本总数；

(2)随机对袋外数据所有样本的特征T(t₁，t₂，...，t_m)加入噪声干扰，再次计算袋外数据误差error⁽²⁾：

式中，g₂，g₃，...，g_i是没有抽到的袋外数据特征中加入噪声的数据，N为样本总数；

(3)计算所有特征T(t₁，t₂，...，t_m)的重要性I：

式中，N为决策树的个数，m为特征个数，error⁽¹⁾为未加入噪声前袋外误差，error⁽²⁾为在特征中加入噪声后的袋外误差；

(4)确定重要性较大的特征T(t₁，t₂，...，t_s)及其重要程度ω(ω₁，ω₂，...ω_s)：

设定最后需要预留的特征个数s，重复上述三步，删除重要性较小的特征，得到最终的特征T(t₁，t₂，...，t_s)和特征对应的重要性程度ω(ω₁，ω₂，...ω_s)；

(5)训练BP神经网络，更新连接权值ω_i：

将上一步骤得到的特征重要性程度设为输入层神经元和第一个隐藏层神经元之间的连接权值ω(ω₁，ω₂，...ω_s)，然后根据误差反向传播算法，更新连接权值ω_i，具体公式如下：

其中，为实际输出值，y_i为理想输出值，η为每次更新的步长；

(6)将测试集样本作为输入，进行特征选择然后将选择好的特征输入到BP神经网络中进行预测，得到预测结果，完成基于随机森林特征提取的BP神经网络的数值预测方法。