CN107330514B

CN107330514B - 一种基于集成极限学习机的空气质量预测方法

Info

Publication number: CN107330514B
Application number: CN201710554694.7A
Authority: CN
Inventors: 刘博�; 闫硕
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2017-07-10
Filing date: 2017-07-10
Publication date: 2020-07-31
Anticipated expiration: 2037-07-10
Also published as: CN107330514A

Abstract

本发明公开一种基于极限学习机的空气质量预测方法，包括：步骤1、获取需要进行预测分析的空气质量数据，并且划分为训练数据集与测试数据集；步骤2、基于训练数据集对CNN进行训练并选择在各个验证集中表现的模型作为特征提取的模型；步骤3、将CNN全连接层第一个层的激活值作为GBELM的输入，训练GBELM，选择在各个验证集中表现最好的GBELM作为预测模型；使用GBELM来代替步骤2中得到的CNN的全连接层，得到最终的空气质量预测模型；步骤4、将测试数据输入到空气质量预测模型,计算得到测试数据的抽象特征，再输入到GBELM中得到每个ELM的输出值进行加和，即可得到预测结果。采用本发明的技术方案，具有很高的预测精度。

Description

一种基于集成极限学习机的空气质量预测方法

技术领域

本发明属于数据挖掘技术领域，尤其涉及一种基于集成极限学习机的空气质量预测方法。

背景技术

目前空气质量预测的主要手段是采用数值模拟法，其中CMAQ(CommunityMultiscale Air Quality)是最流行的方法。数值模拟法通过对空气质量相关因子进行物理的模拟来达到预测空气中污染物的浓度。数值模拟法由于采用物理模拟，可以反映出空气质量相关因子对空气质量的影响机制，但是模拟需要进行大量的计算，因此速度很慢。在如今的大数据时代，机器学习已经成了十分重要的预测方法，并且已经在很多领域成功的解决了问题。Ruiyun Yu等在2016年，L Wang等在2014年分别使用随机森林(RandomForest,RF)和支持向量机(Support Vector Machine,SVM)对空气质量进行了预测也去的了很不错的效果。Xiang Li等利用深度学习技术构建了空气质量的预测模型效果良好而且拥有很高的精度。任何一种机器学习方法相比传统数值模拟的方法，都会更快，而深度学习则能达到更高的精度。

RF是一个很流行的算法，它是一种决策树的集成算法，它训练速度快，不需要进行特征选取，并且有着不错的泛化能力和精度，但是相比起更加流行的Gradient Boosting算法，它的精度略差。SVM通过将线性不可分的数据映射到高维空间中，达到将数据转换为线性可分的数据，进而进行非线性拟合。SVM是一个具有出色泛化能力的算法，但是训练SVM十分消耗时间，而且在大数据集上往往表现较差。SVM是单输出的算法，在面对多输出回归问题上比较无力。深度学习技术在近十年来是最流行的机器学习算法，区别于传统机器学习，深度学习将特征提取与分类算法或回归算法结合为一个整体，将原始数据直接输入算法中训练即可。深度学习常常利用BP神经网络作为全连接层，而BP神经网络容易陷入局部极值。

发明内容

本发明要解决深度学习中全连接层使用多层感知器容易陷入局部极值的问题，提供一种基于集成极限学习机的空气质量预测方法，具有很高的预测精度。

本发明使用卷积神经网络(Convolutional Neural Network,CNN)对空气质量的特征进行提取，然后使用Gradient Boosting对极限学习机(Extreme Learning Machine,ELM)进行集成，其中ELM采用线性修正单元(Rectified linear unit,ReLU)作为隐藏层的激活函数。用集成后的极限学习机代替CNN训练好的全连接层，用CNN提取带标签数据中的抽象特征来训练Gradient ELM Boosting(GBELM)，形成一种使用CNN作为特征提取器与GBELM相结合的空气质量预测模型。ELM是一种单隐藏层的前馈神经网络，相比用BP算法进行训练，ELM通过随机初始化输入层与隐藏层的连接权重与偏置，然后使用最小二乘求解输出层与隐藏层的连接权值，ELM的这种训练方法能够取得唯一全局极小值，因此往往能获得很好的泛化性能。在传统的ELM中，隐藏层的激活函数常常采用sigmoid，而在深度学习领域中，由于ReLU自带稀疏性限制，它已经慢慢取代了sigmoid。在ELM中ReLU很少被应用，并且更少用于回归问题。在ELM中使用ReLU作为隐藏层的激活函数可以为ELM增加稀疏度限制从而提升ELM的预测精度。集成方法往往是提升预测精度的有效方法。Gradient DecisionTree Boosting(GBDT)是一种决策树的集成方法，在各种数据挖掘竞赛中，GBDT都表现的很好。Gradient Boosting要依次训练多个弱分类器，每个弱分类器负责预测损失函数下降的梯度来调整预测结果。Gradient Boosting不仅适用于分类问题，也适用于回归问题。GBDT在回归问题上多是单输出的，应用到ELM中需要将其扩展为多输出的算法。因为GradientBoosting可以提升算法的精度，所以使用GBELM代替CNN的全连接层可以更进一步提升预测精度。

为实现上述目的，本发明采用如下的技术方案：

一种基于极限学习机的空气质量预测方法包括如下步骤：

步骤1、获取需要进行预测分析的空气质量数据，并且划分为训练数据集与测试数据集；

步骤2、基于训练数据集对CNN进行训练并选择在各个验证集中表现的模型作为特征提取的模型；

步骤3、将CNN全连接层第一个层的激活值作为GBELM的输入，训练GBELM，选择在各个验证集中表现最好的GBELM作为预测模型；使用GBELM来代替步骤2中得到的CNN的全连接层，得到最终的空气质量预测模型；

步骤4、将测试数据输入到空气质量预测模型,计算得到测试数据的抽象特征，再输入到GBELM中得到每个ELM的输出值进行加和，即可得到预测结果。

作为优选，步骤2具体为：初始化一个卷积神经网络的卷积核W，连接权值w与偏置b，使用X和Y训练CNN，训练CNN的具体步骤如下：

步骤2.1、计算卷积结果和池化结果

计算卷积层激活值，公式如下：

h＝g(conv(W，X)+b)

其中，h为卷积层激活值，其为空气质量相关因子的抽象特征，conv表示卷积操作，b用来调整卷积的结果，X＝{x₁，x₂，...x_i，...x_n}，X中的每一个变量代表与空气质量相关的因子，如风力，风向，二氧化硫浓度，X取当前时刻空气质量相关因子的历史数据；

步骤2.2、计算全连接层激活值，公式如下：

a＝g(w*pool)+b

其中，a为全连接层激活值，其为空气质量相关因子的抽象特征，全连接层第一层的激活值还可以对池化的结果进行降维以去掉无用的项，Pool为计算池化卷积结果；

步骤2.3、使用反向传播算法更新卷积核，连接权重与偏置；

步骤2.4、重复步骤2.1)到2.3)直到CNN收敛或者达到设定的迭代次数。

作为优选，步骤3具体为：

步骤3.1、获取CNN全连接层第一层的激活值，将CNN全连接层第一层的激活值作为GBELM的输入，Y为GBELM的期望输出，Y＝{y₁，y₂，...y_i，...y_n}，其中，每一个变量代表当前时刻未来24小时每一个小时的空气质量，n为24；

步骤3.2、初始化Gradient Boosting的预测结果为每个输出结果的平均值，即：

F₀＝{mean(y₁)，mean(y₂)，...mean(y_n)}

其中，F₀是模型对于训练数据的初始输出结果；

步骤3.3、计算损失函数的梯度，所述梯度为模型的损失函数对当前模型的偏导数，即：

其中，r为当前模型损失函数的梯度，m是模型当前迭代次数，即正在训练的第m个ELM；

步骤3.4、使用GBELM的输入数据训练一个ELM来预测r，首先随机初始化ELM输入层与隐藏层的连接权值w与偏置b，计算隐藏层的激活值H：

H＝g(X*w+b)

权值与偏置的作用与CNN全连接层一致，隐藏层的激活值也是对输入数据的抽象特征，将训练好的ELM记为h_m(X)；

步骤3.5、求解ELM输出层与隐藏层的连接权值β，使用最小二乘法即可求解β：

其中，

是隐藏层激活值矩阵H的Moore–Penrose广义逆矩阵，T是预测结果的真实值，即为梯度r，当w,b和β确定后，整个极限学习机h_m(X)可以表示为：

h_m(X)＝g(X*w+b)*β

计算得到h_m(X)的值就是梯度r的预测值；

步骤3.6、计算当前迭代的模型输出：

F_m(X)＝F_m-1(X)+γh_m(X)

F_m(X)就是训练第m个ELM后模型输出，F_m-1(X)则是训练第m-1个ELM后模型的输出；

步骤3.7、对于m＝1，2，3，...，M重复步骤3.3至步骤3.5，M为模型的迭代次数，即Gradient Boosting中ELM的个数；

步骤3.8、完成了对GBELM的训练，最后只要使用训练好的GBELM代替CNN的全连接层即可完成模型的构建。

作为优选，步骤4具体为：

给定测试数据test，对于m＝1，2，3，...，M进行如下计算：

F_m(test)＝F_m-1(test)+γh_m(test)

F_M(test)即为测试数据的输出结果。

本发明通过使用CNN进行空气质量特征提取，并使用以ReLU为隐藏层激活函数的GBELM对空气质量进行预测。使用CNN作为特征提取可以让特征提取与预测融为一个整体获取与预测结果更加相关的特征。ELM可以取得目标函数的全局最优解，因此可以解决CNN全连接层会陷入局部极值的问题。ReLU作为隐藏层的激活函数可以对ELM的隐藏层加以稀疏度限制，使得网络的泛化能力得到进一步提升。再通过Gradient Boosting对ELM进行集成，使得多个ELM组成一个更加鲁棒的预测模型。CNN特征提取结合GBELM的方式可以提高模型的泛化能力，进而提高预测精度。从理论上讲本发明不只适用于空气质量预测，也适用于其他时间序列数据的预测。

附图说明

图1为发明方法的流程图。

具体实施方式

以空气质量预测为例，以下是结合实例与附图对本发明的详细说明。

本发明使用一台PC机，并且需要拥有足够计算能力的GPU来加速训练。如图1所示,本发明提供的一种基于极限学习机的空气质量预测方法具体步骤如下：

步骤1、构建模型的输入数据与输出数据

构建模型的输入向量X＝{x₁，x₂，...x_i，...x_n}和输出向量Y＝{y₁，y₂，...y_i，...y_n}。X中的每一个变量代表与空气质量相关的因子，如风力，风向，二氧化硫浓度。X取当前时刻空气质量相关因子的历史数据，也可以加入天气预报的预报值。Y是期望输出，其中每一个变量代表当前时刻未来24小时每一个小时的空气质量，因此在空气质量预测中n应为24。

对数据进行预处理，填补空缺值，剔除异常值和归一化。归一化可以去除数据的量纲，数据将会被限制在一个很小的区间内，可以是[0,1],[-1,1]等。归一化最主要的目的是加快神经网络的收敛。

步骤2、初始化一个卷积神经网络的卷积核W，连接权值w与偏置b。使用X和Y训练CNN，训练CNN的具体步骤如下：

步骤2.1、计算卷积结果和池化结果。可以选用多个卷积层与池化层结合，这样可以使得最底层的网络提取到更好的抽象特征。如果使用多个卷积层与池化层则需要重复2.2)和2.3)，再将最后一层池化的结果输入全连接层。

计算卷积层激活值。为了与输入数据匹配，卷积核采用一维向量，卷积核可以通过卷积操作将空气质量的相关因子中转化为用于预测的抽象特征，这些抽象特征称为Feature Map，一个卷积核对应一个Feature Map。使用多个卷积核可以得到更多的FeatureMap。为了计算激活值还需要一个激活函数g(x)对卷积结果进行非线性变化，在空气质量预测中使用ReLU作为激活函数，其定义为：

g(x)＝max(x，0)

卷积层激活值有下面的公式计算：

h＝g(conv(W，X)+b)

其中，h为卷积层激活值，卷积层激活值就是空气质量相关因子的抽象特征，conv表示卷积操作，b用来调整卷积的结果。

计算池化卷积结果pool。在空气质量预测中使用最大池化，最大池化作用于卷积层的空气质量相关因子的抽象特征h,最大池化可以选出h中对结果影响最大的特征，池化的结果构成一个向量输入下一层神经网络中。

步骤2.2、计算全连接层激活值。使用如下公式计算：

a＝g(w*pool)+b

其中，a为全连接层激活值，也是空气质量相关因子的抽象特征，其中全连接层第一层的激活值还可以对池化的结果进行降维以去掉无用的项。

步骤2.3、使用反向传播算法更新卷积核、连接权重与偏置，这样可以使卷积核提取到更好的抽象特征，连接权重可以更好提取抽象特征和降维，偏置对神经网络的调整结果也更会更好。

为了选取最优的CNN参数，通常使用K折交叉验证来对CNN进行训练。通过K折交差验证可以选出泛化能力最强的模型，从而可以在一定程度上避免过拟合。

步骤3、训练GBELM并代替CNN的全连接层

步骤3.1、获取CNN全连接层第一层的激活值，这些激活值就是使用CNN提取到的空气质量相关因子的抽象特征。全连接层第一层的激活值对池化结果进行了降维，更有利于GBELM的训练。将CNN全连接层第一层的激活值作为GBELM的输入，Y为GBELM的期望输出。

F₀＝{mean(y₁)，mean(y₂)，...mean(y_n)}

其中，F₀是模型对于训练数据的初始输出结果。

步骤3.3、计算损失函数的梯度，这个梯度就等于模型的损失函数对当前模型的偏导数，即：

其中，r为当前模型损失函数的梯度。在使用最小二乘损失函数时这个梯度就是预测结果需要调整的量。在使用其他损失函数时由于无法直接得到调整量，因此还需要进行变换。m是模型当前迭代次数，即正在训练的第m个ELM。

步骤3.4、使用GBELM的输入数据训练一个ELM来预测r。首先随机初始化ELM输入层与隐藏层的连接权值w与偏置b。计算隐藏层的激活值H：

H＝g(X*w+b)

权值与偏置的作用与CNN全连接层一致，隐藏层的激活值也是对输入数据的抽象特征。将训练好的ELM记为h_m(X)

其中，

是隐藏层激活值矩阵H的Moore–Penrose广义逆矩阵。T是预测结果的真实值，也就是梯度r。当w,b和β确定后，整个极限学习机h_m(X)可以表示为：

h_m(X)＝g(X*w+b)*β

计算得到h_m(X)的值就是梯度r的预测值。

使用最小二乘损失函数时跳过此步。在使用最小二乘损失函数以外的损失函数时，由于梯度r不是预测值的调整量，因此梯度的预测值h_m(X)也不是调整量。只需要对h_m(X)进行一个简单的变换即可得到预测结果的调整量。只要让h_m(X)乘以一个变换系数γ再与之前的预测结果相加使得它与期望输出所构成的损失函数值最小即可，而在多输出模型中，除了对每次迭代计算γ，还要对于模型的每一个输出都需要计算一个γ，因此对于每一次迭代m＝1，2，3...M以及模型的每一个输出y_i，i＝1，2，3...n，γ的计算方式如下：

γ_mi＝argmin_γL(Y，F_m-1(X)+γh_m(X))

上述表达式可以用line search算法进行求解得到γ_mi，也就是第m次迭代第i个输出对应的γ。

步骤3.6、计算当前迭代的模型输出：

F_m(X)＝F_m-1(X)+γh_m(X)

F_m(X)就是训练第m个ELM后模型输出。F_m-1(X)则是训练第m-1个ELM后模型的输出。

步骤3.7、对于m＝1，2，3，...，M重复步骤3.3至步骤3.5。其中M为模型的迭代次数，即Gradient Boosting中ELM的个数。

步骤4、测试

给定测试数据test，对于m＝1，2，3，...，M进行如下计算：

F_m(test)＝F_m-1(test)+γh_m(test)

F_M(test)即为测试数据的输出结果。

以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims

1.一种基于极限学习机的空气质量预测方法，其特征在于，包括如下步骤：

步骤3、将CNN全连接层第一个层的激活值作为GBELM的输入，训练GBELM，选择在各个验证集中表现最好的GBELM作为预测模型；使用GBELM来代替步骤2中得到的CNN的全连接层，得到最终的空气质量预测模型；步骤3具体为：

F₀＝{mean(y₁)，mean(y₂)，...mean(y_n)]

其中，F₀是模型对于训练数据的初始输出结果；

H＝g(X+w+b)

β＝H⁺T

其中，H⁺是隐藏层激活值矩阵H的Moore–Penrose广义逆矩阵，T是预测结果的真实值，即为梯度r，当w,b和β确定后，整个极限学习机h_m(X)可以表示为：

h_m(X)＝g(X*w+b)*β

计算得到h_m(X)的值就是梯度r的预测值；

步骤3.6、计算当前迭代的模型输出：

P_m(X)＝P_m-1(X)+γh_m(X)

步骤3.8、完成了对GBELM的训练，最后只要使用训练好的GBELM代替CNN的全连接层即可完成模型的构建；

2.如权利要求1所述的基于极限学习机的空气质量预测方法，其特征在于，步骤2具体为：初始化一个卷积神经网络的卷积核w，连接权值w与偏置b，使用X和Y训练CNN，训练CNN的具体步骤如下：

步骤2.1、计算卷积结果和池化结果

计算卷积层激活值，公式如下：

h＝g(conv(N，X)+b)

其中，h为卷积层激活值，其为空气质量相关因子的抽象特征，conv表示卷积操作，b用来调整卷积的结果，X＝{x₁，x₂，...，x_i，...，x_n]，X中的每一个变量代表与空气质量相关的因子，如风力，风向，二氧化硫浓度，X取当前时刻空气质量相关因子的历史数据；

步骤2.2、计算全连接层激活值，公式如下：

a＝g(w*pool)+b

步骤2.3、使用反向传播算法更新卷积核，连接权重与偏置；

3.如权利要求2所述的基于极限学习机的空气质量预测方法，其特征在于，步骤4具体为：

给定测试数据test，对于m＝1，2，...，M进行如下计算：

F_m(test)＝F_m-1(test)+γh_m(test)

F_M(test)即为测试数据的输出结果。