CN106599520A - 一种基于lstm‑rnn模型的空气污染物浓度预报方法 - Google Patents

Abstract

本发明涉及一种基于LSTM‑RNN(Long Short‑Term Memory)模型的空气污染物浓度预报方法，监测收集较长一段时间内的空气污染物浓度数据；对历史数据进行预处理来构造待训练LSTM‑RNN模型的训练、验证、测试样本数据；通过训练样本数据得到预先训练的LSTM‑RNN模型，然后通过构造的验证和测试样本数据微调训练得到LSTM‑RNN模型参数，通过进一步修正模型参数来提高模型精度，将该修正后的LSTM‑RNN模型作为空气污染物浓度预报模型；最终将预处理后的目标城市较长时间内的空气污染物浓度数据作为LSTM‑RNN模型的输入数据，模型输出得到当前或未来某一时刻的空气污染物浓度的预报结果。

Description

一种基于LSTM-RNN模型的空气污染物浓度预报方法

技术领域

本发明涉及一种基于LSTM-RNN模型的空气污染物浓度预报方法，属于环境污染预报领域。

背景技术

随着工业化与城市化的快速发展，能源与交通规模逐渐扩大，城市人口迅速膨胀，大气污染已经日益成为地区性问题，污染性质也逐渐向复合型污染转变，多种不利条件形成的复合型大气环境污染亟待解决。空气污染物浓度大小，如：一氧化碳、氮氧化物、碳氢化合物、硫氧化物和颗粒物等，对人体健康或生态系统具有不良效应。因此，有必要根据以往的空气污染物浓度数据，对当前或未来某一时刻的空气污染物进行预报，从而调整或限制实时工业排放、交通流等状况，保证空气污染物浓度在相对合理的范围内，极大程度的减少由于空气污染物浓度过高导致的一系列不良效应。但由于空气污染物浓度的影响因素复杂繁多，从长期或平均状态来说，取决于城市的能源结构、交通和工业排放污染物的多少，但从短期或实时状态而言，却主要与当地、当时的气象条件有关。这一系列的因素导致对空气污染物浓度进行预报具有一定的挑战性，因此目前国内外还没有有效的技术方法对重污染过程进行准确的预报，高浓度污染的预报成为了国内外亟待克服的重要难题。

1993年文献《刘敏琦-大气污染浓度的多元回归预测模型》(黑龙江大学自然科学学报,1993,S1:19-21.)首次提出采用多元回归模型用于空气污染物浓度预测，其主要思路是：在对实际问题分析研究的基础上，通过对调查收集掌握的定量数据资料进行分析，找出影响事物发展的各种外部因素，从而确定诸因素之间的相互关系，形成一个回归方程用于预测。这种多元回归方程的一般形式为：

y(k)＝b₀+b₁x₁(k)+b₂x₂(k)+…+b_mx_m(k)

其中x_i(k)(i＝1,2,…,m)为对y(k)有影响的因素。

专利《基于数值模式与统计分析结合的大气重污染预报方法》(申请号：CN201310038573.9)提出了一种基于数值模式与统计分析结合的大气重污染预报方法。该方法将数值预报方法与统计预报方法相结合，一定程度上克服了两种预报方法单独使用时存在的缺点，即数值预报方法对非重污染时段预报效果较好，但对由于复杂气象条件导致污染物输送、扩散、转化的重污染时段预报误差高达400％；而统计预报方法准确率和计算效率较高，但对历史资料依赖性较强，并缺乏一定物理意义。

专利《一种基于特征向量和最小二乘支持向量机的PM25浓度预测方法》(申请号：CN201410201739.9)提出了一种基于特征向量和最小二乘支持向量机的PM2.5浓度预测方法。该方法结合环境监测数据和实际情况，将空气湿度、风力、温度三个因素与PM2.5的形成机理相结合，提出综合气象指数公式的概念；采用包含综合气象指数的特征向量A与去除综合气象指数的特征向量B构成样本训练LS-SVM模型并对预测结果进行评价。

专利《一种基于多领域特征的城市空气质量等级预测方法》(申请号：CN201410452557.9)提出了一种基于多领域特征的城市空气质量等级预测方法。该方法采用网格划分法进行数据预处理，获取训练数据集；训练阶段估计出条件随机场模型最优参数，得到最优模型；预测阶段采用维特比算法结合条件随机场模型得到预测结果序列。

专利《一种空气污染物浓度预测方法》(申请号：CN201510767342.0)针对不同模型的适用特点对小波分解后不同级别尺度的序列使用不同的模型，即利用ARMA更适用于平稳序列的预测以及SVR更适用于不平稳序列的预测的特点对最后一级尺度的相对较为不平稳的低频近似序列使用SVR建模预测并且对它相对较为平稳的高频细节序列使用ARMA建模预测。

上述这些方法均实现了依据历史空气污染物浓度监测数据对当前或未来某一时刻空气污染物浓度进行预报，但是他们共有的问题是：预测方法较为复杂，对历史数据的利用、整合有待加强，泛化能力及预报准确率都有待提高。

发明内容

本发明技术解决问题：克服现有技术的不足，提出一种基于LSTM-RNN模型的空气污染物浓度预报方法，弥补现有技术的不足，具有较强的泛化能力，实现较高的预测精度。

本发明技术解决方案：一种基于LSTM-RNN模型的空气污染物浓度预报方法，步骤如下：

首先收集目标城市较长时间内(一年)的空气污染物浓度数据，选取与空气污染物浓度有关的数据进行汇总，对于其中部分缺失的数据，采用缺失数据前V个与后V个数据取平均值的方法进行填补，V表示前后取数的个数，取值为20-30个；然后构造待训练的LSTM-RNN模型的训练样本数据，从数据库中读出目标城市的污染数据，运用公式(其中x为待归一化处理的原始数据，x_max、x_min分别为原始数据中的最大值和最小值，x_norm为归一化处理后的数据)对原始数据做归一化处理，使其值在0到1之间，构成LSTM-RNN模型的输入特征向量，并按照75％、15％、10％的比例划分为训练、验证和测试样本数据；最后通过训练样本数据得到预先训练的LSTM-RNN模型，然后通过构造的验证和测试样本数据微调训练得到的LSTM-RNN模型参数，通过进一步修正模型参数，提高模型精度，将该修正后的LSTM-RNN模型作为空气污染物浓度预测模型，该模型具有1个输入层和5个隐藏层，其输出层使用identity函数来执行回归，将该训练后的LSTM-RNN模型作为空气污染物浓度预报模型。需要注意的是，与普通的RNN相比，LSTM-RNN模型的隐藏层单元均采用LSTM(长短时记忆)单元，该单元具有三个门：输入门表示是否允许采集的新的污染物浓度数据信息加入到当前隐藏层节点中，如果为1(门开)，则允许输入，如果为0(门关)，则不允许，这样就可以摒弃掉一些没用的输入信息；遗忘门表示是否保留当前隐藏层节点存储的历史污染物浓度数据，如果为1(门开)，则保留，如果为0(门关)，则清空当前节点所存储的历史污染物浓度数据；输出门表示是否将当前节点输出值输出给下一层(下一个隐藏层或者输出层)，如果为1(门开)，则当前节点的输出值将作用于下一层，如果为0(门关)，则当前节点输出值不输出。

LSTM单元具体公式表示如下：

i_t＝σ(W_xix_t+W_hih_t-1+W_cic_t-1+b_i)

f_t＝σ(W_xfx_t+W_hfh_t-1+W_cfc_t-1+b_f)

c_t＝f_tc_t-1+i_ttanh(W_xcx_t+W_hch_t-1+b_c)

o_t＝σ(W_xox_t+W_hoh_t-1+W_coc_t-1+b_o)

h_t＝o_ttanh(c_t)

其中σ为逻辑sigmoid函数，i、f、o、c、h分别表示输入门(input gate)、遗忘门(forget gate)、输出门(output gate)、单元激活向量(cell activation vectors)，隐藏层单元，W_xi、W_hi、W_ci分别为输入特征向量、隐藏层单元、单元激活向量与输入门之间的权重矩阵，W_xf、W_hf、W_cf分别为输入特征向量、隐藏层单元、单元激活向量与遗忘门之间的权重矩阵，W_xo、W_ho、W_co分别为输入特征向量、隐藏层单元、单元激活向量与输出门之间的权重矩阵，W_xc、W_hc分别为输入特征向量、隐藏层单元与单元激活向量之间的权重矩阵，所述权重矩阵均为对角阵；b_i、b_f、b_c、b_o分别为输入门、遗忘门、输出门、单元激活向量的偏差值，t作为下标时表示采样时刻，tanh为激活函数。

最终将预处理后的目标城市较长时间内的空气污染物浓度数据作为LSTM-RNN模型的输入数据，模型输出得到当前或未来某一时刻的空气污染物浓度预报的结果。

本发明与现有技术相比的优点在于：本发明利用深度学习算法，采用一种基于LSTM-RNN模型的空气污染物浓度预报方法。与传统方法相比，使用深度学习的方法对空气污染物浓度进行预报，不必实时采用人工方法测量，节约了人力物力资源，同时使用LSTM单元能够加强后面的时间节点对前面的时间节点感知力，可以实现对测量数据的充分利用，极大的提高了预测效率和准确度，同时具有较高的泛化能力，具有极大的社会价值和现实意义。

附图说明

图1为本发明实现流程图；

图2为本发明使用的LSTM单元示意图；

图3为单隐藏层LSTM-RNN模型结构示意图；

图4为sigmoid激活函数示意图；

图5为tanh激活函数示意图；

图6为全连接与dropout连接对比示意图，其中左图为全连接方式，右图为dropout连接方式。

具体实施方式

如图1所示，本发明具体实现如下：

1、空气污染物浓度数据采集：每5分钟对目标区域的空气污染物浓度进行一次实时监测记录，共采集一年内的数据量，预计2×6×24×365＝105124条数据记录，对于其中部分缺失的数据，采用缺失数据前V个与后V个数据取平均值的方法进行填补，从而保证原始数据的完备性和充足性，保证预测结果的准确性和可信度，本发明实施例V采用25个。

2、数据预处理：在训练神经网络前，需要对采集到的空气污染物浓度数据进行归一化处理。所谓归一化处理，就是将数据映射到[0,1]或[-1,1]区间或更小的区间，保证不同数据范围的输入数据发挥相同的作用。本发明中采用的归一化处理公式如下：

其中x为待归一化处理的原始数据，x_max、x_min分别为原始数据中的最大值和最小值，x_norm为归一化处理后的数据。

将归一化处理后的空气污染物浓度数据分为训练、验证和测试样本数据，三部分数据所占比例依次为75％、15％、10％，用于之后的LSTM-RNN模型的训练、验证和测试。

3、网络模型结构：本发明采用具有一个输入层、5个隐藏层的LSTM-RNN网络模型，输出层使用identity函数来执行回归(如图3给出了单隐藏层LSTM-RNN模型结构示意图)。需要注意的是，与普通的RNN相比，LSTM-RNN模型的隐藏层单元均采用LSTM(长短时记忆)单元，该单元具有三个门：输入门表示是否允许采集的新的污染物浓度数据信息加入到当前隐藏层节点中，如果为1(门开)，则允许输入，如果为0(门关)，则不允许，这样就可以摒弃掉一些没用的输入信息；遗忘门表示是否保留当前隐藏层节点存储的历史污染物浓度数据，如果为1(门开)，则保留，如果为0(门关)，则清空当前节点所存储的历史污染物浓度数据；输出门表示是否将当前节点输出值输出给下一层(下一个隐藏层或者输出层)，如果为1(门开)，则当前节点的输出值将作用于下一层，如果为0(门关)，则当前节点输出值不输出。LSTM单元结构弥补了传统RNN结构上的不足，即后面的时间节点对前面的时间节点感知力下降。LSTM单元是一种称作记忆细胞的特殊单元，类似于累加器和门控神经元：它在下一时间步长将拥有一个权值并连接到自身，拷贝自身状态的真实值和累积的外部信号，但这种自联接是由另一个单元学习并决定何时清除记忆内容的乘法门控制，具体内容如下：

i_t＝σ(W_xix_t+W_hih_t-1+W_cic_t-1+b_i)

f_t＝σ(W_xfx_t+W_hfh_t-1+W_cfc_t-1+b_f)

c_t＝f_tc_t-1+i_ttanh(W_xcx_t+W_hch_t-1+b_c)

o_t＝σ(W_xox_t+W_hoh_t-1+W_coc_t-1+b_o)

h_t＝o_ttanh(c_t)

其中σ为逻辑sigmoid函数，i、f、o、c、h分别表示输入门(input gate)、遗忘门(forget gate)、输出门(output gate)、单元激活向量(cell activation vectors)，隐藏层单元，W_xi、W_hi、W_ci分别为输入特征向量、隐藏层单元、单元激活向量与输入门之间的权重矩阵，W_xf、W_hf、W_cf分别为输入特征向量、隐藏层单元、单元激活向量与遗忘门之间的权重矩阵，W_xo、W_ho、W_co分别为输入特征向量、隐藏层单元、单元激活向量与输出门之间的权重矩阵，W_xc、W_hc分别为输入特征向量、隐藏层单元与单元激活向量之间的权重矩阵，所述权重矩阵均为对角阵；b_i、b_f、b_c、b_o分别为输入门、遗忘门、输出门、单元激活向量的偏差值，t作为下标时表示采样时刻，tanh为激活函数。

Gate使用一个sigmoid激活函数(如图4所示)：

其中，x是输入数据。如图4所示，它能够把输入向量值“压缩”到[0,1]范围内，特别的，若输入为非常大的负数时，输出为0；若输入为非常大的正数时，输出为1。

而input和cell state通常会使用tanh激活函数(如图5所示)来转换：

其中，x是输入数据。如图5所示，它将一个实数输入映射到[-1,1]范围内。当输入为0时，tanh函数输出为0。

4、网络训练：初始化隐藏状态(hidden states)为0，将当前minibatch的最终隐藏状态作为后续minibatch的初始隐藏状态(连续的minibatch按顺序遍历整个训练集)，每个minibatch的尺寸均为20。

本发明中使用的LSTM-RNN模型共包含一个输入层、五个隐藏层，输出层使用identity函数来执行回归，且每个隐藏层均具有650个单元，其参数在区间[-0.05,0.05]范围内均匀初始化。另外，在非循环连接处应用50％的dropout，如图6左图所示为全连接形式，即在模型训练时所有隐藏层节点均需工作；如图6右图所示为采用dropout的连接形式，即在模型训练时随即让网络某些隐含层节点的权重不工作，不工作的节点可暂时认为不是网络结构的一部分，但其权重需保留下来(只是暂时不更新)，以便下次样本输入时重新工作。dropout可以有效防止网络训练过程中出现过拟合现象。

本发明中使用的基于LSTM单元的RNN网络结构训练10000epochs，学习速率(learning rate)为1，训练2500epochs后的每一个epoch开始以系数1.15降低学习速率。在训练的每一步过程中，依据交叉熵(cross entropy)准则计算误差向量，根据标准反向传播算法更新权重：

error(t)＝desired(t)-y(t)

其中desired为预测输出值，y(t)为实际网络输出值，error为误差值。

训练样本数据中的空气污染物浓度序列作为训练输入，验证样本数据在训练网络的过程中每迭代1000次进行一次测试，最终比较test loss和train loss。当test loss不再降低时，终止网络训练，标志着用于空气污染物浓度预报的包含LSTM单元的RNN网络训练完成。

(1)前向传播过程：

输入门与为：

遗忘门与为：

单元(cells)与为：

输出门与为：

单元输出(cell outputs)为：

(2)误差反向传播更新与为：

单元输出(cell outputs)为：

输出门为：

状态(states)为：

单元(cells)为：

遗忘门为：

输入门为：

其中l、f、ω、c、h分别表示输入门(input gate)、遗忘门(forget gate)、输出门(output gate)、单元激活向量(cell activation vectors)、隐藏层单元，W_il、W_hl、W_cl分别为输入特征向量、隐藏层单元、单元激活向量与输入门之间的权重矩阵，W_iφ、W_hφ、W_cφ分别为输入特征向量、隐藏层单元、单元激活向量与遗忘门之间的权重矩阵，W_iω、W_hω、W_cω分别为输入特征向量、隐藏层单元、单元激活向量与输出门之间的权重矩阵，W_ic、W_hc分别为输入特征向量、隐藏层单元与单元激活向量之间的权重矩阵，(注：这些权重矩阵均为对角阵)。

5、网络测试(调参和优化)：将测试集中的空气污染物浓度数据输入到训练好的LSTM-RNN模型结构中，查看依据历史数据预测得到的未来某一时刻空气污染物浓度数据与期望值的差距，从而对LSTM-RNN中的网络参数进行调整，逐步提高预测精度。

6、最终将该训练、验证、测试后的LSTM-RNN模型作为空气污染物浓度预测模型。将预处理后的目标城市较长时间内的空气污染物浓度数据作为LSTM-RNN模型的输入数据，通过LSTM-RNN模型对输入数据进行学习，最终输出得到当前或未来某一时刻的空气污染物浓度预报的结果。

本发明所采用的方法极大程度上利用、整合了历史观测数据之间的关系，提高对空气污染物浓度的预测精度与效率，同时具有较强的泛化能力，具有一定的社会价值和现实意义。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (8)

1.一种基于LSTM-RNN模型的空气污染物浓度预报方法，其特征在于：

步骤一，首先收集目标城市较长时间内的空气污染物浓度数据，作为历史数据，并存入数据库；

步骤二，然后通过对收集到的历史数据进行预处理，构造待训练的LSTM-RNN(LongShort-Term Memory，长短时记忆)模型的训练样本数据、验证样本数据和测试样本数据；

步骤三，通过训练样本数据得到预先训练的LSTM-RNN模型，然后通过构造的验证样本数据和测试样本数据微调训练得到的LSTM-RNN模型参数，通过进一步修正LSTM-RNN模型参数，提高LSTM-RNN模型精度，将该修正后的LSTM-RNN模型作为空气污染物浓度预报模型；

步骤四，将预处理后的目标城市较长时间内的空气污染物浓度数据作为LSTM-RNN模型的输入数据，通过LSTM-RNN模型对输入数据进行学习，最终LSTM-RNN模型输出得到当前或未来某一时刻的空气污染物浓度预报的结果。

2.根据权利要求1所述的一种基于LSTM-RNN模型的空气污染物浓度预报方法，其特征在于：步骤一中，收集目标城市较长时间内，即一年的空气污染物浓度数据，选取与空气污染物浓度有关的数据进行汇总，对于其中部分缺失的数据，采用平均值法填补缺失数据，并存入数据库。

3.根据权利要求2所述的一种基于LSTM-RNN模型的空气污染物浓度预报方法，其特征在于：所述的平均值法为：采用缺失数据前V个与后V个数据取平均值的方法，V表示前后取数的个数，取值为20-30个。

4.根据权利要求1所述的一种基于LSTM-RNN模型的空气污染物浓度预报方法，其特征在于：步骤二中，构造待训练的LSTM-RNN模型的训练样本数据：从数据库中读出目标城市的污染数据，进行归一化处理，构成LSTM-RNN模型的输入特征向量，并按照75％、15％、10％的比例划分为训练样本数据、验证样本数据和测试样本数据。

5.根据权利要求4所述的一种基于LSTM-RNN模型的空气污染物浓度预报方法，其特征在于：所述归一化处理的公式对收集到的目标城市较长时间内的空气污染物浓度数据做归一化处理，使其值在0到1之间，其中x为待归一化处理的原始数据，x_max、x_min分别为原始数据中的最大值和最小值，x_norm为归一化处理后的数据。

6.根据权利要求1所述的一种基于LSTM-RNN模型的空气污染物浓度预报方法，其特征在于：所述步骤三中，LSTM-RNN模型采用具有1个输入层、5个隐藏层，输出层，使用identity函数来执行回归。

7.根据权利要求6所述的一种基于LSTM-RNN模型的空气污染物浓度预报方法，其特征在于：所述5个隐藏层采用LSTM(长短时记忆)单元，该单元具有三个门：输入门表示是否允许采集的新的污染物浓度数据信息加入到当前隐藏层节点中，如果为1即门开，则允许输入，如果为0，即门关，则不允许，这样就可以摒弃掉一些没用的输入信息；遗忘门表示是否保留当前隐藏层节点存储的历史污染物浓度数据，如果为1即门开，则保留，如果为0，即门关，则清空当前节点所存储的历史污染物浓度数据；输出门表示是否将当前节点输出值输出给下一层，即下一个隐藏层或者输出层，如果为1，即门开，则当前节点的输出值将作用于下一层，如果为0，即门关，则当前节点输出值不输出。

8.根据权利要求7所述的一种基于LSTM-RNN模型的空气污染物浓度预报方法，其特征在于：所述LSTM单元具体公式表示如下：

i_t＝σ(W_xix_t+W_hih_t-1+W_cic_t-1+b_i)

f_t＝σ(W_xfx_t+W_hfh_t-1+W_cfc_t-1+b_f)

c_t＝f_tc_t-1+i_ttanh(W_xcx_t+W_hch_t-1+b_c)

o_t＝σ(W_xox_t+W_hoh_t-1+W_coc_t-1+b_o)

h_t＝o_ttanh(c_t)

其中σ为逻辑sigmoid函数，i、f、o、c、h分别表示输入门(input gate)、遗忘门(forgetgate)、输出门(output gate)、单元激活向量(cell activation vectors)，隐藏层单元，W_xi、W_hi、W_ci分别为输入特征向量、隐藏层单元、单元激活向量与输入门之间的权重矩阵，W_xf、W_hf、W_cf分别为输入特征向量、隐藏层单元、单元激活向量与遗忘门之间的权重矩阵，W_xo、W_ho、W_co分别为输入特征向量、隐藏层单元、单元激活向量与输出门之间的权重矩阵，W_xc、W_hc分别为输入特征向量、隐藏层单元与单元激活向量之间的权重矩阵，所述权重矩阵均为对角阵；b_i、b_f、b_c、b_o分别为输入门、遗忘门、输出门、单元激活向量的偏差值，t作为下标时表示采样时刻，tanh为激活函数。