CN110070224A - 一种基于多步骤递归预测的空气质量预测方法 - Google Patents

Abstract

本发明公开了一种基于多步骤递归预测的空气质量预测方法，该方法包括如下步骤：获取空气质量数据和天气数据并预处理，构建输入数据和输出数据。编码器的输入数据包括污染物数据和历史气象数据。解码器的输入数据包括编码器的输出结果，气象预报数据，和上一时刻的污染物数据。将数据分割为训练数据和测试数据。使用训练数据对Seq2Seq模型进行训练：使用测试数据测试预测结果。本发明使用Seq2Seq模型对空气质量进行预测。使用全连接层代替编码器的RNN，并且使用位置编码保留输入序列的时序关系，从而达到保持预测精度的同时加速训练的效果，可以有效减少误差积累从而提高预测精度。

Description

一种基于多步骤递归预测的空气质量预测方法

技术领域

本发明属于数据挖掘技术领域，主要用于建立空气质量预测模型。

背景技术

目前发展中国家，如中国、印度等由于快速的工业化导致空气污染十分严重。空气污染对人们的健康，尤其是呼吸系统产生威胁，甚至会造成死亡。所以对空气质量的预测便显得尤为重要，因为如果能够得知污染将会何时出现，那么人们就可以提前采取措施保护自己。目前有很多学者在对空气质量预测进行研究研究，其中大部分采用的是ANN(Artificial Neural Network，人工神经网络)，因为相比其他机器学习算法，它有非常强大的非线性拟合能力。由于空气污染物与其影响因子之间有着非常复杂的非线性关系，因此往往在使用线性方法时无法取得很好的效果。目前最前沿的使用ANN预测空气质量的方法是Seq2Seq(Sequence-to-Sequence,序列到序列)。Seq2Seq很适合空气质量预测的场景，因为空气质量预测的任务是利用历史污染物和天气信息序列得到未来一段时间的污染物序列，而Seq2Seq的目的就是将一个序列转化为另一个序列。目前的研究一般会采用Seq2Seq和注意力机制。但是目前的研究存在两个问题，一个是Seq2Seq的训练速度太慢，因为一般使用深度学习预测空气质量会对每一个监测站都建立一个模型，而且这样的统计模型会随着时间的推移预测精度变低，往往过一段时间需要重新训练，如果大量模型同时训练会消耗大量的时间，因此需要对训练进行提速。另一个是由于其采用递归预测所引起的误差积累问题，误差积累会进而引起预测精度低的问题。

发明内容

本发明的目的在于要解决Seq2Seq模型训练速度慢的问题，并且减少误差积累从而提高预测精度。

对于Seq2Seq训练慢的问题，其根源在于RNN的训练速度慢，因为RNN每个时间步的计算都需要等待上一个时间步结束，因此无法并行计算。所以首先由于输入数据相互之间的时序关系较弱，所以可以取消掉输入序列的RNN，改用在各个时间步共享的全连接层，并加入位置编码保留输入序列的时序信息。在每个时间步使用全连接层后，就不必等待前一个时间步完成才可以开始计算，所有的时间步可以并行完成计算，所以可以有效提高训练速度。另外，对解码器应用n-step递归预测，如图1所示。误差积累的原因在于递归预测，因递归预测将上一个时间步的预测结果作为当前时间步的输入，而上一个时间步的预测是有误差的，所以当前时间步的预测一定会出现更大的误差。而n-step递归预测不同于递归预测每个时间步对未来一个时刻的空气质量进行预测，其每个时间步对未来n个时刻的空气质量进行预测，并将预测结果作为下一个时间步的输入。这样做可以减少解码器的时间步数，从而减少误差积累。

本发明采用的技术方案为一种基于多步骤递归预测的空气质量预测方法，该方法包括如下步骤：

步骤1、获取空气质量数据和天气数据并预处理，构建输入数据和输出数据。编码器的输入数据包括污染物数据和历史气象数据。解码器的输入数据包括编码器的输出结果，气象预报数据，和上一时刻的污染物数据。

步骤2、将数据分割为训练数据和测试数据。

步骤3、使用训练数据对Seq2Seq模型进行训练：

1)确定n的取值，保证n能够被输出序列的长度整除。

2)将输入数据与位置编码输入编码器，得到每个时刻的编码结果。

3)将上一个时间步得到的预测结果作为当前时间步的输入，并得到解码器RNN的隐藏层状态。

4)利用当前解码器隐藏层状态和编码器状态得到上下文向量。并利用上下文向量和解码器隐藏层状态获取预测结果。

5)构建损失函数并使用梯度下降算法优化。

步骤4、使用测试数据测试预测结果。

本发明使用Seq2Seq模型对空气质量进行预测。使用全连接层代替编码器的RNN，并且使用位置编码保留输入序列的时序关系，从而达到保持预测精度的同时加速训练的效果。预测过程采用n-step递归预测，可以有效减少误差积累从而提高预测精度。

附图说明

图1为n-step AAQP训练的流程图。

图2为GRU的内部结构图。

图3为n-step AAQP第τ个解码时间步示意图。

具体实施方式

以空气质量预测为例，以下是结合实例与附图对本发明的详细说明。

本发明使用一台PC机，并且需要拥有足够计算能力的GPU来加速训练。如图1所示,本发明提供的一种基于极限学习机的空气质量预测方法具体步骤如下：

步骤1、获取数据并预处理，构建输入与输出；

获取的数据一般包括空气质量数据和天气数据，需要将其处理为输入序列和输出序列，一般输入序列包括过去一段时间的污染物数据和天气数据。设D＝{X，Y}为处理之后的数据集。其中X为输入序列，即历史数据，包括污染物数据和天气数据。对于每一个输入序列x∈R^S×Q，其长度为S，即过去S小时的历史数据，并且有Q个特征，即PM2.5、一氧化碳、二氧化硫等污染物数据和温度、湿度等天气数据。对于每个目标序列y∈R^T，其长度为T，即未来T小时的污染物数据。实际应用中，y可以包含多个目标，如同时预测PM2.5，一氧化碳，二氧化硫等。

步骤2、将数据分割为训练数据和测试数据。

将步骤2中获取的样本分割为训练数据和和测试数据，训练数据用于训练模型，测试数据用于测试模型的效果。

步骤3、使用训练数据对Seq2Seq模型进行训练。

1)确定n的取值，保证其可以被T整除，因此解码器的时间步数量为T/n

2)将输入数据与位置编码输入编码器，得到每个时刻的编码器的隐藏层状态。位置编码是和输入序列同样维度的变量，它被每个样本共享。位置编码的每一行学习并存储输入序列每个时刻的序列信息。由此编码器的隐藏层状态由如下方式计算：

其中是隐藏层的状态，也就是经过编码器提取到的历史数据的那个，W_e和b_e是编码器的权重和偏置，并且由每个时间步共享。PE_s∈R^Q是第s个时间步的位置编码。注意这里的激活函数使用的是tanh，要和解码器的激活函数保持一致，其定义为：

3)将上一个解码时间步得到的预测结果作为当前时间步的输入，并得到解码器RNN的隐藏层状态。解码器的RNN采用门控循环单元(GatedRecurrentUnit,GRU)，下文结合图2和图3对GRU解码器第τ个解码时间步的解码过程进行说明。首先需要计算GRU中更新门的值，更新门控制可以进入当前单元的信息，例如当前起风没有下雨，起风对空气质量影响很大，没有下雨则没有影响，更新门就会控制风力风向进入单元，而阻止降雨信息进入单元。第τ个时间步的更新门计算公式为：

u_τ＝σ(W_u*[h_τ-1，x_τ]+b_u)

其中u_τ是更新门，W_u和b_u分别表示跟新门的权值和偏置，h_τ-1表示上一时刻GRU的隐藏层状态，是上一时刻经过GRU处理后得到的特征，x_τ表示当前时刻的输入数据，可以是p_τ，即上一个时间步的预测结果，如果是第一个时间步则可以用之前n个时刻的真实值；在有天气预报的情况下也可以将天气预报数据一并输入，即[p_τ，wf_τ]，其中wf_τ是当前时间步所需的天气预报数据。σ表示logistic函数，其定义如下：

接着计算重置门的值，重置门用来选择性遗忘以往的信息，如当前时刻起风了，则忘记之前没有起风的信息。重置门参数的意义和计算方式与更新门类似，其计算公式为：

r_τ＝σ(W_r*[h_τ-1，x_τ]+b_r)

接下来计算候补输出它代表了上一步的信息和当前的信息融合得到的新的信息，其计算公式为：

此时重置门负责控制遗忘上一步得到的信息，logistic函数的值域是(0,1)，因此重置门的取值范围也是(0,1)。当重置门的取值接近0时，上一步的信息接近全部遗忘，达到重置的效果；当重置门的取值接近1时，上一步的信息几乎完全保留。最后计算GRU隐藏层的状态，其计算公式如下：

更新门在此控制新的信息和上一步的信息所占的比例，当更新门取值接近1时，新的信息占比接近100％；当更新门的取值接近0时，上一步的信息占比接近100％。

4)利用解码器隐藏层状态和编码器状态得到上下文向量。注意力向量决定编码结果每个时刻的重要性，重要性由解码器隐藏层状态和编码器隐藏层状态的相似度衡量。因此编码结果每个时刻的重要性可由如下公式计算：

在将结果归一化后就可以得到注意力向量：

A_T的每个元素便代表了编码结果每个时刻的重要性，值越大表示其对当前解码时刻影响越大。使用A_T为编码结果计算加权平均值即可得到上下文c_τ，它代表了过去的污染物和气象数据对当前时刻预测有用的特征。最后即可由如下公式得到预测结果：

p_τ＝W_p*[h_τ，c_τ]+b_p

5)构建损失函数并使用梯度下降算法优化。一般对于深度学习模型训练时会采用小批量批量梯度下降，所以对于一个小批量的数据，其损失函数由如下公式计算：

其中M为一个小批量数据中的样本数量。最终可以使用梯度下降算法调整模型中的参数来最小化损失函数，而梯度下降所用到的梯度可以使用反向传播算法或者自动微分工具计算。

步骤4、使用测试数据测试预测结果

将测试数据输入Seq2Seq模型中得到每个样本的预测序列，如果测试结果不够理想则调整神经网络的参数得到更好的结果。

以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (5)

1.一种基于多步骤递归预测的空气质量预测方法，其特征在于：该方法包括如下步骤，

步骤1、获取空气质量数据和天气数据并预处理，构建输入数据和输出数据；编码器的输入数据包括污染物数据和历史气象数据；解码器的输入数据包括编码器的输出结果，气象预报数据，和上一时刻的污染物数据；

步骤2、将数据分割为训练数据和测试数据；

步骤3、使用训练数据对Seq2Seq模型进行训练：

1)确定n的取值，保证n能够被输出序列的长度整除；

2)将输入数据与位置编码输入编码器，得到每个时刻的编码结果；

3)将上一个时间步得到的预测结果作为当前时间步的输入，并得到解码器RNN的隐藏层状态；

4)利用当前解码器隐藏层状态和编码器状态得到上下文向量；并利用上下文向量和解码器隐藏层状态获取预测结果；

5)构建损失函数并使用梯度下降算法优化；

步骤4、使用测试数据测试预测结果。

2.根据权利要求1所述的一种基于多步骤递归预测的空气质量预测方法，其特征在于：步骤1的实现过程如下，

获取的数据一般包括空气质量数据和天气数据，需要将其处理为输入序列和输出序列，输入序列包括过去一段时间的污染物数据和天气数据；设D＝{X，Y}为处理之后的数据集；其中X为输入序列，即历史数据，包括污染物数据和天气数据；对于每一个输入序列x∈R^S×Q，其长度为S，即过去S小时的历史数据，并且有Q个特征，即PM2.5、一氧化碳、二氧化硫等污染物数据和温度、湿度天气数据；对于每个目标序列y∈R^T，其长度为T，即未来T小时的污染物数据；y包含多个目标。

3.根据权利要求1所述的一种基于多步骤递归预测的空气质量预测方法，其特征在于：将步骤2中获取的样本分割为训练数据和和测试数据，训练数据用于训练模型，测试数据用于测试模型的效果。

4.根据权利要求1所述的一种基于多步骤递归预测的空气质量预测方法，其特征在于：步骤3中，使用训练数据对Seq2Seq模型进行训练；

1)确定n的取值，保证其可以被T整除，因此解码器的时间步数量为T/n

2)将输入数据与位置编码输入编码器，得到每个时刻的编码器的隐藏层状态；位置编码是和输入序列同样维度的变量，它被每个样本共享；位置编码的每一行学习并存储输入序列每个时刻的序列信息；由此编码器的隐藏层状态由如下方式计算：

其中是隐藏层的状态，也就是经过编码器提取到的历史数据的那个，W_e和b_e是编码器的权重和偏置，并且由每个时间步共享；PE_s∈R^Q是第s个时间步的位置编码；注意这里的激活函数使用的是tanh，要和解码器的激活函数保持一致，其定义为：

3)将上一个时间步得到的预测结果作为当前时间步的输入，并得到解码器RNN的隐藏层状态；解码器的RNN采用门控循环单元GRU，GRU每个时刻的输出；首先需要计算GRU中更新门的值，更新门控制进入当前单元的信息；第τ个时间步的更新门计算公式为：

u_τ＝σ(W_u*[h_τ-1，x_τ]+b_u)

其中u_τ是更新门，W_u和b_u分别表示跟新门的权值和偏置，h_τ-1表示上一时刻GRU的隐藏层状态，是上一时刻经过GRU处理后得到的特征，x_τ表示当前时刻的输入数据，可以是p_τ，即上一个时间步的预测结果；在有天气预报的情况下也可以将天气预报数据一并输入，即[p_τ，wf_τ]，其中wf_τ是当前时间步所需的天气预报数据；σ表示logistic函数，其定义如下：

接着计算重置门的值，重置门用来选择性遗忘以往的信息，如当前时刻起风了，则忘记之前没有起风的信息；重置门参数的意义和计算方式与更新门类似，其计算公式为：

r_τ＝σ(W_r*[h_τ-1，x_τ]+b_r)

接下来计算候补输出它代表了上一步的信息和当前的信息融合得到的新的信息，其计算公式为：

此时重置门负责控制遗忘上一步得到的信息，logistic函数的值域是(0，1)，因此重置门的取值范围也是(0，1)；当重置门的取值接近0时，上一步的信息接近全部遗忘，达到重置的效果；当重置门的取值接近1时，上一步的信息几乎完全保留；最后计算GRU隐藏层的状态，其计算公式如下：

更新门在此控制新的信息和上一步的信息所占的比例，当更新门取值接近1时，新的信息占比接近100％；当更新门的取值接近0时，上一步的信息占比接近100％；

4)利用解码器隐藏层状态和编码器状态得到上下文向量；注意力向量决定编码结果每个时刻的重要性，重要性由解码器隐藏层状态和编码器隐藏层状态的相似度衡量；因此编码结果每个时刻的重要性可由如下公式计算：

在将结果归一化后就得到注意力向量：

A_τ的每个元素便代表了编码结果每个时刻的重要性，值越大表示其对当前解码时刻影响越大；使用A_T为编码结果计算加权平均值即可得到上下文c_τ，它代表了过去的污染物和气象数据对当前时刻预测有用的特征；最后即可由如下公式得到预测结果：

p_τ＝W_p*[h_τ，c_τ]+b_p

5)构建损失函数并使用梯度下降算法优化；对于深度学习模型训练时会采用小批量批量梯度下降，所以对于一个小批量的数据，其损失函数由如下公式计算：

其中M为一个小批量数据中的样本数量；最终可以使用梯度下降算法调整模型中的参数来最小化损失函数，而梯度下降所用到的梯度使用反向传播算法或者自动微分工具计算。

5.根据权利要求1所述的一种基于多步骤递归预测的空气质量预测方法，其特征在于：步骤4的实现过程如下，

将测试数据输入Seq2Seq模型中得到每个样本的预测序列，如果测试结果不够理想则调整神经网络的参数得到更好的结果。