CN113935458A - 基于卷积自编码深度学习的空气污染多站点联合预测方法 - Google Patents

Abstract

本发明涉及一种基于卷积自编码深度学习的空气污染多站点联合预测方法，包括以下步骤：1)根据城市内多站点间空气污染物浓度及相关气象数据构建用以对目标站点的污染物浓度进行预测的联合预测模型；2)从环境监测数据中获取训练数据和测试数据，并完成对联合预测模型的初始化；3)利用训练数据对联合预测模型进行训练；4)利用训练好的联合预测模型对目标站点未来N小时的污染物浓度进行预测。与现有技术相比，本发明具有考虑时空相关性、降低过拟合、避免梯度消失和梯度爆炸、提高预测精度等优点。

Description

基于卷积自编码深度学习的空气污染多站点联合预测方法

技术领域

本发明涉及城市空气污染物监控领域，尤其是涉及一种基于卷积自编码深度学习的空气污染多站点联合预测方法。

背景技术

城市空气污染问题日趋严重，已经对人们的身体健康以及日常生活造成了严重的影响，相关环境部门以及研究人员对空气质量问题的关注度越来越高。随着信息技术的飞速发展，空气污染预测问题也迎来了全新的研究思维。利用大数据思维与深度学习技术的结合对空气污染进行有效的数据分析，进而做出准确的预测是当前环境科学和计算机科学交叉学科研究的前沿热点问题。

目前城市空气污染预测主要通过在部署多个污染监测站点进行数据监测，然后采用综合数据分析等方面开展。一般来说，数据分析预测，如：概率模型法、机器学习方法等都在这类问题中有广泛的应用，这些研究方法各有特点，如朴素贝叶斯，BP(Back-Propagation)神经网络等都能在一定规模的数据集下取得比较好的预测效果。深度学习方法近年来在各个领域都获得了突破，比如图像识别、自然语言处理、生物工程以及时空结构的特征学习与分析等领域，基于深度学习的城市空气污染物浓度预测也获得了相应的关注。通过对大量数据的有效训练，深度学习可以很好地提取数据之间的时间与空间关联性，这是传统预测方法所不具备的。

现有的应用在城市空气污染预测的深度学习模型虽然能够取得一定的预测效果，但是都面临着以下几个问题：站点地理分布不均的原因，无法提取数据间深层次的空间以及时间关联关系，从而难以实现特定地点预测水平的提升；不能同时融合时空特征，有效地连续预测未来一段时间内的污染物情况；由于模型结构以空间或时间为主，多维度数据的利用能力不足，提取数据内部关联特征能力单一，导致模型的泛化能力不足。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于卷积自编码深度学习的空气污染多站点联合预测方法。

本发明的目的可以通过以下技术方案来实现：

1.一种基于卷积自编码深度学习的空气污染多站点联合预测方法，其特征在于，包括以下步骤：

1)根据城市内多站点间空气污染物浓度及相关气象数据构建用以对目标站点的污染物浓度进行预测的联合预测模型；

2)从环境监测数据中获取训练数据和测试数据，并完成对联合预测模型的初始化；

3)利用训练数据对联合预测模型进行训练；

4)利用训练好的联合预测模型对目标站点未来N小时的污染物浓度进行预测。

2.根据权利要求1所述的一种基于卷积自编码深度学习的空气污染多站点联合预测方法，其特征在于，所述的联合预测模型的具体结构为：

以CNN网络作为底层，用于接收输入数据并提取空间特征，通过卷积和池化后获得数据之间的空间相关性；

以基于多层LSTM的自编码网络作为顶层，用以提取时间序列特征。

3.根据权利要求1所述的一种基于卷积自编码深度学习的空气污染多站点联合预测方法，其特征在于，所述的步骤2)具体包括以下步骤：

21)对单城市多个站点的原始污染物数据和原始气象数据进行空值填充和归一化处理形成数据集；

22)将数据集分为训练集和测试集。

4.根据权利要求3所述的一种基于卷积自编码深度学习的空气污染多站点联合预测方法，其特征在于，所述的步骤22)中，将数据集中前三年的数据作为训练集的训练数据，将后一年的数据作为测试集的测试数据。

5.根据权利要求1所述的一种基于卷积自编码深度学习的空气污染多站点联合预测方法，其特征在于，所述的步骤3)具体包括以下步骤：

31)将污染物浓度数据和气象数据转化为CNN网络可接收的具有时间序列的二维矩阵，并输入到CNN网络中提取空间特征，作为自编码网络的输入；

32)将步骤31)中训练好的CNN权重参数迁移到基于多层LSTM的自编码网络中，作为编码器部分的权重参数，通过LSTM构成的编码器部分提取城市空气污染物浓度和气象数据的时序特征，实现对历史污染物的浓度和气象数据的编码，生成一个具有时序特征的隐藏向量C，该隐藏向量C作为解码器部分的输入，进一步作时序预测；

步骤S33：采用解码器结合隐藏向量C和当前时刻的输入数据预测下一时刻的污染物浓度。

6.根据权利要求1所述的一种基于卷积自编码深度学习的空气污染多站点联合预测方法，其特征在于，所述的步骤31)中，通过CNN网络进行空间特征的提取具体为：

311)令η为当前CNN网络正在训练的层数，m代表特征图，卷积层的上一层输出的特征图由该卷积层的卷积核k进行特征提取并学习，f_R为Relu激活函数，通过激活函数对卷积的结果进行非线性变换而得到输出的特征图

i,j均为特征图下标，M为特征图的通道数，则有：

312)提取到的特征图经过CNN网络的卷积层卷积过后，得到N个特征图作为池化层的输入，CNN网络的池化层通过平均池化方法对N个特征图进行降维，输出N个缩小后的特征图

则有：

其中，β和b分别作为输出图像的相乘性质和加性偏置，down表示下采样函数，即平均池化方法。

7.根据权利要求1所述的一种基于卷积自编码深度学习的空气污染多站点联合预测方法，其特征在于，所述的步骤3)中，在自编码网络的训练过程中，选择L2范数的平方作为误差函数，采用loss函数计算损失函数大小，并作为衡量无监督训练过程的信息损耗的指标。

8.根据权利要求7所述的一种基于卷积自编码深度学习的空气污染多站点联合预测方法，其特征在于，自编码网络的训练过程的表达式具体为：

R(W,b)＝‖W_a‖+‖W_s‖

其中，x为自编码网络的每个隐藏层LSTM的输入，即输入的环境空气污染物浓度和气象数据，X为隐藏层的输出，W_a∈R^u×v，b_a∈R^v，σ_a为隐藏层的激活函数sigmoid，W_s∈R^u×v，b_s∈R^v，σ_s为隐藏层的激活函数sigmoid，u×v表示权重矩阵W_a、W_s的维度，x′表示为隐藏层的输出经过解码运算的结果，R(W,b)为权值衰减的正则化项，α为正则化系数，x′ⁱ和xⁱ分别表示当前预训练层的输出和输入，n表示输入数据x的特征维度，loss(W,b)为损失函数。

9.根据权利要求5所述的一种基于卷积自编码深度学习的空气污染多站点联合预测方法，其特征在于，所述的步骤32)中，过LSTM构成的编码器部分提取城市空气污染物浓度和气象数据的时序特征，实现对历史污染物的浓度和气象数据的编码，生成隐藏向量C的表达式为：

h_t＝f_L(x_t,h_t-1)；C＝φ({h₁,...h_T})

其中，x_t为t时刻的输入值，h_t-1、h_t分别为LSTM在t-1和t时刻的输出，f_L表示LSTM函数，φ为隐藏状态计算函数，隐藏向量C具体为LSTM中的最后时刻单元的输出状态，下标i、f、o分别表示LSTM中的输入门、遗忘门和输出门，C_t表示神经单元的状态信息，W表示网络参数，b表示偏置量，σ表示sigmoid函数，输出0-1的值，其中1表示让所有信息都通过。

10.根据权利要求5所述的一种基于卷积自编码深度学习的空气污染多站点联合预测方法，其特征在于，所述的步骤33)中，采用解码器结合隐藏向量C和当前时刻的输入数据预测下一时刻的污染物浓度，则有：

其中，f_L为LSTM函数，s_t-1、s_t分别表示t-1和t时刻的记忆单元，h_t-1、h_t分别为LSTM在t-1和t时刻的输出，C为编码器输出的隐藏向量，p_t为t时刻污染物浓度的预测输出，W表示网络参数，b表示偏置量。

与现有技术相比，本发明具有以下优点：

一、本发明能够有效地将单城市多站点间的污染物浓度和气象数据进行结合，多维卷积的CNN网络能够联合多站点间的污染物浓度和气象数据特征做到深层的空间相关性提取，能够从环境污染大数据的空间关联特征角度去进一步提升预测模型的精确度，并且模型的卷积部分，采用了全卷积方法，即去除了池化层带来的大幅度特征损耗问题，充分地提取污染物与气象数据的空间特征。

二、引入了端到端的编码预测模型，轻量化了基于LSTM的自编码模型的复杂度，能够充分提取多站点间空气污染物和气象数据的时间关联性，降低了模型的过拟合问题，避免梯度消失和梯度爆炸问题，能够从时序数据的角度进一步提升预测模型的精确度。

三、本发明使用的是新型预测模型，且综合了时空域特征问题，解决传统模型的特征提取深度不足以及特征关联度不强等问题。即模型可以将预测的污染物浓度结果进行前后关联，对未来一段时间内污染物浓度连续性预测的精确度有了很大的提升。

附图说明

图1为本发明方法的主要步骤流程示意图。

图2为本发明实施例中的流程示意图。

图3为本发明所构建的预测模型的结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

首先对空气污染物浓度预测进行定义：

定义1空气污染物浓度预测：主要是通过历史污染物和气象信息，对PM2.5、PM10等一系列空气污染在未来一定时间内的浓度进行预测，是环境科学、气象科学、计算机科学等都在重点研究的课题之一，因而具有一定的学科交叉性。

定义2传统预测法：非深度学习的空气污染物浓度预测方法统称为传统的预测方法，如基于历史数据和统计学方法的经验模型的预测；基于统计学和数学方法或模型建立概率模型的预测；利用综合方法的预测；以及基于传统机器学习建立的预测模型等，均属于传统预测法。

下面，给出利用本发明的一种基于卷积自编码深度学习的空气污染多站点联合预测方法，如图1到图3所示，包括：

步骤S1：根据城市内多站点间空气污染物浓度及相关气象数据来构建对特定目标站点的污染物浓度进行预测的模型；

具体地，基于深度学习原理，利用一种基于卷积自编码深度学习的空气污染多站点联合预测方法，加入了中间过程处理步骤，构建城市污染物浓度预测的模型；CNN是模型的底部，用于提取空间特征，卷积和池化后获得数据之间的相关性；基于LSTM的自编码网络是模型的顶部，用于提取输入的时间序列特征，产生最终的预测结果。

图2中，自编码器的训练优先于整个模型的训练，输入的二维矩阵经过自编码器的Encoder进行特征提取和压缩，并将其结果输入到LSTM中，进行时间序列特征的提取，并输出最终的预测结果。

步骤S2：针对所构建的模型，从环境监测数据中选择训练数据和测试数据，完成对预测模型的初始化；

步骤S21：对用于建模的数据进行空值填充和归一化处理，其中，所述用于建模的数据包括单城市多个站点的原始污染物数据和原始气象数据；

步骤S22：将数据集中2014-2017年数据作为训练集，2018年的数据作为测试集；

步骤S3：利用训练数据对模型进行训练；

步骤S31：将输入污染物浓度数据和气象数据转化成CNN可接收的具有时间序列的二维矩阵，然后再输入到CNN中进行空间特征的提取；

令η为当前卷积神经网络模块正在训练的层数，m代表最终提取到的特征图，卷积层的上一层输出的特征图由该卷积层的卷积核k进行特征提取并学习，f_R为Relu激活函数，然后通过激活函数对卷积的结果进行非线性变换而得到输出的特征图，i,j均为特征图下标，M为特征图的通道数：

特征图经过CNN中的卷积层卷积过后，得到N个特征图，作为池化层的输入，本模型中的池化层通过平均池化方法对N个特征图进行降维，将输出N个缩小后的特征图：

其中，β和b分别作为输出图像的相乘性质和加性偏置，down表示下采样函数，down即为平均池化方法，后续将这N个特征图展开成N个一维向量，再经过全连接层的解码，最后可以得到输出的污染物浓度值。

步骤S32：将上一阶段训练好的CNN权重参数迁移到基于多层LSTM的自编码网络模型当中，自编码网络先由LSTM构成的编码器部分来提取出城市空气污染物浓度和气象数据的时序特征，实现对历史污染物的浓度和气象数据的编码，然后形成一个具有时序特征的隐藏向量C，隐藏向量作为解码器端的输入，进一步作时序预测：

h_t＝f_L(x_t,h_t-1)；C＝φ({h₁,...h_T})

其中，x_t为t时刻的输入值，h_t-1为LSTM在t-1时刻的输出，f_L表示LSTM函数，h_t为LSTM在t时刻的输出，φ为隐藏状态计算函数，隐藏向量C为LSTM中的最后时刻单元的输出状态，下标i，f，o分别表示LSTM中的输入门、遗忘门和输出门；C_t表示神经单元的状态信息；W表示网络参数；b表示偏置量；σ表示sigmoid函数，输出0-1的值，其中1表示让所有信息都通过。

步骤S33：采用解码器结合隐藏向量C和当前时刻的输入数据预测下一时刻的污染物浓度；

其中，f_L为LSTM函数，s_t为当前时刻t的记忆单元，h_t-1为LSTM在t-1时刻的输出，s_t-1为t-1时刻的记忆单元，C为编码器输出的隐藏向量，h_t为LSTM在t时刻输出，p_t为t时刻污染物浓度的预测输出，W表示网络参数；b表示偏置量。

步骤S34：在自编码网络的训练过程中，选择L2范数的平方来表示误差函数，用loss函数计算损失函数大小，并作为衡量无监督训练过程的信息损耗的指标。公式如下：

R(W,b)＝‖W_a‖+‖W_s‖

其中：x是自编码网络的每个隐藏层LSTM的输入(即输入数据单元某时刻的环境空气污染物浓度和气象数据)，X是隐藏层的输出，W_a∈R^u×v，b_a∈R^v，σ_a是隐藏层的激活函数sigmoid(u×v表示的是权重矩阵维度)；X是隐藏层的输出，W_s∈R^u×v，b_s∈R^v，σ_s是隐藏层的激活函数sigmoid。这样在训练过程中，X就可以看作是x的一种特征表示，同时x′表示为隐藏层的输出经过解码运算的结果，可最大程度逼近隐藏层的输入特征x。R(W,b)是权值衰减的正则化项，α为正则化系数，x′ⁱ和xⁱ分别表示当前预训练层的输出和输入，n表示输入数据x的特征维度，loss(W,b)为损失函数。

步骤S4：利用训练好的模型对目标站点未来N小时的污染物浓度进行预测。

综上所述，本发明所构建的基于卷积自编码深度学习的空气污染多站点联合预测模型是建立在已存在的两种深度神经网络的研究上的，利用两种神经网络的特点和优势，建立一种可以预测目标城市未来一定时间内的PM2.5浓度的模型。CNN是模型的底部，用于提取空间特征，卷积和池化后获得数据之间的相关性。基于LSTM的自编码网络是模型的顶部，用于提取输入的时间序列特征。CAE-Learning模型对应的预测任务是用单城市多个监测站点的污染物浓度数据和气象数据作为模型的初始特征输入，来预测特定目标站点未来N小时内的污染物浓度。从基于真实数据的实验证明，对于时空融合的时间序列预测问题，CAE-Learning和其他对比模型相比有很好的预测性能，在上海市的测试数据集上获得了的不错预测效果后，在杭州、苏州、重庆、北京这四个城市也有着很好的表现，具有较好的泛化能力，因而具有实际性的应用前景。

Claims (10)

1.一种基于卷积自编码深度学习的空气污染多站点联合预测方法，其特征在于，包括以下步骤：

1)根据城市内多站点间空气污染物浓度及相关气象数据构建用以对目标站点的污染物浓度进行预测的联合预测模型；

2)从环境监测数据中获取训练数据和测试数据，并完成对联合预测模型的初始化；

3)利用训练数据对联合预测模型进行训练；

4)利用训练好的联合预测模型对目标站点未来N小时的污染物浓度进行预测。

2.根据权利要求1所述的一种基于卷积自编码深度学习的空气污染多站点联合预测方法，其特征在于，所述的联合预测模型的具体结构为：

以CNN网络作为底层，用于接收输入数据并提取空间特征，通过卷积和池化后获得数据之间的空间相关性；

以基于多层LSTM的自编码网络作为顶层，用以提取时间序列特征。

3.根据权利要求1所述的一种基于卷积自编码深度学习的空气污染多站点联合预测方法，其特征在于，所述的步骤2)具体包括以下步骤：

21)对单城市多个站点的原始污染物数据和原始气象数据进行空值填充和归一化处理形成数据集；

22)将数据集分为训练集和测试集。

4.根据权利要求3所述的一种基于卷积自编码深度学习的空气污染多站点联合预测方法，其特征在于，所述的步骤22)中，将数据集中前三年的数据作为训练集的训练数据，将后一年的数据作为测试集的测试数据。

5.根据权利要求1所述的一种基于卷积自编码深度学习的空气污染多站点联合预测方法，其特征在于，所述的步骤3)具体包括以下步骤：

31)将污染物浓度数据和气象数据转化为CNN网络可接收的具有时间序列的二维矩阵，并输入到CNN网络中提取空间特征，作为自编码网络的输入；

32)将步骤31)中训练好的CNN权重参数迁移到基于多层LSTM的自编码网络中，作为编码器部分的权重参数，通过LSTM构成的编码器部分提取城市空气污染物浓度和气象数据的时序特征，实现对历史污染物的浓度和气象数据的编码，生成一个具有时序特征的隐藏向量C，该隐藏向量C作为解码器部分的输入，进一步作时序预测；

步骤S33：采用解码器结合隐藏向量C和当前时刻的输入数据预测下一时刻的污染物浓度。

6.根据权利要求1所述的一种基于卷积自编码深度学习的空气污染多站点联合预测方法，其特征在于，所述的步骤31)中，通过CNN网络进行空间特征的提取具体为：

311)令η为当前CNN网络正在训练的层数，m代表特征图，卷积层的上一层输出的特征图由该卷积层的卷积核k进行特征提取并学习，f_R为Relu激活函数，通过激活函数对卷积的结果进行非线性变换而得到输出的特征图

i,j均为特征图下标，M为特征图的通道数，则有：

312)提取到的特征图经过CNN网络的卷积层卷积过后，得到N个特征图作为池化层的输入，CNN网络的池化层通过平均池化方法对N个特征图进行降维，输出N个缩小后的特征图

则有：

其中，β和b分别作为输出图像的相乘性质和加性偏置，down表示下采样函数，即平均池化方法。

7.根据权利要求1所述的一种基于卷积自编码深度学习的空气污染多站点联合预测方法，其特征在于，所述的步骤3)中，在自编码网络的训练过程中，选择L2范数的平方作为误差函数，采用loss函数计算损失函数大小，并作为衡量无监督训练过程的信息损耗的指标。

8.根据权利要求7所述的一种基于卷积自编码深度学习的空气污染多站点联合预测方法，其特征在于，自编码网络的训练过程的表达式具体为：

R(W,b)＝‖W_a‖+‖W_s‖

其中，x为自编码网络的每个隐藏层LSTM的输入，即输入的环境空气污染物浓度和气象数据，X为隐藏层的输出，W_a∈R^u×v，b_a∈R^v，σ_a为隐藏层的激活函数sigmoid，W_s∈R^u×v，b_s∈R^v，σ_s为隐藏层的激活函数sigmoid，u×v表示权重矩阵W_a、W_s的维度，x′表示为隐藏层的输出经过解码运算的结果，R(W，b)为权值衰减的正则化项，α为正则化系数，x′ⁱ和xⁱ分别表示当前预训练层的输出和输入，n表示输入数据x的特征维度，loss(W，b)为损失函数。

9.根据权利要求5所述的一种基于卷积自编码深度学习的空气污染多站点联合预测方法，其特征在于，所述的步骤32)中，过LSTM构成的编码器部分提取城市空气污染物浓度和气象数据的时序特征，实现对历史污染物的浓度和气象数据的编码，生成隐藏向量C的表达式为：

h_t＝f_L(x_t，h_t-1)；C＝φ({h₁，...h_T})

其中，x_t为t时刻的输入值，h_t-1、h_t分别为LSTM在t-1和t时刻的输出，f_L表示LSTM函数，φ为隐藏状态计算函数，下标i、f、o分别表示LSTM中的输入门、遗忘门和输出门，C_t表示神经单元的状态信息，W表示网络参数，b表示偏置量，σ表示sigmoid函数。

10.根据权利要求5所述的一种基于卷积自编码深度学习的空气污染多站点联合预测方法，其特征在于，所述的步骤33)中，采用解码器结合隐藏向量C和当前时刻的输入数据预测下一时刻的污染物浓度，则有：

其中，f_L为LSTM函数，s_t-1、s_t分别表示t-1和t时刻的记忆单元，h_t-1、h_t分别为LSTM在t-1和t时刻的输出，C为编码器输出的隐藏向量，p_t为t时刻污染物浓度的预测输出，W表示网络参数，b表示偏置量。

Images