CN114648095A - 一种基于深度学习的空气质量浓度反演方法 - Google Patents

Abstract

本发明涉及生态环境监测技术领域，公开了一种基于深度学习的空气质量浓度反演方法，将卷积神经网络、长短期记忆神经网络和全连接神经网络与引入Nesterov动量的自适应学习率RMSProp算法和参数初始化策略相结合，对传统的LSTM模型进行了优化并且提出使用了自适应学习算法。基于建立的双向LSTM模型对空气质量浓度的变化进行反演，这种方法能够大幅度减少训练模型所需要的时间并且能提高空气质量浓度的精度，根据新的环境数据的变化去在线训练模型。通过基于深度学习的空气质量浓度反演方法可以实现对区域式空气质量浓度的变化进行准确的反演。

Description

一种基于深度学习的空气质量浓度反演方法

技术领域

本发明涉及生态环境监测技术领域，尤其是涉及了一种基于深度学习的空气质量浓度反演方法。

背景技术

随着工业化、城镇化的发展，当前大气问题日益凸显，城市生态环境问题逐渐引起人们的关注，解决城市生态环境问题的基础是对生态现象进行智能认知与归因，并最终实现对生态环境现象的预测与反演。由于一般常规的统计方式用于空气质量浓度反演时缺乏时空可拓展性，在信息化的新时代，计算机行业飞速发展，物联网技术在生态环境领域的不断应用，高度小型化低成本传感器技术快速发展，智能化、立体化的环境污染数据综合监测体系日益成熟，高精度、高时空分辨率的大气污染和水污染物的连续实时监测数据集不断积累扩大，亟待人们挖掘开发其中的巨大价值；同时，随着人工智能和大数据技术的蓬勃发展，大数据分析和深度学习技术在环境污染方面的研究应用日益受到关注。因此，基于大量污染物监测数据积累和机器学习等新兴技术发展的基础，数据驱动模式成为研究污染物溯源的新思路。

传统研究空气质量浓度变化的反演方法大体可分为统计学以及经典机器学习这两类方法，但是因为数据集不断积累扩大以及相关的影响因子又极为繁多，采用传统的反演方法势必会将消耗大量时间和财力，而传统的反演方法采用的传统的LSTM模型(LongShort-Term Memory)即长短期记忆循环神经网络，其缺点是容易梯度消失，空气质量浓度难以准确反演。

发明内容

为解决上述问题，本发明提出了一种基于深度学习的空气质量浓度反演方法，相较于传统的统计学方法和机器学习方法，该方法能够更好提高反演的精确度并且能够降低模型训练时所花费的代价。

本发明所述的一种基于深度学习的空气质量浓度反演方法，包括如下步骤:

步骤1、采集数据，对采集到的数据进行预处理；

步骤2、利用经过预处理的数据构建卷积神经网络，提取重要特征；

步骤3、采用改进的RMSProp算法优化LSTM双向模型；

步骤4、建立长短期记忆神经网络层和全连接神经网络层，对优化后的LSTM双向模型进行解码，拟合并且加以训练，最终预测结果。

进一步的，步骤1中包括如下具体步骤：

步骤1-1、数据获取：通过某个区域内设立的多个监测点获取到的影响空气质量浓度及空间特征相关的大气数据组成的时间序列；

步骤1-2、离散特征数值化编码：将获取到的大气数据组成的时间序列进行抽象、抽取大量特征，然后通过独热编码方式将这些特征处理转化为数字信息；

步骤1-3、缺失值处理：由于机械原因和人为原因导致的数据缺失，如果不超过两个时间间隔的缺失数据采用相邻数据进行填充，对于超过两个时间间隔的缺失数据采用线性插值法进行填充；

步骤1-4、异常值处理：做数据预处理的时候对数据进行异常过滤，首先可以将数据可视化成图表然后进行一阶差分运算，如果超过了设定的阈值0.1就认为是异常数据，对于异常数据的处理是先进行删除，然后把这些数据当作缺失值处理，重复进行步骤1-3的操作；

步骤1-5、标准化处理：将步骤1-4得到的数据进行标准化处理，使数据具备可比性；

步骤1-6、数据集的划分：将完成上述处理步骤后的时间序列的前80％为训练集，后20％为测试集，且采用交叉验证。

进一步的，所述步骤2中包括如下具体步骤：

步骤2-1、把经过数据预处理得到的数据转化为带有时间序列且时间为索引的n维矩阵，n维指得是数据具有的特征数量；

步骤2-2、添加一层卷积层和一层池化层，建立卷积神经网络；

步骤2-3、将n维矩阵输入到所述卷积神经网络结构中进行训练，提取影响空气质量浓度的重要特征，得到带有重要特征的时间序列。

进一步的，所述步骤3中采用改进的RMSProp算法优化LSTM双向模型的具体步骤为：

步骤3-1、引入衰减系数ρ，来控制时间序列里面历史信息的获取多少；

步骤3-2、把提取到重要特征的时间序列输入到传统LSTM模型中进行训练，并预测所得的结果输出；

步骤3-3、抽取一定量的训练集和输出；

步骤3-4、设置全局学习率η，初始参数Θ；

步骤3-5、初始化累计变量r；

步骤3-6、从抽取一定量的训练集中采用包含m个样本的小批量{x⁽¹⁾,...,x^(m)}，对应的输出目标为y⁽ⁱ⁾；

步骤3-7、将原始动量累积项加到当前参数上，得到新的权重参数Θ，计算 临时权重参数更新Θ←Θ+αv；其中v是原始动量累计项速度，α为动量系数；

步骤3-8、计算临时点梯度：

其中g为梯度， m为抽取的样本个数，f(x⁽ⁱ⁾；Θ)为在偏置权重Θ下的训练接样本，y⁽ⁱ⁾为m个样 本的对应输出目标；

步骤3-9、RMSProp的指数衰减累计梯度：r←ρr+(1-ρ)g⊙g；其中r为指 数衰减累计梯度，ρ为衰减系数，g为临时点的梯度；

步骤3-10、计算速度更新：

其中v为原始动量累计项，α为 动量系数，ε为学习率，r为指数衰减累计梯度，g为临时点的梯度；

步骤3-11、应用更新，得到权重系数：Θ←Θ+V，v为原始动量累计项；

步骤3-12、得到学习率自适应调整的RMSProp优化算法。

进一步的，所述步骤4中包括如下具体步骤：

步骤4-1、在建立的传统LSTM模型上，对输出结果进行解码，并且进行可视化以及计算损失LOSS和误差；

步骤4-2、接受前向和反向的RNN神经元，最终对前向和反向的输出进行深度级联,将传统的LSTM模型改为双向LSTM深度学习网络，该网络模型主要由输入层、隐藏层和输出层组成；

步骤4-3、加入RMSProp优化算法，设置初始化参数，激活函数使用Relu函数, 提高模型训练的效果；

步骤4-4、用一个双向LSTM配单向LSTM，再设立剪枝层(Dropout),抑制LSTM 层反演的结果发生过拟合；

步骤4-5、最后再连接两个全连接层，建立好全连接神经网络，对LSTM层的输出结果进行解码，最后得到反演结果。

本发明所述的有益效果为：本发明所述的方法利用了改进的RMSProp优化算法和深度学习相结合的思想，通过RMSProp优化器在学习的过程中学习率自适应调整，不仅能够减少在训练大量数据时所付出的代价而且还能提高反演系统的精确度。本发明所述的反演方法不仅能够对于大量的环境数据进行分析并自动提取重要特征，并且也利用了学习率自使用调整，优化模型的思想的优点，可以实现实时在线对所提供的环境大气数据进行自动训练学习，并且实时更新并且可视化最新的实验结果；该方法使用的双向LSTM模型，是在传统LSTM模型的基础上进一步能提升训练效果，适合于有时间索引的数据，能够防止循环神经网络会发生梯度小时和梯度爆炸的缺陷；在引入RMSProp优化器，可以大幅度降低数据的运算量和复杂度，因此相较于传统的深度学习模型能够提升模型训练的精度。

附图说明

为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明。

图1是本发明的整体流程框架图；

图2是本发明的采集数据可视化示意图；

图3是本发明的数据预处理流程图示意图；

图4是本发明的卷积神经网络结构示意图；

图5是本发明的以时间为索引的n为矩阵图；

图6是本发明的带有重要时间特征的时间序列示意图；

图7是本发明基于Nesterov动量的RMSProp优化算法结构图。

图8是本发明的长短期记忆网络结构示意图；

图9是本发明的可视化的反演结果示意图；

图10是本发明的传统LSTM与双向LSTM反演结果对比示意图。

具体实施方式

如图1所示，本发明所述的一种基于深度学习的空气质量浓度反演方法，包括如下步骤：

步骤1、采集数据可视化如图2所示，对采集到的数据进行预处理；

步骤2、利用经过预处理的数据构建卷积神经网络，提取重要特征；

步骤3、采用改进的RMSProp算法优化LSTM双向模型；

步骤4、建立长短期记忆神经网络层和全连接神经网络层，对优化后的LSTM双向模型进行解码，拟合并且加以训练，最终预测结果。

如图3所示，步骤1中包括如下具体步骤：

步骤1-1、数据获取：通过某个区域内设立的多个监测点获取到的可能会影响空气质量浓度包括NO2、CO等以及空间特征相关包括风向、降雨等的大气数据组成的时间序列；

步骤1-2、离散特征数值化编码：将获取到的大气数据组成的时间序列进行抽象、抽取大量特征，然后通过独热编码方式将这些特征处理转化为数字信息；

步骤1-3、缺失值处理：由于机械原因和人为原因导致的数据缺失，如果不超过两个时间间隔的缺失数据采用相邻数据进行填充，对于超过两个时间间隔的缺失数据采用线性插值法进行填充；

步骤1-4、异常值处理：做数据预处理的时候对数据进行异常过滤，首先可以将数据可视化成图表然后进行一阶差分运算，如果超过了设定的阈值0.1就认为是异常数据，对于异常数据的处理是先进行删除，然后把这些数据当作缺失值处理，重复进行步骤1-3的操作；

步骤1-5、标准化处理：为了让数据具备可比性，将数据进行标准化处理；步骤1-6、数据集的划分：将完成上述处理步骤后的时间序列的前80％为训练集，后20％为测试集，且采用交叉验证。

将处理后数据输入到卷积神经网络中如图4所示，步骤2中包括如下具体步骤：

步骤2-1、把经过数据预处理得到的数据转化为带有时间序列且时间为索引的n维矩阵，如图5所示，n维指得是数据具有的特征数量；

步骤2-2、添加一层卷积层和一层池化层，建立卷积神经网络；

步骤2-3、将n维矩阵输入到卷积网络CNN结构中进行训练提取包括NO2,CO等影响空气质量浓度的重要特征，得到带有重要特征的时间序列。

如图6所示，提取带有重要特征的时间序列，如图7所示，所述步骤3中采用加入了Nesterov动量的RMSProp算法：

步骤3-1、引入衰减系数ρ，来控制时间序列里面历史信息的获取多少；

步骤3-2、把提取到重要特征的时间序列输入到传统LSTM模型中进行训练，并预测所得的结果输出；

步骤3-3、抽取一定量的训练集和输出；

步骤3-4、设置全局学习率η，初始参数Θ；

步骤3-5、初始化累计变量r；

步骤3-6、从抽取一定量的训练集中采用包含m个样本的小批量{x⁽¹⁾,...,x^(m)}，对应的输出目标为y⁽ⁱ⁾；

步骤3-7、将原始动量累积项加到当前参数上，得到新的权重参数Θ，计算 临时权重参数更新Θ←Θ+αv；其中v是原始动量累计项速度，α为动量系数；

步骤3-8、计算临时点梯度：

其中g为梯度， m为抽取的样本个数，f(x⁽ⁱ⁾；Θ)为在偏置权重Θ下的训练接样本，y⁽ⁱ⁾为m个样 本的对应输出目标；

步骤3-9、RMSProp的指数衰减累计梯度：r←ρr+(1-ρ)g⊙g；其中r为指 数衰减累计梯度，ρ为衰减系数，g为临时点的梯度；

步骤3-10、RMSProp改变了学习率，Nesterov引入了动量改变了梯度，使 得在参数空间更为平缓的方向，会取得更大的进步，并且能够使得陡峭的方向变 得平缓，从而加快训练速度，计算速度更新：

其中v为原始动 量累计项，α为动量系数，ε为学习率，r为指数衰减累计梯度，g为临时点的梯 度；

步骤3-11、应用更新，得到权重系数：Θ←Θ+V；

步骤3-12、得到学习率自适应调整的RMSProp优化算法。

如图8所示，所述步骤4中包括如下具体步骤：

步骤4-1、在建立的传统LSTM模型上，对输出结果进行解码，并且进行可视化以及计算损失LOSS和误差；

步骤4-2、接受前向和反向的RNN神经元，最终对前向和反向的输出进行深度级联,将传统的LSTM模型改为双向LSTM深度学习网络，该网络模型主要由输入层、隐藏层和输出层组成；

步骤4-3、加入RMSProp优化算法，设置初始化参数，激活函数使用Relu函数, 提高模型训练的效果；

步骤4-4、用一个双向LSTM配单向LSTM，再设立剪枝层(Dropout),抑制LSTM 层反演的结果发生过拟合；

步骤4-5、最后再连接两个全连接层，建立好全连接神经网络，对LSTM层的输出结果进行解码，最后得到反演结果。

最后将训练得到的结果在通过全连接神经网络解码得到最终的反演结果，计算LOSS和误差并且可视化如图9所示，与传统LSTM模型结果对比如图10所示；可见加入了RMSProp优化算法，建立的双向LSTM模型预测效果较好。

本发明中使用多种深度学习算法与学习率自适应算法相结合的思想来建立反演系统。其中包括使用卷积神经网络提取特征、使用RMSProp优化器和双向 LSTM神经网络，使用长短期记忆网络和全连接神经网络对时间序列进行训练学习。通过以上方法可以实现对区域空气质量浓度变化的精准反演

以上所述仅为本发明的优选方案，并非作为对本发明的进一步限定，凡是利用本发明说明书及附图内容所作的各种等效变化均在本发明的保护范围之内。

Claims (5)

1.一种基于深度学习的空气质量浓度反演方法，其特征在于，所述方法的包括如下步骤:

步骤1、采集数据，对采集到的数据进行预处理；

步骤2、利用经过预处理的数据构建卷积神经网络，提取重要特征；

步骤3、采用改进的RMSProp算法优化LSTM双向模型；

步骤4、建立长短期记忆神经网络层和全连接神经网络层，对优化后的LSTM双向模型进行解码，拟合并且加以训练，最终预测结果。

2.根据权利要求1所述的一种基于深度学习的空气质量浓度反演方法，其特征在于，步骤1中包括如下具体步骤：

步骤1-1、数据获取：通过某个区域内设立的多个监测点获取到的影响空气质量浓度及空间特征相关的大气数据组成的时间序列；

步骤1-2、离散特征数值化编码：将获取到的大气数据组成的时间序列进行抽象、抽取大量特征，然后通过独热编码方式将这些特征处理转化为数字信息；

步骤1-3、缺失值处理：由于机械原因和人为原因导致的数据缺失，如果不超过两个时间间隔的缺失数据采用相邻数据进行填充，对于超过两个时间间隔的缺失数据采用线性插值法进行填充；

步骤1-4、异常值处理：做数据预处理的时候对数据进行异常过滤，首先可以将数据可视化成图表然后进行一阶差分运算，如果超过了设定的阈值0.1就认为是异常数据，对于异常数据的处理是先进行删除，然后把这些数据当作缺失值处理，重复进行步骤1-3的操作；

步骤1-5、将步骤1-4得到的数据进行标准化处理；

步骤1-6、数据集的划分：将完成上述处理步骤后的时间序列的前80％为训练集，后20％为测试集，且采用交叉验证。

3.根据权利要求1所述的一种基于深度学习的空气质量浓度反演方法，其特征在于，所述步骤2中包括如下具体步骤：

步骤2-1、把经过数据预处理得到的数据转化为带有时间序列且时间为索引的n维矩阵，n维指得是数据具有的特征数量；

步骤2-2、添加一层卷积层和一层池化层，建立卷积神经网络；

步骤2-3、将n维矩阵输入到所述卷积神经网络结构中进行训练，提取影响空气质量浓度的重要特征，得到带有重要特征的时间序列。

4.根据权利要求1所述的一种基于深度学习的空气质量浓度反演方法，其特征在于，所述步骤3中采用改进的RMSProp算法优化LSTM双向模型的具体步骤为：

步骤3-1、引入衰减系数ρ，来控制时间序列里面历史信息的获取多少；

步骤3-2、把提取到重要特征的时间序列输入到传统LSTM模型中进行训练，并预测所得的结果输出；

步骤3-3、抽取一定量的训练集和输出；

步骤3-4、设置全局学习率η，初始参数Θ；

步骤3-5、初始化累计变量r；

步骤3-6、从抽取一定量的训练集中采用包含m个样本的小批量{x⁽¹⁾,...,x^(m)}，对应的输出目标为y⁽ⁱ⁾；

步骤3-7、将原始动量累积项加到当前参数上，得到新的权重参数Θ，计算临时权重参数更新Θ←Θ+αv；其中v是原始动量累计项速度，α为动量系数；

步骤3-8、计算临时点梯度：

其中g为梯度，m为抽取的样本个数，f(x⁽ⁱ⁾；Θ)为在偏置权重Θ下的训练接样本，y⁽ⁱ⁾为m个样本的对应输出目标；

步骤3-9、RMSProp的指数衰减累计梯度：r←ρr+(1-ρ)g⊙g；其中r为指数衰减累计梯度，ρ为衰减系数，g为临时点的梯度；

步骤3-10、计算速度更新：

其中v为原始动量累计项，α为动量系数，ε为学习率，r为指数衰减累计梯度，g为临时点的梯度；

步骤3-11、应用更新，得到权重系数：Θ←Θ+V，v为原始动量累计项；

步骤3-12、得到学习率自适应调整的RMSProp优化算法。

5.根据权利要求1所述的一种基于深度学习的空气质量浓度反演方法，其特征在于，所述步骤4中包括如下具体步骤：

步骤4-1、在建立的传统LSTM模型上，对输出结果进行解码，并且进行可视化以及计算损失LOSS和误差；

步骤4-2、接受前向和反向的RNN神经元，最终对前向和反向的输出进行深度级联,将传统的LSTM模型改为双向LSTM深度学习网络，该网络模型主要由输入层、隐藏层和输出层组成；

步骤4-3、加入RMSProp优化算法，设置初始化参数，激活函数使用Relu函数,提高模型训练的效果；

步骤4-4、用一个双向LSTM配单向LSTM，再设立剪枝层(Dropout),抑制LSTM层反演的结果发生过拟合；

步骤4-5、最后再连接两个全连接层，建立好全连接神经网络，对LSTM层的输出结果进行解码，最后得到反演结果。

Images