CN114004163B - 一种基于modis和长短时记忆网络模型的pm2.5反演方法 - Google Patents

Abstract

本发明属于遥感影像处理技术领域，提出了一种基于MODIS和长短时记忆网络模型的PM2.5反演方法。利用多种辅助数据，建立AOD和辅助数据之间的关系，利用机器学习方法对AOD缺失值部分进行填补，减少了缺失值带来的反演不确定性，增加了反演精度。对数据进行高度订正和湿度订正，减少了高度和湿度带来的误差。使用长短时记忆网络进行PM2.5浓度反演，考虑了时间和空间的依赖关系，大大提高了反演精度。

Description

一种基于MODIS和长短时记忆网络模型的PM2.5反演方法

技术领域

本发明涉及遥感影像处理技术领域，具体涉及一种基于MODIS和长短时记忆网络模型的PM2.5反演方法。本方法可用于反演整个研究区域的PM2.5浓度，对环境污染治理和PM2.5监测方面具有一定的参考意义。

背景技术

细颗粒物是指空气动力学中直径小于或等于2.5微米的大气悬浮颗粒物，主要来自自然过程以及大量人类活动的排放。颗粒物污染与人们的健康息息相关，人类通过呼吸将细颗粒物带入肺泡，容易造成心血管疾病及呼吸性疾病。近年来，中国经济飞速发展的同时给环境带来了巨大的压力，各种工业尾气和机动车尾气的排放引发了严重的空气污染问题，PM2.5污染一直是主要的环境问题，并且已经成为公众关心的主要问题。由于PM2.5监测站数量有限，且分布不均匀，难以提供长期连续、覆盖面较广的PM2.5数据，于是利用PM2.5和大气气溶胶之间的关系，使用气溶胶卫星遥感反演产品来间接估算PM2.5浓度已经成为研究热点。气溶胶光学厚度(AOD)是指整个大气层中介质消光系数在垂直方向上的积分，用于描述大气中颗粒物对太阳辐射的削弱程度，反映了该大气层中颗粒物含量或空气污染程度。利用AOD和PM2.5之间的关系可以进行全天候、大范围的连续观测，此外，遥感技术不断向高时间分辨率、高空间分辨率方向发展，气溶胶反演产品的精度也随着反演算法的改进得到提高，使得卫星遥感技术逐渐成为反演PM2.5浓度的有效手段。

AOD数据目前已经被广泛用于PM2.5浓度的估计，但由于云雨天气、云层覆盖、极高的气溶胶负荷等原因引起AOD数据经常存在大范围缺失问题，人们通常在进行PM2.5浓度估计时会直接忽略这些缺失，但这样会导致PM2.5浓度估计的结果不够准确，因此填补AOD数据的缺失可以大大提高PM2.5浓度估计的准确率。为此提出了多种方法来处理缺失的AOD数据。一种方法是融合多种卫星数据来填补AOD数据，例如将Terra卫星与Aqua卫星的数据结合起来，利用其平均值、融合值、季节平均值、多重插补方法来减少AOD数据的缺失，或者可以将AOD数据与AERONET数据合并来提高AOD覆盖率；另外也可以结合使用插值方法如克里金插值，反距离加权法，然而这些方法不能在减少缺失率的同时提高反演精度，在大范围缺失的情况下通常是不够准确的。近年来，人们利用一些先进的统计模型来表示PM2.5和各种预测因子之间的关系，如地理加权回归模型，两阶段模型。然而，这些模型可能不能够完全描述PM2.5和预测因子之间的关系。

深圳先进技术研究院申请的专利“一种基于MODIS的PM2.5遥感反演方法”(专利申请号201711398781.4)中公开了一种基于MODIS的PM2.5遥感反演方法，该方法将PM2.5数据插值成PM2.5影像，并进行训练集和测试集的划分，将训练集用于机器学习算法的训练，最后选取一个最优模型并用于整幅MODIS影像，最后得到整幅MODIS的PM2.5浓度反演图。该方法不足之处在于没有考虑MODIS影像的缺失情况，直接建立其与PM2.5之间的关系，会产生一定的误差，造成实验结果不够准确。

针对现有PM2.5反演技术的不足，目前需要一种可以充分利用所获取的MODIS数据和PM2.5数据的反演方法，本发明针对MODIS AOD数据进行机器学习填补，随后再进行MODIS与PM2.5浓度的关系建立，以便于提高PM2.5反演精度。

发明内容

为了克服上述现有技术的不足，本发明提出一种基于MODIS和长短时记忆网络模型的PM2.5反演方法。本发明与现有技术相比通过使用机器学习方法对MODIS AOD数据采集中的缺失值进行填补，增加了数据的完整性，同时对辅助数据进行高湿订正，避免一些气象条件的干扰，采用长短时记忆网络模型提高了PM2.5反演精度。

本发明解决上述问题的技术方案如下：一种基于MODIS和长短时记忆网络模型的PM2.5反演方法，包括以下步骤：

步骤1：获取需要反演的PM2.5研究时段的MODIS影像、用于计算AOD的气象数据和研究区域PM2.5监测站数据；气象数据包括风速、温度、边界层高度、相对湿度和地表压力；对各时段的MODIS影像进行融合并裁剪出研究区域对应的部分；对气象数据进行重采样及归一化处理；对监测站数据求取9-15点均值作为当天PM2.5值；

步骤2：对气象数据按如下式(1)(2)进行高湿订正，消除高度和湿度的影响；

AOD＝k_a,0(λ)BLH(1)

式中，k_a,0(λ)表示近地层气溶胶系数，BLH表示边界层高度；

f(RH)＝1/(1-RH/100)(2)

式中，RH代表相对湿度；

步骤3：使用双线性插值法和重采样技术将所有的气象数据变量均重采样到0.01×0.01分辨率；

步骤4：训练随机森林模型；随机森林模型学习到带有AOD值的网格与对应位置的气象数据之间的函数关系，利用此函数关系估计缺失位置的AOD值，得到覆盖整个区域的连续、大范围的AOD值；最后在模型拟合之后计算每个气象数据变量的特征重要性；

在随机森林模型中，使用bootstrapsample方法从步骤3得到的气象数据中提取得到样本Z，然后为每个样本生成一棵带有多个预测因子的未回归树，在未回归树的每个节点选择最优值进行最佳分割得到回归树，最后通过所有回归树的平均值来进行预测；每棵未回归树三分之一的训练样本不参与回归树f(x)的生成；

Z₁(m,n)＝{X|X_j≤n}and Z₂(m,n)＝{X|X_j＞n}(5)

其中(x_i,y_i)是z区域(R₁,R₂,...,R_Z)中i＝1,2,...,N的样本，c_m是对模型的响应，是最优值，m是分离变量，n是分离点，I是示性函数；

步骤5：从步骤3得到的气象数据和步骤4得到的覆盖整个区域的AOD数据中提取PM2.5监测站点坐标对应的气象数据值以及AOD值，按照时间和空间将提取出来的AOD值和气象数据值与PM2.5站点值进行匹配，匹配后的数据按7:3的比例分割成训练集和测试集；构建第f个时间节点的特征向量基数T_f：

T_f＝[x₁,x₂,...,x_n,...,x_N] (8)

其中，x₁表示T个时间节点中第f个时间节点的PM2.5的值，x_n表示T个时间节点中第f个时间节点的第n个空气参数的值；

步骤6：建立长短时记忆网络模型；长短时记忆网络模型包括LSTM层和Dense层，初始化长短时记忆网络模型的参数并将覆盖整个研究区域的AOD数据及完整的气象变量输入，得到输出预测值W，将输出预测值W与监测站点真实值Y进行对比，根据误差微调网络参数，实现降低误差；遗忘门、输入门、循环门和输出门为长短时记忆网络模型的主要结构：

a.遗忘门：将信息进行选择性遗忘，减少模型的记忆负担；

f_t＝σ(W_f·[h_t-1,x_t]+b_f) (9)

b.输入门：将信息进行选择性记忆：

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (10)

c.循环门：更新当前时刻的状态：

d.输出门：完成模型输出；

o_t＝σ(W_o·[h_t-1,x_t]+b_o) (12)

h_t＝o_t*tanh(C_t) (13)

式中，σ为sigmoid函数，Wo和bo作为待定系数在后续进行训练学习，h_t-1是上一阶段的输出，x_t是当前阶段的输入，式中的C_t-1记录了上一时间节点的信息；

步骤7：将得到的输出预测值进行可视化，得到整个研究区域的PM2.5浓度反演图。

与现有技术相比，本发明的有益效果：本发明着眼于MODIS和长短时记忆网络模型进行PM2.5浓度反演。第一，利用多种辅助数据，建立AOD和辅助数据之间的关系，利用机器学习方法对AOD缺失值部分进行填补，减少了缺失值带来的反演不确定性，增加了反演精度。第二，对数据进行高度订正和湿度订正，减少了高度和湿度带来的误差。第三，使用长短时记忆网络进行PM2.5浓度反演，考虑了时间和空间的依赖关系，大大提高了反演精度。

附图说明

图1是基于MODIS和长短时记忆网络模型的PM2.5浓度反演流程图。

图2是研究区域内PM2.5浓度估计值和观察值的每日PM2.5浓度散点图。

图3是研究区域内PM2.5浓度反演图。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。

参照附图1，一种基于MODIS和长短时记忆网络模型的PM2.5反演方法，包括以下步骤：

步骤1：获取需要反演的PM2.5研究时段的MODIS影像、用于计算AOD的气象数据和研究区域PM2.5监测站数据；气象数据包括风速、温度、边界层高度、相对湿度和地表压力；对各时段的MODIS影像进行融合并裁剪出研究区域对应的部分；对监测站数据求取9-15点均值作为当天PM2.5值；

步骤2：对气象数据进行重采样及归一化处理和高湿订正处理；按如下式(1)(2)进行高湿订正，消除高度和湿度的影响；

AOD＝k_a,0(λ)BLH (1)

式中，k_a,0(λ)表示近地层气溶胶系数，BLH表示边界层高度；

f(RH)＝1/(1-RH/100) (2)

式中，RH代表相对湿度；

步骤3：使用双线性插值法和重采样技术将所有的气象数据变量均重采样到0.01×0.01分辨率；

步骤4：训练随机森林模型；随机森林模型学习到带有AOD值的网格与对应位置的气象数据之间的函数关系，利用此函数关系估计缺失位置的AOD值，得到覆盖整个区域的连续、大范围的AOD值；最后在模型拟合之后计算每个气象数据变量的特征重要性；

在随机森林模型中，使用bootstrapsample方法从步骤3得到的气象数据中提取得到样本Z，然后为每个样本生成一棵带有多个预测因子的未回归树，在树的每个节点选择最优值进行最佳分割得到回归树，最后通过所有回归树的平均值来进行预测；每棵决策树三分之一的训练样本不参与第k个树和回归树f(x)的生成；

Z₁(m,n)＝{X|X_j≤n}and Z₂(m,n)＝{X|X_j＞n} (5)

其中(x_i,y_i)是z区域(R₁,R₂,...,R_Z)中i＝1,2,...,N的样本，c_m是对模型的响应，是最优值，m是分离变量，n是分离点，I是示性函数；

步骤5：从步骤3得到的气象数据和步骤4得到的覆盖整个区域的AOD数据中提取PM2.5监测站点坐标对应的气象数据值以及AOD值，按照时间和空间将提取出来的AOD值和气象数据值与PM2.5站点值进行匹配，匹配后的数据按7:3的比例分割成训练集和测试集；构建第f个时间节点的特征向量基数T_f：

T_f＝[x₁,x₂,...,x_n,...,x_N] (8)

其中，x₁表示T个时间节点中第f个时间节点的PM2.5的值，x_n表示T个时间节点中第f个时间节点的第n个空气参数的值；

步骤6：建立长短时记忆网络模型；长短时记忆网络模型包括LSTM层和Dense层，初始化长短时记忆网络模型的参数并将覆盖整个研究区域的AOD数据及完整的气象变量输入，得到输出预测值W，将输出预测值W与监测站点真实值Y进行对比，根据误差微调网络参数，实现降低误差；遗忘门、输入门、循环门和输出门为长短时记忆网络模型的主要结构：

a.遗忘门：将信息进行选择性遗忘，减少模型的记忆负担；

f_t＝σ(W_f·[h_t-1,x_t]+b_f) (9)

b.输入门：将信息进行选择性记忆：

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (10)

c.循环门：更新当前时刻的状态：

d.输出门：完成模型输出；

o_t＝σ(W_o·[h_t-1,x_t]+b_o) (12)

h_t＝o_t*tanh(C_t) (13)

式中，σ为sigmoid函数，Wo和bo作为待定系数在后续进行训练学习，h_t-1是上一阶段的输出，x_t是当前阶段的输入，式中的C_t-1记录了上一时间节点的信息；

步骤7：

将得到的输出预测值进行可视化，得到整个研究区域的PM2.5浓度反演图。

下面结合附图2和附图3对本发明的效果进一步说明。

仿真实验：

本发明仿真实验的硬件环境为：Intel Core i7处理器，2.5GHz主频，8G内存；软件环境为：Windows10操作系统，Matlab R2016b。

本发明研究区域为北京市全域，图像获取时间为2018年1月1日到2018年12月31日，分辨率为1km。

通过以下指标定量评估本发明和对比实验的反演结果：建模过程中使用的评估指标包括R²和RMSE。

RMSE均方根误差：

R²：

n为数据个数；为真实值，y_i为预测值，/>为预测数据的均值

图2是研究区域内PM2.5浓度估计值和观察值的每日PM2.5浓度散点图，实线是根据估计值与观察值的拟合回归线，虚线是1：1参考线。

图3是研究区域内PM2.5浓度反演图。

仿真结果分析：

表1 PM2.5反演精度表

结果表明，本方法的结果较之多元线性回归模型(MLR)和混合效应模型(LME)效果有一定程度的提升。AOD插补对于PM2.5浓度估计结果是有效的。利用该长短时记忆网络模型进行计算，得到北京PM2.5浓度空间分布模拟图如图3所示。北京PM2.5浓度总体呈自北向南增加的趋势。北京西部和北部山区PM2.5浓度明显偏低。这主要是因为市区主要集中在东南部，受工业生产和人类活动的影响。空气污染较为严重，PM2.5浓度偏低主要发生在北方山区和农村地区。

以上所述实施例仅表达本发明的实施方式，但并不能因此而理解为对本发明专利的范围的限制。应当指出，对于本领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (1)

1.一种基于MODIS和长短时记忆网络模型的PM2.5反演方法，其特征在于，包括以下步骤：

步骤1：获取需要反演的PM2.5研究时段的MODIS影像、用于计算AOD的气象数据和研究区域PM2.5监测站数据；气象数据包括风速、温度、边界层高度、相对湿度和地表压力；对各时段的MODIS影像进行融合并裁剪出研究区域对应的部分；对气象数据进行重采样及归一化处理；对监测站数据求取9-15点均值作为当天PM2.5值；

步骤2：对气象数据按如下式(1)(2)进行高湿订正，消除高度和湿度的影响；

AOD＝k_a,0(λ)BLH (1)

式中，k_a,0(λ)表示近地层气溶胶系数，BLH表示边界层高度；

f(RH)＝1/(1-RH/100) (2)

式中，RH代表相对湿度；

步骤3：使用双线性插值法和重采样技术将所有的气象数据变量均重采样到0.01×0.01分辨率；

步骤4：训练随机森林模型；随机森林模型学习到带有AOD值的网格与对应位置的气象数据之间的函数关系，利用此函数关系估计缺失位置的AOD值，得到覆盖整个区域的连续、大范围的AOD值；最后在模型拟合之后计算每个气象数据变量的特征重要性；

在随机森林模型中，使用bootstrapsample方法从步骤3得到的气象数据中提取得到样本Z，然后为每个样本生成一棵带有多个预测因子的未回归树，在未回归树的每个节点选择最优值进行最佳分割得到回归树，最后通过所有回归树的平均值来进行预测；每棵未回归树三分之一的训练样本不参与回归树f(x)的生成；

Z₁(m,n)＝{X|X_j≤n}and Z₂(m,n)＝{X|X_j＞n} (5)

其中(x_i,y_i)是z区域(R₁,R₂,...,R_Z)中i＝1,2,...,N的样本，c_m是对模型的响应，是最优值，m是分离变量，n是分离点，I是示性函数；

步骤5：从步骤3得到的气象数据和步骤4得到的覆盖整个区域的AOD数据中提取PM2.5监测站点坐标对应的气象数据值以及AOD值，按照时间和空间将提取出来的AOD值和气象数据值与PM2.5站点值进行匹配，匹配后的数据按7:3的比例分割成训练集和测试集；构建第f个时间节点的特征向量基数T_f：

T_f＝[x₁,x₂,...,x_n,...,x_N] (8)

其中，x₁表示T个时间节点中第f个时间节点的PM2.5的值，x_n表示T个时间节点中第f个时间节点的第n个空气参数的值；

步骤6：建立长短时记忆网络模型；长短时记忆网络模型包括LSTM层和Dense层，初始化长短时记忆网络模型的参数并将覆盖整个研究区域的AOD数据及完整的气象变量输入，得到输出预测值W，将输出预测值W与监测站点真实值Y进行对比，根据误差微调网络参数，实现降低误差；遗忘门、输入门、循环门和输出门为长短时记忆网络模型的结构：

a.遗忘门：将信息进行选择性遗忘，减少模型的记忆负担；

f_t＝σ(W_f·[h_t-1,x_t]+b_f) (9)

b.输入门：将信息进行选择性记忆：

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (10)

c.循环门：更新当前时刻的状态：

d.输出门：完成模型输出；

o_t＝σ(W_o·[h_t-1,x_t]+b_o) (12)

h_t＝o_t*tanh(C_t) (13)

式中，σ为sigmoid函数，Wo和bo作为待定系数在后续进行训练学习，h_t-1是上一阶段的输出，x_t是当前阶段的输入，式中的C_t-1记录了上一时间节点的信息；

步骤7：将得到的输出预测值进行可视化，得到整个研究区域的PM2.5浓度反演图。