CN111859800B - 用于pm2.5浓度分布的时空估算和预测方法 - Google Patents

用于pm2.5浓度分布的时空估算和预测方法 Download PDF

Info

Publication number
CN111859800B
CN111859800B CN202010682595.9A CN202010682595A CN111859800B CN 111859800 B CN111859800 B CN 111859800B CN 202010682595 A CN202010682595 A CN 202010682595A CN 111859800 B CN111859800 B CN 111859800B
Authority
CN
China
Prior art keywords
model
aod
prediction
data
concentration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010682595.9A
Other languages
English (en)
Other versions
CN111859800A (zh
Inventor
张光远
芮小平
逯海玥
于光夏
范永磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202010682595.9A priority Critical patent/CN111859800B/zh
Publication of CN111859800A publication Critical patent/CN111859800A/zh
Priority to ZA2021/00503A priority patent/ZA202100503B/en
Application granted granted Critical
Publication of CN111859800B publication Critical patent/CN111859800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02—Investigating particle size or size distribution
    • G01N15/0205—Investigating particle size or size distribution by optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Dispersion Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了用于PM2.5浓度分布的时空估算和预测的方法。用于PM2.5浓度分布的时空估算和预测的方法包括：细粒度气溶胶光学厚度(AOD)的采集与校正，计算细粒度PM2.5的回归模型，以及细颗粒PM2.5浓度分布预测。通过对几种回归模型和机器学习模型的比较，确定了XGBoost模型作为该框架下的估计模型，其均方根误差(RMSE)最低为32.86μg/m3，R2最高为0.71。经过10次验证和与传统时间序列预测模型——季节自回归差分移动平均(SARIMA)模型的时空对比，ConvLSTM的预测精度更高，总平均预测RMSE为14.94μg/m3，而SARIMA的预测精度为17.41μg/m3。此外，ConvLSTM在时间上的波动较小，稳定性较好，在空间上也能较好地消除预测精度的空间差异。

Description

用于PM2.5浓度分布的时空估算和预测方法
技术领域
本发明涉及环境领域，具体地，涉及用于PM2.5浓度分布的时空估算和预测方法。
背景技术
PM，颗粒物的缩写，指空气中运动当量直径小于等于2.5微米的颗粒物。大量的观测研究表明，PM2.5的质量浓度主要受各种污染源和气象条件的影响。以PM2.5为主要污染物的大气重污染事件，对人们的日常出行和社会活动产生重大影响。已经证实，细颗粒物的浓度与心肺疾病和呼吸系统的发病率和死亡率呈正相关。如果人们生活在空气污染物浓度过高的环境中，会因吸入污染物过多而产生急性健康风险，如慢性呼吸道疾病、心血管疾病等。研究表明，PM2.5可渗透到肺和支气管，长期接触PM2.5可增加呼吸系统疾病和心血管疾病的发病率和死亡率；PM2.5直径小，质量好，在大气中停留时间长，传输距离长，因此，它会严重影响大气能见度，对人们的日常生活和社会活动产生不良影响。因此，快速准确地预测PM2.5浓度已成为大气污染防治领域的研究热点。
发明内容
本发明提供了一种用于PM2.5浓度分布的时空估算和预测的方法，包括：
细粒度气溶胶光学厚度(AOD)的采集与校正，包括：
处理MCD19A2、GEOS FP和地面气象观测数据的原始数据集，选择并定义从MCD19A2中提取的AOD为AOD-0数据集，在GEOS-FP数据的基础上，利用自然邻域插值方法将PBLH转换成与AOD数据集相同的栅格格式文件，便于AOD的校正；
使用相对湿度分布数据集修正AOD-0。校正方程如下，
Figure GDA0003759108780000021
其中RH表示相对湿度，AOD0表示AOD-0，AOD1表示AOD-1，对于每一个对应的单元，使用函数来修正AOD-0，然后得到AOD-1分布；
基于AOD-1和PBLH数据集，使用下面的公式第二次修正AOD：
Figure GDA0003759108780000022
其中AOD1是AOD-1，AOD2是AOD-2。最后得到了AOD-2分布，即修正后的精细时空AOD分布；
计算细粒度PM2.5的回归模型：
对空气质量观测数据进行预处理，提取16个空气质量站点的PM2.5小时浓度值，再利用地面气象观测资料提取风速和降水值；
计算151天内16个站点PM2.5浓度、风速和降水的日平均值，对AOD-2光栅图像进行相同的预处理；
从151天和16个站共得到151×16＝2416组变量，利用回归模型和机器学习方法，建立PM2.5浓度与其他自变量之间的估计模型，并进行精度比较，其中，回归模型包括线性模型、脊模型、最小绝对收缩和选择算子(LASSO)模型、立体模型和极端梯度增强(XGBoost)模型；
建立PM2.5浓度与AOD之间的模型，并利用该模型估计整个研究区PM2.5的空间连续分布，使用块统计和缺失值填充(BSMP)方法使AOD成为完整的空间连续分布；
细颗粒PM2.5浓度分布预测：
在数据集上应用两个预测模型：SARIMA和ConvLSTM，在预测部分，建立一个类似鱼网的网格，将整个研究区域按不同时间的每个分布划分为正方形单元，研究区域为165×165km2，为使数据结构更适合预测模型，该区域网格由50×50＝2500个单元组成，每个单元为3300×3300m2；
将PM2.5网格输入到ConvLSTM模型中进行10次预测，使用从原始数据集中提取的10个不同的数据组，每组由151-9＝142天的数据组成，每训练一次142×20％≈114天的模型，并对接下来28天的数据进行测试；
经过10次的训练和预测，通过计算测试数据和预测数据的均方根误差(RMSE)和决定系数R2回归得分函数来评估结果。
通过对几种回归模型和机器学习模型的比较，确定了XGBoost模型作为该框架下的估计模型，其均方根误差(RMSE)最低为32.86μg/m3，R2最高为0.71。经过10次验证和与传统时间序列预测模型——季节自回归差分移动平均SARIMA)模型的时空对比，ConvLSTM的预测精度更高，总平均预测RMSE为14.94μg/m3，而SARIMA的预测精度为17.41μg/m3。此外，ConvLSTM在时间上的波动较小，稳定性较好，在空间上也能较好地消除预测精度的空间差异。
附图说明
图1示出了预测PM2.5浓度框架的工作流程。
图2示出了研究区域(石家庄市)空气质量站点分布情况。
图3示出了BSMP方法的工作流程，其中，(a)示出了原始栅格(Original Raster)，(b)示出了块统计栅格(Block statistic raster)，(c)示出了缺失值插值(Missing-valuePadding)。
图4示出了PM2.5浓度分布时间序列的验证策略。
图5示出了AOD和PM2.5浓度与XGBoost回归结果的关系：(a)AOD和PM2.5的线性回归结果；(b)显示了观测和估算PM2.5浓度的预测和比较结果；(c)是训练后的XGBoost模型中特征重要性排序的重要性分析结果。
图6示出了预测10组PM2.5浓度损失与历元数的关系。
图7示出了测试、ConvLSTM预测和SARIMA预测PM2.5浓度。(a)到(i)分别说明10组比较结果。
图8示出了SARIMA和ConvLSTM模型的RMSEs。所有组的数据共享相同的x轴，而在y轴上，有10个箱子，每个箱子跨越RMSE从0到50，其中50个也可能是下一个箱子的开始。
图9示出了空间上SARIMA和ConvLSTM模型RMSEs的频率分布直方图。所有子块的x轴显示RMSE值，而y轴表示频率。(a)至(t)交替表示SRIMA和ConvLSTM的RMSE频率分布。
图10示出了SARIMA和ConvLSTM模型RMSEs的空间分布。(a)至(t)交替显示石家庄SRIMA和ConvLSTM的RMSE图。
具体实施方式
下面的实施例可以使本领域技术人员更全面地理解本公开，但不以任何方式限制本公开。
PM2.5浓度受研究区地形、排放位置、排放速率和气象因素的影响，具有很强的非线性特征，同时，同一分布区的PM2.5观测值之间存在潜在的相互依赖关系，因此PM2.5变量之间存在一定的空间自相关。为了提高PM2.5的预测精度，保证算法的可靠性，本文采用卷积长短期记忆(ConvLSTM)模型和改进的长短期记忆(LSTM)模型，在LSTM模型中加入卷积运算，提取空间特征，对PM2.5的时空分布进行预测第二天或第二天的PM2.5。
在研究和预测PM2.5时，获取整个研究区域的PM2.5数据对提高整个研究的精度是非常重要的。目前，PM2.5浓度数据主要分布在地面监测站和卫星数据上。在获取PM2.5数据时，地面监测站的数据是按点分布的，很难利用有限的监测设施获取全局的PM2.5数据，因此，空间插值(一种基于同一区域已知数据推断未知数据的方法)可以弥补这一不足，常用的方法有距离加权反插值、趋势面插值、普通kriging插值、协同kriging插值、径向基函数插值等。考虑到获得PM10和TSP数据比获得PM2.5数据和丢失PM2.5数据更容易，Hwa Lung等人提出计算台北市PM2.5/PM10与PM2.5/TSP比值的BME算法，结合PM10与TSP对PM2.5数据进行插值，并回顾性估计历年PM2.5的时空分布。在此基础上，解释研究区排放格局的潜在和暂时变化。结果表明，该算法能较准确地估算出历年的PM2.5浓度，但仍不能适应只有PM2.5数据的情况，PM2.5/PM10和PM2.5/TSP比值的稳定性是以年时段为基础的，而不是以月、周、日等较短时段为基础；在没有监测的地区设施中，最常用的辅助数据是AOD(气溶胶光学厚度)，即大气垂直方向气溶胶消光系数的积分，它与辐射波长、垂直剖面、粒径分布和气溶胶粒径有关。研究发现，在可见光和近红外波段，颗粒物的粒径特别是PM2.5的粒径范围与AOD从0.1-2nm的倒转密切相关，PM2.5与AOD的相关性受气象因素(AOD垂直剖面、温度、湿度、风速等)的影响地理因素(区域类别、道路分布、森林覆盖等)对建立PM2.5与AOD的关系具有重要意义。因此，基于这些辅助因子和AOD数据建立相应的预测模型，可以有效地获得PM2.5数据，从而对PM2.5浓度进行监测和预测；考虑到监测站的局限性和分布的不均匀性，Rui等利用AOD数据，引入多元线性回归模型，发现了PM2.5、AOD、气象因子和理化因子之间的相互作用，最后建立了北京市PM2.5浓度的定量插值模型。结果表明，该模型能较准确地分析研究区PM2.5的时空分布，但不考虑时间和区域的变化，不考虑提供AOD数据的卫星数据的分辨率，不考虑PM2.5的详细组成，对提高研究区PM2.5的精度具有重要意义模型。本文采用ConvLSTM模型对北京市PM2.5浓度进行预测，在已有的地面监测站PM2.5数据的基础上，利用距离反比权(IDW)得到综合历史PM2.5数据。该模型在一定程度上具有较高的时间分辨率，能够有效地预测未来每小时的PM2.5浓度，从而为人们的出行和社会活动提供准确的预警信息。
随着雾霾等对人们产生不良影响的大气污染事件的发生，国内外许多学者开始对PM2.5浓度进行研究和预测。元华等采用BP人工神经网络对北京市PM2.5浓度进行预测，发现它能很好地反映PM2.5浓度的变化，在此基础上对PM2.5浓度进行了预测，但该模型对结构和算法的合理性要求较高，参数设置复杂；洪福等利用历史PM2.5数据，建立了基于GM(1,1)理论的长春市未来2天PM2.5浓度预测模型，结果表明，该模型预测效果良好，可用于霾事件的预测，但时间分辨率较低，不是1天或2天，而是1天或2天1小时或2小时；Bingyue采用极端梯度Boosting(XGBoost)算法对天津市空气质量数据进行监测，并预测了PM2.5浓度，该算法在数值计算方面具有较高的精度、较低的过拟合概率和较好的性能，但该研究只使用一个监测站的数据(数据不是多变量的，没有综合性)，XGBoost算法有限；健平等发现NOAA-NAQFC(国家空气质量预报能力)提供的预报指导具有明显的季节性偏差，冬季出现预报超差现象，夏季出现预报超差现象。为了减少偏差，研究人员将模拟集合偏差相关方法与NAQFC相结合，预测了美国中部偏下、中部偏上、东南部和东北部、太平洋沿岸、落基山脉的PM2.5浓度，结果表明，与传统的预测模型相比，这种模拟集成偏差相关方法可以提高预测精度和预测能力，但当有特殊事件发生时，PM2.5浓度会很高，从而限制了预测精度的提高。考虑到空间数据对时间预测模型也很重要，Lei等人提出了空间数据辅助增量支持向量回归(SaIncSVR)模型，用于预测新西兰奥克兰13个监测站的PM2.5浓度，结果表明，与单纯的时间IncSVR预测模型相比，加入空间域数据的模型更能较好地处理许多预测模型中存在的短期和缺失数据问题，但该模型没有考虑监测站的地理特征，这对监测站的预测能力至关重要模型；RH-Zong等人引入RNN(递归神经网络)模型，利用北京、成都、沈阳的气象资料和PM2.5浓度资料，尝试建立一个通用的预测模型，发现基于其中一个城市的数据的预测模型可以推广到另外两个城市，表明两者之间存在着密切的关系PM2.5源汇与环境驱动因子之间存在内在的相关性，而且这种相关性在城市中普遍存在；机器学习算法在处理非线性数据时具有较强的表达能力，但不同算法在使用相同数据时具有相似的预测精度，以提高预测精度，叶刚基于自适应BP神经网络算法建立了重庆涪陵PM2.5浓度与AOD、气象因子小时预报值的关系。该算法具有自适应训练和调整的能力，能很好地抑制过拟合现象，但PM2.5浓度时间序列预测受多种因素影响，历史数据量不足，降低了模型的精度；Wei等人提出了利用主成分分析(PCA)算法和LSSVM算法对支持向量机算法进行改进，并用CS算法进行优化，其中PCA算法准确地提取有用信息，降低了输入层的维数，LSSVM降低了计算复杂度，这种混合策略不仅提高了预测精度，同时也大大提高了预测速度。
目前，研究、分析和预测PM2.5浓度的算法很多，但很少考虑空间自相关，而且大多数算法的时间精度较低，无法预测未来几小时甚至几天的PM2.5浓度，对未来大气污染的建立意义不大。R、A.Bahari等人提出了MLP人工神经网络，并将温度反演作为参数加入到算法中，对德黑兰地区未来3天PM2.5浓度进行预测，结果表明，温度反演能很好地改进算法，预测精度大大提高。该算法以12小时为研究单元，绘制温度、风向、风速等图，并进行温度反演，最后预测未来小时PM2.5浓度。但预测周期达12小时，不能适应1小时等较短周期，因此可以适当缩短预测周期，提高精度，满足准确预报霾的要求。Ping等人提出了基于HDAR算法、MAF算法、LVQ算法和AFNN算法的HML-AFNN混合策略，对京津冀地区和珠三角地区PM2.5浓度进行分析预测，(1)HDAR算法选择与研究区PM2.5浓度有较强相关性的城市；(2)MAF算法从上述城市中选择影响研究区中心PM2.5浓度的时空因素和地理因素；(3)LVQ算法根据数据集的大小将所有数据集划分为若干数据集PM2.5浓度；(4)AFNN算法基于上述数据集对PM2.5浓度进行分析和预测。结果表明，该混合策略比单一算法具有更好的性能，但不考虑变量间的空间自相关，预测精度不高。为了提高预测精度，Yun等人引入基于混沌理论的多元混沌时间序列模型对北京市PM2.5浓度进行预测。首先将混沌时间序列的相空间单元扩展为多时间序列相空间单元，在此基础上构造了多时间序列相空间矩阵，最后引入RBF神经网络从状态点预测PM2.5浓度，在一定程度上实现了对PM2.5浓度的预测，该模型虽然考虑了气压、温度、风向、风速、露点等指标，具有较高的时间精度，但不考虑变量间的空间自相关，对提高预测精度也至关重要；海明等认为，由于PM2.5数据具有很强的非线性特性，监测和获取PM2.5数据存在许多困难。引入RBF神经网络算法，对经典BP神经网络进行改进，使算法具有局部学习能力。研究者选取了常规大气污染监测数据和气象因子作为变量对PM2.5浓度进行预测，结果表明，RBF模型比BP模型具有更强的预测能力，但由于缺乏样本，部分样本的预测精度降低，给算法带来困难为了适应复杂的天气，气象环境数据中存在着大量的冗余信息，因此在预测PM2.5浓度之前，有必要对数据进行滤波，消除冗余信息，陈等提出了MFD+ABC+SVR混合策略，MFD+ABC选择最优的特征数据集，其中MFD(多分形维数)作为数据集选择的评价标准，ABC(人工蜂群)提供搜索策略，最后用SVR算法预测广州、上海第二天PM2.5浓度。该混合策略优化了输入层的处理过程，提高了预测精度，但时间精度不高，不考虑变量间的空间自相关。
ConvLSTM模型是一种改进的LSTM模型，具有良好的时空特性，它不仅具有LSTM的时间建模能力，而且可以刻画CNN等局部特征。
总之，许多预测PM2.5浓度的算法关注于输入数据的去冗余和增加相关影响变量以提高预测精度，但是考虑到时间精度和空间自相关的算法并不流行。因此，本文采用考虑变量间空间自相关的ConvLSTM模型对PM2.5浓度进行预测，具有很高的时间精度(小时)，预测时间可以延长到24小时甚至几天，从而有效地提高了预测精度。LSTM模型具有递归神经网络节点的结构，能够很好地处理具有时间自相关特性的时间序列数据，而ConvlTM模型对LSTM模型进行了改进，在LSTM单元的基本结构中加入了卷积运算，使得它不仅能建立时间关系，而且能很好地处理具有时间自相关特性的时间序列数据LSTM还可以提取出CNN等时空特征，并能很好地处理时空序列变量。本文收集历史上的PM2.5数据，输入ConvLSTM模型，对未来一天或几天内PM2.5浓度的时空分布进行预测，可以有效地提高预测的稳定性和准确性。
目前，PM2.5浓度分布在公共卫生、政府管理和学术研究等方面发挥着重要的作用，而对PM2.5浓度在细粒度时空分布的预测对于控制未来形势具有重要意义。然而，目前的研究大多集中在对空间PM2.5分布的预测上，即利用监测站得到的某些PM2.5值来估计没有监测站得到数据的PM2.5值(为了减小偏差，称这种空间预测为估计)。已有研究考虑了PM2.5浓度的相关影响变量，对未来的PM2.5浓度分布进行了预测，但很少考虑变量间的空间自相关，这会造成较大的误差。同时，预测的PM2.5浓度分布的时空分辨率不够精细。此外，很少有研究将空间估计和时间预测结合起来，形成一个完整的框架，这给希望利用原始数据集预测整个研究区域内PM2.5浓度分布的工作人员提供了很大的便利。
因此，在本申请中，基于原始数据集，包括2019年1月1日和2019年5月31日(151天)的气溶胶光学厚度(AOD)、监测点的PM2.5浓度等，建立了一个完整的框架来预测中国石家庄市的PM2.5浓度日分布。预测的空间分辨率为3300米。
材料与方法
本申请总共使用了7种原始数据集，包括MCD19A2、GEOS FP、空气质量观测数据、地面气象观测数据、SPOT/植被、ERA中期和SRTM数据集(这些数据集将在下面详细介绍)。框架的方法由3个主要部分组成，共9个步骤，如图1所示。阐述了获得精细时空AOD分布的过程，并在此基础上建立回归模型计算PM2.5浓度分布的过程。最后，在训练细颗粒时空PM2.5浓度分布的基础上，利用ConvLSTM对测试分布进行了预测，并与SARIMA模型进行了比较，验证了模型的准确性。
1.1材料
1.1.1研究区域和时间
本研究区域以石家庄市为研究对象，主要研究区域为165公里长的正方形区域，涵盖了石家庄市境内的所有区域。城市和行政单位的位置如图2所示。研究时间为2019年1月1日至2019年5月31日，共5个月151天。接下来的两个小节分别介绍了数据的细节和框架的方法。
1.1.2数据源
MCD19A2是基于大气校正(MAIAC)算法的陆面二级网格化(L2G)气溶胶光学厚度产品的多角度实现的缩写，它由Terra和Aqua MODIS两个数据源导出。该L2G产品每天以1km像素分辨率生产。以下科学数据集(SDS)层：0.47μm蓝色波段AOD，0.55μm绿色波段AOD，水上精细模式分数，AOD不确定度，烟雾注入高度(地上m)，陆地和云层柱状水汽(cm)，AOD QA，太阳天顶角余弦，1km AOD模型，视天顶角余弦，散射角，相对MCD19A2 AOD数据产品包括方位角和5公里处的闪烁角。本产品还包括一个低分辨率浏览图像，显示0.47μm处蓝色波段的AOD，该AOD是使用所有可用轨道的组合创建的。从产品中，可以得到空间细粒度的AOD数据集。AOD是每日数据集，它包含卫星在一天内通过图像区域时收集的数据，因此每日数据包含不同数量的数据(取决于一天中的传输次数)。为了统一研究期间aod之间的时间间隔，本申请计算了日平均aod并将其转换为图像格式。2019年1月1日至5月31日共有151张AOD图像。
GEOS FP文件由网络通用数据格式(NetCDF-4)库生成，该库的底层格式为分层数据格式版本5(HDF-5)。获取的GEOS-FP文件的标准是tavg1_2d_flx_Nx(2d时间平均表面通量诊断)。该文件包含行星边界层高度(PBLH)、表层高度(HLML)、总降水量(PRECTOT)等。利用全球模式同化办公室(GMAO)的GEO-FP资料，可以获得石家庄地区2019年1月至2019年5月的逐时行星边界层高度(PBLH)资料。
本申请中的国家空气质量观测数据来源于中国环境监测点的国家城市空气质量实时发布平台，包括PM2.5、PM10、SO2、NO、CO等小时值。在本申请的研究区域，有16个空气质量站点，提取了这些站点上的PM2.5值作为回归模型的因变量。数据集的时间分辨率为1小时，空气质量站点的分布如图2所示。
地面气象观测数据来自中国国家气象科学数据中心，包括气压、气温、相对湿度、风速、水汽压降水等因素的逐时观测。所有这些数据都是由地面气象站获得的。在本申请的研究区域，共有31个观测站，根据之前的研究，提取了风速(m/s)、降雨量(mm)和相对湿度(百分比)作为回归模型中的关键自变量。数据集的时间分辨率为1小时，气象站的分布如图2所示。
NDVI(normalized difference vegeture index，归一化差分植被指数)能够准确反映地表植被覆盖情况。该数据集来源于SPOT卫星平台上的植被传感器。可见光和红外区域的地表反射率测量可从SPOT4(1998年4月发射)上的植被仪器和SPOT5(2003年2月以来)上的植被仪器获得。目前，NDVI时间序列数据已广泛应用于土地利用/覆盖变化检测、植被动态变化监测、宏观植被覆盖分类和净初级生产力估算等研究。该数据集有效地反映了我国不同地区植被覆盖的时空分布和多样性。对监测植被变化、合理利用植被资源等与生态环境有关的研究领域具有十分重要的参考意义。本申请使用了中国2018年1km2空间分辨率的年度NDVI数据。
在本申请中，需要覆盖研究区域和时期的每日反照率数据。该数据可从欧洲中期天气预报中心(ECMWF)获得，该中心以0.25°×0.25°的水平分辨率重新分析中期(ERA中期)每日数据。这些覆盖全球的数据适合在世界不同地区进行气候研究，因为它们是长期可用的。ERA中期月平均全球网格气象数据(完全由Berrisford等人描述)。从2018年1月1日到2018年5月31日，用于提取相应的每日反照率栅格数据集。
航天飞机雷达地形任务(SRTM)是国家地理空间情报局(NGA)和美国国家航空航天局(NASA)的一个联合项目，为数字高程模型(DEM)SRTM数据的生成提供了重要的一步。本申请从科学出版社2009年出版的1:100万中国地貌图中提取高程数据作为估算PM2.5的重要特征，数据的空间分辨率为90米。
1.2方法
该框架由3个部分组成，包括9个步骤，本节将介绍使用方法和过程，如图1所示。
1.2.1第一部分：细粒度AOD采集与校正
第一部分的目的是计算具有修正过程的时空精细AOD分布。计算修正的AOD分布有三个步骤。
空气湿度对气溶胶光学厚度(AOD)有影响，随着湿度的增加，气溶胶的吸湿性和溶解性粒子的大小也相应增大。空气湿度和气溶胶光学厚度之间存在正相关。此外，PBLH对表面PM2.5与AOD的关系也有影响。PBLH越大，AOD越大，但表面PM2.5浓度可能较低。考虑到这种影响，本申请使用相对湿度和PBLH来校正AOD。
因此，首先，本申请重新处理MCD19A2、GEOSFP和地面气象观测数据的原始数据集。本申请选择并定义从MCD19A2中提取的AOD为AOD-0数据集。然后在GEOS-FP数据的基础上，利用自然邻域插值方法将PBLH转换成与AOD数据集相同的栅格格式文件，便于AOD的校正。在地面气象观测数据方面，只提取31个站的小时相对湿度数据，然后计算每个站每天的相对湿度平均值。对于日平均相对湿度，使用逆距离加权(IDW)方法将点数据空间插值到整个研究区域。最终的相对湿度分布是图像文件，其中单元表示1km平方的空间面积，这与AOD-0图像相同。
第二步，使用相对湿度分布数据集首次修正AOD-0。校正方程如下，
Figure GDA0003759108780000121
其中RH表示相对湿度，AOD0表示AOD-0，AOD1表示AOD-1。对于每一个对应的单元，使用函数来修正AOD-0，然后得到AOD-1分布。
第三步，基于AOD-1和PBLH数据集，使用下面的公式第二次修正AOD：
Figure GDA0003759108780000122
其中AOD-1是AOD1，AOD2是AOD-2。最后得到了AOD-2分布，即修正后的精细时空AOD分布。
1.2.2第2部分：计算细粒度PM2.5的回归模型
PM2.5与AOD有很高的相关性，而其他气象因素也影响PM2.5的浓度。然而，只能在特定的空气质量点上获得准确的PM2.5浓度值，如果想要得到PM2.5的空间连续分布，则需要根据AOD和其他关键因素来估计浓度。因此，本部分的目的是根据现场点的地面真实PM2.5浓度数据建立一个回归模型，然后利用该模型对研究区的整个分布进行估计。本部分共有4个步骤，步骤的索引将继续遵循上一部分的索引。
第四步，对空气质量观测数据进行预处理，提取16个空气质量站点的PM2.5小时浓度值。再利用地面气象观测资料提取风速和降水值。在研究期间，仍然使用IDW获取这两种天气状况的栅格格式图像。
第五步，计算151天内16个站点PM2.5浓度、风速和降水的日平均值。对AOD-2光栅图像进行了相同的预处理。研究表明，PM2.5-AOD关系可以建立一个多变量函数，它与许多影响因素有关。根据文献资料，以下参数可能有助于PM2.5的估算：湿度、反照率、降水、NDVI、风速和海拔，这些参数是为建模而构建的，其中PM2.5为因变量，其他参数为独立变量。
第六步，最终从151天和16个站共得到151×16＝2416组变量。我们需要建立一个估计模型来估计整个研究区域的PM2.5。立体主义回归模型是估算地面PM2.5浓度的最佳选择，同时，其他一些研究也验证了立体主义模型在类似情况下的良好性能。然而，由于每种情况都有其不同的情况，本申请选择了一些传统的回归模型和机器学习方法，建立了PM2.5浓度与其他自变量之间的估计模型，并进行了精度比较。
在这一步骤中，使用回归模型并进行比较，包括1)线性模型，2)脊模型，3)最小绝对收缩和选择算子(LASSO)模型，4)立体模型和5)极端梯度增强(XGBoost)模型。套索是一种变量选择和正则化方法，它可以强制一些二次系数为零，以便收缩系数。它可以提高模型的解释能力，减少过拟合。Cubist是一个基于规则的树模型，它使用M5理论在树的末端节点生成多个线性回归模型。在对终端节点进行预测时，可以采用相应的线性回归模型进行预测，并将终端节点的预测与树中最近邻节点的预测相结合进行平滑，从而提高预测精度。此外，cubist还构建了几个树模型(称为committees)，其中基于规则的模型被构建到每个树模型中。最后的预测可以通过平均所有委员会的预测得到。XGBoost是一种基于梯度提升框架原理的集成树方法，它可以通过正则化技术控制模型的拟合和复杂度。
第七步，建立了PM2.5浓度、AOD与其它必要气象条件之间的模型，并利用该模型估计了整个研究区PM2.5的空间连续分布。由于AOD在空间上有许多缺失值，因此需要在已有数据的基础上对缺失数据进行插值。在这里，使用块统计和缺失值填充(BSMP)方法使AOD成为完整的空间连续分布。BSMP方法适用于栅格或图像，由两部分组成。块统计工具进行邻域运算，输入像素计算统计信息，这些像素属于一组固定的不重叠窗口或邻域。这些统计信息(例如，最大值、平均值或和)适用于每个邻域中包含的所有输入像素。在得到单个邻域或块的计算结果值后，指定一个邻域，并将计算结果分配给邻域内最小边界矩形中包含的所有像素位置。缺失值填充是将原始栅格与块统计后生成的新栅格合并。已具有值的单元格将保留原始值，而缺少值的单元格将从块统计中获取新值。BSMP的工作流程如图3所示。
1.2.3第三部分：细颗粒PM2.5浓度分布预测
最后一部分是预测框架的核心部分，分为两个步骤来预测细粒度时空PM2.5浓度。继续呈现第八步和第九步。
第八步，在数据集上应用两个预测模型，SARIMA和ConvLSTM。在预测部分，本申请建立了一个类似鱼网的网格，将整个研究区域按不同时间的每个分布划分为正方形单元。由于研究区域为165×165km2，为使数据结构更适合预测模型，该区域网格由50×50＝2500个单元组成，每个单元为3300×3300m2。
数据输入为151幅PM2.5浓度分布图。然而，将数据输入到这两个模型的方法是不同的。在SARIMA模型中，把每个单元看作一个单一的输入，这意味着每个单元都有一个由151个浓度值组成的时间序列，而这个模型将被建立2500次，因为有2500个单元。
本申请中使用的SARIMA模型是一类单变量模型，将此模型应用于PM2.5浓度时间序列的预测。
由于PM2.5浓度分布在特定的空间区域(如一个城市或省份)随时间变化，需要确定它们在数据集中是否具有趋势分量。初始过程是zt级数的一阶差由wt给出，单位间距上级数中点之间的差，计算为wt＝zt-zt-1。也可以用后移算子B来写wt，即wt＝(1-B)zt，从而得到dth阶差分为(1-B)dzt。
除了对潮流的判断，季节性也需要表现出来。因此，通过形成季节性差异wt＝zt-zt-1＝(1-Bs)zt，其中s是数据的季节性周期，扩展了上述普通差分的概念。因此，季节自回归综合移动平均(SARIMA)是最普遍的Box-Jenkins模型，其形式如下：
φ(B)Φ(Bs)(1-Bs)D(1-B)dzt＝θ(B)Θ(Bs)at， (3)
φ(B)＝1-φ1B-…-φpBp， (4)
θ(B)＝1-θ1B-…-θqBq，
Θ(Bs)＝1-Θ1BS-…-ΘQBsQ，
其中p表示自回归阶，q表示移动平均阶，d表示差分运算次数，p、d和q表示相应的季节阶。
在剔除趋势和季节性因素后，模型拟合过程包括识别、参数估计和诊断验证。基于估计自相关函数(ACF)和估计部分自相关函数(PACF)，在识别阶段提出了一种尝试性的自回归滑动平均(ARMA)过程。将PM2.5浓度时间序列的ACF和PACF形状与理论模型的形状进行比较。在这个比较中，可以定义p和q以及ARMA模型的阶数。
值得一提的是，在本申请中，每验证一次(总共10次)，因为需要用SARIMA对2500个单元的PM2.5浓度时间序列进行2500次建模，将需要大量的计算工作，耗费大量的计算机时间和功率。为了简化这个过程，对于每一个由2500个单元组成的分布，计算出PM2.5的平均浓度。将151个PM2.5浓度平均值作为最后一个时间序列来计算SARIMA的参数，然后仍然对每个单元2500个时间序列中的2500个时间序列进行建模，但是使用的参数与最后一个平均时间序列计算的参数相同。
长短期记忆(LSTM)是一种递归神经网络(RNN)节点结构，它能很好地处理时间序列数据，且通常具有时间自相关性。各种互连门对单元状态的影响是LSTM的核心概念。单元状态作为传输通道，相关信息作为网络的“存储器”沿序列链向下传输。在序列处理的整个过程中，单元状态可以携带相关信息。因此，即使来自较早时间步的信息也可以进入较晚时间步，从而将短期记忆的影响降至最低。随着单元状态的发展，信息通过门被添加或移除，就像一种神经网络，它通过学习相关信息来决定哪些信息可以在单元状态(训练期间)存在。在LSTM网络中，在每个时间步骤t，隐藏状态hút由当前数据更新，即，同时步骤Xt、上一时间步骤ht-1、输入门it、输出门ot和存储单元Cút也被更新。该模型的基本原理与ConvLSTM模型相同。因此，这里不再重复这个方程，稍后将在ConvLSTM模型的介绍中描述。
ConvLSTM模型是LSTM的一个变种，用于处理时空预测。它最初是由Shi等人提出的。首先，它被用于降水的实时预报，其中实时预报是一种利用速度和运动方向的估计值进行预报的极短距离预报技术。在本文中，遵循ConvLSTM的公式，它包括输入X1，...，Xt，s单元输出C1，...，Ct，隐藏状态h1，...，ht和门it，ft，ot，并使用三维(3D)张量结构。在ConvLSTM网络输入元素的三维时空张量中，前两个维度是空间维度，第三个维度是时间维度。与原始LSTM模型一样，从输入到状态和从状态到状态的转换涉及到三维输出张量的卷积。下式可用于进一步建立模型，其中，‘*’表示卷积运算，“°”表示Hadamard积。
Figure GDA0003759108780000161
Figure GDA0003759108780000162
Figure GDA0003759108780000163
Figure GDA0003759108780000164
Figure GDA0003759108780000165
在上述方程中，it、ft和ot是输入门、遗忘门和时间步t的输出。Ct是时间步t的单元输出。ht是时间步t的单元的隐藏状态。Sigmoid(σ)被用作三个门的门函数，因为它输出的值介于0和1之间。它要么不允许信息流通过门，要么允许完整的信息流通过门。另一方面，为了克服梯度消失的问题(即用基于梯度的学习方法和反向传播来训练人工神经网络的问题)，需要一个函数(tanh)，该函数的二阶导数在归零之前可以保持较长的范围。W和b是训练过程中需要学习的权值矩阵和偏差向量参数。然后将PM2.5网格输入到ConvLSTM模型中进行10次预测，验证策略如下。
由于本申请中的数据集是时间序列，提出了一种交叉验证策略，如图4所示。对预测模型进行了10次验证，使用了从原始数据集中提取的10个不同的数据组。每组由151-9＝142天的数据组成，每训练一次142×20％≈114天的模型，并准备接下来28天的数据进行测试。
第九步是最后一步。
经过10次的训练和预测，本申请通过计算测试数据和预测数据的均方根误差(RMSE)和R2(决定系数)回归得分函数来评估结果。RMSE表示模型与数据之间的绝对拟合，以及观测数据点与模型预测值的接近程度，而R2表示相对拟合结果。计算这两个指标的结果作为每个单元格在一个时间间隔(一小时)的平均结果。然而，为了在不同尺度上对两种模型进行评价比较，本申请只使用反映绝对值的RMSE，在时间和空间上分别对两种结果进行图形化和评价，便于区分。
在时间尺度上，每一个由2500个单元组成的鱼网(网格)有三个特征：原始PM2.5浓度值(F1)、SARIMA预测PM2.5浓度值(F2)和ConvLSTM预测PM2.5浓度值(F3)。计算了2500F1和2500F2之间的RMSE，结果定义为R1。然后计算2500F1和25000f3之间的RMSE，结果被定义为R2。因为每个验证组有28天需要测试，所以有28个R1和28个R2可以按时间流安排。当验证建模10次时，有10组结果。每组有28个R1和28个R2。反映两种预测结果准确性的R1和R2可以在时间尺度上进行评估和比较。
在空间尺度上，根据上述讨论，每个鱼网中的每个单元都有三个特征，对于不同鱼网中的同一个单元，分别提取了28f1、28f2和28f3。然后计算28f1和28f2之间的RMSE，将结果命名为R3，并计算28f1和28f3之间的RMSE，将结果命名为R4。平均有2500R3和2500R4。因为本申请对模型进行了10次验证，所以会有10组结果。R3和R4反映了两种预测结果的准确性，可以在空间尺度上对两种预测模型进行评价和比较。
2.结果
首先对各种估算方法的结果和比较进行说明和讨论，然后用最精确的方法建立模型，对整个研究区域和研究期间的时空细颗粒PM2.5浓度进行估算。然后用SARIMA模型和ConvLSTM模型对预测结果进行交叉验证，最后报告两种模型的精度比较。
2.1 PM2.5估算模型
2.1.1模型性能与比较
按照第二部分第5步的工作流程，使用5种方法根据6个特征估计PM2.5浓度。由于MODIS卫星轨道间距、云层覆盖问题以及反演算法的局限性，AOD数据集上存在多个空值，本申请从2416个数据阵列中提取1159个空值输入到模型中。在这里，使用5倍验证策略来测试模型。具体过程是，首先，将数据集划分为5个子集，前4个子集有232个数组，而最后一个子集有231个数组(总共1159个)。然后将其中一个子集作为验证数据集，其余子集作为训练数据集。重复训练10次，直到所有子集都作为验证数据集使用一次。
在验证数据与训练数据比较的基础上，采用均方根误差(CV-RMSE)和确定系数(CV-R2)对各估计模型的精度进行评价。在确定基于精度的PM2.5估计最佳模型的同时，还进行了变重要度分析，以评价各预测因子在PM2.5预测中的贡献，该方法基于F-score测度，该测度简单地总结了每个特征在树中分割的次数。
利用auto过程对机器学习模型的参数进行优化，即为每个模型设置一个参数范围，然后进行交叉验证，得到估计结果最准确的参数集作为确定的参数。在此报告以下模型的确定参数：
·Ridge:alpha＝0.001(alpha is the regularization strength)
·LASSO:alpha＝0.001(alpha is the constant that multiplies the L1term)
·Cubist:committees＝1000
·XGBoost:max_depth＝8；subsample＝0.8；colsample_bytree＝0.8；eta＝0.3；num_boost_round＝1000.(max_depth is the maximum depth of a tree,subsample isthe subsample ratio of the training instances,colsample_bytree is thesubsample ratio of columns when constructing each tree,and num_boost_round isthe number of boosting iterations).
根据优化模型的结果，CV-RMSE的范围为32.86μg/m3至52.23μg/m3，CV-R2的范围为0.17至0.71(表1)。其中，XGBoost的性能最好，而Cubist则是由CVRMSE确定的性能最差的模型。这一结果与现有的研究有很大不同，现在研究认为后者立体模型的表现最好。之所以会发生这种情况，是因为回归或机器学习方法的性能是基于不同的地理和环境情况，在某些情况下现有研究中的结果无法使用，这验证了本申请的比较是必要的和决定性的。在最优参数下，XGBoost的CV-RMSE和CV-R2分别为32.86μg/m3和0.71，本文最后选择XGBoost建立了估计模型。表1示出了用5种估计方法对预测结果进行交叉验证。
表1
Figure GDA0003759108780000181
2.1.2 XGBoost估算
在评价观测到的PM2.5与卫星衍生AOD之间的经验关系(参见图5的(a))的基础上，观察到一个正相关但中等相关，相关系数(R)为0.58(P值<0.01)，这为使用AOD估计PM2.5浓度提供了证据。对于最佳模型，预测值和观测值与最佳拟合线(参见图5的(b))很好地吻合，表明XGBoost估计PM2.5的精度很高。最终估算的RMSE为13.31μg/m3，R2高达0.96，说明XGBoost在这种情况下确实是一个性能优良的模型。
基于变量重要度分析，对XGBoost模型贡献最大的预测因子是每日AOD和反照率(参见图5的(c))。在本申请中，基于F得分，AOD和反照率是排名前两位的特征。第三至第六个影响因子是风速、海拔、NDVI和降水。NDVI对两项研究的估计影响均不高。前3个特征对估计的影响最大，约占76％，但这3个特征之间的差异不明显。
其次，由于AOD在空间上有许多缺失值，本申请使用BSMP方法使AOD成为一个完整的空间连续分布，需要按照2.2.2节的说明，在现有数据的基础上对缺失数据进行插值，然后使用训练后的模型来估计PM2.5在空间上的分布整个石家庄市历时151天。
2.2预测
2.2.1 SARIMA
按照第2.2.3节中描述的方法，为10个验证建立了10个SARIMA模型。在每一个模型中，都使用ACF来测试时间序列是否具有空间平均PM2.5浓度的趋势性。然而，在10个验证过程中，所有时间序列组都是平稳的。同时，正常的趋势将存在于年或十年的数据期间，这意味着不需要用差异来建模数据。因此，所有验证中的参数d都设置为0。此外，由ACF工艺确定的其他参数如表2所示。然后为每2500个单元的时间序列构建SARMIA，并重复10次。由于预测结果包括时间和空间两个维度，将在第3.3节中报告最终预测结果，并对两个模型进行比较。表2示出了10个验证组的SARIMA模型参数。
表2
Figure GDA0003759108780000201
2.2.2 ConvLSTM
对于每一轮的预测，模型的参数包括核大小，设置核大小为3×3，40个卷积滤波器可以从卷积层中提取重要特征，每个滤波器有5个单位。为了提高泛化能力和防止过度拟合(这是一种与特定数据集过于接近或完全对应的分析结果，因此可能无法在机器学习或深度学习模型中可靠地拟合额外数据或预测未来的观察结果)，在模型中，经常性体重下降被设置为0.2；训练次数(历次)被设置为500，而使用Adam优化器，学习率为0.001，衰减率为0.9。
图6显示了结果的训练时间和平均绝对误差(MAE)，在机器学习或深度学习中称为损失函数。结果表明，当epoch小于30时，损失迅速下降，但当epoch大于30小于200时，10组损失的平均值开始缓慢下降。经过200个时期后，平均损耗下降很慢，在100左右基本稳定。在下一节中，将分析这两个模型的预测结果的准确性。
2.3精度分析
预测结果的总体精度可以用实测值和预测值的RMSE来反映。表3列出了10个验证中2500个单元格的两个预测结果的总平均RMSE。结果表明，ConvLSTM模型的预测精度明显高于SARIMA模型，其中ConvLSTM模型的RMSE总平均值为14.94，而SARIMA模型的RMSE预测值为17.41。由于本申请的整体过程在空间和时间尺度上都是多层的，为了比较两种预测结果，采用第2.2.3节的方法计算了RMSE结果。表3示出了10个验证组所有细胞预测结果的平均RMSE。
表3
Figure GDA0003759108780000211
注意：S是指SARIMA模型，而C是指ConvLSTM模型。
2.3.1时间上的对比
图7显示了10个不同组28天内的测试、ConvLSTM预测和SARIMA预测PM2.5浓度。可以看到，在每一组中，原始浓度随时间而变化，这是2500个单元浓度的平均值。另外两条测线与原始测线的拟合程度反映了两种模型预测的准确性。然而，这不明显地反映了预测结果的准确性，也很难看出两种模型的预测结果之间的差异。
因此，本申请计算2500F1和2500F2之间的RMSE，然后得到R1。然后计算2500F1和2500F3之间的RMSE，得到R2。图8显示了10次验证中每28天的28R1和28R2。
在图8中，可以很容易地了解到，在所有10个验证中，在28天内，ConvLSTM的预测结果的RMSE总体上高于SARIMA，这意味着ConvLSTM的预测精度在时间尺度上总体上高于SARIMA。其中G0、G1、G4、G5表现明显。在大多数日子里，ConvLSTM模型的RMSEs都低于SARIMA-one并保持在10左右，特别是在2019年5月10日至12日，SARIMA模型的预测精度低于其自身的平均水平。但在某些时期恰恰相反。例如，在2019年5月23日，SARIMA的RMSE低于ConvLSTM在第6、7、8组的RMSE。然而，总体结果显示，ConvLSTM比SARIMA具有更高的预测能力。波动较小的曲线表明ConvLSTM比SARIMA更能及时预测。
2.3.2空间上的对比
在空间尺度上，计算了168f1、168f2和168f3。然后计算28F1和2F2之间的RMSE得到R3，计算28F1和28F3之间的RMSE得到R4。在10次验证中平均有2500R3和2500R4。绘制了如图9所示的10组R3和R4的频率分布直方图，以比较两个模型在空间尺度上的预测精度。就SARIMA结果而言，所有组的RMSEs范围为0-60，而ConvLSTM范围为0-30。在所有的SARIMA模型组中，RMSE在0～10之间的范围最大，频率约为1150，其次是RMSE10～20，平均频率约为1100。就convlst而言，RMSE在10～20之间的频率范围最大，频率约为1250，其次是RMSE0～10，平均频率约为1150。虽然SARIMA的RMSEs比ConvLSTM低，但其RMSEs也较多，从20到60占10％，而ConvLSTM的RMSEs在该范围内的分布不到5％。
然后将RMSE输出为石家庄市的地图，其中，用单元格中的不同色度表示预测的RMSE值。结果如图10所示。图中较白的区域对应于用户密度预测的较高误差(RMSE)。相反，较暗的区域表示错误较低。因此，错误扫描的分布表明了预测模型在空间中的作用。
直观地说，在SARIMA的所有预测RMSE图中，有大量的白色单元格代表了预测的最高误差，这些单元格被颜色更黑的单元格包围。直观地看，SARIMA的RMSE总体分布结果中白细胞较多，预测误差较大，但分布不均匀，尤其是G1、G4和G5。然而，当我们使用ConvLSTM来预测PM2.5浓度分布时，由于在训练模型时使用了卷积，它可以考虑被包围的细胞的值，因此不存在SARIMA这样的情况，即RMSE的地图具有更黑的细胞并且相对均匀地分布。由于ConvLSTM模型考虑了空间自相关，因此更适合于PM2.5浓度分布的预测，这证明了ConvLSTM模型在空间尺度上比SARIMA模型更准确。
以上结果表明，本申请的框架能够有效地预测基于原始多资源数据库的细粒度PM2.5浓度分布。为了更好地理解我们框架的能力，本部分从两个角度来考察方法：第一，预测框架的特点；第二，框架对现有PM2.5预测理论或方法的贡献。
本申请的框架的一个重要特点是通过比较不同模型在特定场景下的估计或预测效果，选择或证明了最合适的方法，因此该方法可以被描述为相对客观和高精度的方法。第二个特点是该框架在时间预测部分不需要任何其他辅助数据集，因为本申请中的ConvLSTM模型的预测机制是基于时间自相关和空间自相关的内在机制，通过训练历史时空PM2.5分布。第三个特点是框架从多源原始数据集出发，经过数据融合、预测模型参数估计或自动选取等过程，最终得到可直接用于其他研究的预测产品。在这个过程中，框架考虑并解决了大部分可能存在的问题：例如，PM2.5浓度值只有站场数据，本申请以AOD为基础，其他气象因子为辅助，输入XGBoost模型，建立估计模型，得到空间上连续的PM2.5分布来求解；根据AOD空间缺失值问题，采用BSSS方法来弥补或填补AOD的缺失值，使AOD能够覆盖整个研究区域，进而转化为PM2.5的空间分布。
本申请不仅从数据科学理论的角度，而且从高效、高精度预测PM2.5浓度时空分布的角度，对实际问题的研究具有重要意义。
本申请提出了一个框架，不仅可以估计空间上连续的PM2.5浓度分布，而且还可以预测未来的分布。时间和空间的分辨率都是细粒度的。另外，在估计过程中，比较了一些流行的回归模型和机器学习方法，选择最准确的模型作为框架中的确定算法。在预测过程中，采用了ConvLSTM模型，并将其与传统的时间序列预测模型季节自回归综合移动平均(SARIMA)进行了比较，证明了该模型是一种精确的深度学习模型。
本文的预测框架与以往的单一预测研究有着明显的不同，因为它是基于底层的原始数据。将空间PM2.5浓度估计与机器学习方法进行比较，得到了PM2.5浓度的空间连续分布，最后用深度学习方法预测了细颗粒PM2.5浓度的时空分布。在此之前，还没有一个完整的空间估计和时间估计相结合的预测框架，也没有很多研究能够在更精确的空间分辨率和时间分辨率水平上进行时间和空间的同步预测。此外，从模型应用的角度，首次将ConvLSTM模型应用于PM2.5浓度时空分布的预测，结果也表明了该算法在该领域的有效性。因此，本研究为PM2.5浓度的时空预测方法和过程开辟了新的视角。
在当今时代，高精度、细粒度的PM2.5浓度时空预测在公共安全和环境保护决策中越来越重要。同时，PM2.5浓度数据的多源异质性和处理流程的不一致性，使得越来越多的学者和组织没有一个统一的研究框架。在这种情况下，一个完整、统一、高效、高精度的预测框架就显得尤为重要。因此，本文的研究框架使得基于原始多源数据的PM2.5浓度预测成为可能。
本文以石家庄市为例，利用气溶胶光学厚度(AOD)数据和其他补充原始数据，提出了一个完整的PM2.5浓度日分布预测框架。框架由3个主要部分和9个步骤组成。在第一部分中，框架得到了精细的时空AOD分布，然后在第二部分中建立了一个机器学习模型来估计PM2.5浓度的空间分布。最后，在训练细粒度PM2.5时空分布的基础上，利用ConvLSTM对空间分辨率为3300×3300m的测试分布进行了预测，并与SARIMA模型进行了比较，验证了模型的准确性。
第二部分比较了几种常用的回归模型和机器学习模型，包括线性回归、岭回归、套索回归、立体主义回归和XGBoost回归，建立了PM2.5监测值与AOD、湿度、降水、反照率、NDVI、风速和海拔的关系。通过优化参数和交叉验证，确定了XGBoost作为该框架下的估算模型，其RMSE最低为32.86μg/m3，R2最高为0.71。同时，针对AOD在空间上存在多个缺失值的问题，提出了一种块统计和缺失值填充(BSMP)方法，使AOD成为整体空间连续分布。在第三部分中，ConvLSTM有望成为一种适用于时空细颗粒PM2.5浓度预测的深度学习方法。经过10次时间和空间上的验证和与SARIMA的比较，ConvLSTM的预测结果更为准确，总平均预测RMSE为14.94μg/m3，而SARIMA为17.41μg/m3。具体来说，在时间尺度上，ConvLSTM比SARIMA更稳定，预测波动较小，而在空间比较上，ConvLSTM比SARIMA更能消除预测精度的空间差异。
该框架将空间估计和时间预测相结合，形成一个完整的框架，为希望利用原始数据集预测整个研究区域内PM2.5浓度分布的工作人员提供了很大的方便。
本领域技术人员应理解，以上实施例仅是示例性实施例，在不背离本申请的精神和范围的情况下，可以进行多种变化、替换以及改变。

Claims (1)

1.一种用于PM2.5浓度分布的时空估算和预测的方法，包括：
细粒度气溶胶光学厚度AOD的采集与校正，包括：
处理MCD19A2、GEOS FP和地面气象观测数据的原始数据集，选择并定义从MCD19A2中提取的AOD为AOD-0数据集，在GEOS-FP数据的基础上，利用自然邻域插值方法将PBLH转换成与AOD数据集相同的栅格格式文件，便于AOD的校正；
使用相对湿度分布数据集修正AOD-0，校正方程如下，
Figure FDA0003759108770000011
其中RH表示相对湿度，AOD0表示AOD-0，AOD1表示AOD-1，对于每一个对应的单元，使用函数来修正AOD-0，然后得到AOD-1分布；
基于AOD-1和PBLH数据集，使用下面的公式第二次修正AOD：
Figure FDA0003759108770000012
其中AOD1是AOD-1，AOD2是AOD-2，最后得到了AOD-2分布，即修正后的精细时空AOD分布；
计算细粒度PM2.5的回归模型：
对空气质量观测数据进行预处理，提取16个空气质量站点的PM2.5小时浓度值，再利用地面气象观测资料提取风速和降水值；
计算151天内16个站点PM2.5浓度、风速和降水的日平均值，对AOD-2光栅图像进行相同的预处理；
从151天和16个站共得到151×16＝2416组变量，利用回归模型和机器学习方法，建立PM2.5浓度与其他自变量之间的估计模型，并进行精度比较，其中，回归模型包括线性模型、脊模型、最小绝对收缩和选择算子LASSO模型、立体模型和极端梯度增强XGBoost模型；
建立PM2.5浓度与AOD之间的模型，并利用该模型估计整个研究区PM2.5的空间连续分布，使用块统计和缺失值填充BSMP方法使AOD成为完整的空间连续分布；
细颗粒PM2.5浓度分布预测：
在数据集上应用两个预测模型：SARIMA和ConvLSTM，在预测部分，建立一个类似渔网的网格，将整个研究区域按不同时间的每个分布划分为正方形单元，研究区域为165×165km2，为使数据结构更适合预测模型，该区域网格由50×50＝2500个单元组成，每个单元为3300×3300m2；
将PM2.5网格输入到ConvLSTM模型中进行10次预测，使用从原始数据集中提取的10个不同的数据组，每组由151-9＝142天的数据组成，每训练一次142×20％≈114天的模型，并对接下来28天的数据进行测试；
经过10次的训练和预测，通过计算测试数据和预测数据的均方根误差RMSE和决定系数R2回归得分函数来评估结果。
CN202010682595.9A 2020-07-15 2020-07-15 用于pm2.5浓度分布的时空估算和预测方法 Active CN111859800B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010682595.9A CN111859800B (zh) 2020-07-15 2020-07-15 用于pm2.5浓度分布的时空估算和预测方法
ZA2021/00503A ZA202100503B (en) 2020-07-15 2021-01-25 Method for spatiotemporal estimation and prediction of pm2.5 concentration distribution

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010682595.9A CN111859800B (zh) 2020-07-15 2020-07-15 用于pm2.5浓度分布的时空估算和预测方法

Publications (2)

Publication Number Publication Date
CN111859800A CN111859800A (zh) 2020-10-30
CN111859800B true CN111859800B (zh) 2022-10-04

Family

ID=72983040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010682595.9A Active CN111859800B (zh) 2020-07-15 2020-07-15 用于pm2.5浓度分布的时空估算和预测方法

Country Status (2)

Country Link
CN (1) CN111859800B (zh)
ZA (1) ZA202100503B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11781979B1 (en) 2020-09-10 2023-10-10 Project Canary, Pbc Air quality monitoring system and method
US11788889B1 (en) 2018-11-13 2023-10-17 Project Canary, Pbc Air quality monitoring system and method
US11810216B1 (en) 2023-02-01 2023-11-07 Project Canary, Pbc Air quality monitors minimization system and methods
US11861753B1 (en) 2023-02-01 2024-01-02 Project Canary, Pbc Air quality monitors minimization system and methods
US11887203B1 (en) 2023-02-01 2024-01-30 Project Canary, Pbc Air quality monitors minimization system and methods
US11892437B2 (en) 2019-01-23 2024-02-06 Project Canary, Pbc Apparatus and methods for reducing fugitive gas emissions at oil facilities

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139673A (zh) * 2020-11-04 2021-07-20 西安天和防务技术股份有限公司 一种预测空气质量的方法、装置、终端及存储介质
CN112330029A (zh) * 2020-11-08 2021-02-05 上海海洋大学 一种基于多层convLSTM的渔场预测计算方法
CN112508056B (zh) * 2020-11-13 2022-04-29 东南大学 基于移动多源感知的城市空气质量监测方法
CN112632721A (zh) * 2020-12-21 2021-04-09 天津大学 一种基于组合模型的mag焊接接头性能预测方法及系统
CN113281229B (zh) * 2021-02-09 2022-11-29 北京工业大学 一种基于小样本下多模型自适应大气pm2.5浓度预测方法
CN112948932A (zh) * 2021-03-05 2021-06-11 广西路桥工程集团有限公司 一种基于TSP预报数据与XGBoost算法的围岩等级预测方法
FR3122933B1 (fr) * 2021-03-09 2023-12-29 Alcom Tech Méthode d’analyse prédictive pour combler des données manquantes dans un ensemble de capteurs
CN113283614B (zh) * 2021-04-29 2023-09-12 东北财经大学 基于OcE的PM2.5浓度预测方法
CN113240170A (zh) * 2021-05-10 2021-08-10 中国地质大学（武汉） 一种基于季节性循环神经网络的空气质量预测方法
DE102021205022A1 (de) 2021-05-18 2022-11-24 Q.ant GmbH Sensoranordnung zur Detektion von Partikelmerkmalen
CN113297527B (zh) * 2021-06-09 2022-07-26 四川大学 基于多源城市大数据的pm2.5全面域时空计算推断方法
CN113468361B (zh) * 2021-06-30 2022-02-15 中国科学院地理科学与资源研究所 Ndvi时序数据补偿重建方法、装置和电子设备
CN113654959B (zh) * 2021-07-29 2023-11-17 中国科学院合肥物质科学研究院 一种烟云浓度时空分布快速反演方法及系统
CN113657028B (zh) * 2021-08-05 2023-10-20 长春理工大学 一种基于多源信息的气溶胶光学厚度在线预测方法
CN113624694A (zh) * 2021-10-11 2021-11-09 航天宏图信息技术股份有限公司 一种大气甲烷浓度的反演方法和装置
CN114004163B (zh) * 2021-11-04 2024-05-10 大连理工大学 一种基于modis和长短时记忆网络模型的pm2.5反演方法
US11774426B1 (en) * 2022-03-25 2023-10-03 Project Canary, Pbc Emissions detection system and methods
CN114720398B (zh) * 2022-05-24 2022-08-23 北京劢亚科技有限公司 一种测量碳值的空间分布的系统和方法
CN114970743B (zh) * 2022-06-17 2022-11-08 中国科学院地理科学与资源研究所 一种基于多模态深度学习的多源遥感降雨数据融合方法
CN116362130B (zh) * 2023-03-30 2023-09-08 河南大学 一种日尺度自适应建模的pm2.5全覆盖估算方法
CN116822253B (zh) * 2023-08-29 2023-12-08 山东省计算中心（国家超级计算济南中心） 适用于masnum海浪模式的混合精度实现方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376969A (zh) * 2018-12-14 2019-02-22 中南大学 基于深度学习的城市精细化人口分布动态预测方法及装置
CN110389087A (zh) * 2019-08-02 2019-10-29 中国科学院遥感与数字地球研究所 一种污染天气下的pm2.5浓度卫星遥感估算方法
CN111027662A (zh) * 2019-11-08 2020-04-17 南通大学 基于混沌量子粒子群算法优化的sd-lssvr短时交通流量预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376969A (zh) * 2018-12-14 2019-02-22 中南大学 基于深度学习的城市精细化人口分布动态预测方法及装置
CN110389087A (zh) * 2019-08-02 2019-10-29 中国科学院遥感与数字地球研究所 一种污染天气下的pm2.5浓度卫星遥感估算方法
CN111027662A (zh) * 2019-11-08 2020-04-17 南通大学 基于混沌量子粒子群算法优化的sd-lssvr短时交通流量预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于AOD数据与GWR模型的2016年新疆地区PM_(2.5)和PM_(10)时空分布特征;付宏臣等;《环境科学学报》;20200119(第01期);全文 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11788889B1 (en) 2018-11-13 2023-10-17 Project Canary, Pbc Air quality monitoring system and method
US11892437B2 (en) 2019-01-23 2024-02-06 Project Canary, Pbc Apparatus and methods for reducing fugitive gas emissions at oil facilities
US11781979B1 (en) 2020-09-10 2023-10-10 Project Canary, Pbc Air quality monitoring system and method
US11867619B1 (en) 2020-09-10 2024-01-09 Project Canary, Pbc Air quality monitoring system and method
US11810216B1 (en) 2023-02-01 2023-11-07 Project Canary, Pbc Air quality monitors minimization system and methods
US11861753B1 (en) 2023-02-01 2024-01-02 Project Canary, Pbc Air quality monitors minimization system and methods
US11887203B1 (en) 2023-02-01 2024-01-30 Project Canary, Pbc Air quality monitors minimization system and methods

Also Published As

Publication number Publication date
ZA202100503B (en) 2021-10-27
CN111859800A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111859800B (zh) 用于pm2.5浓度分布的时空估算和预测方法
CN106780089B (zh) 基于神经网络元胞自动机模型的永久性基本农田划定方法
CN110263111B (zh) 基于先验知识的土地利用/覆被信息时空监测方法
Antonanzas et al. Solar irradiation mapping with exogenous data from support vector regression machines estimations
Abbasi et al. Land suitability assessment for Paulownia cultivation using combined GIS and Z-number DEA: A case study
CN114254802B (zh) 气候变化驱动下植被覆盖时空变化的预测方法
CN111859054B (zh) 气象卫星数据的处理方法及装置
CN112380781B (zh) 基于再分析资料和不平衡学习的卫星观测补全方法
CN108764527B (zh) 一种土壤有机碳库时空动态预测最优环境变量筛选方法
CN116341724B (zh) 基于全球气候模式驱动碳循环机理模型的碳吸收预估方法
CN113902580A (zh) 一种基于随机森林模型的历史耕地分布重建方法
CN115373047A (zh) 一种协同多源遥感参量的综合遥感干旱监测方法
CN117687416B (zh) 河网水安全检测装置路径规划方法及系统
Tehrani et al. Predicting solar radiation in the urban area: A data-driven analysis for sustainable city planning using artificial neural networking
Zhang et al. SolarGAN: Synthetic annual solar irradiance time series on urban building facades via Deep Generative Networks
Fayer et al. A temporal fusion transformer deep learning model for long-term streamflow forecasting: a case study in the funil reservoir, Southeast Brazil
Mansor et al. Optimization of land use suitability for agriculture using integrated geospatial model and genetic algorithms
CN117194926A (zh) 陆上风电基地吊装窗口期预测方法及系统
CN117131991A (zh) 基于混合神经网络的城市降雨量预测方法及平台
CN116091939A (zh) 基于多尺度地理加权回归的森林地上生物量降尺度方法
Trifunov et al. A data-driven approach to partitioning net ecosystem exchange using a deep state space model
Marco et al. Maximal Temperature forecasting under spatio-temporal interrelations using Machine Learning
Geiß et al. Anticipating a risky future: LSTM models for spatiotemporal extrapolation of population data in areas prone to earthquakes and tsunamis in Lima, Peru
Butora et al. The Practical use of GIS in Agriculture
Bartosh et al. Immersive representation of urban data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant