CN114255392A - 基于卫星超光谱遥感和人工智能的二氧化氮浓度预测系统 - Google Patents

基于卫星超光谱遥感和人工智能的二氧化氮浓度预测系统 Download PDF

Info

Publication number
CN114255392A
CN114255392A CN202111570646.XA CN202111570646A CN114255392A CN 114255392 A CN114255392 A CN 114255392A CN 202111570646 A CN202111570646 A CN 202111570646A CN 114255392 A CN114255392 A CN 114255392A
Authority
CN
China
Prior art keywords
data
nitrogen dioxide
concentration
training
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111570646.XA
Other languages
English (en)
Other versions
CN114255392B (zh
Inventor
刘诚
张成歆
赵春晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202111570646.XA priority Critical patent/CN114255392B/zh
Publication of CN114255392A publication Critical patent/CN114255392A/zh
Application granted granted Critical
Publication of CN114255392B publication Critical patent/CN114255392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于卫星超光谱遥感和人工智能的二氧化氮浓度预测系统，其基于卫星超光谱遥感数据以及其它辅助数据，以机器学习和深度学习模型为基础能够实现区域对流层二氧化氮柱浓度预报，从而实现针对一定区域内对流层二氧化氮柱浓度进行短期预报。

Description

基于卫星超光谱遥感和人工智能的二氧化氮浓度预测系统
技术领域
本发明涉及大气污染物遥感监测技术领域，尤其涉及一种基于卫星超光谱遥感和深度学习融合的二氧化氮浓度预测方法与系统。
背景技术
大气污染物遥感监测是当前大气环境领域的重点，二氧化氮是常见的大气污染物之一，对流层二氧化氮对生态环境及人体健康有较大的危害，对流层二氧化氮的监测对于工业生产、环境保护具有指导作用。
当前大气污染物遥感监测方式种类多样，有卫星遥感监测、地面站点监测等。以哨兵五号先导卫星搭载的对流层检测仪(TROPOMI)为代表的卫星超光谱遥感监测具有观测效果稳定、空间分辨率高的优势，但其在时间分辨率方面存在明显不足，且由于数据传输和光谱反演的计算需求导致其结果有一定滞后性，因此，有必要研究一种对流层二氧化氮柱浓度的短期预报方案。
发明内容
本发明的目的是提供一种基于卫星超光谱遥感和人工智能的二氧化氮浓度预测系统，能够针对一定区域内对流层二氧化氮柱浓度进行短期预报。
本发明的目的是通过以下技术方案实现的：
一种基于卫星超光谱遥感和人工智能的二氧化氮浓度预测方法，包括：
获取超光谱卫星发布的对流层二氧化氮的历史数据，并处理为栅格数据；
按训练时间将所述栅格数据排列为二维时间序列并进行离散小波变换处理；
使用社区多尺度空气质量模型模拟对流层二氧化氮柱浓度以及其它大气污染物浓度，得到模拟的污染物及气象数据，再将离散小波变换处理后的历史数据、模拟的污染物及气象数据以及获取的其他辅助的输入数据处理为输入数据向量；
采用标准化方法对输入数据向量进行归一化处理，并按照时间先后顺序将输入数据向量划分为训练集、验证集与测试集；
利用训练集与验证集分别训练基于长短期记忆网络的深度学习模型与基于随机森林的机器学习模型，训练完毕后，将测试集输入至两个模型，获得两类预测浓度值数据；
以测试集的数据为目标值，对所述两类预测浓度值数据进行回归拟合，得到每一类预测浓度值数据的权重因子，将两类预测浓度值数据的加权和作为对流层二氧化氮柱浓度预报值。
一种基于卫星超光谱遥感和人工智能的二氧化氮浓度预测系统，包括：
数据预处理单元，用于获取超光谱卫星发布的对流层二氧化氮的历史数据，并处理为栅格数据；
数据变换单元，用于按训练时间将所述栅格数据排列为二维时间序列并进行离散小波变换处理；
数据向量化单元，用于使用社区多尺度空气质量模型模拟对流层二氧化氮柱浓度以及其它大气污染物浓度，得到模拟的污染物及气象数据，再将离散小波变换处理后的历史数据、模拟的污染物及气象数据以及获取的其他辅助的输入数据处理为输入数据向量；
数据标准化及数据单元，用于采用标准化方法对输入数据向量进行归一化处理，并按照时间先后顺序将输入数据向量划分为训练集、验证集与测试集；
模型训练及预测单元，用于利用训练集与验证集分别训练基于长短期记忆网络的深度学习模型与基于随机森林的机器学习模型，训练完毕后，将测试集输入至两个模型，获得两类预测浓度值数据；
二氧化氮浓度预报值计算单元，用于以测试集的数据为目标值，对所述两类预测浓度值数据进行回归拟合，得到每一类预测浓度值数据的权重因子，将两类预测浓度值数据的加权和作为对流层二氧化氮柱浓度预报值。
由上述本发明提供的技术方案可以看出，基于卫星超光谱遥感数据以及其它辅助数据，以机器学习和深度学习模型为基础能够实现区域对流层二氧化氮柱浓度预报，从而实现针对一定区域内对流层二氧化氮柱浓度进行短期预报。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种基于卫星超光谱遥感和人工智能的二氧化氮浓度预测方法的流程图；
图2为本发明实施例提供的输入二氧化氮数据进行离散小波变换之后分割为低频和高频信号的示意图；
图3为本发明实施例提供的基于长短期记忆网络的深度学习模型的结构示意图；
图4为本发明实施例提供的基于长短期记忆网络的深度学习模型训练过程损失变化的示意图；
图5为本发明实施例提供的2021年3月30日华北平原卫星观测、地面观测及模型预测的二氧化氮浓度示意图；
图6为本发明实施例提供的模型在测试集上预测值与真实值之间的相关性示意图；
图7为本发明实施例提供的一种基于卫星超光谱遥感和人工智能的二氧化氮浓度预测系统的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
首先对本文中可能使用的术语进行如下说明：
术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等)，应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
下面对本发明所提供的一种基于卫星超光谱遥感和人工智能的二氧化氮浓度预测方案进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。
如图1所示，一种基于卫星超光谱遥感和人工智能的二氧化氮浓度预测方法，包括如下步骤：
步骤1、获取超光谱卫星发布的对流层二氧化氮的历史数据，并处理为栅格数据。
本发明实施例中，可以获取超光谱卫星哨兵五号搭载的TROPOMI所发布的.zip格式的对流层二氧化氮二级轨道历史数据，其原始分辨率为7×3.5km；再按照设定的筛选指标对所述流层二氧化氮的历史数据进行筛选；例如，具体标准为数据保留质量因子(qa_value)大于0.5，均方根误差(rmse)小于0.001以及相对误差(error)小于10％的像素；之后，对于筛选出的数据，通过重采样格点以及双线性插值算法，处理为指定分辨率(例如，1×1km高分辨率)的栅格数据。
需要说明的是，此步骤中所涉及的各项具体数值仅为举例说明，并非构成限制，在实际应用中，用户可根据实际情况或者经验设定相应的数值。
本领域技术人员可以理解，各种原始数据可能是不均匀的，而且分辨率不统一，在模型训练之前需要通过格点和差值处理使其一致化，而栅格数据是指数据的一种分布形式，具体是指将研究空间划分成规律网格，以此来与地理信息相对应，与数据值本身的含义无关。
步骤2、按训练时间将所述栅格数据排列为二维时间序列并进行离散小波变换处理。
本发明实施例中，对二维时间序列进行离散小波变换，将二维时间序列进行升维，分解得到长期背景值低频数据(an)和短期变化信号高频数据(d1,d2,…,dn)，以提升深度学习模型数据挖掘性能，分解公式为：
x(t)＝an+dn+dn-1+…+d1
其中，x(t)表示分解前的数据，t表示时刻。
示例性的，小波分解可以选择基于多贝西小波(Daubechies)的小波基函数，其具有低通和高通滤波特性，适合于特征选择。小波分解的次数n决定低频信号与高频信号形状，针对二维时间序列数据，应使其分解后的低频数据在时间维度上达到平滑且呈现规律，通常为1-5次。分解后的高频数据在每日时间维度上呈现突变及不均匀性。
如图2所示，为输入二氧化氮数据进行离散小波变换之后分割为低频和高频信号。
步骤3、使用社区多尺度空气质量模型模拟对流层二氧化氮柱浓度以及其它大气污染物浓度，得到模拟的污染物及气象数据，再将离散小波变换处理后的历史数据、模拟的污染物及气象数据以及获取的其他辅助的输入数据处理为输入数据向量。
本发明实施例中，所述社区多尺度空气质量模型受天气研究和预报模型的气候场输出驱动，除了污染物浓度，所述社区多尺度空气质量模型还能够输出气象变量，所述气象变量包括：温度、相对湿度、行星边界层的高度、风速和压力等，所有气象数据均处理为日均值。
本领域技术人员可以理解，社区多尺度空气质量模型是一种传统的模拟污染物以及气象变量的模型，其具体的模拟方案可参照常规技术实现。
本发明实施例中，还需要获取其他辅助的输入数据，辅助的输入数据包括：人口分布数据、地理地形数据和交通网络数据。
将步骤2中分解后的卫星历史数据、步骤3中模拟的污染物及气象数据以及其他辅助数据等所有输入数据进行插值计算得到相同分辨率下的数据，构成输入数据向量。对于同一分辨率下的每一个像素，即同一个位置下每个时刻的输入数据向量，向量中每一个值表示不同污染物或者其他输入变量在t时刻的值。输入数据向量表示为：
R(t)＝[Ra(t),Rb(t),Rc(t),Rd(t),Re(t),…]
其中，a,b,c,d,e等表示不同数据种类，t表示时刻。
步骤4、采用标准化方法对输入数据向量进行归一化处理，并按照时间先后顺序将输入数据向量划分为训练集、验证集与测试集。
本发明实施例中，将所有输入数据处理为输入数据向量之后，可采用min-max标准化方法，对输入数据集时间序列进行归一化处理，归一化后的数据具体含义为原始数据相对于该数据最小值的差除以该数据最大值与最小值的差值，即数据在其变化范围中相对于变化范围的比例。
归一化之后的数据集选用时间序列上的前80％为训练集，中间10％为验证集，最后10％为测试集。当然，具体划分的比例也可以根据实际情况或者经验自行调整。
步骤5、利用训练集与验证集分别训练基于长短期记忆网络的深度学习模型和基于随机森林的机器学习模型，训练完毕后，将测试集输入至两个模型，获得两类预测浓度值数据。
本发明实施例中，预先构建了基于长短期记忆网络的深度学习模型以及基于随机森林的机器学习模型。
1)训练基于长短期记忆网络的深度学习模型，并获得预测浓度值数据。
如图3所示，为基于长短期记忆网络(LSTM)的深度学习模型的结构示意图。首先对输入数据向量进行卷积处理，再通过长短期记忆网络处理，最后通过全连接得到预测输出。长短期记忆网络预设迭代次数为100次(具体数值可根据需求自行调整)，LSTM有两个方向的计算传播，分别是前向传播和反向传播。
作为回归问题，本发明实施例中，采用均方误差(mse)作为损失函数，其具体意义为预测值与真实值差平方的均值。在训练过程中，针对每一个超参数，通过训练集损失与验证集损失的变化进行调参，使得训练初期的损失不断下降，后趋于稳定，通过调参使得模型最终mse小于预设值，完成模型训练。如图4所示，为基于长短期记忆网络的深度学习模型的学习过程，其展示了模型训练过程损失的变化。
训练完毕后，将测试集输入至训练后的基于长短期记忆网络的深度学习模型，获得预测浓度值数据为LSTM-NO2。
2)训练基于随机森林的机器学习模型，并获得预测浓度值数据。
本发明实施例中，以训练集输入数据向量各维度作为特征输入随机森林，利用引导聚集算法通过有放回抽样抽取指定比例的训练集的数据并重复i次(i为整数，具体数值可自行设定)，生成i个分类树组成随机森林；对随机森林中的各分类树进行二分操作并迭代，计算并选择Gini指数最小的属性作为分裂节点进行决策树的分裂，得到N个决策树模型组成随机森林。在训练过程中，通过验证集评估模型的一般错误率，并基于此调整超参数。
本发明实施例中，Gini指数的计算公式为：
Figure BDA0003423260400000061
其中，pk表示具有k属性数据向量在训练集总数据向量(T)中的比例，n表示所划分属性类的个数，与当前分裂的层数有关。
本发明实施例中，最初得到的分类树为初始状态，需要继续迭代分裂，直到训练完毕，训练完毕的标志为决策树达到预定的层数(具体的可以根据情况自行设定)，且全部被训练过。
训练完毕后，将测试集输入至训练后的基于随机森林的机器学习模型，获得预测值数据为Forest-NO2。
步骤6、以测试集的数据为目标值，对所述两类预测浓度值数据进行回归拟合，得到每一类预测浓度值数据的权重因子，将两类预测浓度值数据的加权和作为对流层二氧化氮柱浓度预报值。
本发明实施例中，对前述步骤5获得的LSTM-NO2与Forest-NO2进行回归拟合，通过单因素敏感性测试的方法计算每一类预测浓度值数据的权重因子，再通过下式计算两类预测浓度值数据的加权和，得到对流层二氧化氮柱浓度预报值，表示为：
V＝wL·VL+wF·VF
其中，V表示对流层二氧化氮柱浓度预报值，VL、VF各自表示通过训练后的深度学习模型、机器学习模型得到的预测浓度值数据(LSTM-NO2和Forest-NO2的预测浓度值)，wL、wF对应的表示VL、VF的权重因子。
本发明实施例中，由于所有输入输出均为二维栅格数据，前述步骤5预测阶段得到的两类预测值不仅仅包含浓度值，因此，实际上还包含了地理位置信息。
基于上述方案，可应用于实际大气二氧化氮预报，实际应用中不需要再训练，只需要调整输入数据即可，输入数据实际数据即步骤1中的卫星观测历史数据，按照步骤1-2进行处理，在应用中可以根据需要来动态调整历史数据，例如，可以为预报日前7日的卫星观测值。图5为展示了2021年3月30日华北平原卫星观测、地面观测及模型预测的二氧化氮浓度。图6展示了模型(即本发明中的完整模型，机器学习和深度学习模型均为组成部分)在测试集上预测值与真实值之间的相关性。
本发明另一实施例还提供一种基于卫星超光谱遥感和人工智能的二氧化氮浓度预测系统，其主要用于实现前述实施例提供的方法，如图7所示，该系统主要包括：
数据预处理单元，用于获取超光谱卫星发布的对流层二氧化氮的历史数据，并处理为栅格数据；
数据变换单元，用于按训练时间将所述栅格数据排列为二维时间序列并进行离散小波变换处理；
数据向量化单元，用于使用社区多尺度空气质量模型模拟对流层二氧化氮柱浓度以及其它大气污染物浓度，得到模拟的污染物及气象数据，再将离散小波变换处理后的历史数据、模拟的污染物及气象数据以及获取的其他辅助的输入数据处理为输入数据向量；
数据标准化及数据单元，用于采用标准化方法对输入数据向量进行归一化处理，并按照时间先后顺序将输入数据向量划分为训练集、验证集与测试集；
模型训练及预测单元，用于利用训练集与验证集分别训练基于长短期记忆网络的深度学习模型与基于随机森林的机器学习模型，训练完毕后，将测试集输入至两个模型，获得两类预测浓度值数据；
二氧化氮浓度预报值计算单元，用于以测试集的数据为目标值，对所述两类预测浓度值数据进行回归拟合，得到每一类预测浓度值数据的权重因子，将两类预测浓度值数据的加权和作为对流层二氧化氮柱浓度预报值。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于卫星超光谱遥感和人工智能的二氧化氮浓度预测方法，其特征在于，包括：
获取超光谱卫星发布的对流层二氧化氮的历史数据，并处理为栅格数据；
按训练时间将所述栅格数据排列为二维时间序列并进行离散小波变换处理；
使用社区多尺度空气质量模型模拟对流层二氧化氮柱浓度以及其它大气污染物浓度，得到模拟的污染物及气象数据，再将离散小波变换处理后的历史数据、模拟的污染物及气象数据以及获取的其他辅助的输入数据处理为输入数据向量；
采用标准化方法对输入数据向量进行归一化处理，并按照时间先后顺序将输入数据向量划分为训练集、验证集与测试集；
利用训练集与验证集分别训练基于长短期记忆网络的深度学习模型与基于随机森林的机器学习模型，训练完毕后，将测试集输入至两个模型，获得两类预测浓度值数据；
以测试集的数据为目标值，对所述两类预测浓度值数据进行回归拟合，得到每一类预测浓度值数据的权重因子，将两类预测浓度值数据的加权和作为对流层二氧化氮柱浓度预报值。
2.根据权利要求1所述的一种基于卫星超光谱遥感和人工智能的二氧化氮浓度预测方法，其特征在于，将对流层二氧化氮的历史数据处理为栅格数据的步骤包括：
按照设定的筛选指标对所述流层二氧化氮的历史数据进行筛选；
对于筛选出的数据，通过重采样格点以及双线性插值算法，处理为指定分辨率的栅格数据。
3.根据权利要求1所述的一种基于卫星超光谱遥感和人工智能的二氧化氮浓度预测方法，其特征在于，对二维时间序列进行离散小波变换处理包括：
对二维时间序列进行离散小波变换，将二维时间序列进行升维，分解得到背景值低频数据(an)和变化信号高频数据(d1,d2,…,dn)，分解公式为：
x(t)＝an+dn+dn-1+…+d1
其中，x(t)表示分解前的数据，t表示时刻。
4.根据权利要求1所述的一种基于卫星超光谱遥感和人工智能的二氧化氮浓度预测方法，其特征在于，所述社区多尺度空气质量模型受天气研究和预报模型的气候场输出驱动，所述社区多尺度空气质量模型还能够输出气象变量，所述气象变量包括：温度、相对湿度、行星边界层的高度、风速和压力；所述辅助的输入数据包括：人口分布数据、地理地形数据和交通网络数据。
5.根据权利要求1所述的一种基于卫星超光谱遥感和人工智能的二氧化氮浓度预测方法，其特征在于，所述将离散小波变换处理后的历史数据、模拟的污染物及气象数据以及获取的其他辅助的输入数据处理为输入数据向量包括：
将离散小波变换处理后的历史数据、模拟的污染物及气象数据以及获取的其他辅助的输入数据，进行插值计算得到相同分辨率下的数据，构成输入数据向量；同一个位置下每个时刻的输入数据向量，向量中每一个值表示不同污染物或者其他输入变量在t时刻的值；
输入数据向量表示为：
R(t)＝[Ra(t),Rb(t),Rc(t),Rd(t),Re(t),…]
其中，a,b,c,d,e表示不同数据种类，t表示时刻。
6.根据权利要求1所述的一种基于卫星超光谱遥感和人工智能的二氧化氮浓度预测方法，其特征在于，训练基于长短期记忆网络的深度学习模型包括：
将数据输入至基于长短期记忆网络的深度学习模型中，先进行卷积处理，再通过长短期记忆网络处理，最后通过全连接得到预测输出；采用均方误差作为损失函数，在训练过程中，针对每一个超参数，通过训练集损失与验证集损失的变化进行调参，最终使得均方误差小于预设值。
7.根据权利要求1所述的一种基于卫星超光谱遥感和人工智能的二氧化氮浓度预测方法，其特征在于，训练基于随机森林的机器学习模型包括：
以训练集输入数据向量各维度作为特征输入随机森林，利用引导聚集算法通过有放回抽样抽取指定比例的训练集的数据并重复i次，生成i个分类树组成随机森林；对随机森林中的各分类树进行二分操作并迭代，计算并选择Gini指数最小的属性作为分裂节点进行决策树的分裂，得到N个决策树模型组成随机森林。
8.根据权利要求7所述的一种基于卫星超光谱遥感和人工智能的二氧化氮浓度预测方法，其特征在于，Gini指数的计算公式包括：
Figure FDA0003423260390000021
其中，pk表示具有k属性数据向量在训练集总数据向量中的比例，n表示所划分属性类的个数，与当前分裂的层数有关。
9.根据权利要求1所述的一种基于卫星超光谱遥感和人工智能的二氧化氮浓度预测方法，其特征在于，所述以测试集的数据为目标值，对所述两类预测浓度值数据进行回归拟合，得到每一类预测浓度值数据的权重因子，将两类预测浓度值数据的加权和作为对流层二氧化氮柱浓度预报值包括：
回归拟合时，通过单因素敏感性测试的方法计算每一类预测浓度值数据的权重因子，再通过下式计算两类预测浓度值数据的加权和，表示为：
V＝wL·VL+wF·VF
其中，V表示对流层二氧化氮柱浓度预报值，VL、VF各自表示通过训练后的深度学习模型、机器学习模型得到的预测浓度值数据，wL、wF对应的表示VL、VF的权重因子。
10.一种基于卫星超光谱遥感和人工智能的二氧化氮浓度预测系统，其特征在于，包括：
数据预处理单元，用于获取超光谱卫星发布的对流层二氧化氮的历史数据，并处理为栅格数据；
数据变换单元，用于按训练时间将所述栅格数据排列为二维时间序列并进行离散小波变换处理；
数据向量化单元，用于使用社区多尺度空气质量模型模拟对流层二氧化氮柱浓度以及其它大气污染物浓度，得到模拟的污染物及气象数据，再将离散小波变换处理后的历史数据、模拟的污染物及气象数据以及获取的其他辅助的输入数据处理为输入数据向量；
数据标准化及数据单元，用于采用标准化方法对输入数据向量进行归一化处理，并按照时间先后顺序将输入数据向量划分为训练集、验证集与测试集；
模型训练及预测单元，用于利用训练集与验证集分别训练基于长短期记忆网络的深度学习模型与基于随机森林的机器学习模型，训练完毕后，将测试集输入至两个模型，获得两类预测浓度值数据；
二氧化氮浓度预报值计算单元，用于以测试集的数据为目标值，对所述两类预测浓度值数据进行回归拟合，得到每一类预测浓度值数据的权重因子，将两类预测浓度值数据的加权和作为对流层二氧化氮柱浓度预报值。
CN202111570646.XA 2021-12-21 2021-12-21 基于卫星超光谱遥感和人工智能的二氧化氮浓度预测系统 Active CN114255392B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111570646.XA CN114255392B (zh) 2021-12-21 2021-12-21 基于卫星超光谱遥感和人工智能的二氧化氮浓度预测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111570646.XA CN114255392B (zh) 2021-12-21 2021-12-21 基于卫星超光谱遥感和人工智能的二氧化氮浓度预测系统

Publications (2)

Publication Number Publication Date
CN114255392A true CN114255392A (zh) 2022-03-29
CN114255392B CN114255392B (zh) 2023-06-20

Family

ID=80793633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111570646.XA Active CN114255392B (zh) 2021-12-21 2021-12-21 基于卫星超光谱遥感和人工智能的二氧化氮浓度预测系统

Country Status (1)

Country Link
CN (1) CN114255392B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117056731A (zh) * 2023-09-11 2023-11-14 重庆理工大学 基于射流撞击-负压反应器内流动信号的氨氮预测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018214060A1 (zh) * 2017-05-24 2018-11-29 北京质享科技有限公司 一种城市小尺度空气质量指数预测方法与系统
EP3751466A1 (de) * 2019-06-13 2020-12-16 Siemens Aktiengesellschaft Verfahren zur vorhersage eines schadstoffwertes in der luft
US20200401888A1 (en) * 2019-06-24 2020-12-24 Tata Consultancy Services Limited Time series prediction with confidence estimates using sparse recurrent mixture density networks
CN112884079A (zh) * 2021-03-30 2021-06-01 河南大学 一种基于Stacking集成模型的近地面二氧化氮浓度估算方法
CN113297528A (zh) * 2021-06-10 2021-08-24 四川大学 一种基于多源大数据的no2高分辨率时空分布计算方法
CN113297527A (zh) * 2021-06-09 2021-08-24 四川大学 基于多源城市大数据的pm2.5全面域时空计算推断方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018214060A1 (zh) * 2017-05-24 2018-11-29 北京质享科技有限公司 一种城市小尺度空气质量指数预测方法与系统
EP3751466A1 (de) * 2019-06-13 2020-12-16 Siemens Aktiengesellschaft Verfahren zur vorhersage eines schadstoffwertes in der luft
US20200401888A1 (en) * 2019-06-24 2020-12-24 Tata Consultancy Services Limited Time series prediction with confidence estimates using sparse recurrent mixture density networks
CN112884079A (zh) * 2021-03-30 2021-06-01 河南大学 一种基于Stacking集成模型的近地面二氧化氮浓度估算方法
CN113297527A (zh) * 2021-06-09 2021-08-24 四川大学 基于多源城市大数据的pm2.5全面域时空计算推断方法
CN113297528A (zh) * 2021-06-10 2021-08-24 四川大学 一种基于多源大数据的no2高分辨率时空分布计算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩旭: "《基于多源卫星数据产品的近地面NO2浓度遥感估算》", 《中国优秀硕士学位论文全文数据库 工程科技I辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117056731A (zh) * 2023-09-11 2023-11-14 重庆理工大学 基于射流撞击-负压反应器内流动信号的氨氮预测方法

Also Published As

Publication number Publication date
CN114255392B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
Moreno et al. Wind speed forecasting approach based on singular spectrum analysis and adaptive neuro fuzzy inference system
Callens et al. Using Random forest and Gradient boosting trees to improve wave forecast at a specific location
CN113128134B (zh) 一种矿区生态环境演变驱动因子权重量化分析方法
Tadesse et al. Data-driven modeling of global storm surges
CN112016052B (zh) 基于多源数据的近地表日最高气温估算方法、系统及终端
Sekertekin et al. Short-term air temperature prediction by adaptive neuro-fuzzy inference system (ANFIS) and long short-term memory (LSTM) network
CN112308322B (zh) 一种多风场时空风速预测方法、装置及电子设备
Badr et al. Spatial suitability assessment for vineyard site selection based on fuzzy logic
Ghamariadyan et al. A Wavelet Artificial Neural Network method for medium‐term rainfall prediction in Queensland (Australia) and the comparisons with conventional methods
CN110689065A (zh) 一种基于扁平混合卷积神经网络的高光谱图像分类方法
Aires et al. Convolutional neural networks for satellite remote sensing at coarse resolution. Application for the SST retrieval using IASI
CN114255392B (zh) 基于卫星超光谱遥感和人工智能的二氧化氮浓度预测系统
Tomizawa et al. Combining ensemble Kalman filter and reservoir computing to predict spatiotemporal chaotic systems from imperfect observations and models
Wadoux et al. Shapley values reveal the drivers of soil organic carbon stock prediction
CN116152206A (zh) 一种光伏输出功率预测方法、终端设备及存储介质
CN113515798B (zh) 一种城市三维空间扩张模拟方法及装置
CN115438841A (zh) 基于人工智能精准预测降雨模型的训练方法及预测方法
Razavi-Termeh et al. A new approach based on biology-inspired metaheuristic algorithms in combination with random forest to enhance the flood susceptibility mapping
CN114463616A (zh) 一种基于Stacking与EMOS-CSG的多源卫星降水融合方法
CN117290684B (zh) 基于Transformer的高温干旱天气预警方法、电子设备
CN112285808B (zh) 一种aphrodite降水数据的降尺度方法
CN113971477A (zh) 一种基于时间序列和深度学习框架的pm2.5估算方法
Bagheri Using deep ensemble forest for high-resolution mapping of PM2. 5 from MODIS MAIAC AOD in Tehran, Iran
Zhou et al. Automated soil resources mapping based on decision tree and Bayesian predictive modeling
CN114818464A (zh) 一种基于测站的网格雨量计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant