CN113689035B - 一种基于卷积神经网络的max-doas光谱预测对流层no2廓线的方法 - Google Patents

一种基于卷积神经网络的max-doas光谱预测对流层no2廓线的方法 Download PDF

Info

Publication number
CN113689035B
CN113689035B CN202110967743.6A CN202110967743A CN113689035B CN 113689035 B CN113689035 B CN 113689035B CN 202110967743 A CN202110967743 A CN 202110967743A CN 113689035 B CN113689035 B CN 113689035B
Authority
CN
China
Prior art keywords
data
neural network
doas
max
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110967743.6A
Other languages
English (en)
Other versions
CN113689035A (zh
Inventor
田鑫
潘屹峰
谢品华
李昂
徐晋
任博
黄骁辉
田伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202110967743.6A priority Critical patent/CN113689035B/zh
Publication of CN113689035A publication Critical patent/CN113689035A/zh
Application granted granted Critical
Publication of CN113689035B publication Critical patent/CN113689035B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Human Resources & Organizations (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于卷积神经网络的MAX‑DOAS光谱预测对流层NO2廓线的方法，所述方法通过卷积神经网络，将对齐的多仰角MAX‑DOAS光谱数据和PriAM算法反演的对流层NO2数据结合，建立可实现对流层NO2廓线预测的卷积神经网络模型；卷积神经网络模型(CNN)通过卷积层来提取数据特征，池化层用来降维和防止模型的过拟合，最后利用全连接层来输出结果。本发明解决了对流层NO2廓线在线实时预测问题，能够根据MAX‑DOAS光谱快速准确直观的得到对流层NO2廓线，减少了QDOAS拟合和廓线反演算法反演立体分布的进程，避免了在该过程中出现的误差；一方面对对流层NO2廓线进行预测有助于监测NO2在对流层上的浓度变化趋势，对于NO2污染的评估，分析造成污染的原因有着重大的意义。

Description

一种基于卷积神经网络的MAX-DOAS光谱预测对流层NO2廓线的 方法
技术领域
本发明涉及环境预测技术领域，特别涉及一种基于卷积神经网络的 MAX-DOAS光谱预测对流层NO2廓线的方法。
背景技术
我国的大气污染由传统的煤烟型污染逐步转变为极其复杂的区域性复合污 染。其中，以细颗粒物(PM2.5)为代表的灰霾污染和以臭氧(O3)为代表的 光化学烟雾是我国目前所面临的两大主要大气污染问题。氮氧化物(NOx)是 重要的灰霾气态前体物，其排放及污染物之间的化学反应与重污染的形成密切 相关。因此，准确监测大气中灰霾前体物NOx的浓度及其时空分布情况对于及 时掌握空气质量状况和有效控制大气污染很有必要。
NO2主要来源于交通、工厂的排放及化石燃料的燃烧，且会造成各种各样 的环境影响，比如大气能见度降低、光化学烟雾、地表水酸化以及水体富营养 化等。NO2的光解是引发对流层O3生成的关键启动反应。若无其他物种，NO、 NO2和O3三者之间可以达到稳态：
Figure BDA0003224769360000021
当NO2大量累积，增多的NO2会破坏反应式平衡，从而使对流层O3在大 气中得以积聚，这些光化学反应在污染的城市地区会导致″光化学烟雾″的产 生。
目前多项研究表明，边界层中NO2的分布变化与人类活动密切相关，各种 污染源排放的NO2气体扩散、输送和沉降主要集中在大气边界层，其对人类和 其它生物造成的危害也主要出现在该层。因此，准确的获得大气边界层NO2的分布及变化信息，有助于解释和预测大气污染成分的输送、扩散过程，提高 大气环境监测水平和预报能力，为大气环境、空气质量预报模型等研究工作提 供重要数据。
多轴差分吸收光谱技术(MAX-DOAS)是一种广泛使用的可同时观测多 种大气痕量气体的遥测技术，其快速发展为高分辨的监测对流层和平流层大气 痕量气体提供了一种便捷、有效的途径。与卫星观测相比，地基观测的时空分 辨率相对较高，受云层干扰小。MAX-DOAS技术已经广泛应用于对流层NO2， SO2和HCHO等廓线反演中且均取得了显著的效果。在对流层NO2垂直分布 的反演中，安徽光机所(AIOFM)与马普化学所(MPIC)联合研发了基于非 线性最优估算的痕量气体和气溶胶垂直廓线两步反演算法-PriAM。首先利用 MAX-DOAS在同一波段反演氧二聚体(O4)的差分斜柱浓度来反演气溶胶光 学特性及廓线；其次将痕量气体差分斜柱浓度和气溶胶垂直廓线输入到PriAM 廓线反演算法，最终获对流层(0-4km)痕量气体垂直分布廓线以及垂直柱浓 度。
通过在长期MAX-DOAS监测大气污染物立体分布中，积累大量的原始光 谱数据和反演得到的廓线数据，为数据挖掘技术应用在MAX-DOAS痕量气体 廓线预测中提供了数据支持。由于非线性计算元素和并行结构，而神经网络本 质上适用于解决非线性问题。在这种方法中，不需要推导特定的规则或待处理 数据的统计先验信息。卷积神经网络在学习阶段根据提供给它们的数据建立逆 映射和输入输出关系。基于此，利用卷积神经网络算法建立MAX-DOAS光谱 数据与对流层NO2廓线的模型，实现光谱数据输入到模型中，就能得到一条较 为精准的对流层廓线。
发明内容
为解决上述问题，本发明旨在提出一种基于卷积神经网络的MAX-DOAS 光谱预测对流层NO2廓线的方法，利用卷积神经网络算法建立MAX-DOAS 光谱数据与对流层NO2廓线的模型，实现光谱数据输入到模型中，就能得到一 条较为精准的对流层廓线。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于卷积神经网络的MAX-DOAS光谱预测对流层NO2廓线的方法， 所述方法通过卷积神经网络，将对齐的多仰角MAX-DOAS光谱数据和PriAM 算法反演的对流层NO2数据结合，建立可实现对流层NO2廓线预测的卷积神 经网络模型；卷积神经网络模型(CNN)通过卷积层来提取数据特征，池化层 用来降维和防止模型的过拟合，最后利用全连接层来输出结果。
进一步的，所述方法具体包括以下步骤：
S1、通过MAX-DOAS站点测得多仰角MAX-DOAS光谱数据，仪器方位 角为310°(正北为0°)，测量仰角11个角度为一组：1°、2°、3°、4°、5°、6°、 8°、10°、15°、30°、90°；
S2、将每一组输入向量的MAX-DOAS光谱数据，结合QDOAS光谱拟合 和痕量气体廓线反演算法PriAM反演获取对流层NO2廓线，反演得到的NO2廓线作为模型的输出向量，构建卷积神经网络模型；
S3、随机挑选70％的光谱数据作为训练集，30％的光谱数据作为测试集； 并对数据进行归一化用于减少量纲的影响；归一化公式为
Figure BDA0003224769360000041
是归 一化后的数据值，xi为真实数据，μ为原始数据的均值，σ为标准差；
S4、搭建卷积神经网络模型(CNN)，使用训练集训练卷积神经网络模型， 调整模型参数，使得卷积层能够提取MAX-DOAS光谱的数据特征；
S5、利用测试集监测网络训练的决定系数(R2)和均方根误差(RMSE)， 当模型的R2＞0.9且RMSE＜0.4时，判定模型能够用于对流层NO2廓线的预测； 采用决定系数(R2)和均方根误差(RMSE)的计算方法为
Figure BDA0003224769360000042
Figure BDA0003224769360000043
其中yi和/>
Figure BDA0003224769360000044
分别表示真实数据和预测数据。
进一步的，还包括步骤S6、将已知的MAX-DOAS站点的MAX-DOAS 光谱数据，输入到训练好的网络模型中，用于实现对流层NO2廓线的预测；并 用MSE来验证模型的可行性和准确性；
Figure BDA0003224769360000051
其中yi和/>
Figure BDA0003224769360000052
分 别表示真实数据和预测数据。
进一步的，所述卷积神经网络模型的建立包括输入层、卷积层、池化层、 全连接层：
输入层：输入层是测量仰角11个角度的MAX-DOAS光谱数据通过归一 化的预处理后的数据；
卷积层：卷积层是对输入的光谱数据进行特征提取，通过卷积核矩阵对原 始数据中隐含关联性进行抽象；
池化层：对特征进行采样，对感受域内的特征进行筛选，提取区域内最具 代表性的特征，用于降低输出特征尺度，减小模型所需要的参数量；
全连接层：全连接层进行线性拟合并通过输出层输出预测数据。
进一步的，还包括激活层：用于对卷积层抽取的特征进行激活。
进一步的，所述卷积神经网络模型(CNN)的模型参数设置如下：使用 ReLU的激活函数，损失函数采用MSE(均方根误差)；优化器使用 SGD+momentum，学习率为10-3，Batchsize(批量大小)根据训练集的样 本数目设置为64，来保证内存利用率，加强相同数据量的处理速度。
进一步的，所述卷积神经网络模型采用Dropout算对多个不同的神经网络 取平均用于减少不同网络的过拟合。
有益效果：本发明建立的卷积神经网络模型(CNN)使用训练集训练卷积 神经网络模型，调整模型参数，使得卷积层能够提取MAX-DOAS光谱的数据 特征，池化层夹在连续的卷积层中间，用于压缩数据和参数的量，减小过拟合； 同时使用了全局最大池化，为了减少卷积层参数误差造成估计均值偏移的问题， 更多的保留原始光谱数据的纹理信息。最后在全连接层使用线性回归输出对流 层NO2廓线结果。再使用测试集监测网络训练的决定系数(R2)和均方根误差 (RMSE)，并对参数进行调整，以达到最优的对流层NO2廓线的输出结果；本发明解决了对流层NO2廓线在线实时预测问题，能够根据MAX-DOAS光谱 快速准确直观的得到对流层NO2廓线，减少了QDOAS拟合和廓线反演算法反 演立体分布的进程，避免了在该过程中出现的误差；一方面对对流层NO2廓线 进行预测有助于监测NO2在对流层上的浓度变化趋势，对于NO2污染的评估， 分析造成污染的原因有着重大的意义；另一方面卷积神经网络模型利用卷积层 和池化层逐层提取MAX-DOAS数据的抽象特征，同时避免过拟合，学习数据内 部的结构特征及其隐藏的联系；通过非全连接和权值共享的网络结构降低了网 络模型的复杂度，减少了自由参数，提升模型泛化能力；卷积神经网络在 MAX-DOAS光谱预测廓线领域展现了良好的效果。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示 意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图 中：
图1为本发明实施例所述的基于卷积神经网络的MAX-DOAS光谱预测对 流层NO2廓线的方法的原理框图；
图2为典型的卷积神经网络模型结构示意图；
图3为本发明实施例所述的基于卷积神经网络的MAX-DOAS光谱预测对 流层NO2廓线的方法中的卷积神经网络模型结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征 可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
实施例1
参见图1-3：一种基于卷积神经网络的MAX-DOAS光谱预测对流层NO2廓线的方法，所述方法通过卷积神经网络，将对齐的多仰角MAX-DOAS光谱 数据和PriAM算法反演的对流层NO2数据结合，建立可实现对流层NO2廓线 预测的卷积神经网络模型；卷积神经网络模型(CNN)通过卷积层来提取数据 特征，池化层用来降维和防止模型的过拟合，最后利用全连接层来输出结果。
需要说明的是，本实施例的卷积神经网络从输入的原始光谱数据中的特定 长度片段中获得感兴趣特征，并且该特性在该数据片段中的位置不具有高度相 关性时，一维CNN是高效的，试图提取数据在某一方向的平移不变特征；由 于输入是多条对齐的观测仰角数据，所以能实现不同序列下不同波长数据的对 应关系；一旦建立模型的过程完成，该模型能够实时给出新的估计，建立非常 快速的数据处理链，从而利用MAX-DOAS光谱数据输入得到基于卷积神经网 络算法的对流层NO2廓线。
在一具体的实例中，所述方法具体包括以下步骤：
S1、通过MAX-DOAS站点测得多仰角MAX-DOAS光谱数据，仪器方位 角为310°(正北为0°)，测量仰角11个角度为一组：1°、2°、3°、4°、5°、6°、 8°、10°、15°、30°、90°；
需要说明的是，该站点的光谱数据按该仰角顺序筛选，满足该顺序的一组 光谱保留做本实施例的输入数据，如果有些角度缺失剔除对应组的数据；
S2、将每一组输入向量的MAX-DOAS光谱数据，结合QDOAS光谱拟合 和痕量气体廓线反演算法PriAM反演获取对流层NO2廓线，反演得到的NO2廓线作为模型的输出向量，构建卷积神经网络模型；
本实施例的NO2廓线垂直分辨率为200m(最低一层为50m)，故NO2廓线数据一共21个格点；本实施例的输入向量是由MAX-DOAS一个测量循 环(11个观测仰角)的光谱数据组成；
S3、随机挑选70％的光谱数据作为训练集，30％的光谱数据作为测试集； 并对数据进行归一化用于减少量纲的影响；归一化公式为
Figure BDA0003224769360000081
是归 一化后的数据值，xi为真实数据，μ为原始数据的均值，σ为标准差；
S4、搭建卷积神经网络模型(CNN)，使用训练集训练卷积神经网络模型， 调整模型参数，使得卷积层能够提取MAX-DOAS光谱的数据特征；
S5、利用测试集监测网络训练的决定系数(R2)和均方根误差(RMSE)， 当模型的R2＞0.9且RMSE＜0.4时，判定模型能够用于对流层NO2廓线的预测； 采用决定系数(R2)和均方根误差(RMSE)的计算方法为
Figure BDA0003224769360000091
Figure BDA0003224769360000092
其中yi和/>
Figure BDA0003224769360000093
分别表示真实数据和预测数据。
进一步的，还包括步骤S6、将已知的MAX-DOAS站点的MAX-DOAS 光谱数据，输入到训练好的网络模型中，用于实现对流层NO2廓线的预测；并 用MSE来验证模型的可行性和准确性；
Figure BDA0003224769360000094
其中yi和/>
Figure BDA0003224769360000095
分 别表示真实数据和预测数据。
可以理解的是，本实施例使用线性回归输出对流层NO2廓线结果；再使用 测试集监测网络训练的决定系数(R2)和均方根误差(RMSE)，并对参数进行 调整，达到了最优的对流层NO2廓线的输出结果。
在一具体的实例中，所述卷积神经网络模型的建立包括输入层、卷积层、 池化层、全连接层：
输入层：输入层是测量仰角11个角度的MAX-DOAS光谱数据通过归一 化的预处理后的数据；
本实施例的输入层的作用是将输入数据送入卷积神经网络进行特征提取， 以获得想要的结果；
卷积层：卷积层是对输入的光谱数据进行特征提取，通过卷积核矩阵对原 始数据中隐含关联性进行抽象；
本实施例的堆叠使用1维的卷积层，卷积神经网络可以很好地识别出数据 中的简单模式，然后使用这些简单模式在更高级的层中生成更复杂的模式。因 为从输入的原始光谱数据固定长度的片段中获得感兴趣特征，并且该特性在该 数据片段中的位置不具有高度相关性时，一维CNN是高效的，试图提取数据 在某一方向的平移不变特征；由于输入是11条序列对齐的，所以能实现不同 序列下不同波长数据的对应关系；
池化层：对特征进行采样，对感受域内的特征进行筛选，提取区域内最具 代表性的特征，用于降低输出特征尺度，减小模型所需要的参数量；
本实施例的神经网络模型需要池化层更多的保留光谱数据的纹理信息，降 低卷积层参数误差造成估计均值的偏移的误差，故采用最大池化(Max Pooling)；同时该层能够提高拟合性，降低机器计算量。
全连接层：全连接层进行线性拟合并通过输出层输出预测数据；
本实施例的全连接层将上一层的输出张量的形状作为全连接层输入张量的 现状，全连接层的输出张量形状为21，即代表21个高度下对流层NO2的浓度；
在一具体的实例中，还包括激活层：用于对卷积层抽取的特征进行激活。
由于卷积操作是把输入图像和卷积核进行相应的线性变换，需要引入激活 层(非线性函数)对其进行非线性映射；本实施例可以使用sigmoid函数，双曲 正切函数和ReLU作为本神经网络模型的激活函数。sigmoid函数和双曲正切 函数容易饱和，造成梯度消失，使得模型无法拟合；而ReLU函数在本模型中 能让每个神经元都能最大化的发挥它筛选的作用，符合某一个特征的中间值， 故加强其作用；不符合的直接剔除，同时活跃度的分散性使得神经网络整体计 算成本下降。
在一具体的实例中，所述卷积神经网络模型(CNN)的模型参数设置如下： 使用ReLU的激活函数，损失函数采用MSE(均方根误差)；优化器使用 SGD+momentum，学习率为10-3，Batchsize(批量大小)根据训练集的样 本数目设置为64，来保证内存利用率，加强相同数据量的处理速度。
需要说明的是，本实施例的卷积层的卷积核均设置为5＊5；将光谱数据输 入后通过卷积层1，输入的通道数是11，卷积后输出了64个通道；有多少个 输出通道，就需要多少个1维卷积；所以在卷积层2输入了64通道，通过卷 积输出了128个通道；卷积层可以显著减少网络中连接的数量，但特征映射组 中的神经元个数并没有显著减少，很容易过拟合；在数据经过两次卷积后进行 池化降低特征维数，避免过拟合；池化层1的卷积核设置为5＊5，步长为2； 之后卷积层3将输入的128个通道进行卷积，输出128个通道后再进入池化 层2来有效的减少神经元的数量；卷积层4将输入的128个通道进行卷积，输 出256个通道后进入池化层3，使得网络对一些小的局部形态改变保持不变性； 卷积层5将输入的256个通道进行卷积，输出512个通道后进入池化层4，压 缩数据和参数的数量，提高模型的容错性；卷积层6将输入的512个通道进行 卷积，输出512个通道后，进行自适应最大池化对于任何输入大小的输入，可 以将输出指定尺寸；最后通过全连接层整合卷积层或者池化层中具有类别区分 性的局部信息进行输出。
在一具体的实例中，所述卷积神经网络模型采用Dropout算对多个不同的 神经网络取平均用于减少不同网络的过拟合。
除了基本的模型构造之外，为了防止模型出现在训练集上有着极低的训练 误差，可是在测试集上表现不佳，这样得到的模型完全不能使用。本实施例利 用Dropout算法，该算法执行过程中相当于对多个不同的神经网络取平均，整 体上减少了不同网络的过拟合。因为dropout算法导致两个神经元不一定每次 都在一个dropout网络中出现。这样权值的更新不再依赖于有固定关系的隐含 节点的共同作用，阻止了某些特征仅仅在其它特定特征下才有效果的情况。迫 使网络去学习更加鲁棒的特征，使得网络对丢失特定神经元连接的鲁棒性提高， 防止了模型的过拟合。本实施例的dropout设置为0.1时模型的效果最佳。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发 明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发 明的保护范围之内。

Claims (6)

1.一种基于卷积神经网络的MAX-DOAS光谱预测对流层NO2廓线的方法，其特征在于，所述方法通过卷积神经网络，将对齐的多仰角MAX-DOAS光谱数据和PriAM算法反演的对流层NO2数据结合，建立可实现对流层NO2廓线预测的卷积神经网络模型；卷积神经网络模型(CNN)通过卷积层来提取数据特征，池化层用来降维和防止模型的过拟合，最后利用全连接层来输出结果；
所述方法具体包括以下步骤：
S1、通过MAX-DOAS站点测得多仰角MAX-DOAS光谱数据，仪器方位角为310°-正北为0°，测量仰角11个角度为一组：1°、2°、3°、4°、5°、6°、8°、10°、15°、30°、90°；
S2、将每一组输入向量的MAX-DOAS光谱数据，结合QDOAS光谱拟合和痕量气体廓线反演算法PriAM反演获取对流层NO2廓线，反演得到的NO2廓线作为模型的输出向量，构建卷积神经网络模型；
S3、随机挑选70％的光谱数据作为训练集，30％的光谱数据作为测试集；并对数据进行归一化用于减少量纲的影响；归一化公式为
Figure FDA0004217676170000011
Figure FDA0004217676170000012
是归一化后的数据值，xi为真实数据，μ为原始数据的均值，σ为标准差；
S4、搭建卷积神经网络模型CNN，使用训练集训练卷积神经网络模型，调整模型参数，使得卷积层能够提取MAX-DOAS光谱的数据特征；
S5、利用测试集监测网络训练的决定系数R2和均方根误差RMSE，当模型的R2>0.9且RMSE＜0.4时，判定模型能够用于对流层NO2廓线的预测；采用决定系数R2和均方根误差RMSE的计算方法为
Figure FDA0004217676170000021
Figure FDA0004217676170000022
其中yi和/>
Figure FDA0004217676170000023
分别表示真实数据和预测数据。
2.根据权利要求1所述的基于卷积神经网络的MAX-DOAS光谱预测对流层NO2廓线的方法，其特征在于，还包括步骤S6、将已知的MAX-DOAS站点的MAX-DOAS光谱数据，输入到训练好的网络模型中，用于实现对流层NO2廓线的预测；并用MSE来验证模型的可行性和准确性；
Figure FDA0004217676170000024
其中yi和/>
Figure FDA0004217676170000025
分别表示真实数据和预测数据。
3.根据权利要求1所述的基于卷积神经网络的MAX-DOAS光谱预测对流层NO2廓线的方法，其特征在于，所述卷积神经网络模型的建立包括输入层、卷积层、池化层、全连接层：
输入层：输入层是测量仰角11个角度的MAX-DOAS光谱数据通过归一化的预处理后的数据；
卷积层：卷积层是对输入的光谱数据进行特征提取，通过卷积核矩阵对原始数据中隐含关联性进行抽象；
池化层：对特征进行采样，对感受域内的特征进行筛选，提取区域内最具代表性的特征，用于降低输出特征尺度，减小模型所需要的参数量；
全连接层：全连接层进行线性拟合并通过输出层输出预测数据。
4.根据权利要求3所述的基于卷积神经网络的MAX-DOAS光谱预测对流层NO2廓线的方法，其特征在于，还包括激活层：用于对卷积层抽取的特征进行激活。
5.根据权利要求3所述的基于卷积神经网络的MAX-DOAS光谱预测对流层NO2廓线的方法，其特征在于，所述卷积神经网络模型CNN的模型参数设置如下：使用ReLU的激活函数，损失函数采用均方根误差MSE；优化器使用SGD+momentum，学习率为10-3，批量大小Batchsize根据训练集的样本数目设置为64，来保证内存利用率，加强相同数据量的处理速度。
6.根据权利要求1所述的基于卷积神经网络的MAX-DOAS光谱预测对流层NO2廓线的方法，其特征在于，所述卷积神经网络模型采用Dropout算法对多个不同的神经网络取平均用于减少不同网络的过拟合。
CN202110967743.6A 2021-08-23 2021-08-23 一种基于卷积神经网络的max-doas光谱预测对流层no2廓线的方法 Active CN113689035B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110967743.6A CN113689035B (zh) 2021-08-23 2021-08-23 一种基于卷积神经网络的max-doas光谱预测对流层no2廓线的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110967743.6A CN113689035B (zh) 2021-08-23 2021-08-23 一种基于卷积神经网络的max-doas光谱预测对流层no2廓线的方法

Publications (2)

Publication Number Publication Date
CN113689035A CN113689035A (zh) 2021-11-23
CN113689035B true CN113689035B (zh) 2023-06-20

Family

ID=78581444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110967743.6A Active CN113689035B (zh) 2021-08-23 2021-08-23 一种基于卷积神经网络的max-doas光谱预测对流层no2廓线的方法

Country Status (1)

Country Link
CN (1) CN113689035B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105067534A (zh) * 2015-07-25 2015-11-18 中国科学院合肥物质科学研究院 基于地基max-doas的污染物输送通量测算方法
WO2020024319A1 (zh) * 2018-08-01 2020-02-06 苏州大学张家港工业技术研究院 用于交通流量预测的卷积神经网络多点回归预测模型

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105067534A (zh) * 2015-07-25 2015-11-18 中国科学院合肥物质科学研究院 基于地基max-doas的污染物输送通量测算方法
WO2020024319A1 (zh) * 2018-08-01 2020-02-06 苏州大学张家港工业技术研究院 用于交通流量预测的卷积神经网络多点回归预测模型

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
利用CrIS红外高光谱卫星数据反演大气温湿度廓线的研究;沈振翔;刘朝顺;;华东师范大学学报(自然科学版)(03);全文 *
基于MAX-DOAS的大气对流层SO_2垂直柱浓度遥测;田鑫;李昂;徐晋;谢品华;牟福生;吴丰成;胡肇焜;张琼;王汝雯;;大气与环境光学学报(01);全文 *
基于多轴差分吸收光谱技术的最优估算法反演气溶胶消光廓线研究;牟福生;雒静;李素文;王家伟;施瑞瑞;韦民红;;光子学报(07);全文 *

Also Published As

Publication number Publication date
CN113689035A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN117171546A (zh) 一种结合污染扩散指数的城市空气质量预测方法
CN114021436A (zh) 一种基于近地面紫外辐射的近地面臭氧反演方法
CN111369057A (zh) 一种基于深度学习的空气质量预测优化方法及系统
Duka et al. Processing, neural network-based modeling of biomonitoring studies data and validation on Republic of Moldova data
CN113011660A (zh) 空气质量预测方法、系统及存储介质
Cui et al. Deep learning methods for atmospheric PM2. 5 prediction: A comparative study of transformer and CNN-LSTM-attention
CN111008726A (zh) 一种电力负荷预测中类图片转换方法
CN116013426A (zh) 一种高时空分辨率的站点臭氧浓度预测方法
Wang et al. Research on air pollution gases recognition method based on lstm recurrent neural network and gas sensors array
CN114676779A (zh) 基于鲁棒宽度网络的大气质量监测数据校准方法及系统
Huang et al. A decomposition‐based multi‐time dimension long short‐term memory model for short‐term electric load forecasting
CN113689035B (zh) 一种基于卷积神经网络的max-doas光谱预测对流层no2廓线的方法
Qu et al. Short-term mathematical prediction model of air quality based on CEEMD-ELM-PSO
CN115062764B (zh) 光照度智能调节与环境参数物联网大数据系统
CN115587650A (zh) 中短期分时段大气常规污染物多目标混合预测方法
CN110793920A (zh) 一种化学成像与高光谱联用的大气遥测方法
Meng et al. Regional PM2. 5 concentration prediction analysis and spatio-temporal mapping incorporating ZWD data
Katranji et al. Short-Term Wind Speed Prediction for Saudi Arabia via 1D-CNN
Ozdemir et al. Prediction of tropospheric ozone concentration by employing artificial neural networks
Li et al. Prediction of PM 2.5 Concentration Based on CEEMD-LSTM Model
CN115130747B (zh) 一种基于云模型的空气污染物浓度预测方法及系统
CN118261436A (zh) 城市稀疏站点细颗粒物浓度短临预报方法及系统
CN113610302B (zh) 一种基于逐步聚类与循环神经网络的地表温度降尺度方法
Del et al. Prediction of atmospheric air pollution by PM2. 5 particles based on artificial neural networks
Le et al. Research on Multi Feature Load Forecasting Method Based on Hybrid Convolutional Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant