CN113689035B - 一种基于卷积神经网络的max-doas光谱预测对流层no2廓线的方法 - Google Patents
一种基于卷积神经网络的max-doas光谱预测对流层no2廓线的方法 Download PDFInfo
- Publication number
- CN113689035B CN113689035B CN202110967743.6A CN202110967743A CN113689035B CN 113689035 B CN113689035 B CN 113689035B CN 202110967743 A CN202110967743 A CN 202110967743A CN 113689035 B CN113689035 B CN 113689035B
- Authority
- CN
- China
- Prior art keywords
- data
- neural network
- doas
- max
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 69
- 238000001658 differential optical absorption spectrophotometry Methods 0.000 title claims abstract description 54
- 238000001228 spectrum Methods 0.000 title claims abstract description 49
- 239000005436 troposphere Substances 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000011176 pooling Methods 0.000 claims abstract description 23
- 230000003595 spectral effect Effects 0.000 claims abstract description 16
- 239000000284 extract Substances 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 15
- 238000012544 monitoring process Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 6
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 abstract description 2
- MWUXSHHQAYIFBG-UHFFFAOYSA-N nitrogen oxide Inorganic materials O=[N] MWUXSHHQAYIFBG-UHFFFAOYSA-N 0.000 description 49
- 239000007789 gas Substances 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000443 aerosol Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000000428 dust Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 241000764238 Isis Species 0.000 description 2
- 238000003915 air pollution Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 239000003344 environmental pollutant Substances 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 231100000719 pollutant Toxicity 0.000 description 2
- 239000002243 precursor Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- WSFSSNUMVMOOMR-UHFFFAOYSA-N Formaldehyde Chemical compound O=C WSFSSNUMVMOOMR-UHFFFAOYSA-N 0.000 description 1
- CBENFWSGALASAD-UHFFFAOYSA-N Ozone Chemical compound [O-][O+]=O CBENFWSGALASAD-UHFFFAOYSA-N 0.000 description 1
- 238000004847 absorption spectroscopy Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012851 eutrophication Methods 0.000 description 1
- 239000002803 fossil fuel Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 150000002926 oxygen Chemical class 0.000 description 1
- 230000020477 pH reduction Effects 0.000 description 1
- 239000013618 particulate matter Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004062 sedimentation Methods 0.000 description 1
- 239000004071 soot Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 239000005437 stratosphere Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000002352 surface water Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Human Resources & Organizations (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Strategic Management (AREA)
- Data Mining & Analysis (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Primary Health Care (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Educational Administration (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于卷积神经网络的MAX‑DOAS光谱预测对流层NO2廓线的方法，所述方法通过卷积神经网络，将对齐的多仰角MAX‑DOAS光谱数据和PriAM算法反演的对流层NO2数据结合，建立可实现对流层NO2廓线预测的卷积神经网络模型；卷积神经网络模型(CNN)通过卷积层来提取数据特征，池化层用来降维和防止模型的过拟合，最后利用全连接层来输出结果。本发明解决了对流层NO2廓线在线实时预测问题，能够根据MAX‑DOAS光谱快速准确直观的得到对流层NO2廓线，减少了QDOAS拟合和廓线反演算法反演立体分布的进程，避免了在该过程中出现的误差；一方面对对流层NO2廓线进行预测有助于监测NO2在对流层上的浓度变化趋势，对于NO2污染的评估，分析造成污染的原因有着重大的意义。
Description
技术领域
本发明涉及环境预测技术领域，特别涉及一种基于卷积神经网络的 MAX-DOAS光谱预测对流层NO2廓线的方法。
背景技术
我国的大气污染由传统的煤烟型污染逐步转变为极其复杂的区域性复合污 染。其中，以细颗粒物(PM2.5)为代表的灰霾污染和以臭氧(O3)为代表的 光化学烟雾是我国目前所面临的两大主要大气污染问题。氮氧化物(NOx)是 重要的灰霾气态前体物，其排放及污染物之间的化学反应与重污染的形成密切 相关。因此，准确监测大气中灰霾前体物NOx的浓度及其时空分布情况对于及 时掌握空气质量状况和有效控制大气污染很有必要。
NO2主要来源于交通、工厂的排放及化石燃料的燃烧，且会造成各种各样 的环境影响，比如大气能见度降低、光化学烟雾、地表水酸化以及水体富营养 化等。NO2的光解是引发对流层O3生成的关键启动反应。若无其他物种，NO、 NO2和O3三者之间可以达到稳态：
当NO2大量累积，增多的NO2会破坏反应式平衡，从而使对流层O3在大 气中得以积聚，这些光化学反应在污染的城市地区会导致″光化学烟雾″的产 生。
目前多项研究表明，边界层中NO2的分布变化与人类活动密切相关，各种 污染源排放的NO2气体扩散、输送和沉降主要集中在大气边界层，其对人类和 其它生物造成的危害也主要出现在该层。因此，准确的获得大气边界层NO2的分布及变化信息，有助于解释和预测大气污染成分的输送、扩散过程，提高 大气环境监测水平和预报能力，为大气环境、空气质量预报模型等研究工作提 供重要数据。
多轴差分吸收光谱技术(MAX-DOAS)是一种广泛使用的可同时观测多 种大气痕量气体的遥测技术，其快速发展为高分辨的监测对流层和平流层大气 痕量气体提供了一种便捷、有效的途径。与卫星观测相比，地基观测的时空分 辨率相对较高，受云层干扰小。MAX-DOAS技术已经广泛应用于对流层NO2， SO2和HCHO等廓线反演中且均取得了显著的效果。在对流层NO2垂直分布 的反演中，安徽光机所(AIOFM)与马普化学所(MPIC)联合研发了基于非 线性最优估算的痕量气体和气溶胶垂直廓线两步反演算法-PriAM。首先利用 MAX-DOAS在同一波段反演氧二聚体(O4)的差分斜柱浓度来反演气溶胶光 学特性及廓线；其次将痕量气体差分斜柱浓度和气溶胶垂直廓线输入到PriAM 廓线反演算法，最终获对流层(0-4km)痕量气体垂直分布廓线以及垂直柱浓 度。
通过在长期MAX-DOAS监测大气污染物立体分布中，积累大量的原始光 谱数据和反演得到的廓线数据，为数据挖掘技术应用在MAX-DOAS痕量气体 廓线预测中提供了数据支持。由于非线性计算元素和并行结构，而神经网络本 质上适用于解决非线性问题。在这种方法中，不需要推导特定的规则或待处理 数据的统计先验信息。卷积神经网络在学习阶段根据提供给它们的数据建立逆 映射和输入输出关系。基于此，利用卷积神经网络算法建立MAX-DOAS光谱 数据与对流层NO2廓线的模型，实现光谱数据输入到模型中，就能得到一条较 为精准的对流层廓线。
发明内容
为解决上述问题，本发明旨在提出一种基于卷积神经网络的MAX-DOAS 光谱预测对流层NO2廓线的方法，利用卷积神经网络算法建立MAX-DOAS 光谱数据与对流层NO2廓线的模型，实现光谱数据输入到模型中，就能得到一 条较为精准的对流层廓线。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于卷积神经网络的MAX-DOAS光谱预测对流层NO2廓线的方法， 所述方法通过卷积神经网络，将对齐的多仰角MAX-DOAS光谱数据和PriAM 算法反演的对流层NO2数据结合，建立可实现对流层NO2廓线预测的卷积神 经网络模型；卷积神经网络模型(CNN)通过卷积层来提取数据特征，池化层 用来降维和防止模型的过拟合，最后利用全连接层来输出结果。
进一步的，所述方法具体包括以下步骤：
S1、通过MAX-DOAS站点测得多仰角MAX-DOAS光谱数据，仪器方位 角为310°(正北为0°)，测量仰角11个角度为一组：1°、2°、3°、4°、5°、6°、 8°、10°、15°、30°、90°；
S2、将每一组输入向量的MAX-DOAS光谱数据，结合QDOAS光谱拟合 和痕量气体廓线反演算法PriAM反演获取对流层NO2廓线，反演得到的NO2廓线作为模型的输出向量，构建卷积神经网络模型；
S3、随机挑选70％的光谱数据作为训练集，30％的光谱数据作为测试集； 并对数据进行归一化用于减少量纲的影响；归一化公式为
是归 一化后的数据值，xi为真实数据，μ为原始数据的均值，σ为标准差；
S4、搭建卷积神经网络模型(CNN)，使用训练集训练卷积神经网络模型， 调整模型参数，使得卷积层能够提取MAX-DOAS光谱的数据特征；
S5、利用测试集监测网络训练的决定系数(R2)和均方根误差(RMSE)， 当模型的R2＞0.9且RMSE＜0.4时，判定模型能够用于对流层NO2廓线的预测； 采用决定系数(R2)和均方根误差(RMSE)的计算方法为
其中yi和/>
分别表示真实数据和预测数据。
进一步的，还包括步骤S6、将已知的MAX-DOAS站点的MAX-DOAS 光谱数据，输入到训练好的网络模型中，用于实现对流层NO2廓线的预测；并 用MSE来验证模型的可行性和准确性；
其中yi和/>
分 别表示真实数据和预测数据。
进一步的，所述卷积神经网络模型的建立包括输入层、卷积层、池化层、 全连接层：
输入层：输入层是测量仰角11个角度的MAX-DOAS光谱数据通过归一 化的预处理后的数据；
卷积层：卷积层是对输入的光谱数据进行特征提取，通过卷积核矩阵对原 始数据中隐含关联性进行抽象；
池化层：对特征进行采样，对感受域内的特征进行筛选，提取区域内最具 代表性的特征，用于降低输出特征尺度，减小模型所需要的参数量；
全连接层：全连接层进行线性拟合并通过输出层输出预测数据。
进一步的，还包括激活层：用于对卷积层抽取的特征进行激活。
进一步的，所述卷积神经网络模型(CNN)的模型参数设置如下：使用 ReLU的激活函数，损失函数采用MSE(均方根误差)；优化器使用 SGD+momentum，学习率为10-3，Batchsize(批量大小)根据训练集的样 本数目设置为64，来保证内存利用率，加强相同数据量的处理速度。
进一步的，所述卷积神经网络模型采用Dropout算对多个不同的神经网络 取平均用于减少不同网络的过拟合。
有益效果：本发明建立的卷积神经网络模型(CNN)使用训练集训练卷积 神经网络模型，调整模型参数，使得卷积层能够提取MAX-DOAS光谱的数据 特征，池化层夹在连续的卷积层中间，用于压缩数据和参数的量，减小过拟合； 同时使用了全局最大池化，为了减少卷积层参数误差造成估计均值偏移的问题， 更多的保留原始光谱数据的纹理信息。最后在全连接层使用线性回归输出对流 层NO2廓线结果。再使用测试集监测网络训练的决定系数(R2)和均方根误差 (RMSE)，并对参数进行调整，以达到最优的对流层NO2廓线的输出结果；本发明解决了对流层NO2廓线在线实时预测问题，能够根据MAX-DOAS光谱 快速准确直观的得到对流层NO2廓线，减少了QDOAS拟合和廓线反演算法反 演立体分布的进程，避免了在该过程中出现的误差；一方面对对流层NO2廓线 进行预测有助于监测NO2在对流层上的浓度变化趋势，对于NO2污染的评估， 分析造成污染的原因有着重大的意义；另一方面卷积神经网络模型利用卷积层 和池化层逐层提取MAX-DOAS数据的抽象特征，同时避免过拟合，学习数据内 部的结构特征及其隐藏的联系；通过非全连接和权值共享的网络结构降低了网 络模型的复杂度，减少了自由参数，提升模型泛化能力；卷积神经网络在 MAX-DOAS光谱预测廓线领域展现了良好的效果。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示 意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图 中：
图1为本发明实施例所述的基于卷积神经网络的MAX-DOAS光谱预测对 流层NO2廓线的方法的原理框图；
图2为典型的卷积神经网络模型结构示意图；
图3为本发明实施例所述的基于卷积神经网络的MAX-DOAS光谱预测对 流层NO2廓线的方法中的卷积神经网络模型结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征 可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
实施例1
参见图1-3：一种基于卷积神经网络的MAX-DOAS光谱预测对流层NO2廓线的方法，所述方法通过卷积神经网络，将对齐的多仰角MAX-DOAS光谱 数据和PriAM算法反演的对流层NO2数据结合，建立可实现对流层NO2廓线 预测的卷积神经网络模型；卷积神经网络模型(CNN)通过卷积层来提取数据 特征，池化层用来降维和防止模型的过拟合，最后利用全连接层来输出结果。
需要说明的是，本实施例的卷积神经网络从输入的原始光谱数据中的特定 长度片段中获得感兴趣特征，并且该特性在该数据片段中的位置不具有高度相 关性时，一维CNN是高效的，试图提取数据在某一方向的平移不变特征；由 于输入是多条对齐的观测仰角数据，所以能实现不同序列下不同波长数据的对 应关系；一旦建立模型的过程完成，该模型能够实时给出新的估计，建立非常 快速的数据处理链，从而利用MAX-DOAS光谱数据输入得到基于卷积神经网 络算法的对流层NO2廓线。
在一具体的实例中，所述方法具体包括以下步骤：
S1、通过MAX-DOAS站点测得多仰角MAX-DOAS光谱数据，仪器方位 角为310°(正北为0°)，测量仰角11个角度为一组：1°、2°、3°、4°、5°、6°、 8°、10°、15°、30°、90°；
需要说明的是，该站点的光谱数据按该仰角顺序筛选，满足该顺序的一组 光谱保留做本实施例的输入数据，如果有些角度缺失剔除对应组的数据；
S2、将每一组输入向量的MAX-DOAS光谱数据，结合QDOAS光谱拟合 和痕量气体廓线反演算法PriAM反演获取对流层NO2廓线，反演得到的NO2廓线作为模型的输出向量，构建卷积神经网络模型；
本实施例的NO2廓线垂直分辨率为200m(最低一层为50m)，故NO2廓线数据一共21个格点；本实施例的输入向量是由MAX-DOAS一个测量循 环(11个观测仰角)的光谱数据组成；
S3、随机挑选70％的光谱数据作为训练集，30％的光谱数据作为测试集； 并对数据进行归一化用于减少量纲的影响；归一化公式为
是归 一化后的数据值，xi为真实数据，μ为原始数据的均值，σ为标准差；
S4、搭建卷积神经网络模型(CNN)，使用训练集训练卷积神经网络模型， 调整模型参数，使得卷积层能够提取MAX-DOAS光谱的数据特征；
S5、利用测试集监测网络训练的决定系数(R2)和均方根误差(RMSE)， 当模型的R2＞0.9且RMSE＜0.4时，判定模型能够用于对流层NO2廓线的预测； 采用决定系数(R2)和均方根误差(RMSE)的计算方法为
其中yi和/>
分别表示真实数据和预测数据。
进一步的，还包括步骤S6、将已知的MAX-DOAS站点的MAX-DOAS 光谱数据，输入到训练好的网络模型中，用于实现对流层NO2廓线的预测；并 用MSE来验证模型的可行性和准确性；
其中yi和/>
分 别表示真实数据和预测数据。
可以理解的是，本实施例使用线性回归输出对流层NO2廓线结果；再使用 测试集监测网络训练的决定系数(R2)和均方根误差(RMSE)，并对参数进行 调整，达到了最优的对流层NO2廓线的输出结果。
在一具体的实例中，所述卷积神经网络模型的建立包括输入层、卷积层、 池化层、全连接层：
输入层：输入层是测量仰角11个角度的MAX-DOAS光谱数据通过归一 化的预处理后的数据；
本实施例的输入层的作用是将输入数据送入卷积神经网络进行特征提取， 以获得想要的结果；
卷积层：卷积层是对输入的光谱数据进行特征提取，通过卷积核矩阵对原 始数据中隐含关联性进行抽象；
本实施例的堆叠使用1维的卷积层，卷积神经网络可以很好地识别出数据 中的简单模式，然后使用这些简单模式在更高级的层中生成更复杂的模式。因 为从输入的原始光谱数据固定长度的片段中获得感兴趣特征，并且该特性在该 数据片段中的位置不具有高度相关性时，一维CNN是高效的，试图提取数据 在某一方向的平移不变特征；由于输入是11条序列对齐的，所以能实现不同 序列下不同波长数据的对应关系；
池化层：对特征进行采样，对感受域内的特征进行筛选，提取区域内最具 代表性的特征，用于降低输出特征尺度，减小模型所需要的参数量；
本实施例的神经网络模型需要池化层更多的保留光谱数据的纹理信息，降 低卷积层参数误差造成估计均值的偏移的误差，故采用最大池化(Max Pooling)；同时该层能够提高拟合性，降低机器计算量。
全连接层：全连接层进行线性拟合并通过输出层输出预测数据；
本实施例的全连接层将上一层的输出张量的形状作为全连接层输入张量的 现状，全连接层的输出张量形状为21，即代表21个高度下对流层NO2的浓度；
在一具体的实例中，还包括激活层：用于对卷积层抽取的特征进行激活。
由于卷积操作是把输入图像和卷积核进行相应的线性变换，需要引入激活 层(非线性函数)对其进行非线性映射；本实施例可以使用sigmoid函数，双曲 正切函数和ReLU作为本神经网络模型的激活函数。sigmoid函数和双曲正切 函数容易饱和，造成梯度消失，使得模型无法拟合；而ReLU函数在本模型中 能让每个神经元都能最大化的发挥它筛选的作用，符合某一个特征的中间值， 故加强其作用；不符合的直接剔除，同时活跃度的分散性使得神经网络整体计 算成本下降。
在一具体的实例中，所述卷积神经网络模型(CNN)的模型参数设置如下： 使用ReLU的激活函数，损失函数采用MSE(均方根误差)；优化器使用 SGD+momentum，学习率为10-3，Batchsize(批量大小)根据训练集的样 本数目设置为64，来保证内存利用率，加强相同数据量的处理速度。
需要说明的是，本实施例的卷积层的卷积核均设置为5＊5；将光谱数据输 入后通过卷积层1，输入的通道数是11，卷积后输出了64个通道；有多少个 输出通道，就需要多少个1维卷积；所以在卷积层2输入了64通道，通过卷 积输出了128个通道；卷积层可以显著减少网络中连接的数量，但特征映射组 中的神经元个数并没有显著减少，很容易过拟合；在数据经过两次卷积后进行 池化降低特征维数，避免过拟合；池化层1的卷积核设置为5＊5，步长为2； 之后卷积层3将输入的128个通道进行卷积，输出128个通道后再进入池化 层2来有效的减少神经元的数量；卷积层4将输入的128个通道进行卷积，输 出256个通道后进入池化层3，使得网络对一些小的局部形态改变保持不变性； 卷积层5将输入的256个通道进行卷积，输出512个通道后进入池化层4，压 缩数据和参数的数量，提高模型的容错性；卷积层6将输入的512个通道进行 卷积，输出512个通道后，进行自适应最大池化对于任何输入大小的输入，可 以将输出指定尺寸；最后通过全连接层整合卷积层或者池化层中具有类别区分 性的局部信息进行输出。
在一具体的实例中，所述卷积神经网络模型采用Dropout算对多个不同的 神经网络取平均用于减少不同网络的过拟合。
除了基本的模型构造之外，为了防止模型出现在训练集上有着极低的训练 误差，可是在测试集上表现不佳，这样得到的模型完全不能使用。本实施例利 用Dropout算法，该算法执行过程中相当于对多个不同的神经网络取平均，整 体上减少了不同网络的过拟合。因为dropout算法导致两个神经元不一定每次 都在一个dropout网络中出现。这样权值的更新不再依赖于有固定关系的隐含 节点的共同作用，阻止了某些特征仅仅在其它特定特征下才有效果的情况。迫 使网络去学习更加鲁棒的特征，使得网络对丢失特定神经元连接的鲁棒性提高， 防止了模型的过拟合。本实施例的dropout设置为0.1时模型的效果最佳。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发 明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发 明的保护范围之内。
Claims (6)
1.一种基于卷积神经网络的MAX-DOAS光谱预测对流层NO2廓线的方法，其特征在于，所述方法通过卷积神经网络，将对齐的多仰角MAX-DOAS光谱数据和PriAM算法反演的对流层NO2数据结合，建立可实现对流层NO2廓线预测的卷积神经网络模型；卷积神经网络模型(CNN)通过卷积层来提取数据特征，池化层用来降维和防止模型的过拟合，最后利用全连接层来输出结果；
所述方法具体包括以下步骤：
S1、通过MAX-DOAS站点测得多仰角MAX-DOAS光谱数据，仪器方位角为310°-正北为0°，测量仰角11个角度为一组：1°、2°、3°、4°、5°、6°、8°、10°、15°、30°、90°；
S2、将每一组输入向量的MAX-DOAS光谱数据，结合QDOAS光谱拟合和痕量气体廓线反演算法PriAM反演获取对流层NO2廓线，反演得到的NO2廓线作为模型的输出向量，构建卷积神经网络模型；
S3、随机挑选70％的光谱数据作为训练集，30％的光谱数据作为测试集；并对数据进行归一化用于减少量纲的影响；归一化公式为
是归一化后的数据值，xi为真实数据，μ为原始数据的均值，σ为标准差；
S4、搭建卷积神经网络模型CNN，使用训练集训练卷积神经网络模型，调整模型参数，使得卷积层能够提取MAX-DOAS光谱的数据特征；
S5、利用测试集监测网络训练的决定系数R2和均方根误差RMSE，当模型的R2>0.9且RMSE＜0.4时，判定模型能够用于对流层NO2廓线的预测；采用决定系数R2和均方根误差RMSE的计算方法为
其中yi和/>
分别表示真实数据和预测数据。
2.根据权利要求1所述的基于卷积神经网络的MAX-DOAS光谱预测对流层NO2廓线的方法，其特征在于，还包括步骤S6、将已知的MAX-DOAS站点的MAX-DOAS光谱数据，输入到训练好的网络模型中，用于实现对流层NO2廓线的预测；并用MSE来验证模型的可行性和准确性；
其中yi和/>
分别表示真实数据和预测数据。
3.根据权利要求1所述的基于卷积神经网络的MAX-DOAS光谱预测对流层NO2廓线的方法，其特征在于，所述卷积神经网络模型的建立包括输入层、卷积层、池化层、全连接层：
输入层：输入层是测量仰角11个角度的MAX-DOAS光谱数据通过归一化的预处理后的数据；
卷积层：卷积层是对输入的光谱数据进行特征提取，通过卷积核矩阵对原始数据中隐含关联性进行抽象；
池化层：对特征进行采样，对感受域内的特征进行筛选，提取区域内最具代表性的特征，用于降低输出特征尺度，减小模型所需要的参数量；
全连接层：全连接层进行线性拟合并通过输出层输出预测数据。
4.根据权利要求3所述的基于卷积神经网络的MAX-DOAS光谱预测对流层NO2廓线的方法，其特征在于，还包括激活层：用于对卷积层抽取的特征进行激活。
5.根据权利要求3所述的基于卷积神经网络的MAX-DOAS光谱预测对流层NO2廓线的方法，其特征在于，所述卷积神经网络模型CNN的模型参数设置如下：使用ReLU的激活函数，损失函数采用均方根误差MSE；优化器使用SGD+momentum，学习率为10-3，批量大小Batchsize根据训练集的样本数目设置为64，来保证内存利用率，加强相同数据量的处理速度。
6.根据权利要求1所述的基于卷积神经网络的MAX-DOAS光谱预测对流层NO2廓线的方法，其特征在于，所述卷积神经网络模型采用Dropout算法对多个不同的神经网络取平均用于减少不同网络的过拟合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110967743.6A CN113689035B (zh) | 2021-08-23 | 2021-08-23 | 一种基于卷积神经网络的max-doas光谱预测对流层no2廓线的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110967743.6A CN113689035B (zh) | 2021-08-23 | 2021-08-23 | 一种基于卷积神经网络的max-doas光谱预测对流层no2廓线的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113689035A CN113689035A (zh) | 2021-11-23 |
| CN113689035B true CN113689035B (zh) | 2023-06-20 |
Family
ID=78581444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110967743.6A Active CN113689035B (zh) | 2021-08-23 | 2021-08-23 | 一种基于卷积神经网络的max-doas光谱预测对流层no2廓线的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113689035B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105067534A (zh) * | 2015-07-25 | 2015-11-18 | 中国科学院合肥物质科学研究院 | 基于地基max-doas的污染物输送通量测算方法 |
| WO2020024319A1 (zh) * | 2018-08-01 | 2020-02-06 | 苏州大学张家港工业技术研究院 | 用于交通流量预测的卷积神经网络多点回归预测模型 |
-
2021
- 2021-08-23 CN CN202110967743.6A patent/CN113689035B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105067534A (zh) * | 2015-07-25 | 2015-11-18 | 中国科学院合肥物质科学研究院 | 基于地基max-doas的污染物输送通量测算方法 |
| WO2020024319A1 (zh) * | 2018-08-01 | 2020-02-06 | 苏州大学张家港工业技术研究院 | 用于交通流量预测的卷积神经网络多点回归预测模型 |
Non-Patent Citations (3)
| Title |
|---|
| 利用CrIS红外高光谱卫星数据反演大气温湿度廓线的研究;沈振翔;刘朝顺;;华东师范大学学报(自然科学版)(03);全文 * |
| 基于MAX-DOAS的大气对流层SO_2垂直柱浓度遥测;田鑫;李昂;徐晋;谢品华;牟福生;吴丰成;胡肇焜;张琼;王汝雯;;大气与环境光学学报(01);全文 * |
| 基于多轴差分吸收光谱技术的最优估算法反演气溶胶消光廓线研究;牟福生;雒静;李素文;王家伟;施瑞瑞;韦民红;;光子学报(07);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113689035A (zh) | 2021-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111814956B (zh) | 一种基于多维度二次特征提取的多任务学习的空气质量预测方法 | |
| CN113487061A (zh) | 一种基于图卷积-Informer模型的长时序交通流量预测方法 | |
| CN111369057A (zh) | 一种基于深度学习的空气质量预测优化方法及系统 | |
| CN117171546A (zh) | 一种结合污染扩散指数的城市空气质量预测方法 | |
| Precup et al. | Processing, neural network-based modeling of biomonitoring studies data and validation on Republic of Moldova data | |
| CN113011660A (zh) | 空气质量预测方法、系统及存储介质 | |
| CN114694767B (zh) | 基于时空图常微分方程网络的pm2.5浓度预测方法 | |
| CN116013426A (zh) | 一种高时空分辨率的站点臭氧浓度预测方法 | |
| Wang et al. | Research on air pollution gases recognition method based on lstm recurrent neural network and gas sensors array | |
| Li et al. | Research on air quality prediction based on machine learning | |
| CN115032720A (zh) | 基于随机森林的多模式集成预报在地面气温预报中的应用 | |
| CN114676779A (zh) | 基于鲁棒宽度网络的大气质量监测数据校准方法及系统 | |
| Cui et al. | Deep learning methods for atmospheric PM2. 5 prediction: A comparative study of transformer and CNN-LSTM-attention | |
| CN113689035B (zh) | 一种基于卷积神经网络的max-doas光谱预测对流层no2廓线的方法 | |
| CN116958553A (zh) | 基于无参注意力和点级卷积的轻量级植物点云分割方法 | |
| Wang et al. | Improved deep bidirectional recurrent neural network for learning the cross-sensitivity rules of gas sensor array | |
| CN115062764B (zh) | 光照度智能调节与环境参数物联网大数据系统 | |
| CN115510763A (zh) | 一种基于数据驱动探索的空气污染物浓度预测方法及系统 | |
| CN113869359A (zh) | 基于模块化神经网络的城市固废焚烧过程氮氧化物预测方法 | |
| Qu et al. | Short-term mathematical prediction model of air quality based on CEEMD-ELM-PSO | |
| Li et al. | Prediction of PM 2.5 Concentration Based on CEEMD-LSTM Model | |
| CN110793920A (zh) | 一种化学成像与高光谱联用的大气遥测方法 | |
| CN116429648B (zh) | 改进的时空LightGBM的地表PM10估算方法 | |
| Katranji et al. | Short-Term Wind Speed Prediction for Saudi Arabia via 1D-CNN | |
| CN113610302B (zh) | 一种基于逐步聚类与循环神经网络的地表温度降尺度方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |