CN113468799A - 一种静止气象卫星观测中获取近地面pm2.5浓度的方法及系统 - Google Patents
一种静止气象卫星观测中获取近地面pm2.5浓度的方法及系统 Download PDFInfo
- Publication number
- CN113468799A CN113468799A CN202110522252.0A CN202110522252A CN113468799A CN 113468799 A CN113468799 A CN 113468799A CN 202110522252 A CN202110522252 A CN 202110522252A CN 113468799 A CN113468799 A CN 113468799A
- Authority
- CN
- China
- Prior art keywords
- ground
- concentration
- satellite
- information
- observation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000003068 static effect Effects 0.000 title abstract description 12
- 238000012544 monitoring process Methods 0.000 claims abstract description 62
- 230000005855 radiation Effects 0.000 claims abstract description 35
- 238000013179 statistical model Methods 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 28
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 11
- 238000013138 pruning Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000010206 sensitivity analysis Methods 0.000 claims description 8
- 150000001875 compounds Chemical class 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000000443 aerosol Substances 0.000 abstract description 13
- 230000003287 optical effect Effects 0.000 abstract description 10
- 238000004422 calculation algorithm Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 4
- 238000009826 distribution Methods 0.000 abstract description 3
- 238000011160 research Methods 0.000 abstract description 3
- 238000011161 development Methods 0.000 abstract description 2
- 238000001228 spectrum Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 49
- 238000010586 diagram Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 3
- 239000005427 atmospheric aerosol Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 239000000809 air pollutant Substances 0.000 description 1
- 231100001243 air pollutant Toxicity 0.000 description 1
- 238000004164 analytical calibration Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/06—Investigating concentration of particle suspensions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N2021/1793—Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Pathology (AREA)
- Mathematical Optimization (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Software Systems (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Artificial Intelligence (AREA)
- Immunology (AREA)
- Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Dispersion Chemistry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Algebra (AREA)
- Bioinformatics & Computational Biology (AREA)
- Databases & Information Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种静止气象卫星观测中获取近地面PM2.5浓度的方法及系统，利用新一代静止气象卫星观测辐射，脱离气溶胶光学厚度这一中间变量，直接反演近地面PM2.5浓度的方法。瞄准近地面PM2.5浓度高分辨率时空分布遥感连续监测这一目标，基于风云四号静止气象卫星的高时空分辨的直接连续观测辐射，突破传统近地面PM2.5浓度估算中对气溶胶光学厚度的依赖关系，考虑卫星光谱和时间约束作用，提出一种直接从静止气象卫星观测中获取近地面PM2.5的算法，促进大气环境卫星遥感监测研究深入发展。
Description
技术领域
本发明涉及气象卫星遥感技术领域，具体涉及一种静止气象卫星观测中获取近地面PM2.5浓度的方法及系统。
背景技术
近地面PM2.5浓度监测是污染治理的基础，我国迫切需要开展相应研究和措施来加强和改进监测技术，以准确把握空气质量状况和污染规律及机制，进而推动国内空气质量监测与污染治理。传统的近地面PM2.5浓度的监测主要是基于地面采集、监测网络等方式，这种方法虽然可以不受天气影响，全天候地提供较为准确的近地面PM2.5浓度监测数据，但是地面测量站点的空间覆盖范围十分有限，难以提供区域及全球的空气质量评估数据，而且不同类型的测量方法和监测仪器的校准有差异，难以得到统一标准的近地面PM2.5浓度分布数据。
卫星遥感数据有时间、空间分辨率高的优点，通过卫星遥感能快速获取气溶胶的空间变化和时间动态变化，可以有效弥补地面监测站点在时间和空间上观测的不足，在环境质量现状评估和应急监测方面具有明显优势，特别是新一代静止气象卫星的发展，提高了卫星观测的时空分辨率，利用卫星观测进行空气污染物浓度逐渐成为重要的监测手段。目前多数研究基于卫星反演的气溶胶光学厚度二级产品估算近地面PM2.5浓度，气溶胶光学厚度产品本身具有反演误差，该误差将代入近地面PM2.5浓度估算中，并引起更大的不确定性。通过卫星观测辐射能够反演气溶胶光学厚度产品，理论上卫星观测辐射与近地面PM2.5浓度能够直接相关，并且比通过气溶胶光学厚度估算近地面PM2.5 浓度的方法具有更小的不确定性。
发明内容
为了解决上述现有技术中的问题，本发明针对大气气溶胶具有时序变化的特征，提供一种静止气象卫星观测中获取近地面PM2.5浓度的方法及系统，在充分分析近地面PM2.5产生和监测物理机理基础上，跳过气溶胶光学厚度这一中间变量，考虑卫星光谱和时间约束作用。通过卫星观测辐射直接估算近地面 PM2.5浓度，不依赖气溶胶光学厚度产品，提高近地面PM2.5浓度反演精度。
本发明的目的是采用下述技术方案实现的：
一种静止气象卫星观测中获取近地面PM2.5浓度的方法，所述方法包括：
基于地面站点监测PM2.5浓度、卫星观测辐射、地表和气象要素数据，构建特征量数据集；
采用特征量数据集对预先建立的卫星遥感反演近地面PM2.5浓度统计模型进行优化训练，计算目标函数；
每次迭代时，对所述目标函数做二阶泰勒展开，获得优化目标函数；
为所述优化目标函数添加阈值，进行剪枝处理，得到节点切分后的损失函数，以确定新的监测信息；
输入新的监测信息，通过卫星观测辐射估算近地面PM2.5浓度。
优选的，所述特征量数据集的构建包括：
采集地面站点监测PM2.5浓度、卫星观测辐射、地表和气象要素数据，构建不同时空尺度的多源真值样本；
获取多源真值样本对应的特征量构成的匹配数据集，用于统计模型的训练和验证。
优选的，所述卫星遥感反演近地面PM2.5浓度统计模型采用优化的分布式梯度增强理论进行构建。
优选的，所述采用特征量数据集对预先建立的卫星遥感反演近地面PM2.5 浓度统计模型进行优化训练包括：
选取多种地表和大气参数作为特征项，并根据雾霾物理机理对各特征项进行敏感性分析；
根据敏感性分析结果进行统计模型的权重初始化；
模型对损失函数进行二阶的泰勒展开，利用一阶导数和二阶导数信息拟合损失函数，通过下式求得最优解：
式中，
表示第t次迭代时的目标函数；yi表示原始样本对应真值；
表示样本在模型中第t-1迭代时的预测值；ft(xi)表示样本在模型第t次迭代时的预测值；Ω(ft)为正则项。
进一步地，通过下式对所述目标函数做二阶泰勒展开：
式(2)中，g为一阶导数，h为二阶导数。
优选的，所述为优化目标函数添加阈值，进行剪枝处理，得到节点切分后的损失函数包括：
寻找分割点的标准是最大化，当树结构确定时，树的结构得分只与其一阶导数和二阶导数有关，得分越小，说明结构越好；
从单个叶节点开始，迭代分裂来给树添加节点，得到节点切分后的损失函数：
式(3)中，γ为阈值，表示正则项里叶子节点数T的系数，系数λ是正则项里leafscore的L2模平方的系数，对leaf score做了平滑处理。
优选的，所述以确定新的监测信息包括：
首先确定上一时次的保留信息，由公式(4)计算出一个在0到1之间的数值：
ft＝σ(Wf[ht-1,xt]+bf) (4)
其中，ht-1表示上一个时次的结果，xt表示当前时次的结果，通过遗忘门计算保留信息ft，Wf表示遗忘门权重，bf为遗忘门的偏移向量，σ表示sigmod 函数：
sigmoid函数输出范围为0到1，0表示全部丢弃，1表示全部保留；
令新的信息加入到当前时刻的观测信息中来，利用ht-1和xt决定要更新的信息it，再利用ht-1和xt通过神经网络tanh层得到新的候选信息
这些信息可能会被更新到新的监测信息中；最后更新旧的监测信息Ct-1，更新成为新的监测信息Ct；
更新的规则就是通过(4)选择忘记旧信息的一部分，通过(5)选择添加候选信息的一部分得到新的细胞信息Ct：
进一步地，所述输入新的监测信息，通过卫星观测辐射估算近地面PM2.5 浓度包括：基于统计模型建立静止卫星的无云观测区域的直接观测通道表观辐射亮度、地表参数、卫星观测角度、气象要素与近地面PM2.5观测数据的回归关系，并充分利用卫星数据的高时效性进行近地面PM2.5浓度的反演，获取高时空分辨率的近地面PM2.5浓度监测值。
一种静止气象卫星观测中获取近地面PM2.5浓度的系统，所述系统包括：
构建模块，用于基于地面站点监测PM2.5浓度、卫星观测辐射、地表和气象要素数据，构建特征量数据集；
计算模块，用于采用特征量数据集对预先建立的卫星遥感反演近地面 PM2.5浓度统计模型进行优化训练，计算目标函数；
获取模块，用于每次迭代时，对所述目标函数做二阶泰勒展开，获得优化目标函数；
处理模块，用于为所述优化目标函数添加阈值，进行剪枝处理，得到节点切分后的损失函数，以确定新的监测信息；
估算模块，用于输入新的监测信息，通过卫星观测辐射估算近地面PM2.5 浓度。
本发明的有益效果体现在：
本发明提供的一种静止气象卫星观测中获取近地面PM2.5浓度的方法及系统，针对大气气溶胶具有时序变化的特征，充分利用新一代静止气象卫星的高时间分辨率观测的特点，通过观测气溶胶颗粒物浓度在时间序列的变化，考虑前后时次的时间约束，通过卫星观测辐射直接估算近地面PM2.5浓度，不依赖气溶胶光学厚度产品，提高近地面PM2.5浓度反演精度。
利用本发明提供的方法及系统，可以通过风云四号卫星多通道扫描成像辐射计观测辐射直接反演得到近地面PM2.5浓度。基于考虑时间约束的近地面 PM2.5浓度方法通过风云四号卫星多通道扫描成像辐射计观测辐射反演的 PM2.5浓度检验结果，可以看出反演结果与站点监测值有较高的一致性且相对误差较小。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明具体实施方式中提供的一种静止气象卫星观测中获取近地面PM2.5浓度的方法流程图；
图2为本发明具体实施例中提供的直接从静止气象卫星观测中获取近地面PM2.5的技术流程图；
图3为本发明具体实施例中提供的基于考虑时间约束的近地面PM2.5浓度方法通过风云四号卫星多通道扫描成像辐射计观测辐射反演的PM2.5浓度检验结果示意图；
图4为本发明具体实施例中提供的污染过程检测与验证示例图（注：本图为中国局部地图）。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
如图1所示，本实施例1提供一种静止气象卫星观测中获取近地面PM2.5浓度的方法，所述方法包括：
S1基于地面站点监测PM2.5浓度、卫星观测辐射、地表和气象要素数据，构建特征量数据集；
S2采用特征量数据集对预先建立的卫星遥感反演近地面PM2.5浓度统计模型进行优化训练，计算目标函数；
S3每次迭代时，对所述目标函数做二阶泰勒展开，获得优化目标函数；
S4为所述优化目标函数添加阈值，进行剪枝处理，得到节点切分后的损失函数，以确定新的监测信息；
S5输入新的监测信息，通过卫星观测辐射估算近地面PM2.5浓度。
步骤S1中，所述特征量数据集的构建包括：
采集地面站点监测PM2.5浓度、卫星观测辐射、地表和气象要素数据，构建不同时空尺度的多源真值样本；
获取多源真值样本对应的特征量构成的匹配数据集，用于统计模型的训练和验证。
其中，步骤S2的卫星遥感反演近地面PM2.5浓度统计模型采用优化的分布式梯度增强理论进行构建。
步骤S3中，所述采用特征量数据集对预先建立的卫星遥感反演近地面 PM2.5浓度统计模型进行优化训练包括：
选取多种地表和大气参数作为特征项，并根据雾霾物理机理对各特征项进行敏感性分析；
根据敏感性分析结果进行统计模型的权重初始化；
模型对损失函数进行二阶的泰勒展开，利用一阶导数和二阶导数信息拟合损失函数，通过下式求得最优解：
式中，
表示第t次迭代时的目标函数；yi表示原始样本对应真值；
表示样本在模型中第t-1迭代时的预测值；ft(xi)表示样本在模型第t次迭代时的预测值；Ω(ft)为正则项。
通过下式对所述目标函数做二阶泰勒展开：
式(2)中，g为一阶导数，h为二阶导数。
步骤S4中，所述为优化目标函数添加阈值，进行剪枝处理，得到节点切分后的损失函数包括：
寻找分割点的标准是最大化，当树结构确定时，树的结构得分只与其一阶导数和二阶导数有关，得分越小，说明结构越好；
从单个叶节点开始，迭代分裂来给树添加节点，得到节点切分后的损失函数：
式(3)中，γ为阈值，表示正则项里叶子节点数T的系数，系数λ是正则项里leafscore的L2模平方的系数，对leaf score做了平滑处理；GR、GL和 HR、HL分别为当前节点左右子树的一阶二阶导数。
所述以确定新的监测信息包括：
首先确定上一时次的保留信息，由公式(4)计算出一个在0到1之间的数值：
ft＝σ(Wf[ht-1,xt]+bf) (4)
其中，ht-1表示上一个时次的结果，xt表示当前时次的结果，通过遗忘门计算保留信息ft，Wf表示遗忘门权重，bf为遗忘门的偏移向量，σ表示sigmod 函数：
sigmoid函数输出范围为0到1，0表示全部丢弃，1表示全部保留；
令新的信息加入到当前时刻的观测信息中来，利用ht-1和xt决定要更新的信息it，再利用ht-1和xt通过神经网络tanh层得到新的候选信息
这些信息可能会被更新到新的监测信息中；最后更新旧的监测信息Ct-1，更新成为新的监测信息Ct；
更新的规则就是通过(4)选择忘记旧信息的一部分，通过(5)选择添加候选信息的一部分得到新的细胞信息Ct：
步骤S5中，输入新的监测信息，通过卫星观测辐射估算近地面PM2.5浓度包括：基于统计模型建立静止卫星的无云观测区域的直接观测通道表观辐射亮度、地表参数、卫星观测角度、气象要素与近地面PM2.5观测数据的回归关系，并充分利用卫星数据的高时效性进行近地面PM2.5浓度的反演，获取高时空分辨率的近地面PM2.5浓度监测值。
基于同一技术构思，本发明还提供一种静止气象卫星观测中获取近地面 PM2.5浓度的系统，所述系统包括：
构建模块，用于基于地面站点监测PM2.5浓度、卫星观测辐射、地表和气象要素数据，构建特征量数据集；
计算模块，用于采用特征量数据集对预先建立的卫星遥感反演近地面 PM2.5浓度统计模型进行优化训练，计算目标函数；
获取模块，用于每次迭代时，对所述目标函数做二阶泰勒展开，获得优化目标函数；
处理模块，用于为所述优化目标函数添加阈值，进行剪枝处理，得到节点切分后的损失函数，以确定新的监测信息；
估算模块，用于输入新的监测信息，通过卫星观测辐射估算近地面PM2.5 浓度。
实施例1：
以风云四号气象卫星为数据源获取近地面PM2.5浓度为例，说明主要技术方案，相关技术方法步骤如图2：
(1)用于统计模型训练的特征量数据集构建
发明基于地面站点监测PM2.5浓度、卫星观测辐射、地表和气象要素数据，构建不同时空尺度的多源真值样本和特征量匹配数据集，用于统计模型的训练和验证。
卫星传感器在轨运行过程中，由于仪器定标系数衰减，会造成卫星观测辐射不一致的问题，卫星观测辐射输入的不一致将影响统计模型训练精度。为保证卫星观测辐射数据一致性，需进行卫星定标系数校正。通过场地定标和星上定标等手段，监测和校正卫星遥感器在轨运行过程中的响应特性衰变，并评估和修正大气传输、地表环境变化等因素对观测的影响，保证训练中卫星观测辐射数据质量和稳定性。
此外在特征量的选择上，本发明专利充分分析雾霾天气的物理机理，基于卫星反演近地面PM2.5浓度的物理模型有针对性的选取特征量。
(2)考虑时间约束的统计模型构建和优化
本发明中采用优化的分布式梯度增强理论构建卫星遥感反演近地面PM2.5 浓度统计模型，并根据训练目标需求进行模型的改进和优化训练。
选取多种地表和大气参数作为特征项，并根据雾霾物理机理对各特征项进行敏感性分析。并根据敏感性分析结果进行统计模型的权重初始化，根据物理机理更有针对的进行训练，这对模型的收敛速度和性能有着至关重要的影响，对提高训练效率和结果精度有重要意义。
模型对损失函数进行二阶的泰勒展开，利用了一阶导数和二阶导数信息，从而能更好地拟合损失函数，减小优化过程中存在的误差。求得到的最优解的效率更高：
式中，
表示第t次迭代时的目标函数；yi表示原始样本对应真值；
表示样本在模型中第t-1迭代时的预测值；ft(xi)表示样本在模型第t次迭代时的预测值；最后一项Ω(ft)为正则项。对公式(1)做二阶泰勒展开：g为一阶导数，h为二阶导数：
寻找分割点的标准是最大化，当树结构确定时，树的结构得分只与其一阶导数和二阶导数有关，得分越小，说明结构越好。而通常情况下，无法枚举所有可能的树结构然后选取最优的，所以我们选择用一种贪婪算法来代替：我们从单个叶节点开始，迭代分裂来给树添加节点。节点切分后的损失函数：
为了限制树的生长，我们可以加入阈值，公式(3)中的γ即阈值，它是正则项里叶子节点数T的系数，所以模型在优化目标函数的同时相当于做了预剪枝。另外，公式(3)中还有一个系数λ，是正则项里leaf score的L2模平方的系数，对leaf score做了平滑，也起到了防止过拟合的作用；GR、GL和HR、 HL分别为当前节点左右子树的一阶二阶导数。
同时模型需考虑气溶胶的时序变化，因此模型构建中设计时序训练和预测模块。首先需要确定上一时次的保留信息，由公式(4)计算出一个在0到1 之间的数值。
ft＝σ(Wf[ht-1,xt]+bf) (4)
其中ht-1表示的是上一个时次的结果，xt表示的是当前时次的结果，通过遗忘门计算保留信息ft，Wf表示遗忘门权重，bf为遗忘门的偏移向量，σ表示 sigmod函数：
sigmoid函数输出范围为0到1，0表示全部丢弃，1表示全部保留，接下来决定让多少新的信息加入到现在时刻的观测信息中来。
首先利用ht-1和xt决定要更新的信息it，再利用ht-1和xt通过tanh层得到新的候选信息
这些信息可能会被更新到新的监测信息中。最后更新旧的监测信息Ct-1，更新成为新的监测信息Ct。更新的规则就是通过(4)选择忘记旧信息的一部分，通过(5)选择添加候选信息的一部分得到新的细胞信息Ct (公式(7))。
(3)卫星遥感PM2.5反演算法构建
在训练样本数据集构建和对机器学习模型的改进优化基础上，本专利基于统计模型建立静止卫星的无云观测区域的直接观测通道表观辐射亮度、地表参数、卫星观测角度、气象要素与近地面PM2.5观测数据的回归关系，并充分利用卫星数据的高时效性进行近地面PM2.5浓度的反演，获取高时空分辨率的近地面PM2.5浓度监测产品。
首先需对训练样本数据集中的各特征量进行数据质量控制，并进行数据时空匹配考虑时空权重插值算法对不同观测时间和地理位置的数据进行校正，保证训练样本的准确性和一致性。在此基础上针对多样化地表和大气环境中近地面PM2.5浓度精确反演的目标，同时考虑气溶胶观测的时序变化设计训练方案，并将训练样本数据集输入考虑时间约束的统计模型进行训练，最终生成一套近地面PM2.5浓度遥感反演模型。同时根据预留的检验数据集(不参与训练)，进行精度效果检验，并根据反馈结果进一步对模型进行训练优化，提高模型反演精度。
利用以上的处理方法，可以通过风云四号卫星多通道扫描成像辐射计观测辐射直接反演得到近地面PM2.5浓度。图3所示为基于考虑时间约束的近地面PM2.5浓度方法通过风云四号卫星多通道扫描成像辐射计观测辐射反演的 PM2.5浓度检验结果，可以看出反演结果与站点监测值有较高的一致性(相关系数达0.93)且相对误差较小(均方根误差为10.01ug/m3，大于75％的反演结果在10％的误差范围内)。
在较高的反演精度基础上，该算法在污染过程的监测中也得到了较好的应用效果。图4(图4a,b,c,d依次为风云四号卫星多通道扫描成像辐射计观测云图，污染物分级图像、近地面PM2.5浓度反演结果图、地面站点监测近地面 PM2.5浓度监测结果)为风云四号卫星监测到的一个污染过程，及算法反演的近地面PM2.5浓度结果，可以看出算法反演结果很好的反映了污染过程中近地面PM2.5浓度的分布和变化。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本申请的技术方案而非对其保护范围的限制，尽管参照上述实施例对本申请进行了详细的说明，所属领域的普通技术人员应当理解：本领域技术人员阅读本申请后依然可对申请的具体实施方式进行种种变更、修改或者等同替换，这些变更、修改或者等同替换，其均在其申请待批的权利要求范围之内。
Claims (9)
1.一种静止气象卫星观测中获取近地面PM2.5浓度的方法，其特征在于，所述方法包括：
基于地面站点监测PM2.5浓度、卫星观测辐射、地表和气象要素数据，构建特征量数据集；
采用特征量数据集对预先建立的卫星遥感反演近地面PM2.5浓度统计模型进行优化训练，计算目标函数；
每次迭代时，对所述目标函数做二阶泰勒展开，获得优化目标函数；
为所述优化目标函数添加阈值，进行剪枝处理，得到节点切分后的损失函数，以确定新的监测信息；
输入新的监测信息，通过卫星观测辐射估算近地面PM2.5浓度。
2.根据权利要求1所述的方法，其特征在于：所述特征量数据集的构建包括：
采集地面站点监测PM2.5浓度、卫星观测辐射、地表和气象要素数据，构建不同时空尺度的多源真值样本；
获取多源真值样本对应的特征量构成的匹配数据集，用于统计模型的训练和验证。
3.根据权利要求1所述的方法，其特征在于：所述卫星遥感反演近地面PM2.5浓度统计模型采用优化的分布式梯度增强理论进行构建。
4.根据权利要求1所述的方法，其特征在于：所述采用特征量数据集对预先建立的卫星遥感反演近地面PM2.5浓度统计模型进行优化训练包括：
选取多种地表和大气参数作为特征项，并根据雾霾物理机理对各特征项进行敏感性分析；
根据敏感性分析结果进行统计模型的权重初始化；
模型对损失函数进行二阶的泰勒展开，利用一阶导数和二阶导数信息拟合损失函数，通过下式求得最优解：
式中，
表示第t次迭代时的目标函数；yi表示原始样本对应真值；
表示样本在模型中第t-1迭代时的预测值；ft(xi)表示样本在模型第t次迭代时的预测值；Ω(ft)为正则项。
5.根据权利要求4所述的方法，其特征在于：通过下式对所述目标函数做二阶泰勒展开：
式(2)中，g为一阶导数，h为二阶导数。
6.根据权利要求1所述的方法，其特征在于：所述为优化目标函数添加阈值，进行剪枝处理，得到节点切分后的损失函数包括：
寻找分割点的标准是最大化，当树结构确定时，树的结构得分只与其一阶导数和二阶导数有关，得分越小，说明结构越好；
从单个叶节点开始，迭代分裂来给树添加节点，得到节点切分后的损失函数：
式(3)中，γ为阈值，表示正则项里叶子节点数T的系数，系数λ是正则项里leaf score的L2模平方的系数，对leaf score做了平滑处理；GR、GL和HR、HL分别为当前节点左右子树的一阶二阶导数。
7.根据权利要求1所述的方法，其特征在于：所述以确定新的监测信息包括：
首先确定上一时次的保留信息，由公式(4)计算出一个在0到1之间的数值：
ft＝σ(Wf[ht-1,xt]+bf) (4)
其中，ht-1表示上一个时次的结果，xt表示当前时次的结果，通过遗忘门计算保留信息ft，Wf表示遗忘门权重，bf为遗忘门的偏移向量，σ表示sigmod函数：
sigmoid函数输出范围为0到1，0表示全部丢弃，1表示全部保留；
令新的信息加入到当前时刻的观测信息中来，利用ht-1和xt决定要更新的信息it，再利用ht-1和xt通过神经网络tanh层得到新的候选信息
这些信息可能会被更新到新的监测信息中；最后更新旧的监测信息Ct-1，更新成为新的监测信息Ct；
it＝σ(Wi[ht-1,xt]+bi)
更新的规则就是通过(4)选择忘记旧信息的一部分，通过(5)选择添加候选信息的一部分得到新的细胞信息Ct：
8.根据权利要求2所述的方法，其特征在于：所述输入新的监测信息，通过卫星观测辐射估算近地面PM2.5浓度包括：基于统计模型建立静止卫星的无云观测区域的直接观测通道表观辐射亮度、地表参数、卫星观测角度、气象要素与近地面PM2.5观测数据的回归关系，并充分利用卫星数据的高时效性进行近地面PM2.5浓度的反演，获取高时空分辨率的近地面PM2.5浓度监测值。
9.一种静止气象卫星观测中获取近地面PM2.5浓度的系统，其特征在于，所述系统包括：
构建模块，用于基于地面站点监测PM2.5浓度、卫星观测辐射、地表和气象要素数据，构建特征量数据集；
计算模块，用于采用特征量数据集对预先建立的卫星遥感反演近地面PM2.5浓度统计模型进行优化训练，计算目标函数；
获取模块，用于每次迭代时，对所述目标函数做二阶泰勒展开，获得优化目标函数；
处理模块，用于为所述优化目标函数添加阈值，进行剪枝处理，得到节点切分后的损失函数，以确定新的监测信息；
估算模块，用于输入新的监测信息，通过卫星观测辐射估算近地面PM2.5浓度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110522252.0A CN113468799A (zh) | 2021-05-13 | 2021-05-13 | 一种静止气象卫星观测中获取近地面pm2.5浓度的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110522252.0A CN113468799A (zh) | 2021-05-13 | 2021-05-13 | 一种静止气象卫星观测中获取近地面pm2.5浓度的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113468799A true CN113468799A (zh) | 2021-10-01 |
Family
ID=77870703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110522252.0A Pending CN113468799A (zh) | 2021-05-13 | 2021-05-13 | 一种静止气象卫星观测中获取近地面pm2.5浓度的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113468799A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114609008A (zh) * | 2022-03-30 | 2022-06-10 | 中国科学院地理科学与资源研究所 | 一种气体浓度预测模型的训练方法和气体浓度预测方法 |
| CN115081557A (zh) * | 2022-08-22 | 2022-09-20 | 北华航天工业学院 | 基于地面监测数据的夜间气溶胶光学厚度估算方法和系统 |
| CN116485048A (zh) * | 2023-06-25 | 2023-07-25 | 北京工业大学 | 一种大气污染物排放清单的联合优化反演方法及系统 |
| CN118168997A (zh) * | 2024-01-15 | 2024-06-11 | 中国科学院大气物理研究所 | 多源气溶胶光学厚度融合方法、系统、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190325334A1 (en) * | 2018-04-23 | 2019-10-24 | National Chung-Shan Institute Of Science And Technology | Method for predicting air quality with aid of machine learning models |
| CN111209533A (zh) * | 2019-11-28 | 2020-05-29 | 香港理工大学深圳研究院 | 道路层面细颗粒物反演方法、装置、计算设备及存储介质 |
| CN111369057A (zh) * | 2020-03-05 | 2020-07-03 | 电子科技大学 | 一种基于深度学习的空气质量预测优化方法及系统 |
| CN111723524A (zh) * | 2020-06-23 | 2020-09-29 | 南通大学 | 一种基于日变化约束的pm2.5卫星遥感反演方法 |
| CN112577866A (zh) * | 2020-12-02 | 2021-03-30 | 石家庄学院 | 一种城市颗粒物浓度估算模型 |
-
2021
- 2021-05-13 CN CN202110522252.0A patent/CN113468799A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190325334A1 (en) * | 2018-04-23 | 2019-10-24 | National Chung-Shan Institute Of Science And Technology | Method for predicting air quality with aid of machine learning models |
| CN111209533A (zh) * | 2019-11-28 | 2020-05-29 | 香港理工大学深圳研究院 | 道路层面细颗粒物反演方法、装置、计算设备及存储介质 |
| CN111369057A (zh) * | 2020-03-05 | 2020-07-03 | 电子科技大学 | 一种基于深度学习的空气质量预测优化方法及系统 |
| CN111723524A (zh) * | 2020-06-23 | 2020-09-29 | 南通大学 | 一种基于日变化约束的pm2.5卫星遥感反演方法 |
| CN112577866A (zh) * | 2020-12-02 | 2021-03-30 | 石家庄学院 | 一种城市颗粒物浓度估算模型 |
Non-Patent Citations (6)
| Title |
|---|
| HEMING BAI等: "Comparison of Satellite-based PM2.5 Estimation from Aerosol Optical Depth and Top-of-atmosphere Reflectance", AEROSOL AND AIR QUALITY RESEARCH, vol. 21, no. 2, 28 February 2021 (2021-02-28), pages 1 - 17 * |
| HUANFENG SHEN等: "Estimating Regional Ground-Level PM2.5 Directly From Satellite Top-Of-Atmosphere Reflectance Using Deep Belief Networks", JGR ATMOSPHERES, vol. 123, no. 4, 27 December 2018 (2018-12-27), pages 13875 - 13886 * |
| LIN TIAN等: "The Ground-Level Particulate Matter Concentration Estimation Based on the New Generation of FengYun Geostationary Meteorological Satellite", REMOTE SENS, vol. 15, no. 5, 5 March 2023 (2023-03-05), pages 1 - 19 * |
| 康俊锋等: "XGBoost-LSTM变权组合模型支持下的短期PM2.5浓度预测—以上海为例", 中国环境科学, 30 April 2021 (2021-04-30), pages 1 - 17 * |
| 胡瑛: "基于集成学习的雾霾污染预测研究", 中国优秀硕士学位论文全文数据库工程科技Ⅰ辑, no. 01, 15 January 2021 (2021-01-15), pages 027 - 893 * |
| 邹同元等: "星地一体化遥感数据处理技术", vol. 2020, 31 August 2020, 机械工业出版社, pages: 172 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114609008A (zh) * | 2022-03-30 | 2022-06-10 | 中国科学院地理科学与资源研究所 | 一种气体浓度预测模型的训练方法和气体浓度预测方法 |
| CN114609008B (zh) * | 2022-03-30 | 2023-09-01 | 中国科学院地理科学与资源研究所 | 一种气体浓度预测模型的训练方法和气体浓度预测方法 |
| CN115081557A (zh) * | 2022-08-22 | 2022-09-20 | 北华航天工业学院 | 基于地面监测数据的夜间气溶胶光学厚度估算方法和系统 |
| CN116485048A (zh) * | 2023-06-25 | 2023-07-25 | 北京工业大学 | 一种大气污染物排放清单的联合优化反演方法及系统 |
| CN116485048B (zh) * | 2023-06-25 | 2023-10-13 | 北京工业大学 | 一种大气污染物排放清单的联合优化反演方法及系统 |
| CN118168997A (zh) * | 2024-01-15 | 2024-06-11 | 中国科学院大气物理研究所 | 多源气溶胶光学厚度融合方法、系统、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113468799A (zh) | 一种静止气象卫星观测中获取近地面pm2.5浓度的方法及系统 | |
| CN113919448B (zh) | 一种任意时空位置二氧化碳浓度预测影响因素分析方法 | |
| CN111651941B (zh) | 一种全球电离层电子总含量预测的算法 | |
| CN109580003B (zh) | 一种静止气象卫星热红外数据估算近地面大气温度方法 | |
| CN110232471B (zh) | 一种降水传感网节点布局优化方法及装置 | |
| CN111639787A (zh) | 一种基于图卷积网络的时空数据预测方法 | |
| CN111652443B (zh) | 综合多源卫星遥感预测远洋渔业资源丰度的方法及其应用 | |
| Selbesoglu | Prediction of tropospheric wet delay by an artificial neural network model based on meteorological and GNSS data | |
| CN112699959B (zh) | 基于能量泛函模型的多源多尺度降水数据融合方法和装置 | |
| CN113901384A (zh) | 顾及全局空间自相关性和局部异质性的地面pm2.5浓度建模方法 | |
| CN113108918B (zh) | 一种极轨气象卫星热红外遥感数据反演气温方法 | |
| CN116297068B (zh) | 基于地表反射率优化的气溶胶光学厚度反演方法及系统 | |
| CN113344149B (zh) | 一种基于神经网络的pm2.5逐小时预测方法 | |
| CN108508457B (zh) | 基于精密星历的阻力系数自适应调制方法 | |
| Merchant et al. | Bias correction and covariance parameters for optimal estimation by exploiting matched in-situ references | |
| CN108896456A (zh) | 基于反馈型rbf神经网络的气溶胶消光系数反演方法 | |
| Hoseini et al. | Towards a zero-difference approach for homogenizing gnss tropospheric products | |
| CN114219345A (zh) | 一种基于数据挖掘的二次空气质量预报优化方法 | |
| CN111859303B (zh) | 基于动态贝叶斯平均的土壤湿度融合方法及系统 | |
| CN116502539B (zh) | 一种VOCs气体浓度预测方法及系统 | |
| CN116822566A (zh) | 一种短期光伏发电功率预测方法 | |
| CN116774316A (zh) | 短临降水的预测方法、装置、存储介质及计算机设备 | |
| CN109444055A (zh) | 一种盐碱地土壤盐分含量的高光谱计算方法 | |
| CN116189796A (zh) | 基于机器学习的星载短波红外co2柱浓度估算方法 | |
| Brynjarsdottir et al. | Optimal Estimation Versus MCMC for CO 2 Retrievals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |