CN112464920B - 基于极端随机树的fy-3d红外高光谱云检测方法 - Google Patents

基于极端随机树的fy-3d红外高光谱云检测方法 Download PDF

Info

Publication number
CN112464920B
CN112464920B CN202110133424.5A CN202110133424A CN112464920B CN 112464920 B CN112464920 B CN 112464920B CN 202110133424 A CN202110133424 A CN 202110133424A CN 112464920 B CN112464920 B CN 112464920B
Authority
CN
China
Prior art keywords
cloud
hiras
cloud detection
land
mersi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110133424.5A
Other languages
English (en)
Other versions
CN112464920A (zh
Inventor
史华湘
余意
张卫民
罗藤灵
张琪
银福康
马烁
段博恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110133424.5A priority Critical patent/CN112464920B/zh
Publication of CN112464920A publication Critical patent/CN112464920A/zh
Application granted granted Critical
Publication of CN112464920B publication Critical patent/CN112464920B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

本发明公开一种基于极端随机树的FY‑3D红外高光谱云检测方法，涉及卫星遥感技术领域。本发明使用FY‑3D上搭载的HIRAS和MERSI对地球的连续观测数据，先将两种数据文件进行时间匹配，将两种仪器的像元进行空间匹配，在通过匹配的MERSI像元的云标签确定HIRAS像元的云标签，得到带有云标签的HIRAS数据，构成极端随机树模型的训练数据集，然后使用极端随机树算法训练数据集，并用测试数据集检验模型的性能，最后将训练得到云检测性能较好的极端随机树模型用于YF‑3D的红外高光谱数据的云检测处理。本发明的云检测时间短，成本低，云检测分类的准确率高。

Description

基于极端随机树的FY-3D红外高光谱云检测方法
技术领域
本发明涉及卫星遥感技术领域，尤其涉及一种机器学习领域的基于决策树的集成学习方法—极端随机树算法，结合利用FY-3D卫星HIRAS仪器的红外高光谱数据进行HIRAS视场云检测的方法。
背景技术
红外高光谱数据是现代数值天气预报系统重要的观测数据，同化红外高光谱数据近模式系统，能有效地提升预报水平。云中的水滴和冰晶能有效吸收红外辐射，导致卫星的红外探测仪无法检测到云层以下的大气和地表的红外辐射。此外，当前的辐射传输观测算子很难准确地模拟云的辐射效应。因此，云的污染是红外高光谱数据同化的重要问题。当前的解决办法是在红外高光谱数据进入同化系统之前，先剔除被云污染的像元。判断像元视场是否有云的过程，称为云检测。因此，准确快速地对红外高光谱数据进行云检测，是有效应用卫星红外高光谱数据的前提。同样FY-3D的HIRAS数据进入同化系统之前，也需要进行云检测处理。
当前，基于云的物理特征提出的多通道阈值方法，应用于大多数业务卫星红外探测仪上，但是许多云检测带有多个阈值，很难设置合适的阈值；还有一种广泛应用的方法是基于成像仪的云检测方法，虽然该方法显著提升了高光谱红外探测的云检测准确度，但是该方法需要较高的内存成本和计算时间成本。
随着人工智能时代的到来，使用人工智能技术做云检测的算法也随之提出。有人使用卫星云图作为经典图像分类网络的输入，通过对网络微调构建神经网络云检测模型，取得较高精度的云检测结果。但是红外探测仪的有几百个通道，不同通道数据对于不同高度敏感。不知道云出现在哪个高度，如何选择合适的通道云图将是个重要的问题。
因此，如何提供一种精度高且计算成本低的新型云检测方法是本领域技术人员极为关注的技术问题。
发明内容
本发明的目的在于提供了一种基于极端随机树可快速准确地实现FY-3D红外高光谱数据云检测算法。
为了解决上述技术问题，本发明使用中国风云系列极轨卫星FY-3D上搭载的红外高光谱大气探测仪（HIRAS）和中分辨率光谱成像仪（MERSI）对地球的连续观测数据。首先将HIRAS数据文件和MERSI数据文件进行时间匹配，保证两个仪器几乎同时对一个地区进行观测，然后将两种仪器的像元进行空间匹配，找出每个HIRAS像元能覆盖的MERSI像元，在通过匹配的MERSI像元的云标签确定HIRAS像元的云标签，如此可以得到带有云标签的HIRAS数据，构成极端随机树模型的训练数据集。然后使用极端随机树算法训练数据集，让其学习到HIRAS长波通道数据与视场是否有云的非线性映射关系，并用测试数据集检验模型的性能。最后将训练得到云检测性能较好的极端随机树模型用于YF-3D的红外高光谱数据的云检测处理。
本发明提供的一种基于极端随机树的FY-3D红外高光谱云检测方法，包括以下具体步骤：
S1.构建HIRAS与MERSI数据匹配模型
Figure 82635DEST_PATH_IMAGE001
．时间匹配：
当HIRAS和MERSI的观测时间满足以下公式时，则可认为HIRAS和MERSI仪器同时对相同区域进行了观测，
Figure 991685DEST_PATH_IMAGE002
其中，
Figure 858010DEST_PATH_IMAGE003
表示HIRAS的观测时间，
Figure 118090DEST_PATH_IMAGE004
表示MERSI的观测时间，
Figure 226598DEST_PATH_IMAGE005
为匹配时间阈值，一般不超过59s。
Figure 255734DEST_PATH_IMAGE006
．空间匹配：
遍历每个HIRAS像元，基于球面距离找到该驻留点所覆盖的MERSI像元，当MERSI像元中心经纬度与HIRAS像元中心经纬度满足以下距离公式时，则可认为HIRAS与MERSI数据空间匹配，
Figure 824118DEST_PATH_IMAGE007
Figure 40336DEST_PATH_IMAGE008
其中，
Figure 719579DEST_PATH_IMAGE009
是MERSI像元与HIRAS像元之间的距离，
Figure 603222DEST_PATH_IMAGE010
是HIRAS像元中心的纬度，
Figure 76928DEST_PATH_IMAGE011
是MERSI像元中心的纬度，
Figure 46021DEST_PATH_IMAGE012
是HIRAS像元中心的经度，
Figure 499262DEST_PATH_IMAGE013
是MERSI中心像元的经度，R是地球半径；
Figure 502990DEST_PATH_IMAGE014
是HIRAS的匹配半径，设置为9KM。
Figure 147598DEST_PATH_IMAGE015
．确定HIRAS像元云标签：
根据每个HIRAS像元匹配到的MERSI像元的云掩码数据，确定每个HIRAS视场的云标签。
S2.生成训练数据集和测试数据集
将上述确定的带有云标签的HIRAS像元样本，根据其海陆位置，分别构建海洋数据集和陆地数据集，然后分别训练海洋云检测模型和陆地云检测模型，进而生成海洋和陆地训练数据集，并将海洋数据集和陆地数据集种的30%作为测试数据集；
S3.训练极端随机树云检测模型
将上述得到的海洋数据集和陆地数据集，采用机器学习分类算法分别训练海洋和陆地云检测模型，并通过使用机器学习算法中的网格搜索方法，选择合适的超参数，得到泛化性能较好的海洋和陆地极端随机树云检测模型；
S4.使用不同天气实例来做云检测测试
1）构造训练海洋和陆地数据集以外的测试数据集，包括不同训练区域和时间的数据，将原始HIRAS和MERSI数据通过步骤S1生成带标签的测试数据集，带入训练好的陆地、海洋云检测模型做分类，计算出有云、晴空类别的准确度、召回率和AUC值，验证模型的性能；
2）选择训练数据集之外的天气实例数据做验证数据集；
3）将预报结果可视化，并与相同时刻的卫星的真彩云图做比较，检验极端随机树云检测模型的预报准确性。
进一步的，所述步骤S1中所述HIRAS与MERSI仪器都在同一个卫星平台，且MERSI仪器的观测范围覆盖了HIRAS仪器的观测范围。
进一步的，所述MERSI探元阵列的扫描范围为±55.1°±1°，所述HIRAS探元阵列的扫描范围为±50.4°。
进一步的，所述步骤S1的（3）中所述HIRAS视场的云标签的确定：当匹配的MERSI像元95%以上都是晴空时，则认为该HIRAS像元为晴空；当匹配的MERSI像元95%以上都是云时，则认为该HIRAS像元为云；当匹配的MERSI像元数量较小或者可能云、可能晴空、未确定的像元比率较大时，将该HIRAS像元的云标签设为未确定，则该未确定的HIRAS像元的云标签需要从样本中剔除。
进一步的，所述步骤S3中所述机器学习分类算法为集成学习中的极端随机数算法，所述极端随机数算法的原理为：采用原始训练集，在选择划分决策树的特征值时，随机选择划分特征值，生成规模较大的决策树。
进一步的，所述步骤S4的1）中所述陆地云检测模型的性能为：在5232个测试样本中预测准确度可达0.98，完全云类别的召回率可达0.98，AUC值可达0.99。所述步骤S4的1）中所述海洋云检测模型的性能为：在3648个测试样本中预测准确度可达0.97，完全云类别的召回率可达0.97，AUC值可达0.98。
进一步的，所述步骤S4的2）中所述验证数据集的生成是经过HIRAS像元的海陆标识划分为海洋样本和陆地样本，并将通道数据处理成海洋和陆地云检测模型输入的形式。
进一步的，所述步骤S4的2）中所述预报结果是通过海洋和陆地云检测模型来预报HIRAS像元的云标签。
本发明取得了以下有益效果：
1、本发明的基于极端随机树的FY-3D红外高光谱云检测方法，提前学习了通道辐射数据与对应云标签之间的映射关系，只需要HIRAS仪器的通道辐射数据，便可快速鉴别出该HIRAS像元视场是否有云。相较于传统的基于成像仪的云检测方法需要两个不同仪器数据的时间空间匹配，本发明的云检测方法所需要时间较短，即本发明的云检测方法时间成本、存储成本更低。
2、本发明的云检测算法通过大量有标签样本的训练，分类精度可以媲美传统的高精度的云检测方法，并在一些复杂情形，例如冰雪覆盖地表、成像仪无法检测的地区，本发明的云检测算法依然可以做出较好的检测，即本发明云检测分类的准确率高。因此，对于FY-3D红外高光谱数据的业务同化应用的云检测预处理，本发明具有较高的实际应用价值。
附图说明
图1是本发明的总流程图；
图2是本发明的基于成像仪的HIRAS云标签生成模块流程图；
图3是本发明的极端随机树云检测模型在台风天气的一种实施例的检测结果；
图4是本发明的一种实施例的mersi L2级云检测产品16：40的观测结果；
图5是本发明一种实施例的极端随机树模型的预报结果。
具体实施方式
下面结合附图对本发明的具体实施方式进行详细地描述。本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本发明使用传统机器学习算法中一种基于决策树的集成学习方法—极端随机树算法，通过大量样本训练，使模型学习风云3D卫星中红外高光谱仪器（HIRAS）的通道辐射数据与视场的云标签（完全有云、晴空、部分有云）之间的映射关系，最后将学习到云检测知识的极端随机树模型实现HIRAS仪器的快速云检测。
如图1所示，该HIRAS仪器的快速云检测的主要实现过程包括以下三个步骤：
a．训练测试数据集的生成
借鉴传统的基于成像仪的云检测方法，使用中分辨率光谱成像仪（MERSI）的云检测段产品，生成HIRAS像元的云标签，该HIRAS像元的云标签生成模块流程如图2所示。因为是两个不同仪器，因此需要将两个仪器进行观测时间匹配、像元空间匹配，然后通过云、晴空像元的比例确定HIRAS像元的云标签。最后通过HIRAS像元的海陆分布，将带有云标签的数据集划分为海洋、陆地两个数据集。
b．极端随机树云检测模型的训练验证
首先将步骤a生成的海陆数据集分别进行预处理，预处理包括剔除辐射值为负的样本、数据集的正规化。然后将数据集划分为训练集、验证集，训练集由于训练极端随机树模型、验证用于检验模型效果。采用网格搜索方法选择合适的极端随机树模型超常数，得到泛化性能最佳的云检测模型。
c．极端随机树云检测模型的应用测试
将训练好的极端随机树云检测模型用于不同地区、不同天气个例情形的云检测应用，与真实云图和传统云检测方法的结果比较，检测模型性能。
如图1和图2所示，本发明提供的一种基于极端随机数算法的FY-3D红外高光谱云检测方法，具体包括以下步骤：
S1.构建HIRAS与MERSI数据匹配模型
虽然HIRAS与MERSI仪器都在同一个卫星平台，但是它们的观测频率不一样，所以首先需要进行观测时间的匹配。另外，由于本发明的MERSI探元阵列的扫描范围设置为±55.1°±1°，HIRAS探元阵列的扫描范围设置为±50.4°，因此MERSI仪器的观测范围覆盖了HIRAS仪器的观测范围。现只需保证观测时间一致，则可以保证两个仪器的观测区域是一致的。
Figure 603987DEST_PATH_IMAGE001
．时间匹配：
当HIRAS和MERSI的观测时间满足以下公式时，则可认为HIRAS和MERSI仪器同时对相同区域进行了观测。
Figure 562716DEST_PATH_IMAGE002
其中，
Figure 155371DEST_PATH_IMAGE003
表示HIRAS的观测时间，
Figure 970880DEST_PATH_IMAGE004
表示MERSI的观测时间，
Figure 914565DEST_PATH_IMAGE005
为匹配时间阈值，一般不超过59s。
Figure 473723DEST_PATH_IMAGE006
．空间匹配：
遍历每个HIRAS像元，基于球面距离找到该驻留点所覆盖的MERSI像元。当MERSI像元中心经纬度与HIRAS像元中心经纬度满足以下距离公式时，则可认为HIRAS与MERSI数据空间匹配。
Figure 684999DEST_PATH_IMAGE007
Figure 405830DEST_PATH_IMAGE008
其中，
Figure 836812DEST_PATH_IMAGE016
是MERSI像元与HIRAS像元之间的距离，
Figure 934081DEST_PATH_IMAGE017
是HIRAS像元中心的纬度，
Figure 32487DEST_PATH_IMAGE018
是MERSI像元中心的纬度，
Figure 924219DEST_PATH_IMAGE019
是HIRAS像元中心的经度，
Figure 671858DEST_PATH_IMAGE020
是MERSI中心像元的经度，R是地球半径（6371km）；
Figure 838397DEST_PATH_IMAGE014
是HIRAS的匹配半径，因为考虑到向两边摆扫时的形变，本发明中设置为9KM。
Figure 260151DEST_PATH_IMAGE015
．确定HIRAS像元云标签：
根据每个HIRAS像元匹配到的MERSI像元的云掩码数据，确定每个HIRAS视场的云标签。当匹配的MERSI像元95%以上都是晴空时，则认为该HIRAS像元为晴空（1）；当匹配的MERSI像元95%以上都是云时，则认为该HIRAS像元为云（0）；当匹配的MERSI像元数量较小或者可能云、可能晴空、未确定的像元比率较大时，将该HIRAS像元的云标签设为未确定（-1），则该未确定的HIRAS像元的云标签需要从样本中剔除。
S2.生成训练数据集和测试数据集
由于海洋和陆地地表类型和辐射性质的巨大差异，我们需要分别构建海洋数据集和陆地数据集，然后分别训练海洋云检测模型和陆地云检测模型。由S1生成的带有云标签的HIRAS像元样本，根据其海陆位置，划分为海洋数据集和陆地数据集。为了在训练过程中同时检测模型的性能，本发明将数据集中的30%作为测试数据集。
S3.训练极端随机树云检测模型
通过步骤S1和S2得到的海洋数据集和陆地数据集，本发明采用机器学习分类算法分别训练海洋和陆地云检测模型。本发明采用的机器学习分类算法是集成学习中的极端随机树算法，该极端随机树算法的原理为：首选，选择训练数据集时，极端随机树算法不像随机森林一样，随机选择训练样本，而时采用原始训练集；其次，在选择划分决策树的特征值时，随机选择划分特征值。使用该极端随机树算法训练生成的决策树的规模一般较大，从而使海洋和陆地云检测模型的方差较小，偏差较大，其泛化能力较好。
通过使用机器学习算法中的网格搜索方法（GridSearchCV），选择合适的超参数，得到泛化性能较好的海洋、陆地极端随机树云检测模型。
S4. 使用不同天气实例来做云检测测试
1）构造训练海洋和陆地数据集以外的测试数据集，包括不同训练区域和时间的数据，将原始HIRAS和MERSI数据通过步骤S1生成带标签的测试数据集，带入训练好的陆地、海洋云检测模型做分类，计算出有云、晴空类别的准确度、召回率和AUC值，验证模型的性能。陆地云检测模型在5232个测试样本中预测准确度可达0.98，完全云类别的召回率可达0.98，AUC值可达0.99。海洋云检测模型在3648个测试样本中预测准确度可达0.97，完全云类别的召回率可达0.97，AUC值可达0.98。表现出了较好的性能。
2）选择训练数据集之外的天气实例数据做验证数据集。验证数据集的生成无需经过匹配生成云标签，只需经过HIRAS像元的海陆标识划分为海洋样本和陆地样本，并将通道数据处理成模型输入的形式，通过海洋陆地云检测模型预报HIRAS像元的云标签。
3）将预报结果可视化，并与相同时刻的卫星的真彩云图做比较，检验极端随机树云检测模型的预报准确性。本发明中相同时刻的卫星为葵花8号卫星。
以下结合具体实施例和附图对本发明作进一步详细说明，但不作为对本申请的限定。
具体实施例：
为了更加了解本发明的技术内容，特举2020年第10号台风—“风神”个例的预报结果。该台风在9月3日16时已发展为台风，并有进一步增强的趋势，在9月4号发展为强台风并迅速发展为超强台风。
如图4和图5所示，为2020年第10号台风“海神”个例9月3日16时40分的检验结果。图4表示mersi L2级云检测产品16：40的观测结果，其中0表示确定云，1表示可能云，2表示可能晴空，3表示确定晴空，4表示未确定。图5表示极端随机树模型的预报结果，其输入为16：40 HIRAS的全通道辐射数据，输出为对应hairs像元的云标签。其中a表示确定云，b表示确定晴空。
如图4所示，从MERSI L2级的云检测产品可以看出，该台风已经发展成熟，呈现圆形结构，台风眼区云层密实，台风外围具有丝状云带。结合L2级成品的质量报告，可以认为该产品表征台风的真实情况。
如图5所示，从极端随机树模型的预报结果的对比图，可以看出，极端随机树模型只接受HIRAS的红外高光谱辐射数据，结合前期训练学习到的红外高光谱云检测知识，便可以较准确地预报出此时刻台风区域的有云、晴空状态，并较好地保持了台风眼区的密实圆形结构和外围云带的丝状结构，与真实情形具有较高的一致性。结果表明，本发明的极端随机树模型能较好地对台风天气情形进行云检测。这对于HIRAS红外高光谱数据的资料同化应用，以及台风的数据天气预报具有重要意义。
以本时刻的观测为例，传统的基于成像仪的云检测算法，完成该时刻HIRAS红外高光谱辐射数据的云检测所需要的时间是27.1526s，而极端随机树模型的云检测所需要的时间是0.5472s，后者是前者的49.62倍，并且这只是一个时刻的HIRAS数据云检测，如果对于全球连续的HIRAS观测数据做云检测，本发明的极端随机树云检测模型的计算高效性是非常显著的。
下面定量分析本发明的极端随机树云检测模型的预报性能。如图3所示，对于机器学习分类模型评价，我们首先需要计算分类模型的混淆矩阵。基于混淆矩阵，计算机器学习分类模型的各项评价指标，其中常用的评价指标有准确率（accuracy）、查准率(precision)、查全率(recall)、F1得分(F1)和AUC值(Area Under Curve)，其计算公式如下：
Figure 588364DEST_PATH_IMAGE021
Figure 728358DEST_PATH_IMAGE022
Figure 433009DEST_PATH_IMAGE023
Figure 974849DEST_PATH_IMAGE024
Figure 995936DEST_PATH_IMAGE025
Figure 623226DEST_PATH_IMAGE026
Figure 865989DEST_PATH_IMAGE027
上述公式
Figure 262335DEST_PATH_IMAGE028
-
Figure 932351DEST_PATH_IMAGE029
中，TP代表实际为晴空预测也为晴空的样本数，TN代表实际为云预测也为云的样本数，FP代表实际为云预测为晴空的样本数，FN表示实际为晴空预报为云的样本数，ROC表示模型的ROC曲线，该曲线的纵坐标为TPR,横坐标为FPR。AUC则表示ROC曲线与x轴的面积，该数值越大，表征该分类模型性能越好，最理想的情形是AUC数值等于1，表示该分类模型可以完美检测出正例样本和负例样本。
本发明根据上述各项评价指标，在5232个测试样本中对本发明的陆地云检测模型进行分类性能统计，在3648个测试样本中对本发明的海洋云检测模型进行分类性能统计，如表1所示。
表1 极端随机树云检测模型的测试性能统计
Figure 46938DEST_PATH_IMAGE030
从表1可以看出，本发明的云检测模型，具有较好的云检测分类性能。陆地云检测模型在5232个测试样本中的分类准确度可达0.98，分类模型的AUC达到0.99，表明陆地模型能准确地分类陆地上HIRAS像元的完全云或者完全晴空视场。海洋云检测模型在3648个测试样本中的分类准确度为0.97，分类模型的AUC可达0.99，表明海洋模型能准确地分类海洋上HIRAS像元的完全云或者完全晴空视场。
综上所述，一方面，本发明的极端随机树云检测算法具有较高的云检测准确度，并在未知样本中表现出良好泛化性能。另一方面，该算法具有非常显著的计算高效性，单个时刻预报速度是传统基于成像仪匹配算法的49.62倍。因此，本发明的极端随机树云检测算法在FY-3D红外高光谱数据的云检测方面具有较高的实用价值。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (7)

1.一种基于极端随机树的FY-3D红外高光谱云检测方法，其特征在于，包括以下具体步骤：
S1.构建HIRAS与MERSI数据匹配模型
Figure DEST_PATH_IMAGE001
．时间匹配：
当HIRAS和MERSI的观测时间满足以下公式时，则可认为HIRAS和MERSI仪器同时对相同区域进行了观测，
Figure 538616DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
表示HIRAS的观测时间，
Figure 393440DEST_PATH_IMAGE004
表示MERSI的观测时间，
Figure DEST_PATH_IMAGE005
为匹配时间阈值，不超过59s；
Figure 625707DEST_PATH_IMAGE006
．空间匹配：
遍历每个HIRAS像元，基于球面距离找到该HIRAS像元所覆盖的MERSI像元，当MERSI像元中心经纬度与HIRAS像元中心经纬度满足以下距离公式时，则可认为HIRAS与MERSI数据空间匹配，
Figure DEST_PATH_IMAGE007
Figure 958599DEST_PATH_IMAGE008
其中，
Figure DEST_PATH_IMAGE009
是MERSI像元与HIRAS像元之间的距离，
Figure 163185DEST_PATH_IMAGE010
是HIRAS像元中心的纬度，
Figure DEST_PATH_IMAGE011
是MERSI像元中心的纬度，
Figure 438177DEST_PATH_IMAGE012
是HIRAS像元中心的经度，
Figure DEST_PATH_IMAGE013
是MERSI中心像元的经度,R是地球半径；
Figure 642893DEST_PATH_IMAGE014
是HIRAS的匹配半径，设置为9KM；
Figure DEST_PATH_IMAGE015
．确定HIRAS像元云标签：
根据每个HIRAS像元匹配到的MERSI像元的云掩码数据，确定每个HIRAS视场的云标签；
S2.生成训练数据集和测试数据集
将上述确定的带有云标签的HIRAS像元样本，根据其海陆位置，分别构建海洋数据集和陆地数据集，将海洋基础数据集和陆地基础数据集中的70%数据用于生成海洋和陆地训练数据集，然后分别训练海洋云检测模型和陆地云检测模型，进而生成海洋和陆地训练数据集，并将海洋数据集和陆地数据集种的30%作为测试数据集；
S3.训练极端随机树云检测模型
将上述得到的海洋训练数据集和陆地训练数据集，采用机器学习分类算法分别训练海洋和陆地云检测模型，并通过使用机器学习算法中的网格搜索方法，选择合适的超参数，得到泛化性能较好的海洋和陆地极端随机树云检测模型；
S4.使用不同天气实例来做云检测测试
1）将步骤S2生成的测试数据集，带入训练好的陆地、海洋云检测模型做分类，计算出有云、晴空类别的准确度、召回率和AUC值，验证模型的性能；
2）选择训练数据集之外的天气实例数据做验证数据集；
3）将预报结果可视化，并与相同时刻的卫星的真彩云图做比较，检验极端随机树云检测模型的预报准确性。
2.根据权利要求1所述的基于极端随机树的FY-3D红外高光谱云检测方法，其特征在于，所述步骤S1中所述HIRAS与MERSI仪器都在同一个卫星平台，且MERSI仪器的观测范围覆盖了HIRAS仪器的观测范围。
3.根据权利要求1所述的基于极端随机树的FY-3D红外高光谱云检测方法，其特征在于，所述步骤S3中所述机器学习分类算法为集成学习中的极端随机树 算法，所述极端随机树 算法的原理为：采用原始训练集，在选择划分决策树的特征值时，随机选择划分特征值，生成规模较大的决策树。
4.根据权利要求1所述的基于极端随机树的FY-3D红外高光谱云检测方法，其特征在于，所述步骤S4的1）中所述陆地云检测模型的性能为：在5232个测试样本中预测准确度可达0.98，完全云类别的召回率可达0.98，AUC值可达0.99。
5.根据权利要求1所述的基于极端随机树的FY-3D红外高光谱云检测方法，其特征在于，所述步骤S4的1）中所述海洋云检测模型的性能为：在3648个测试样本中预测准确度可达0.97，完全云类别的召回率可达0.97，AUC值可达0.98。
6.根据权利要求1所述的基于极端随机树的FY-3D红外高光谱云检测方法，其特征在于，所述步骤S4的2）中所述验证数据集的生成是经过HIRAS像元的海陆标识划分为海洋样本和陆地样本，并将通道数据处理成海洋和陆地云检测模型输入的形式。
7.根据权利要求1所述的基于极端随机树的FY-3D红外高光谱云检测方法，其特征在于，所述步骤S4的3）中所述预报结果是通过海洋和陆地云检测模型来预报HIRAS像元的云标签。
CN202110133424.5A 2021-02-01 2021-02-01 基于极端随机树的fy-3d红外高光谱云检测方法 Active CN112464920B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110133424.5A CN112464920B (zh) 2021-02-01 2021-02-01 基于极端随机树的fy-3d红外高光谱云检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110133424.5A CN112464920B (zh) 2021-02-01 2021-02-01 基于极端随机树的fy-3d红外高光谱云检测方法

Publications (2)

Publication Number Publication Date
CN112464920A CN112464920A (zh) 2021-03-09
CN112464920B true CN112464920B (zh) 2021-04-30

Family

ID=74802166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110133424.5A Active CN112464920B (zh) 2021-02-01 2021-02-01 基于极端随机树的fy-3d红外高光谱云检测方法

Country Status (1)

Country Link
CN (1) CN112464920B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177512B (zh) * 2021-05-20 2024-04-05 国家卫星气象中心(国家空间天气监测预警中心) 一种星星间交叉辐射定标的匹配阈值分析方法
CN113096129B (zh) * 2021-06-08 2021-09-10 自然资源部国土卫星遥感应用中心 高光谱卫星影像中的云量检测方法和装置
CN114485677B (zh) * 2022-04-14 2022-06-24 中国民用航空总局第二研究所 结合飞行轨迹变高度的民航导航设备视距覆盖分析方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262205B2 (en) * 2015-07-28 2019-04-16 Chiman KWAN Method and system for collaborative multi-satellite remote sensing
CN114612439A (zh) * 2016-02-29 2022-06-10 优鲁格斯股份有限公司 行星尺度分析系统
CN106547840B (zh) * 2016-10-13 2019-09-06 国家卫星气象中心 一种全球三维大气数据的解析及管理方法
CN109946235B (zh) * 2019-02-26 2021-11-02 南京信息工程大学 风云4a气象卫星多通道扫描成像辐射计的多层云反演方法
CN110148176B (zh) * 2019-05-30 2021-10-15 国家卫星气象中心(国家空间天气监测预警中心) 红外高光谱多像元载荷的定位一致性的检验方法和装置
CN111241698A (zh) * 2020-01-17 2020-06-05 国家卫星气象中心 对流层顶风场反演方法、装置、存储介质及计算机设备
CN111638565A (zh) * 2020-06-09 2020-09-08 云南电网有限责任公司电力科学研究院 一种山区暴雨监测方法
CN112131789B (zh) * 2020-09-18 2023-11-21 中国人民解放军国防科技大学 一种基于随机森林算法的多光谱降水检测系统及方法

Also Published As

Publication number Publication date
CN112464920A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN112464920B (zh) 基于极端随机树的fy-3d红外高光谱云检测方法
US11488069B2 (en) Method for predicting air quality with aid of machine learning models
Goldblatt et al. Utilizing publicly available satellite data for urban research: Mapping built-up land cover and land use in Ho Chi Minh City, Vietnam
Soh et al. ARKTOS: An intelligent system for SAR sea ice image classification
Wang et al. Tropical cyclone intensity estimation from geostationary satellite imagery using deep convolutional neural networks
CN110533631A (zh) 基于金字塔池化孪生网络的sar图像变化检测方法
CN110555841A (zh) 基于自注意图像融合和dec的sar图像变化检测方法
CN110533007A (zh) 一种桥梁车载应变影响线特征智能识别与提取方法
Chunyang et al. Sea fog detection using U-Net deep learning model based on MODIS data
Zhang et al. Outdoor air quality inference from single image
Zhang et al. Outdoor air quality level inference via surveillance cameras
Kavzoglu et al. Comparison of support vector machines, random forest and decision tree methods for classification of sentinel-2A image using different band combinations
Tang et al. A novel sample selection method for impervious surface area mapping using JL1-3B nighttime light and Sentinel-2 imagery
CN114120137B (zh) 一种基于时序植被遥感影像的湿地要素时空演变监测方法
Tiancheng et al. Application of improved naive bayesian-CNN classification algorithm in sandstorm prediction in inner mongolia
Wang et al. A conformal regressor with random forests for tropical cyclone intensity estimation
Pegion et al. Understanding predictability of daily southeast US precipitation using explainable machine learning
CN117421643A (zh) 基于人工智能的生态环境遥感数据分析方法及系统
CN112966710B (zh) 基于线性判别分析的fy-3d红外高光谱云检测方法
CN112767543B (zh) 基于逻辑回归的fy-3d红外高光谱云检测方法
Alshammari et al. Machine learning applications to dust storms: a meta-analysis
CN111444824A (zh) 一种基于无人机技术的植被空间分布格局调查方法及植被分类方法
CN114998719A (zh) 一种基于深度学习和多源遥感数据的林火预测方法
Nguyen Deep learning for tropical cyclone formation detection
Wang Forecasting and identifying the meteorological and hydrological conditions favoring the occurrence of severe hazes in Beijing and Shanghai using deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant