CN115546658B - 一种数据集质量提升与改进cnn相结合的夜间云检测方法 - Google Patents

一种数据集质量提升与改进cnn相结合的夜间云检测方法 Download PDF

Info

Publication number
CN115546658B
CN115546658B CN202211176165.5A CN202211176165A CN115546658B CN 115546658 B CN115546658 B CN 115546658B CN 202211176165 A CN202211176165 A CN 202211176165A CN 115546658 B CN115546658 B CN 115546658B
Authority
CN
China
Prior art keywords
cloud
thermal infrared
infrared image
data set
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211176165.5A
Other languages
English (en)
Other versions
CN115546658A (zh
Inventor
张文豪
邴芳飞
金永涛
余涛
顾行发
徐娜
刘其悦
张丽丽
吴俣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Institute of Aerospace Engineering
Original Assignee
North China Institute of Aerospace Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Institute of Aerospace Engineering filed Critical North China Institute of Aerospace Engineering
Priority to CN202211176165.5A priority Critical patent/CN115546658B/zh
Publication of CN115546658A publication Critical patent/CN115546658A/zh
Application granted granted Critical
Publication of CN115546658B publication Critical patent/CN115546658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及用于识别图形的数据识别技术领域，提供了一种数据集质量提升与改进CNN相结合的夜间云检测方法，该方法包括：获取目标区域的遥感影像数据，遥感影像数据为有云影像；对遥感影像数据进行通道选择，得到热红外影像；根据太阳天顶角信息，对热红外影像进行提取，得到可用于夜间云检测的热红外影像；获取与遥感影像数据对应的云产品；根据云产品中的云类型信息和质量保证信息，生成云标签数据；对可用于夜间云检测的热红外影像和云标签数据进行时空匹配，以生成云检测模型的训练数据集和验证数据集；利用训练数据集和验证数据集，对云检测模型进行训练，得到训练好的云检测模型。如此，避免了阈值法的检测误差，提升了复杂场景下云检测能力。

Description

一种数据集质量提升与改进CNN相结合的夜间云检测方法
技术领域
本申请涉及用于识别图形的数据识别技术领域，特别涉及一种数据集质量提升与改进CNN相结合的夜间云检测方法。
背景技术
随着科技的发展，遥感技术逐渐成熟，卫星遥感数据具有空间宏观性、时间连续性、可获取数据全面性等特点，已广泛应用于地球资源调查、自然灾害预测和环境污染监测等领域，但卫星传感器获取的影像往往存在云层遮挡问题。
云具有较强的反射特性，减弱了云层以外的其他信息的获取，如土地利用、植被覆盖、地表温度、大气气溶胶、近地表细颗粒物和二氧化碳等，严重影响了卫星探测地面和其他大气参数的能力，因此云检测是遥感影像处理的重要步骤，是提升卫星应用能力的重要保障。
现有云检测技术主要利用可见光波段针对白天的遥感影像，常用的方法可分为阈值法、机器学习方法两大类。其中，机器学习方法将云检测问题转化成图像的分类问题，采用机器学习算法模型对影像进行特征提取，从而进行云与非云的分类，避免了阈值设定和人为参与带来的不确定性，其中深度学习的方法能够提取数据的光谱信息、空间信息和辐射等多层次特征，实现端对端的云检测。
但是目前云检测的研究多为针对白天，由于夜间影像缺乏可见光波段，导致开展的夜间云检测研究非常少，且已有的针对被动遥感影像进行的夜间云检测研究方案多采用阈值法，检测精度较差且难以进行应用。
因此，需要提供一种针对上述现有技术不足的改进技术方案。
发明内容
本申请的目的在于提供一种数据集质量提升与改进CNN相结合的夜间云检测方法，以解决或缓解上述现有技术中存在的问题。
为了实现上述目的，本申请提供如下技术方案：
本申请提供了一种数据集质量提升与改进CNN相结合的夜间云检测方法，包括：
获取目标区域的遥感影像数据，所述遥感影像数据为有云影像；
对所述遥感影像数据进行通道选择，得到第一热红外影像，所述第一热红外影像至少包括水蒸气含量观测信息和云图像观测信息；
根据所述第一热红外影像的太阳天顶角信息，对所述第一热红外影像进行提取，得到第二热红外影像，所述第二热红外影像包括第三热红外影像和第四热红外影像；其中，所述第三热红外影像用于训练云检测模型；所述第四热红外影像用于基于所述云检测模型进行夜间云检测；
获取所述目标区域中与所述遥感影像数据处于同一观测时间段的云产品；
根据云产品中的云类型信息和质量保证信息，生成云标签数据；
对所述第三热红外影像和所述云标签数据进行时空匹配，以生成所述云检测模型的训练数据集和验证数据集；
其中，所述云检测模型基于改进的Deeplabv3+模型构建，所述云检测模型的主干特征提取网络为MobileNetV2，并在MobileNetV2中引入SENet注意力机制；
利用所述训练数据集和所述验证数据集，对所述云检测模型进行训练，得到训练好的云检测模型，并将所述第四热红外影像输入到训练好的云检测模型中进行夜间云检测。
优选地，所述根据所述第一热红外影像的太阳天顶角信息，对所述第一热红外影像进行提取，得到第二热红外影像，具体为：
响应于所述第一热红外影像的太阳天顶角大于80°，确定所述第一热红外影像为第四热红外影像；
响应于所述第一热红外影像的太阳天顶角小于等于80°，确定所述第一热红外影像为第三热红外影像。
优选地，所述根据云产品中的云类型信息和质量保证信息，生成云标签数据，具体为：
响应于所述云产品中的云类型信息指示对应的区域有云，根据所述质量保证信息中的第三、第四比特位的取值，确定云的置信度；
基于所述云的置信度，确定云和非云标签，以生成云标签数据。
优选地，所述对所述第三热红外影像和所述云标签数据进行时空匹配，以生成所述云检测模型的训练数据集和验证数据集，具体为：
将所述第三热红外影像的位置信息和时间信息与所述云标签数据的位置信息和时间信息进行分别比对，得到时空匹配的热红外影像和云标签数据；
依次对所述时空匹配的热红外影像和云标签数据进行切片处理和数据集划分，得到所述云检测模型的训练数据集和验证数据集。
优选地，所述云检测模型还包括加强特征提取网络；
所述加强特征提取网络使用不同空洞率的并行空洞卷积提取多尺度信息。
优选地，所述SENet注意力机制包括通道注意力模块。
优选地，所述方法还包括：
通过所述MobileNetV2对输入影像进行特征提取，得到第一有效特征层和第二有效特征层；
通过不同空洞率的并行空洞卷积对所述第二有效特征层进行特征提取，然后进行合并和特征压缩，得到第三有效特征层；
对所述第一有效特征层进行通道调整，得到第四有效特征层；
依次对所述第三有效特征层的上采样结果与所述第四有效特征层进行堆叠和卷积，得到第五有效特征层。
优选地，所述方法还包括：
所述通道注意力模块将所述第五有效特征层进行全局池化，得到第六有效特征层，然后学习所述第六有效特征层的通道依赖关系，并根据所述通道依赖关系进行通道权重赋值。
优选地，所述利用所述训练数据集和所述验证数据集，对所述云检测模型进行训练，得到训练好的云检测模型，具体为：利用所述训练数据集和所述验证数据集，采用随机梯度下降法对所述云检测模型进行训练，并基于交叉熵损失函数和Dice损失函数计算每一轮训练的误差，以得到训练好的云检测模型。
优选地，所述云检测模型还包括结果预测网络，所述结果预测网络的输出层所输出的影像尺寸与输入影像一致。
有益效果：
本申请的技术方案中，通过获取目标区域的遥感影像数据，遥感影像数据为有云影像；对遥感影像数据进行通道选择，得到第一热红外影像，第一热红外影像至少包括水蒸气含量观测信息和云图像观测信息；根据第一热红外影像的太阳天顶角信息，对第一热红外影像进行提取，得到第二热红外影像，其中，第二热红外影像包括第三热红外影像和第四热红外影像；第三热红外影像用于训练云检测模型；第四热红外影像用于基于训练好的云检测模型进行夜间云检测；获取目标区域中与遥感数据处于同一观测时间段的云产品；根据云产品中的云类型信息和质量保证信息，生成云标签数据；对热红外影像和云标签数据进行时空匹配，以生成云检测模型的训练数据集和验证数据集，如此，通过依次对有云影像进行通道选择、提取夜间热红外影像、云质量提升、时空匹配的步骤，大大提升了云检测模型的输入数据质量。通过对Deeplabv3+模型进行改进，构建云检测模型，其中，云检测模型的主干特征提取网络为MobileNetV2，并在MobileNetV2中引入SENet注意力机制；利用训练数据集和验证数据集，对云检测模型进行训练，得到训练好的云检测模型，以实现夜间云检测。如此，提供一种端到端的夜间云检测方法，解决了深度学习过程中夜间影像缺乏可见光及近红外波段而造成的无法通过目视解译进行云标注，进而导致夜间云检测数据集制作困难的问题。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。其中：
图1为根据本申请的一些实施例提供的数据集质量提升与改进CNN相结合的夜间云检测方法的流程示意图；
图2为根据本申请的一些实施例提供的数据集质量提升与改进CNN相结合的夜间云检测方法的流程示意图；
图3为根据本申请的一些实施例提供的遥感影像数据处理模型的流程示意图；
图4为根据本申请的一些实施例提供的标签数据质量提升模型的流程示意图；
图5为根据本申请的一些实施例提供的改进的Deeplabv3+模型的逻辑示意图；
图6为根据本申请的一些实施例提供的SENet注意力机制中SE Block模块的逻辑示意图。
具体实施方式
下面将参考附图并结合实施例来详细说明本申请。各个示例通过本申请的解释的方式提供而非限制本申请。实际上，本领域的技术人员将清楚，在不脱离本申请的范围或精神的情况下，可在本申请中进行修改和变型。例如，示为或描述为一个实施例的一部分的特征可用于另一个实施例，以产生又一个实施例。因此，所期望的是，本申请包含归入所附权利要求及其等同物的范围内的此类修改和变型。
在以下描述中，所涉及的术语“第一/第二/第三”仅仅是区别类似的对象，不代表对对象的特定排序，可以理解地，“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开实施例的目的，不是旨在限制本公开。
如背景技术所述，现有云检测技术主要利用可见光波段针对白天的遥感影像，常用的方法可分为阈值法、机器学习方法两大类。
其中，阈值法利用遥感影像中云与地物的反射率、亮温的不同来进行区分。白天遥感影像上，被云层遮挡的像素会变亮，云能够通过减少到达地面的短波辐射进而冷却地面温度，所以云区域的温度通常低于非云区域。
夜间缺少太阳辐射，地面和传感器将不会受到太阳的直接影响，地表向外界发射的长波辐射一部分被传感器接收，另一部分被大气吸收或散射，地面上空如果有云存在，那么位于云层下方的地表辐射将不能够完全穿过云层被传感器接收，与周围的下垫面相比，云区域总是具有较低的温度，因此可以利用遥感影像中反射率、亮温的不同来进行云与地物的区分。
遥感影像覆盖范围广、数据量大且影像特征复杂，采用阈值法时统一且准确的阈值设定非常困难，同时合适阈值的设定直接影响到算法的性能及结果的精度。因此阈值法受人为因素影响较大，且精度低、鲁棒性差往往难以满足实际应用需求。近年来深度学习方法在图像处理方面取得了优异的成绩，卷积神经网络及其改进模型在图像分类应用中效果好，且模型相对简单、运行时间较少。
云检测是典型的二分类问题，采用卷积神经网络及其改进模型进行白天云检测取得了较为理想的效果，但夜间影像相较与白天的影像缺少可见光及近红外波段，无法通过人工目视解译的方式进行云的标注，现有利用被动遥感影像进行夜间云检测时多为采用热红外波段，使用阈值方法进行检测，但阈值方法需人工参与，检测结果不稳定且难以应用于实际，且热红外波段空间分辨率低，利用热红外进行深度学习模型训练并预测相对困难。
为此，本申请提供一种数据集质量提升与改进CNN相结合的夜间云检测方法，该方法通过数据质量的提升和对CNN模型的改进，使得改进得到的云检测模型无需进行阈值设定，能够利用高质量夜间云检测数据集进行训练和夜间云检测，是一种端对端的云检测方法。
本申请实施例提供一种数据集质量提升与改进CNN相结合的夜间云检测方法，其中，卷积神经网络(Convolutional Neural Networks，CNN)是深度学习模型的一种，用于构建云检测模型。如图1-6所示，该方法包括：
步骤S101、获取目标区域的遥感影像数据，遥感影像数据为有云影像。
本申请实施例中，目标区域的遥感影像数据为葵花8号卫星有云遥感影像。其中，葵花8号卫星是地球静止轨道上执行气象和环境观测任务的葵花系列气象卫星之一，其上搭载的传感器共有16个通道，其中，可见光通道云图分辨率为0.5千米，近红外和红外通道云图分辨率达到1～2千米，全盘图观测频率为每10分钟一次。
本申请实施例中，为了进行云检测，所获取的遥感影像为有云影像。
步骤S102、对所述遥感影像数据进行通道选择，得到第一热红外影像，第一热红外影像至少包括水蒸气含量观测信息和云图像观测信息。
需要说明的是，葵花8号卫星上的传感器采集的16个通道中，通道1～6为反射率数据，通道7～16为亮温数据。
本申请实施例中，对葵花8号卫星的遥感影像数据进行通道选择，得到第一热红外影像。为保证选择后的遥感影像能够通过水汽吸收差异、不同热红外波段亮温差异、对低温物体敏感性的差异来进行云识别，选择葵花8号卫星遥感影像数据中的水蒸气含量观测波段、对云的图像观测波段等热红外通道，具体选择的通道数据信息如表1所示，表1如下：
表1通道数据信息
Figure BDA0003865142130000071
步骤S103、根据第一热红外影像的太阳天顶角信息，对第一热红外影像进行提取，得到第二热红外影像，第二热红外影像包括第三热红外影像和第四热红外影像；其中，第三热红外影像用于训练云检测模型；第四热红外影像用于夜间云检测。
由于所获取的葵花8号卫星遥感影像为nc格式数据，无法参与云检测模型训练和预测。为此，本申请实施例中，将通道选择得到的第一热红外影像送入H8RSDP(Himawari-8remote sensing data processing)模型进行处理，得到第二热红外影像，其中，第二热红外影像包括第三热红外影像和第四热红外影像，第三热红外影像可用于云检测模型的训练，第四热红外影像可以被输入到云检测模型中进行夜间云检测。
在一些实施方式中，根据第一热红外影像的太阳天顶角信息，对第一热红外影像进行提取，得到第二热红外影像，具体为：响应于第一热红外影像的太阳天顶角大于80°，确定第一热红外影像为第四热红外影像；响应于第一热红外影像的太阳天顶角小于等于80°，确定第一热红外影像为第三热红外影像。
由于夜间影像无对应的云产品，本申请实施例中，根据太阳天顶角信息将第一热红外影像分为第三热红外影像和第四热红外影像，第三热红外影像对应白天时间段拍摄的热红外影像(即日间数据)，由于白天热红外影像能够与云产品匹配，故将其用于生成云检测模型的训练数据集和验证数据集；第四热红外影像对应夜间时段拍摄的热红外影像(即夜间数据)，由于夜间热红外影像无对应的云产品夜间影像，也就无法获得夜间热红外影像对应的标签数据，所以，将其从训练数据集中剔除。
需要说的是，如前所述，无论是白天还是夜间，热红外影像中有云区域的温度通常低于非云区域，因此，采用白天热红外影像训练云检测模型，使用夜间热红外影像进行云检测，并不会影响云检测的精度。
具体实施时，H8RSDP模型根据第一热红外影像的太阳天顶角信息对第一热红外影像进行提取，参见图3，H8RSDP模型的数据处理步骤如下：
步骤S31、H8RSDP模型读取nc格式的葵花8号卫星遥感影像数据，并提取遥感影像数据中的经纬度信息，其中，经纬度信息包括经度坐标longitude，和纬度坐标latitude。
步骤S32、根据所选择的热红外影像的通道信息，对遥感影像数据进行格式转换，获取第一热红外影像。
步骤S33、根据第一热红外影像对应的太阳天顶角信息，对第一热红外影像进行提取，得到第二热红外影像。
其中，对第一热红外影像进行提取具体包括：判断第一热红外影像的太阳天顶角是否大于80°，若是，则确定该影像为夜间影像(即第四热红外影像)，若否，则确定该影像为白天影像(即第三热红外影像)，第三热红外影像和第四热红外影像统称为第二热红外影像。
步骤S34、创建tif格式的数据文件，并将所得到的第二热红外影像存储到该tif文件中，得到可用于云检测模型训练和预测的tif格式热红外影像。
步骤S104、获取目标区域中与遥感影像数据处于同一观测时间段的云产品。
本申请实施例中，获取目标区域葵花8号卫星的云产品中与遥感影像数据处于同一观测时间段的云产品，该云产品为nc格式数据，包括云类型信息(CLTYPE)、质量保证信息(QA)、经纬度信息、云层厚度、云顶高度、云顶温度等属性信息。
步骤S105、根据云产品中的云类型信息和质量保证信息，生成云标签数据。
本申请实施例中，将步骤S104获取的云产品输入至LDQI(Label data qualityimprovement)模型进行处理，形成高质量的云标签数据，该云标签数据为影像数据。
实际应用中，根据云产品中的云类型信息和质量保证信息，生成云标签数据，具体为：响应于云产品中的云类型信息指示对应的区域有云，根据质量保证信息中的第三、第四比特位的取值，确定云的置信度；基于云的置信度，确定云和非云标签，以生成云标签数据。
具体实施时，利用LDQI模型生成云标签数据，参见图4，LDQI模型对云产品的处理步骤如下：
步骤S51、LDQI模型读取葵花8号卫星的云产品，并从云产品中获取CLTYPE、QA、经纬度信息。
步骤S52、为了保证云标签数据的质量，LDQI模型根据CLTYPE和QA信息对云产品的云质量进行判断，以确定云是否为高质量云，并在云产品中将判断为高质量云的区域标记为云，将其他区域标记为非云。
其中，根据CLTYPE和QA对云产品的云质量进行判断，具体步骤如下：首先，LDQI模型读取云产品中的CLTYPE取值。需要说明的是，云产品的CLTYPE取值为正整数，其中，取值为1～10表示不同类型的云或者不确定类型的云。因此，在获取到云产品中的CLTYPE取值之后，判断CLTYPE取值是否为1～10中的任一整数，若是，则表示云产品中对应的区域有云，此时，根据QA的第三、第四比特位的取值，确定云的置信度。其中，当QA的第三、第四比特位的取值为11时，确定为高置信度云(即高质量云)，也就是说，若云的置信度指示该区域为高置信云，则将该区域标记为云标签，否则，将该区域标识为非云标签，由此得到高质量的云标签数据。
步骤S53、创建tif格式的数据文件，并将高质量的云标签数据存入到该tif文件中，形成可用于云检测模型训练的tif格式的云标签数据。
步骤S106、对第三热红外影像和云标签数据进行时空匹配，以生成云检测模型的训练数据集和验证数据集。
应当理解，虽然热红外影像和云标签数据均来自葵花8号卫星，但是它们的空间信息和时间信息并不一定一致。本申请实施例中，对第三热红外影像和云标签数据进行时空匹配，以保证二者的空间信息和时间信息上均一致，从而使云检测模型获得更好的训练效果。
实际应用中，对第三热红外影像和云标签数据进行时空匹配，以生成云检测模型的训练数据集和验证数据集，具体为：将第三热红外影像的位置信息和时间信息与云标签数据的位置信息和时间信息进行分别比对，以得到时空匹配的热红外影像和云标签数据；依次对时空匹配的热红外影像和云标签数据进行切片处理和数据集划分，得到云检测模型的训练数据集和验证数据集。
本申请实施例中，为了生成云检测模型的训练数据集和验证数据集，先将第三热红外影像和云标签数据输入至TAPC(Time and place compare)模型，利用TAPC模型对第三热红外影像和云标签数据进行时空匹配，得到空间位置和时间上均一致的热红外影像和云标签数据。
具体地，TAPC模型的数据处理步骤如下：
步骤S61、TAPC模型分别读取第三热红外影像和云标签数据中的经纬度信息和时间信息，其中，经纬度信息包括经度坐标longitude，和纬度坐标latitude，时间信息包括小时数Hour。
步骤S62、将第三热红外影像的经纬度信息和时间信息与云标签数据的经纬度信息和时间信息分别比对，若第三热红外影像的经纬度坐标取值与云标签数据的经纬度坐标取值一致，则二者的位置信息一致，进一步判断第三热红外影像与云标签数据每个相对应位置的时间值，若时间值一致，则二者的时间信息相同，得到空间信息和时间信息均一致的热红外影像和云标签数据。
在得到空间信息和时间信息均一致的热红外影像和云标签数据之后，依次对时空匹配的热红外影像和云标签数据进行切片处理和数据集划分，得到云检测模型的训练数据集和验证数据集，也叫做可用于夜间云检测数据集。
具体实施时，首先，分别将时空匹配的热红外影像和云标签数据裁剪为384像素×384像素大小的输入影像，使其符合云检测模型的输入数据要求；然后，对切片后的热红外影像和云标签数据进行数据集构建，按照9:1的比例划分为训练数据集和验证数据集。为了获得更好的训练效果，在进行数据集划分时，需要保证训练数据集与验证数据集相互独立，不存在交叉关系。
图5为云检测模型的结构示意图，本申请实施例中，云检测模型基于改进的Deeplabv3+模型构建，云检测模型的主干特征提取网络为MobileNetV2，并在MobileNetV2中引入SENet注意力机制，以实现特征融合。
通过在云检测模型的主干特征提取网络中引入SENet注意力机制，使云检测模型在训练过程中自主获取热红外影像中不同特征的重要程度，加强重要特征的学习，增强了模型学习过程中的针对性和指向性，提升了复杂场景下的云检测能力及小块云与云边界的检测效果，进而提高了云检测精度。
在一些实施例中，云检测模型还包括加强特征提取网络；加强特征提取网络使用不同空洞率(rate，也称为膨胀率)的并行空洞卷积(Atrous Convolution)提取多尺度信息。
本申请实施例中，加强特征提取网络通过空间金字塔池化模块ASPP(AtrousSpatial Pyramid Pooling)进一步提取多尺度信息，采用不同rate的空洞卷积来实现，从而能够减少下采样率导致的空间信息损失，达到不改变特征图大小的同时控制感受野以确保获取到高级语义信息的效果。
在一些实施例中，SENet注意力机制包括通道注意力模块。
本申请实施例中，SENet注意力机制的通道注意力模块能够优化通道域联系，并且能诱导特征提取网络对感兴趣的区域进行学习。
其中，SENet注意力机制SE Block模块主要由压缩(Squeeze)操作和激励(Excitation)操作组成。
具体地，参见图6，对于输入维度为的输入图像X，经过卷积映射操作Ftr后，得到输出图像U，用公式表示如下：
Ftr:X→U，X∈RH′×W′×C′，U∈RH×W×C
式中，H′、W′、C′分别表示输入图像X的高、宽、通道，H、W、C分别表示输出图像U的高、宽、通道。
通过压缩操作Fsq对空间(spatial)维度进行全局池化(比如7×7→1×1)，用公式表示如下：
Figure BDA0003865142130000121
式中，z为压缩后的输出图像。
通过激励操作Fex学习全局池化后的通道依赖关系，并进行通道权重的赋值，用公式表示如下：
Fex(z,W)＝σ(g(z，W))
式中，σ为激活函数。
然后与Fscale操作的结果进行融合，得到注意力机制特征融合的特征图
Figure BDA0003865142130000122
本申请实施例中，云检测模型还包括结果预测网络，结果预测网络的输出层所输出的影像尺寸与输入影像一致。
具体地，结果预测网络部分获取输入影像的特征，并利用特征获得与输入影像宽度、高度一致的预测结果。
本申请实施例中，通过改进Deeplabv3+模型从而构建云检测模型，能够有效针对热红外影像分辨率低的特点，将热红外影像输入云检测模型进行训练时，训练过程中能避免下采样分辨率损失造成的影响，能够对小块云及云边界有较好的检测结果，同时引入的注意力机制能够提升复杂背景下云检测能力。
步骤S107、利用训练数据集和验证数据集，对云检测模型进行训练，得到训练好的云检测模型，并将第四热红外影像输入到训练好的云检测模型中进行夜间云检测。
在一些实施例中，该方法还包括：利用训练数据集和验证数据集，对云检测模型进行训练，得到训练好的云检测模型，具体为：利用训练数据集和验证数据集，采用随机梯度下降法对云检测模型进行训练，并基于交叉熵损失(Cross Entropy Loss)函数和Dice损失函数计算每一轮训练的误差，以得到训练好的云检测模型。
本申请实施例中，采用随机梯度下降法作为云检测模型训练过程中的优化器，最大学习率设置为7e-3，最小学习率设置为最大学习率的0.01，学习率下降方式采用cos方式，损失函数由Cross Entropy Loss和Dice Loss两部分组成。
其中，当云检测模型利用Softmax对像素点进行分类时，使用Cross Entropy Loss计算每一轮训练的误差。
Dice loss将语义分割的评价指标作为Loss，Dice系数是一种集合相似度度量函数，通常用于计算两个样本的相似度，取值范围为[0，1]，具体计算公式如下：
Figure BDA0003865142130000131
式中，X表示真实值，Y表示预测值，S为Dice系数。
需要说明的是，Dice系数的取值越大，表示预测值与真实值重合度越大，说明模型预测结果越准确，因此，Dice系数越大越好。
Dice loss的计算公式如下：
Dice loss＝1-S
作为损失函数，Dice loss的取值越小越好。
云检测模型训练过程时，先载入预权重，然后将训练数据集输入至云检测模型，输入的训练数据经过网络结构前向传输得到模型预测值，利用损失函数计算模型预测值与云标签数据的误差，并将误差反向传播到网络，利用优化器进行参数更新，完成一轮学习后，记录训练过程中最佳模型权重并作为下一轮训练的预权重。一些实施例中，经过35轮的训练，得到训练好的云检测模型。
在对云检测模型进行训练和使用云监测模型进行预测时，该方法还包括：通过MobileNetV2对输入影像进行特征提取，得到第一有效特征层和第二有效特征层；通过不同空洞率的并行空洞卷积对第二有效特征层进行特征提取，然后进行合并和特征压缩，得到第三有效特征层；对第一有效特征层进行通道调整，得到第四有效特征层；依次对第三有效特征层的上采样结果与第四有效特征层进行堆叠和卷积，得到第五有效特征层。
具体实施时，云检测模型包括编码器和解码器两部分，其中，编码器包括深度卷积神经网络，即主干特征提取网络MobileNetV2。模型运行时，MobileNetV2对输入影像首先利用1x1卷积进行升维，然后利用3x3深度可分离卷积进行特征提取，再利用1x1卷积降维，提取后得到第一有效特征层和第二有效特征层，其中，第一有效特征层是输入影像高和宽压缩两次的结果，第二有效特征层是输入影像高和宽压缩四次的结果。
随后，加强特征提取网络通过不同的rate利用并行空洞卷积对第二有效特征层进行特征提取，然后进行合并和特征压缩，得到第三有效特征层；其中，所设置的参数分别为：1x1卷积，rate为6的3x3卷积，rate为12的3x3卷积rate为18的3x3卷积，全局池化。接着，对第一有效特征层利用1x1卷积调整通道数，得到第四有效特征层；依次对第三有效特征层的上采样结果与第四有效特征层进行堆叠，在完成堆叠后，进行两次深度可分离卷积块，得到第五有效特征层。
进一步地，该方法还包括：通道注意力模块将第五有效特征层进行全局池化，得到第六有效特征层，然后学习第六有效特征层的通道依赖关系，并根据通道依赖关系进行通道权重赋值。
最后，结果预测网络利用一个1x1卷积进行通道调整，调整成设置的分类数，本申请实施例中，设置分类数为2，即为云和非云两类，再利用resize进行上采样获得最终预测结果，使得预测结果的输出影像尺寸与输入影像一致，即预测结果影像的宽、高分别与输入影像的宽、高一致。
应当理解，在云检测模型训练完成后，只需将获取的遥感影像数据通过热红外通道选择、H8RSDP模型的处理步骤进行处理，并将获得的夜间热红外影像(即第四热红外影像)输入至训练完成的云检测模型中进行检测，即可得到夜间云检测的预测结果，该预测结果为二值影像，也就是说，该影像的每一个像素存在2个可能取值，每一个取值表示一个分类类别，即云或者非云。
综上所述，本申请提供的数据集质量提升与改进CNN相结合的夜间云检测方法，通过热红外通道选择、H8RSDP模型、LDQI模型、TAPC模型进行可用于夜间云检测数据集的制作，并基于改进的Deeplabv3+模型构建云检测模型，将处理完成的高质量夜间云检测数据集输入云检测模型中，能够生成端对端的夜间云检测结果。该方法在夜间云检测检测过程中不再进行阈值设定，而是采用深度学习的方法避免阈值设置带来的影响，并解决了深度学习过程中夜间影像缺乏可见光及近红外波段而造成的无法通过目视解译进行云标注，进而导致夜间云检测数据集制作困难的问题，通过设置不同的rate进行空洞卷积，避免了热红外影像深度学习过程中下采样造成的分辨率损失，通过引入注意力机制加强了模型学习过程中的针对性和指向性，提升了复杂场景下的云检测能力及小块云与云边界的检测效果，进而提高了云检测精度。
通过本申请实施例提供的方法进行夜间云检测，避免了夜间云检测过程中人工的阈值设置，能够解决阈值法云检测过程中阈值设置的不准确性带来的云检测误差及阈值法进行夜间云检测无法进行实际应用的问题，同时解决使用深度学习方法进行夜间云检测时由于影像缺少可见光及近红外波段而无法通过人工目视解译构建数据集的问题，并改进了热红外影像分辨率低造成的云检测过程中小块云及云边缘检测效果差的问题，提升了复杂场景下云检测能力。
本申请采用改进的Deeplabv3+模型，应用Xception进行热红外含云影像特征的提取，连接ASPP模块在保留细节信息的同时提取多尺度特征，引入注意力机制，加强模型对热红外影像有用信息的关注与学习。
以上所述仅为本申请的优选实施例，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (4)

1.一种数据集质量提升与改进CNN相结合的夜间云检测方法，其特征在于，包括：
获取目标区域的遥感影像数据，所述遥感影像数据为有云影像；
对所述遥感影像数据进行通道选择，得到第一热红外影像，所述第一热红外影像至少包括水蒸气含量观测信息和云图像观测信息；
根据所述第一热红外影像的太阳天顶角信息，对所述第一热红外影像进行提取，得到第二热红外影像，所述第二热红外影像包括第三热红外影像和第四热红外影像；其中，所述第三热红外影像用于训练云检测模型；所述第四热红外影像用于基于所述云检测模型进行夜间云检测；
获取所述目标区域中与所述遥感影像数据处于同一观测时间段的云产品；
根据云产品中的云类型信息和质量保证信息，生成云标签数据；
对所述第三热红外影像和所述云标签数据进行时空匹配，以生成所述云检测模型的训练数据集和验证数据集；
其中，所述云检测模型基于改进的Deeplabv3+模型构建，所述云检测模型的主干特征提取网络为MobileNetV2，并在MobileNetV2中引入SENet注意力机制；
利用所述训练数据集和所述验证数据集，对所述云检测模型进行训练，得到训练好的云检测模型，并将所述第四热红外影像输入到训练好的云检测模型中进行夜间云检测；
所述根据云产品中的云类型信息和质量保证信息，生成云标签数据，具体为：
响应于所述云产品中的云类型信息指示对应的区域有云，根据所述质量保证信息中的第三、第四比特位的取值，确定云的置信度；
基于所述云的置信度，确定云和非云标签，以生成云标签数据；
所述对所述第三热红外影像和所述云标签数据进行时空匹配，以生成所述云检测模型的训练数据集和验证数据集，具体为：
将所述第三热红外影像的位置信息和时间信息与所述云标签数据的位置信息和时间信息进行分别比对，得到时空匹配的热红外影像和云标签数据；
依次对所述时空匹配的热红外影像和云标签数据进行切片处理和数据集划分，得到所述云检测模型的训练数据集和验证数据集；
所述云检测模型还包括加强特征提取网络；所述加强特征提取网络使用不同空洞率的并行空洞卷积提取多尺度信息；
所述SENet注意力机制包括通道注意力模块；所述方法还包括：
通过所述MobileNetV2对输入影像进行特征提取，得到第一有效特征层和第二有效特征层；
通过不同空洞率的并行空洞卷积对所述第二有效特征层进行特征提取，然后进行合并和特征压缩，得到第三有效特征层；
对所述第一有效特征层进行通道调整，得到第四有效特征层；
依次对所述第三有效特征层的上采样结果与所述第四有效特征层进行堆叠和卷积，得到第五有效特征层；
所述通道注意力模块将所述第五有效特征层进行全局池化，得到第六有效特征层，然后学习所述第六有效特征层的通道依赖关系，并根据所述通道依赖关系进行通道权重赋值。
2.根据权利要求1所述的数据集质量提升与改进CNN相结合的夜间云检测方法，其特征在于，所述根据所述第一热红外影像的太阳天顶角信息，对所述第一热红外影像进行提取，得到第二热红外影像，具体为：
响应于所述第一热红外影像的太阳天顶角大于80°，确定所述第一热红外影像为第四热红外影像；
响应于所述第一热红外影像的太阳天顶角小于等于80°，确定所述第一热红外影像为第三热红外影像。
3.根据权利要求1所述的数据集质量提升与改进CNN相结合的夜间云检测方法，其特征在于，所述利用所述训练数据集和所述验证数据集，对所述云检测模型进行训练，得到训练好的云检测模型，具体为：利用所述训练数据集和所述验证数据集，采用随机梯度下降法对所述云检测模型进行训练，并基于交叉熵损失函数和Dice损失函数计算每一轮训练的误差，以得到训练好的云检测模型。
4.根据权利要求1所述的数据集质量提升与改进CNN相结合的夜间云检测方法，其特征在于，所述云检测模型还包括结果预测网络，所述结果预测网络的输出层所输出的影像尺寸与输入影像一致。
CN202211176165.5A 2022-09-26 2022-09-26 一种数据集质量提升与改进cnn相结合的夜间云检测方法 Active CN115546658B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211176165.5A CN115546658B (zh) 2022-09-26 2022-09-26 一种数据集质量提升与改进cnn相结合的夜间云检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211176165.5A CN115546658B (zh) 2022-09-26 2022-09-26 一种数据集质量提升与改进cnn相结合的夜间云检测方法

Publications (2)

Publication Number Publication Date
CN115546658A CN115546658A (zh) 2022-12-30
CN115546658B true CN115546658B (zh) 2023-05-05

Family

ID=84730069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211176165.5A Active CN115546658B (zh) 2022-09-26 2022-09-26 一种数据集质量提升与改进cnn相结合的夜间云检测方法

Country Status (1)

Country Link
CN (1) CN115546658B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117935082B (zh) * 2024-03-22 2024-07-09 青岛星科瑞升信息科技有限公司 基于机器学习的夜间图像处理方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114220001A (zh) * 2021-11-25 2022-03-22 南京信息工程大学 基于双注意力神经网络的遥感影像云与云阴影检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104502999B (zh) * 2014-12-10 2019-07-19 中国科学院遥感与数字地球研究所 一种基于静止卫星多通道数据的昼夜云检测方法与装置
US9721181B2 (en) * 2015-12-07 2017-08-01 The Climate Corporation Cloud detection on remote sensing imagery
CN113239830B (zh) * 2021-05-20 2023-01-17 北京航空航天大学 一种基于全尺度特征融合的遥感图像云检测方法
CN113989644B (zh) * 2021-11-03 2022-08-19 中科三清科技有限公司 基于Himawari-8数据的沙尘区域获取方法
CN114663759A (zh) * 2022-03-24 2022-06-24 东南大学 一种基于改进DeepLabV3+的遥感影像建筑物提取方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114220001A (zh) * 2021-11-25 2022-03-22 南京信息工程大学 基于双注意力神经网络的遥感影像云与云阴影检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
天绘一号卫星遥感影像云雪检测的ResNet与DeepLabV3+综合法;郑凯;《测绘学报》;第49卷(第10期);第1343-1353页 *

Also Published As

Publication number Publication date
CN115546658A (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
US11521379B1 (en) Method for flood disaster monitoring and disaster analysis based on vision transformer
CN111983732B (zh) 一种基于深度学习的降水强度估计方法
CN111832518B (zh) 基于时空融合的tsa遥感影像土地利用方法
CN107230197B (zh) 基于卫星云图和rvm的热带气旋客观定强方法
CN111008664B (zh) 一种基于空谱联合特征的高光谱海冰检测方法
CN109946762A (zh) 一种基于概率分布短时预报降水的方法及系统
CN114612769B (zh) 一种融入局部结构信息的集成感知红外成像舰船检测方法
CN113569760B (zh) 基于多模态深度学习的三维变化检测方法
CN112445241A (zh) 一种基于无人机遥感技术的地表植被识别方法、系统及可读存储介质
CN110569797A (zh) 地球静止轨道卫星影像山火检测方法、系统及其存储介质
CN112630160A (zh) 一种基于图像采集的无人机航迹规划土壤湿度监测方法、系统及可读存储介质
CN115546658B (zh) 一种数据集质量提升与改进cnn相结合的夜间云检测方法
CN112001293A (zh) 结合多尺度信息和编解码网络的遥感影像地物分类方法
CN115019192A (zh) 基于双通道主干网络和联合损失函数的洪灾变化检测方法及系统
CN110516552B (zh) 一种基于时序曲线的多极化雷达图像分类方法及系统
CN109767465B (zh) 一种基于h8/ahi的白天雾快速提取的方法
CN112364289A (zh) 一种通过数据融合提取水体信息的方法
CN115457396A (zh) 一种基于遥感影像的地表目标地物检测方法
CN117710508A (zh) 基于改进条件生成对抗网络的近地表温度反演方法和装置
Zhao et al. Cloud identification and properties retrieval of the Fengyun-4A satellite using a ResUnet model
CN110441743A (zh) 一种基于ENet全卷积网络的气象杂波抑制方法
CN113869157A (zh) 一种基于可见光和红外云图的云分类方法
CN112434590A (zh) 一种基于小波变换的sar影像风条纹识别方法
CN115964593A (zh) 一种气象卫星数据集生成方法、装置及其终端设备
CN115855272A (zh) 一种生成近实时逐小时全天候地表温度的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant