CN118155093A - 一种基于日夜数据融合的夜光遥感影像云检测方法及装置 - Google Patents
一种基于日夜数据融合的夜光遥感影像云检测方法及装置 Download PDFInfo
- Publication number
- CN118155093A CN118155093A CN202410566443.0A CN202410566443A CN118155093A CN 118155093 A CN118155093 A CN 118155093A CN 202410566443 A CN202410566443 A CN 202410566443A CN 118155093 A CN118155093 A CN 118155093A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- night
- module
- sensing image
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 117
- 238000001514 detection method Methods 0.000 title claims abstract description 88
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000010586 diagram Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 8
- 238000003331 infrared imaging Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000005855 radiation Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000002708 enhancing effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于日夜数据融合的夜光遥感影像云检测方法及装置，方法包括以下步骤：获取待检测的夜间遥感图像和同一地区的无云日间遥感影像；利用训练好的夜光遥感云检测网络对所述待检测的夜间遥感图像和同一地区的无云日间遥感影像进行处理,得到所述待检测遥感图像的云检测结果；所述夜光遥感云检测网络包括U型网络,所述U型网络包含日夜数据融合模块、编码模块和解码模块；所述日夜数据融合模块用于融合同一地区的夜间遥感影像和无云日间遥感影像，得到融合后的日夜遥感融合特征图；本发明为夜光遥感影像云检测提供了一个新思路，云检测精度高、误检率低，同时对薄云、碎云以及云边界检测效果更好，能更好的区分明亮地表以及云层。
Description
技术领域
本发明涉及夜光遥感影像云检测领域，是一种基于日夜数据融合的夜光遥感影像云检测方法及装置。
背景技术
近年来，随着卫星传感器技术的发展，搭载高灵敏度成像传感器的遥感卫星可在夜间进行对地观测，获取夜光遥感影像，可对日间遥感影像进行补充，实现“全天时”对地观测。夜光遥感影像在城市监测、碳排放评估和灾后评估等诸多方面被广泛应用，并有着举足轻重的地位，为我们的生活提供了重要的数据来源。然而，由于夜光遥感卫星搭载的是光学传感器，不能像雷达传感器一样穿过云层获取地面信息，所以夜光遥感影像和日间遥感影像一样，都受到云的影响。
因此，云检测是夜光遥感影像数据预处理的关键一步，云检测精度对后续夜光遥感影像的应用具有十分重要的作用。虽然目前深度学习的方法检测精度大大高于传统算法，然而现有方法中会出现对薄云、碎云识别效果不佳，对云边界识别不清的问题。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种基于日夜数据融合的夜光遥感影像云检测方法及装置，提高云检测精度。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供一种基于日夜数据融合的夜光遥感影像云检测方法，包括以下步骤：
获取待检测的夜间遥感图像和同一地区的无云日间遥感影像；
利用训练好的夜光遥感云检测网络对所述待检测的夜间遥感图像和同一地区的无云日间遥感影像进行处理,得到所述待检测遥感图像的云检测结果；
所述夜光遥感云检测网络包括U型网络,所述U型网络包含日夜数据融合模块、编码模块和解码模块；
所述日夜数据融合模块用于融合同一地区的夜间遥感影像和无云日间遥感影像，得到融合后的日夜遥感融合特征图；
所述编码模块包括至少一层多尺度注意力融合模块和下采样层，用于输入得到的融合后的日夜遥感融合特征图，通过多尺度注意力融合模块提取云层在各尺度下的特征图；
所述解码模块包括至少一层上采样层和多尺度注意力融合模块，用于将上采样得到的特征图与编码阶段得到的特征图进行特征融合后输入多尺度注意力融合模块处理，经过归一化激活函数输出预测结果。
进一步的，获取待检测的夜间遥感图像，包括：
从卫星可见光红外成像辐射仪套件传感器白天/夜间波段夜光遥感影像获取待检测的夜间遥感图像。
进一步的，所述多尺度注意力融合模块包括空洞卷积和双注意力模块；
输入的特征图依次经过一个1×1空洞率分别为1、2、5的空洞卷积后输入到双注意力模块中，随后对经过双注意力模块处理的特征图进行通道连接完成融合。
进一步的，所述双注意力模块包括：
位置注意力模块，用于将输入特征图A通过三个卷积层得到三个特征图B，D，E，然后将B，D，E进行形状重塑为C×N，之后将B的转置与D相乘，再通过归一化激活函数得到特征图S，接着将得到的注意力特征图S与经过形状重塑的特征图E进行矩阵乘法，再乘以尺度系数α，得到空间注意力特征图A1；
通道注意力模块，用于将输入特征图A通过三个卷积层得到三个特征图B，D，E，然后将B，D，E进行形状重塑为C×N，之后将B和D两个通道特征进行维度转化和矩阵相乘，获得任意两个通道的关联强度，然后经过相同的归一化激活函数操作获得特征图S，接着将得到的注意力特征图S与经过形状重塑的特征图E进行矩阵乘法，再乘以尺度系数α，得到通道注意力特征图A2；
通道连接模块，用于对位置注意力模块、通道注意力模块输出的特征图进行通道连接以获得双注意力特征图。
进一步的，所述夜光遥感云检测网络的构建方法包括：
建立日夜数据融合模块，利用基于自注意力机制的自注意力模块构建日间、夜间遥感影像输入分支；
构建双注意力模块；
基于双注意力模块，构建多尺度注意力融合模块，
用多尺度注意力融合模块代替U-Net网络中的传统卷积层，构建联系日夜数据融合模块、编码模块和解码模块的U型网络，作为夜光遥感云检测网络。
进一步的，所述夜光遥感云检测网络的训练方法包括：
分别获取同一地区的夜间遥感影像和无云日间遥感影像以及对应的夜间云区标注，得到训练数据集；
利用所述训练数据集，训练所述夜光遥感云检测网络，采用Adam优化器对网络进行训练。
进一步的，分别获取同一地区的夜间遥感影像和无云日间遥感影像以及对应的夜间云区标注，包括：
获得卫星可见光红外成像辐射仪套件传感器白天/夜间波段拍摄的夜间遥感影像数据，通过人工标注，将影像中有云区域标为白色，无云区域标为黑色；
获取卫星可见光红外成像辐射仪套件传感器白天/夜间波段拍摄对应地区的日间无云遥感影像数据；
将夜光遥感影像数据分割为小块，当整景影像不足分割时舍弃，得到云掩膜图像，并将其划分为训练集、测试集和验证集。
进一步的，所述日夜数据融合模块包括日间遥感影像输入分支、夜间遥感影像输入分支和通道融合模块；
所述日间遥感影像输入分支和夜间遥感影像输入分支均包括两个自注意力模块；
所述日间遥感影像输入分支用于对输入的日间遥感影像数据分别进行两次自注意力模块处理，得到日间处理结果；
所述夜间遥感影像输入分支用于对输入的夜间遥感影像数据分别进行两次自注意力模块处理，得到夜间处理结果；
所述通道融合模块用于对同一区域的日间处理结果和夜间处理结果进行通道连接融合，得到融合后的日夜遥感融合特征图。
第二方面，本发明提供一种基于日夜数据融合的夜光遥感影像云检测装置，包括：
输入模块：用于获取待检测的夜间遥感图像和同一地区的无云日间遥感影像；
检测模块：用于利用训练好的夜光遥感云检测网络对所述待检测的夜间遥感图像和同一地区的无云日间遥感影像进行处理,得到所述待检测遥感图像的云检测结果；
所述夜光遥感云检测网络包括U型网络,所述U型网络包含日夜数据融合模块、编码模块和解码模块；
所述日夜数据融合模块用于融合同一地区的夜间遥感影像和无云日间遥感影像，得到融合后的日夜遥感融合特征图；
所述编码模块包括至少一层多尺度注意力融合模块和下采样层，用于输入得到的融合后的日夜遥感融合特征图，通过多尺度注意力融合模块提取云层在各尺度下的特征；
所述解码模块包括至少一层上采样层和多尺度注意力融合模块，用于将上采样得到的特征图与编码阶段得到的特征图进行特征融合后输入多尺度注意力融合模块处理，经过归一化激活函数输出预测结果。
第三方面，本发明提供一种基于日夜数据融合的夜光遥感影像云检测装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据第一方面所述方法的步骤。
与现有技术相比，本发明所达到的有益效果：
1、本发明融合日间、夜间遥感数据，使网络能更好的捕获影像中的背景信息，从而更好的区分云层和与云层特性相似的明亮地表。
2、本发明的夜光遥感云检测网络整体为U-Net网络架构，用多尺度注意力融合模块代替U-Net网络中的传统卷积层，让网络更有效地捕获多尺度全局依赖关系，达到更好的云检测效果。
3、本发明的多尺度注意力融合模块通过不同空洞率的空洞卷积配合双注意力模块获取多尺度注意力信息，融合后得到包含多尺度语义信息的特征图，有利于网络获得更准确的云检测结果。
4、本发明的双注意力模块包括位置注意力机制和通道注意力机制：位置注意力能将范围更广的上下文信息编码为局部特征，从而增强了局部特征的表示能力；通道注意力模块旨在通过建立通道之间的联系，增强通道下特定语义响应能力；最后对通道间的特征图进行加权融合，使得各个通道能产生全局的关联，获得更强的语义信息。
5、本发明融合日夜间遥感数据使网络能更好的提取背景纹理信息，从而区分与云层有相似特性的明亮地表；利用空洞卷积扩大网络感受野，引入注意力机制提高网络对语义信息的提取能力，融合多尺度注意力信息。
6、本发明为夜光遥感影像云检测提供了一个新思路，云检测精度高、误检率低，同时对薄云、碎云以及云边界检测效果更好，能更好的区分明亮地表以及云层，在夜光遥感云检测上有广阔的应用。
附图说明
图1是本发明所设计的多尺度注意力融合模块结构示意图；
图2是本发明所设计的基于日夜数据融合的夜光遥感影像云检测方法的网络结构示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一
本实施例提供一种基于日夜数据融合的夜光遥感影像云检测方法，以下详细阐述一个基于日夜数据融合的夜光遥感影像云检测方法的应用实例。
本发明方法在具有以下配置的计算机内：Intel Core i5-12400F核处理器，NVIDIA GeForce RTX 3060Ti图形处理器，主频2.50 GHz，内存32GB，操作系统为windows10。基于日夜数据融合的夜光遥感影像云检测方法的实现基于Pytorch 1.7.1深度学习框架工具包。本方法提出一种基于日夜数据融合的夜光遥感影像云检测方法，具体包括以下步骤：
步骤1：建立云检测模型训练数据集，具体步骤如下：
S01：获取同一地区夜光遥感影像，人工标注，构建云掩膜数据集，将该数据划分为训练集、验证集、测试集。
S02：获取同一地区无云日间遥感影像，并与夜光遥感影像进行匹配。获取同一地区日间无云影像用于输入，使网络能更好的提取影像中背景的几何和纹理特征，从而对与云层具有相似特性的明亮地表有更好的区分能力。
S03：利用Transformer模块构建日间、夜间遥感影像输入分支；对输入的日间、夜间遥感影像在通道上进行连接，得到融合后的输出。
具体来说，获得21景NPP卫星VIIRS传感器DNB波段拍摄的夜间遥感影像数据，通过人工标注，将影像中有云区域标为白色，无云区域标为黑色。获取21景NPP卫星VIIRS传感器DNB波段拍摄对应地区的日间无云遥感影像数据。通过python脚本，将整景4064像素×3072像素的夜光遥感影像分割为256像素×256像素的小块，当整景影像不足分割时舍弃。共得到3780张256×256的云掩膜图像，其中60%作为训练集来训练模型，20%作为验证集来验证模型，20%作为测试集来测试网络模型精度。为在训练过程中扩充样本，对得到的数据集进行随机旋转，得到了12240张图像用于训练。
步骤2：构建日夜数据融合模块，具体步骤如下：
对输入数据分别进行两次Transformer模块处理，对处理后的结果进行通道连接融合。利用Transformer模块构建日间、夜间遥感影像输入分支；对输入的日间、夜间遥感影像在通道上进行连接，得到融合后的输出。
日夜数据融合模块主要包括日间遥感影像输入分支、夜间遥感影像输入分支和通道融合模块。日间遥感影像输入分支和夜间遥感影像输入分支均包括两个Transformer模块。
日间遥感影像输入分支用于对输入的日间遥感影像分别进行两次Transformer模块处理，得到日间处理结果；
夜间遥感影像输入分支用于对输入的夜间遥感影像分别进行两次Transformer模块处理，得到夜间处理结果；
通道融合模块用于对同一区域的日间处理结果和夜间处理结果进行通道连接融合，得到融合后的日夜遥感融合特征图，输出给编码模块。
Transformer模块可以采用常见的Transformer模块，主要由若干个编码器和解码器组成，在此不再赘述。
步骤3：构建双注意力模块，具体步骤如下：
双注意力模块由位置注意力模块（position attention module，PAM）和通道注意力模块（channel attention module, CAM)组成。位置注意力能将范围更广的上下文信息编码为局部特征，从而增强了局部特征的表示能力；通道注意力模块旨在通过建立通道之间的联系，增强通道下特定语义响应能力；最后对通道间的特征图进行通道连接，使得各个通道能产生全局的关联，获得更强的语义信息。
步骤3：构建多尺度注意力融合模块，具体步骤如下：
图1所示为本发明所设计多尺度注意力融合模块结构图。经过融合后的日夜数据依次输入到空洞率为1，2，5的空洞卷积，每个空洞卷积后接一个双注意力模块处理，最后对3个不同尺度的注意力特征图进行通道连接融合。
构建多尺度注意力融合模块，所述模块包括空洞卷积和双注意力模块，输入特征图依次经过一个1×1空洞率分别为1、2、5的空洞卷积后输入到双注意力模块中，随后对1个不同尺度经过双注意力模块处理的特征图进行通道连接完成融合。
双注意力模块使网络模型更加高效、有针对性的学习，精确定位目标。
利用空洞卷积扩大网络感受野，对空洞卷积、双注意力模块处理后的特征图进行融合，使网络能更好的获取多尺度特征信息，提高网络云检测精度。
步骤4：构建联系上下文的U型网络，具体步骤如下：
如图2所示为本发明所设计网络结构图，整体为U-Net网络架构，用多尺度注意力融合模块代替U-Net网络中的传统卷积层，让网络更有效地捕获多尺度全局依赖关系，达到更好的云检测效果。编码阶段每一层由多尺度注意力融合模块和下采样层组成，解码阶段每一层由上采样层、多尺度注意力融合模块组成，通过跳跃连接模块将编码阶段与解码阶段得到的深层特征与浅层特征相融合。
在编码阶段通过池化层，逐渐减少图像尺寸；解码阶段则使用上采样操作，逐渐恢复信息，将物体的空间信息还原；融合网络编码阶段的浅层特征和解码阶段的深层特征，以弥补网络在下采样过程中丢失的边缘信息，有利于网络输出清晰的边界，提升网络的分割效果。
步骤5：利用步骤1中的训练数据，训练所述夜光遥感云检测网络，网络采用Adam优化器对网络进行训练，最大学习率设置为0.0001，训练到收敛降低学习率进行训练，最低学习率为0.000001，batch_size设置为4，epoch设置为100。
具体训练数据包括同一地区的夜间遥感影像和无云日间遥感影像以及对应的夜间云区标注，并且，将所述同一地区的夜间遥感影像和无云日间遥感影像进行配对，在训练时，将同一地区的夜间遥感影像和无云日间遥感影像的两张图片作为一组，分别输入到夜光遥感云检测网络的日夜数据融合模块的日间遥感影像输入分支和夜间遥感影像输入分支中，对所述夜光遥感云检测网络进行训练，最终得到训练好的夜光遥感云检测网络。
步骤6：夜光遥感影像云检测，具体步骤如下：
由步骤5中训练好的网络模型，进行NPP卫星VIIRS传感器DNB波段夜光遥感影像云检测。
按照以上介绍，设计完成了一种基于日夜数据融合的夜光遥感影像云检测方法及装置，本发明以卷积网络为基础，融合日夜影像数据，结合空洞卷积和注意力机制构建U型网络，建立一个夜光遥感影像云检测模型，达到了很好的云检测精度，同时能更好的区分云层与明亮地表。
以上所述发明同样可以推广到其他同类型夜光遥感影像云检测任务，只需设置合适的参数，按照步骤1建立云掩膜数据集，对模型重新进行训练，即可得到夜光遥感影像云检测模型。
实施例二
本实施例提供一种基于日夜数据融合的夜光遥感影像云检测装置，包括：
输入模块：用于获取待检测的夜间遥感图像和同一地区的无云日间遥感影像；
检测模块：用于利用训练好的夜光遥感云检测网络对所述待检测的夜间遥感图像和同一地区的无云日间遥感影像进行处理,得到所述待检测遥感图像的云检测结果；
所述夜光遥感云检测网络包括U型网络,所述U型网络包含日夜数据融合模块、编码模块和解码模块；
所述日夜数据融合模块用于融合同一地区的夜间遥感影像和无云日间遥感影像，得到融合后的日夜遥感融合特征图；
所述编码模块包括至少一层多尺度注意力融合模块和下采样层，用于输入得到的融合后的日夜遥感融合特征图，通过多尺度注意力融合模块提取云层在各尺度下的特征；
所述解码模块包括至少一层上采样层和多尺度注意力融合模块，用于将上采样得到的特征图与编码阶段得到的特征图进行特征融合后输入多尺度注意力融合模块处理，经过softmax输出预测结果。
本实施例的装置可用于实现实施例一所述的方法。
实施例三
本实施例提供一种基于日夜数据融合的夜光遥感影像云检测装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据实施例一所述方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种基于日夜数据融合的夜光遥感影像云检测方法，其特征在于，包括以下步骤：
获取待检测的夜间遥感图像和同一地区的无云日间遥感影像；
利用训练好的夜光遥感云检测网络对所述待检测的夜间遥感图像和同一地区的无云日间遥感影像进行处理,得到所述待检测遥感图像的云检测结果；
所述夜光遥感云检测网络包括U型网络,所述U型网络包含日夜数据融合模块、编码模块和解码模块；
所述日夜数据融合模块用于融合同一地区的夜间遥感影像和无云日间遥感影像，得到融合后的日夜遥感融合特征图；
所述编码模块包括至少一层多尺度注意力融合模块和下采样层，用于输入得到的融合后的日夜遥感融合特征图，通过多尺度注意力融合模块提取云层在各尺度下的特征图；
所述解码模块包括至少一层上采样层和多尺度注意力融合模块，用于将上采样得到的特征图与编码阶段得到的特征图进行特征融合后输入多尺度注意力融合模块处理，经过归一化激活函数输出预测结果。
2.根据权利要求1所述的基于日夜数据融合的夜光遥感影像云检测方法，其特征在于，获取待检测的夜间遥感图像，包括：
从卫星可见光红外成像辐射仪套件传感器白天/夜间波段夜光遥感影像获取待检测的夜间遥感图像。
3.根据权利要求1所述的基于日夜数据融合的夜光遥感影像云检测方法，其特征在于，所述多尺度注意力融合模块包括空洞卷积和双注意力模块；
输入的特征图依次经过一个1×1空洞率分别为1、2、5的空洞卷积后输入到双注意力模块中，随后对经过双注意力模块处理的特征图进行通道连接完成融合。
4.根据权利要求3所述的基于日夜数据融合的夜光遥感影像云检测方法，其特征在于，所述双注意力模块包括：
位置注意力模块，用于将输入特征图A通过三个卷积层得到三个特征图B，D，E，然后将B，D，E进行形状重塑为C×N，之后将B的转置与D相乘，再通过归一化激活函数得到特征图S，接着将得到的注意力特征图S与经过形状重塑的特征图E进行矩阵乘法，再乘以尺度系数α，得到空间注意力特征图A1；
通道注意力模块，用于将输入特征图A通过三个卷积层得到三个特征图B，D，E，然后将B，D，E进行形状重塑为C×N，之后将B和D两个通道特征进行维度转化和矩阵相乘，获得任意两个通道的关联强度，然后经过相同的归一化激活函数操作获得特征图S，接着将得到的注意力特征图S与经过形状重塑的特征图E进行矩阵乘法，再乘以尺度系数α，得到通道注意力特征图A2；
通道连接模块，用于对位置注意力模块、通道注意力模块输出的特征图进行通道连接以获得双注意力特征图。
5.根据权利要求4所述的基于日夜数据融合的夜光遥感影像云检测方法，其特征在于，所述夜光遥感云检测网络的构建方法包括：
建立日夜数据融合模块，利用基于自注意力机制的自注意力模块构建日间、夜间遥感影像输入分支；
构建双注意力模块；
基于双注意力模块，构建多尺度注意力融合模块，
用多尺度注意力融合模块代替U-Net网络中的传统卷积层，构建联系日夜数据融合模块、编码模块和解码模块的U型网络，作为夜光遥感云检测网络。
6.根据权利要求1所述的基于日夜数据融合的夜光遥感影像云检测方法，其特征在于，所述夜光遥感云检测网络的训练方法包括：
分别获取同一地区的夜间遥感影像和无云日间遥感影像以及对应的夜间云区标注，得到训练数据集；
利用所述训练数据集，训练所述夜光遥感云检测网络，采用Adam优化器对网络进行训练。
7.根据权利要求6所述的基于日夜数据融合的夜光遥感影像云检测方法，其特征在于，分别获取同一地区的夜间遥感影像和无云日间遥感影像以及对应的夜间云区标注，包括：
获得卫星可见光红外成像辐射仪套件传感器白天/夜间波段拍摄的夜间遥感影像数据，通过人工标注，将影像中有云区域标为白色，无云区域标为黑色；
获取卫星可见光红外成像辐射仪套件传感器白天/夜间波段拍摄对应地区的日间无云遥感影像数据；
将夜光遥感影像数据分割为小块，当整景影像不足分割时舍弃，得到云掩膜图像，并将其划分为训练集、测试集和验证集。
8.根据权利要求5所述的基于日夜数据融合的夜光遥感影像云检测方法，其特征在于，所述日夜数据融合模块包括日间遥感影像输入分支、夜间遥感影像输入分支和通道融合模块；
所述日间遥感影像输入分支和夜间遥感影像输入分支均包括两个自注意力模块；
所述日间遥感影像输入分支用于对输入的日间遥感影像数据分别进行两次自注意力模块处理，得到日间处理结果；
所述夜间遥感影像输入分支用于对输入的夜间遥感影像数据分别进行两次自注意力模块处理，得到夜间处理结果；
所述通道融合模块用于对同一区域的日间处理结果和夜间处理结果进行通道连接融合，得到融合后的日夜遥感融合特征图。
9.一种基于日夜数据融合的夜光遥感影像云检测装置，其特征在于，包括：
输入模块：用于获取待检测的夜间遥感图像和同一地区的无云日间遥感影像；
检测模块：用于利用训练好的夜光遥感云检测网络对所述待检测的夜间遥感图像和同一地区的无云日间遥感影像进行处理,得到所述待检测遥感图像的云检测结果；
所述夜光遥感云检测网络包括U型网络,所述U型网络包含日夜数据融合模块、编码模块和解码模块；
所述日夜数据融合模块用于融合同一地区的夜间遥感影像和无云日间遥感影像，得到融合后的日夜遥感融合特征图；
所述编码模块包括至少一层多尺度注意力融合模块和下采样层，用于输入得到的融合后的日夜遥感融合特征图，通过多尺度注意力融合模块提取云层在各尺度下的特征；
所述解码模块包括至少一层上采样层和多尺度注意力融合模块，用于将上采样得到的特征图与编码阶段得到的特征图进行特征融合后输入多尺度注意力融合模块处理，经过归一化激活函数输出预测结果。
10.一种基于日夜数据融合的夜光遥感影像云检测装置，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1-8中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410566443.0A CN118155093B (zh) | 2024-05-09 | 一种基于日夜数据融合的夜光遥感影像云检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410566443.0A CN118155093B (zh) | 2024-05-09 | 一种基于日夜数据融合的夜光遥感影像云检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118155093A true CN118155093A (zh) | 2024-06-07 |
| CN118155093B CN118155093B (zh) | 2024-07-16 |
Family
ID=
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021046965A1 (zh) * | 2019-09-09 | 2021-03-18 | 中国科学院遥感与数字地球研究所 | 一种卫星图像序列云区修补方法和装置 |
| CN113421258A (zh) * | 2021-07-22 | 2021-09-21 | 湖南星图空间信息技术有限公司 | 一种基于高分辨率遥感影像的自动云检测方法 |
| CN114220001A (zh) * | 2021-11-25 | 2022-03-22 | 南京信息工程大学 | 基于双注意力神经网络的遥感影像云与云阴影检测方法 |
| CN115830596A (zh) * | 2022-12-27 | 2023-03-21 | 河南大学 | 基于融合金字塔注意力的遥感图像语义分割方法 |
| CN115984714A (zh) * | 2023-03-21 | 2023-04-18 | 山东科技大学 | 一种基于双分支网络模型的云检测方法 |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021046965A1 (zh) * | 2019-09-09 | 2021-03-18 | 中国科学院遥感与数字地球研究所 | 一种卫星图像序列云区修补方法和装置 |
| CN113421258A (zh) * | 2021-07-22 | 2021-09-21 | 湖南星图空间信息技术有限公司 | 一种基于高分辨率遥感影像的自动云检测方法 |
| CN114220001A (zh) * | 2021-11-25 | 2022-03-22 | 南京信息工程大学 | 基于双注意力神经网络的遥感影像云与云阴影检测方法 |
| CN115830596A (zh) * | 2022-12-27 | 2023-03-21 | 河南大学 | 基于融合金字塔注意力的遥感图像语义分割方法 |
| CN115984714A (zh) * | 2023-03-21 | 2023-04-18 | 山东科技大学 | 一种基于双分支网络模型的云检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 刘羿漩等: "多尺度特征融合U-Net的遥感影像黑臭水体智能检测", 半导体光电, 15 November 2023 (2023-11-15), pages 1 - 6 * |
| 曹爽: "高分辨率遥感影像去云方法研究", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 2006, 15 August 2006 (2006-08-15), pages 1 - 15 * |
| 邴芳飞: "基于 Unet 神经网络的遥感影像云检测算法研究", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 2024, 15 February 2024 (2024-02-15), pages 10 - 70 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110188765B (zh) | 图像语义分割模型生成方法、装置、设备及存储介质 | |
| CN111079683B (zh) | 基于卷积神经网络的遥感图像云雪检测方法 | |
| CN114120102A (zh) | 边界优化的遥感图像语义分割方法、装置、设备及介质 | |
| CN113642390B (zh) | 一种基于局部注意力网络的街景图像语义分割方法 | |
| CN114187450A (zh) | 一种基于深度学习的遥感图像语义分割方法 | |
| CN112084923A (zh) | 一种遥感图像语义分割方法、存储介质及计算设备 | |
| CN116311254B (zh) | 一种恶劣天气情况下的图像目标检测方法、系统及设备 | |
| CN113610070A (zh) | 一种基于多源数据融合的滑坡灾害识别方法 | |
| CN113870286A (zh) | 一种基于多级特征和掩码融合的前景分割方法 | |
| CN116958827A (zh) | 一种基于深度学习的撂荒区域提取方法 | |
| CN115731400A (zh) | 基于自监督学习的x光图像异物检测方法 | |
| CN112927237A (zh) | 基于改进SCB-Unet网络的蜂窝肺病灶分割方法 | |
| CN115861756A (zh) | 基于级联组合网络的大地背景小目标识别方法 | |
| CN116703885A (zh) | 一种基于Swin Transformer的表面缺陷检测方法及系统 | |
| CN113158856B (zh) | 一种提取遥感图像中目标区域的处理方法和装置 | |
| CN117671509A (zh) | 遥感目标检测方法、装置、电子设备及存储介质 | |
| CN115984714B (zh) | 一种基于双分支网络模型的云检测方法 | |
| CN117727046A (zh) | 新型山洪前端仪器仪表读数自动识别方法及系统 | |
| CN118155093B (zh) | 一种基于日夜数据融合的夜光遥感影像云检测方法及装置 | |
| CN116778346A (zh) | 一种基于改进自注意力机制的管线识别方法及系统 | |
| CN107273793A (zh) | 一种用于人脸识别的特征提取方法 | |
| CN118155093A (zh) | 一种基于日夜数据融合的夜光遥感影像云检测方法及装置 | |
| CN112861829B (zh) | 一种基于深度卷积神经网络的水体提取方法及系统 | |
| CN115311570A (zh) | 一种基于关键点表示的红外弱小目标检测方法 | |
| CN114764880A (zh) | 多成分gan重建的遥感图像场景分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |