CN111738124B - 基于Gabor变换和注意力的遥感图像云检测方法 - Google Patents

基于Gabor变换和注意力的遥感图像云检测方法 Download PDF

Info

Publication number
CN111738124B
CN111738124B CN202010542977.1A CN202010542977A CN111738124B CN 111738124 B CN111738124 B CN 111738124B CN 202010542977 A CN202010542977 A CN 202010542977A CN 111738124 B CN111738124 B CN 111738124B
Authority
CN
China
Prior art keywords
module
image
network
convolutional neural
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010542977.1A
Other languages
English (en)
Other versions
CN111738124A (zh
Inventor
张静
周秦
吴俊�
李云松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010542977.1A priority Critical patent/CN111738124B/zh
Publication of CN111738124A publication Critical patent/CN111738124A/zh
Application granted granted Critical
Publication of CN111738124B publication Critical patent/CN111738124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于Gabor变换和注意力机制的深度学习遥感云检测方法，解决了遥感图像云检测中对于特征提取不够充分的问题，实现步骤为：建立遥感图像数据库和对应的掩膜图；构建一个包括Gabor变换模块、注意力模块的卷积神经网络；确定网络的损失函数；将训练图像库中的训练样本输入到卷积神经网络中，通过梯度下降方法对损失函数迭代更新直至损失函数收敛，得到训练好的卷积神经网络；将测试数据库中的数据输入到卷积神经网络中获得云区域的检测结果；本发明采用基于Gabor变换和注意力机制的图像特征提取技术，使用深度学习方法进行遥感图像的云检测，特征提取充分，检测精度高，用于遥感图像的预处理过程。

Description

基于Gabor变换和注意力的遥感图像云检测方法
技术领域
本发明属于图像处理技术领域，主要涉及遥感图像的云检测，具体是一种基于Gabor变换和注意力机制的深度学习遥感图像云检测方法，可用于遥感图像的预处理过程，实现对遥感图像的剔除、分类。
背景技术
随着科技的高速发展，卫星遥感技术进入了一个能快速及时地获取对地观测信息的新阶段。根据国际卫星云气候计划ISCCP(International Satellite CloudClimatology Project)提供的全球云量数据显示，全球有超过60％以上的区域常常被云覆盖。因此遥感卫星获取卫星图像，尤其是获取大范围的遥感影像时，多数情况下都会有云的存在，真正的无云晴空地面目标物体影像很难获取。云层在图像中会对地物造成遮挡，从而对通过卫星遥感图像获取到的地物信息产生干扰。当这些含云的图像数据被用于图像融合，目标识别，地物分类，农业检测等领域是，由云遮挡造成的干扰会影响其正常的数据提取和处理，甚至造成无法避免的错误。为了能够有效的从遥感图像数据中提取地面目标物体的信息，提高遥感卫星图像数据的可用性和利用率，必须对遥感图像中存在的云进行检测，采取必要的措施，以消除或降低云的干扰和影响。
随着人工神经网络领域中深度学习的发展，越来越多的深度卷积神经网络在图像处理中展现了很好的效果，很多学者也将其用于遥感图像的云检测中，并且取得了较好的效果。Jacob基于卷积神经网络模型，提出了适用于遥感图像的云检测深度学习模型(Remote Sensing Network，RS-Net)，该网络相比于传统的云检测算法,检测效果有明显的提升。
现有的卷积神经网络虽然能够实现图片语义分割的任务，但由于云的种类十分繁杂，不同类型的云具有不同的图像特征值，而且特征值的分布并不集中，再加上地物的种类同样繁杂，并不存在一种特征或者特征组合能够将云与地物明显的区分开，将现有卷积神经网络用于遥感图像云检测时的检测精度仍有待提高。
发明内容
本发明的目的在于针对已有技术存在的问题，提供了一种基于Gabor变换和注意力机制的深度学习遥感云检测方法，旨在加强对遥感图像的特征提取，进一步提升云检测的精度。
本发明是一种基于Gabor变换和注意力机制的深度学习遥感图像云检测方法，包括有如下步骤：
(1)建立多光谱遥感图像数据库，并划分为训练和测试数据库：针对要进行云检测的遥感图像数据，建立多光谱遥感图像数据库{(X1,Y1),(X2,Y2),...,(Xn,Yn)...,(XN,YN)}，其中Xn代表含有云干扰的多光谱图像，对图像库Yn代表多光谱图像对应的云掩膜图；n代表图像库中第n个样本的编号，n∈[0,N]，N代表图像库的样本个数，并将数据库划分为训练数据库和测试数据库；
(2)构建一个包含Gabor变换模块、注意力机制模块的卷积神经网络：图像数据首先经过Gabor变换模块进行纹理特征学习，再在卷积神经网络中使用注意力机制模块对解码端数据进行引导；通过Gabor变换模块和注意力机制模块，引导网络对重点区域的特征进行学习；上述模块的构建过程如下：
2a)构建Gabor变换模块：所述Gabor变换模块包含上下两个支路，上支路为Gabor变换支路，下支路为卷积变换支路；
2b)构建注意力机制模块：所述注意力机制模块包含空间注意力和通道注意力两个子模块，由依次连接的空间注意力子模块和通道注意力子模块构成；
2c)构建卷积神经网络：构建基于编解码结构的卷积神经网络，并将图像的Dark通道作为辅助通道，构建Dark子网，将Gabor变换模块加入到编解码网络结构的前端，输入图像首先经过Gabor变换模块，之后再进入到编解码网络；注意力机制模块通过跳跃连接，从同一尺度的编码端通过注意力模块引入特征图对解码端的数据进行引导；
(3)确定卷积神经网络的损失函数：确定网络的损失函数，通过损失函数度量网络的输出预测值，步骤如下：
3a)确定输入输出：将训练图像库中的多光谱图像输入到卷积神经网络中，输出为卷积神经网络的最后一层特征图Fout；
3b)计算交叉熵：计算Fout和对应的云掩膜图的交叉熵，并作为网络训练阶段的损失函数，卷积神经网络的损失函数：
其中，yj是输入卷积神经网络的多光谱图像对应的云掩膜图，yj∈Ra×a×1，fj是网络的最后一层特征，yj∈Ra×a×1，a×a×1表示图像的宽为a，高为a，通道数为1；
(4)训练卷积神经网络：将构建的训练数据库中的图像数据和对应的掩膜数据输入网络，设置迭代次数M，对网络进行迭代训练，通过反向传播机制不断更新卷积神经网络的参数，直到卷积神经网络的损失函数收敛，得到训练好的卷积神经网络；
(5)对图像进行云检测：将测试数据库中的多光谱图像输入到训练好的卷积神经网络中，得到网络输出的概率图，并对输出的概率图进行分割得到二值结果图，完成对图像的云检测。
本发明解决了由于云特征提取不够充分而导致检测结果不够理想的问题，提高了检测精度。
与现有的技术相比，本发明具有以下优点：
所构建的Gabor变换模块既保留了卷积提取的特征信息，也包含了纹理差异信息：通常情况下，云区域内部比较均匀，和非云区域的文理特性差异比较明显，本发明通过对纹理特征的提取学习，增强了网络对云区域的特征学习。
所构建的注意力机制模块，能够找到遥感图像中较为明显的特征：注意力机制能对包含重要信息的特征图进行加强，减弱包含冗余信息的特征图，本发明通过对空间注意力和通道注意力的提取，使特征提取更加集中于有明显语义信息的区域，提高了遥感图像云检测的准确性。
所构建的编解码网络结构，能够利用编码端信息对解码端信息进行引导：信息在网络中由于池化操作会造成不可逆的损失，本发明一方面将编码端的特征图通过通道拼接的方式连接到解码端进行信息弥补，另一方面在解码端加入注意力机制模块，通过编码端的信息对解码端的信息进行指导，增强了从解码端筛选出利于区分云区域和非云区域的特征的能力。
附图说明
图1是本发明的流程框图；
图2是本发明中构建的Gabor变换模块结构图；
图3是本发明中构建的空间注意力模块结构图；
图4是本发明中构建的通道注意力模块结构图；
图5是本发明中构建的注意力模块结构图；
图6是本发明中构建的基于编解码结构的卷积神经网络的结构图。
具体实施方式
实施例1
卫星遥感技术进入了一个能快速及时地获取对地观测信息的新阶段，但是图像中的云层会对地物造成遮挡，从而对通过卫星遥感图像获取到的地物信息产生干扰，为了能够有效的从遥感图像数据中提取地面目标物体的信息，提高遥感卫星图像数据的可用性和利用率，必须对遥感图像中存在的云进行检测，但是由于不同类型的云具有不同的图像特征值，再加上地物种类繁杂，这些都对云检测的精度造成了影响。本发明针对这些现状展开研究，提出一种基于Gabor变换和注意力机制的深度学习遥感图像云检测方法，参见图1，图1是本发明的实施流程框图，包括有如下步骤：
(1)建立多光谱遥感图像数据库，并划分为训练和测试数据库：针对要进行云检测的遥感图像数据，建立多光谱遥感图像数据库{(X1,Y1),(X2,Y2),...,(Xn,Yn)...,(XN,YN)}，其中Xn代表含有云干扰的多光谱图像，在图像库中Yn代表多光谱图像Xn对应的云掩膜图；n代表含有云干扰的多光谱遥感图像库中第n个样本的编号，n∈[0,N]，N代表多光谱遥感图像库的图像样本总个数，并将数据库划分为训练数据库和测试数据库。
为了让网络学习到尽可能多的图像特征，本发明将多光谱遥感图像数据库中大多数的图像数据划分为训练数据库用于网络训练，将剩余的图像数据划分为测试数据库。训练数据库和测试数据库的划分比例可根据实际需求，动态的调整。
(2)构建一个包含Gabor变换模块、注意力机制模块的卷积神经网络：构建一个基于编解码结构的卷积神经网络，为了增强网络对纹理特征的学习和对重点区域的关注，本发明在编解码结构中加入了Gabor变换模块和注意力机制模块，使得构建的卷积神经网络能够充分提取遥感图像云区域的特征，有效增加了云检测的精度。在构建的卷积神经网络中，训练库中的图像数据首先经过Gabor变换模块进行纹理特征学习，再将包含纹理信息的特征图输入到网络中进行学习，并在网络中使用注意力机制模块对解码端数据进行引导；通过Gabor变换模块和注意力机制模块，引导网络对重点区域的特征进行学习。
上述模块的构建过程如下：
2a)构建Gabor变换模块：本发明的Gabor变换模块包含上下两个支路，上支路为Gabor变换支路，下支路为卷积变换支路。
由于在上支路中加入了对图像边缘和纹理特征敏感的Gabor滤波器，使得上支路的网络能够更有效的提取遥感图像的纹理信息。上支路用于提取遥感图像的纹理差异信息，下支路用于提取卷积特征信息，通过利用上下两条支路分别提取的不同的特征信息的方式，使得所构建的Gabor变换模块起到增强网络对云区域的纹理特征学习的作用。
2b)构建注意力机制模块：本发明的注意力机制模块包含空间注意力和通道注意力两个子模块，参见图5，本发明的注意力机制模块由依次连接的空间注意力子模块和通道注意力子模块构成。
空间注意力模块和通道注意力模块均有两个输入和一个输出。空间注意力模块的其中一个输入是编码端的特征图，另一个输入是辅助通道Dark通道的特征图，空间注意力模块的输出为包含空间注意力的特征图。将空间注意力模块输出的特征图作为通道注意力模块的一个输入，并提取解码端的特征图作为通道注意力模块的另一个输入，通道注意力模块的输出为包含通道和空间注意力信息的特征图，也就是注意力机制模块的最终输出。
2c)构建卷积神经网络：构建基于编解码结构的卷积神经网络，并从遥感图像中提取图像的Dark通道作为网络的辅助通道，构建Dark子网，从色彩上出发，在空间上改善解码端的颜色分类信息。由于图像的纹理特征一般包含在浅层特征图中，本发明将Gabor变换模块加入到编解码网络结构的第一次下采样之前，让输入图像首先经过Gabor变换模块，进行纹理特征的提取，之后再进入到编解码网络；由于解码端的信息在网络流动过程中会有因为池化造成的不可逆的损失，本发明将注意力机制模块通过跳跃连接，从同一尺度的编码端通过注意力模块引入特征图对解码端的数据进行引导。
本发明通过对云纹理差异信息的提取学习，能够使网络学习到更多的云区域特征，提高检测的精度。
(3)确定卷积神经网络的损失函数：确定网络的损失函数，通过损失函数度量网络的输出预测值，步骤如下：
3a)确定输入输出：将训练图像库中的多光谱图像输入到含有Gabor变换模块和注意力机制模块的卷积神经网络中，输出为卷积神经网络的最后一层特征图Fout。
3b)计算交叉熵：计算Fout和对应的云掩膜图的交叉熵，并作为网络训练阶段的损失函数。卷积神经网络的损失函数：
其中，yj是输入卷积神经网络的多光谱图像对应的云掩膜图，yj∈Ra×a×1，fj是网络的最后一层特征，yj∈Ra×a×1，a×a×1表示图像的宽为a，高为a，通道数为1。
(4)训练卷积神经网络：将构建的训练数据库中的图像数据和对应的掩膜数据输入网络，设置迭代次数M，对网络进行迭代训练，通过反向传播机制不断更新卷积神经网络的参数，直到卷积神经网络的损失函数收敛，得到训练好的含有Gabor变换模块和注意力机制模块的卷积神经网络。
(5)对图像进行云检测：将测试数据库中的多光谱图像输入到训练好的卷积神经网络中，得到网络输出的概率图，并对输出的概率图进行分割得到二值结果图，完成对图像的云检测。
本发明提出了一种基于Gabor变换和注意力机制的深度学习遥感图像云检测方法的整体技术方案。
本发明的技术思路是：利用Gabor变换引导网络对纹理特征增强关注；利用注意力机制获取有利于分割的有用信息，从有用信息中提取多尺度的卷积层特征，并通过编解码网络结构实现图像分割。
本发明增强了网络对遥感图像的纹理和重点区域的特征学习，提升了对遥感图像云区域检测的精确度。
实施例2
基于Gabor变换和注意力机制的深度学习遥感云检测方法同实施例1，步骤2a)构建Gabor变换模块中，所构建的Gabor变换支路的输出特征图通过与卷积变换支路的输出特征图做减法操作，得到与卷积变换支路特征图的信息差异，将该信息差异经过一次卷积学习后，重新加入到卷积变换支路中的特征图中，得到所述Gabor变换模块的输出。Gabor滤波器的核函数定义如下：
式中，x,y表示二维面上的横纵坐标，λ表示波长，θ表示滤波器条纹的方向，ψ表示相位偏移，σ表示Gabor函数的高斯因子的标准差，γ表示空间上的横纵比。
所述Gabor变换模块的结构如图2所示，该模块的工作过程如下：
Gabor变换模块的输入特征图是X0，X0首先经过一个卷积层对其进行特征提取后，得到输出Xf；Xf经过上支路Gabor滤波器后，再经过一个卷积处理，得到输出Xg；Xf经过下支路进行一个卷积处理，得到下支路输出Xf1；通过减法操作，得到特征图Xf1与Xg之间的差异，再经过一个卷积操作得到上支路输出Xdif；将Xdif的特征与Xf1相加，再经过一个卷积操作，得到所述Gabor变换模块的输出Xout。Gabor变换模块可用以下公式表示：
Xout＝Fconv(Xf1+Fconv(Xf1-Fgabor(Xf)))
其中，Fconv表示卷积操作，Fgabor表示经过Gabor滤波器。
由于遥感图像数据中云区域的内部比较均匀，和非云区域有着较为明显的纹理差异。本发明出于对云区域的纹理特征进行学习的目的，构建了既能保留卷积特征信息，又能提取纹理差异信息的Gabor变换模块，增强了网络对云区域的特征学习。此Gabor变换模块可用于具有明显纹理差异特征的图像处理任务中，不限于本发明的云检测任务。
实施例3
基于Gabor变换和注意力机制的深度学习遥感云检测方法同实施例1-2，步骤2b)构建注意力机制模块中，所构建的注意力机制模块包含空间注意力模块和通道注意力模块；空间注意力模块包括有卷积层，通道拼接层，全局最大池化层，全局平均池化层；一个全局最大池化层和一个全局平均池化层并联，之后依次串联一个通道拼接层和一个卷积层；通道注意力模块包括有卷积层，全局最大池化层，全局平均池化层，全连接层，像素相加层以及Sigmoid函数；一个卷积层后并联一个全局最大池化层和一个全局平均池化层，全局最大池化层和全局平均池化层后分别串联两个全连接层，全连接层后串联一个像素相加层，Sigmoid激活函数串联在像素相加层之后。
所述空间注意力模块的结构如图3所示，该模块的工作过程如下：
Xd是来自Dark通道的特征图，X是来自编码端的特征图；Xd分别通过全局平均池化和全局最大池化，将全局平均池化的特征图和全局最大池化的特征图通过Concat操作，并经过一次卷积进行特征学习，得到上支路特征图Xc；Xd和X通过Concat操作后，进行一次卷积的特征学习，得到特征图Xf；将Xf和Xd再进行一次Concat操作，并经过一次卷积进行特征学习，得到下支路特征图Xg；将上支路特征图Xc和下支路特征图Xg相乘，得到空间注意力模块的最终输出Xout。空间注意力模块可用如下公式表示：
Xout＝Fconv(Fconv(Xd⊙X)⊙Xd)×Fconv(Fmax(Xd)⊙Favg(Xd))
其中，Fconv表示卷积操作，Fmax表示全局最大池化，Favg表示全局平均池化，⊙表示在通道维度的Concat操作。
所述通道注意力模块的结构如图4所示，该模块的工作过程如下：
Xw是来自空间注意力输出的特征图，X是来自解码端的特征图；Xw通过一次卷积变换后，通道数调整到和X的通道数相同的状态；然后分别通过全局最大池化和全局平均池化后，生成两个c维向量；这两个向量分别经过两个全连接层进行信息变换和特征提取，再经过向量加法得到一个c维向量，并通过Sigmoid函数对向量中的权重规范到0和1之间；将该c维向量与特征图X进行乘法操作，得到所述模块的输出Xout；通道注意力模块可用如下公式表示：
Xout＝(Fc(Fc(Fmax(Fconv(Xw))))+Fc(Fc(Favg(Fconv(Xw))))×X
其中，其中，Fconv表示卷积操作，Fmax表示全局最大池化，Favg表示全局平均池化，Fc表示全连接层。
所述注意力机制模块的结构如图5所示，该模块的工作过程如下：
首先将来自编码端的特征图和Dark辅助通道的特征图输入空间注意力模块，再将空间注意力模块提取到的特征图和来自解码端的特征图输入到通道注意力模块进行特征提取，得到最终的注意力特征。
在卷积神经网络提取的特征信息中，有的信息有利于从图像中提取出云区域，有的信息则无法更好地区分云区域和非云区域。本发明出于对包含重要信息的特征图进行加强，减弱包含冗余信息的特征图的目的，构建了能够对信息进行筛选，提取有用信息的注意力机制模块，能够找到遥感图像中较为明显的特征。此通道注意力机制模块还具有广泛的适用性，能够加入到多种网络模型中，并不限于本发明的编解码网络结构。
实施例4
基于Gabor变换和注意力机制的深度学习遥感云检测方法同实施例1-3，步骤2c)构建卷积神经网络中，所构建的卷积神经网络基于编解码结构，并提取图像中的Dark通道作为辅助通道，构建Dark子网。为了增强网络对重要信息的学习，同时弥补因编码端下采样操作造成的信息损失，本发明将编码端每一尺度的特征图均经过注意力模块与解码端对应尺度相连接，同时在解码端采用跳跃连接结构将编码端和解码端对应尺度的特征图进行通道拼接。
所述卷积神经网络的结构如图6所示，该网络的工作过程如下：
将图像数据作为编码端的输入，从图像数据中提取的Dark通道数据作为Dark子网的输入。将Gabor变换模块放到编码端的第一次下采样之前，用于提取浅层特征中的纹理信息。为了防止网络的过拟合，在编码端的第二层和第三层采取dropout策略。每一层都经过两次卷积运算进行特征提取并使用Relu函数激活。在网络中将编码端的特征图通过通道拼接的方式进行信息弥补，同时，将编码端特征图和Dark子网相应尺度的特征图输入注意力机制模块，提取出注意力特征，对解码端的信息进行指导。网络一共经过五次的尺度变换操作，最终得到分割结果。
由于网络深层的解码端包含了较多的抽象信息，同时信息在网络中流动的过程中会有因为池化造成的不可逆的损失，本发明出于对解码端信息进行引导、补偿的目的，构建了能够利用编码端信息对接码段信息进行引导的编解码网络结构，此结构一方面将编码端的特征图通过通道拼接的方式连接到解码端进行信息弥补，另一方面在解码端加入注意力机制模块，利用编码端信息对解码端的信息进行指导，使得网络增强了从解码端筛选出利于区分云区域和非云区域的特征的能力。
实施例5
基于Gabor变换和注意力机制的深度学习遥感云检测方法同实施例1-4，步骤(5)中的对输出的概率图进行分割得到二值结果图，其实现如下：
按照阈值对网络模型输出的概率图进行分割，得到二值结果图，概率图中大于等于阈值的点划分为云区域像素点，小于阈值的点划分为非云区域像素点，本发明中阈值可在0～1内选取，不同的阈值分割效果不同，本发明中阈值为0.5时分割效果最佳。
下面给出一个更加详细的例子，对本发明进一步说明。
实施例6
基于Gabor变换和注意力机制的深度学习遥感云检测方法同实施例1-5；
参照图1，具体实现步骤如下：
步骤1.建立遥感图像数据库。
下载“高分一号”遥感卫星的遥感图像数据集，建立多光谱遥感图像库{(X1,Y1),(X2,Y2),...,(Xn,Yn)...,(XN,YN)}，其中Xn代表含有云干扰的多光谱图像，Yn代表多光谱图像Xn对应的云掩膜图。n代表图像库中样本的编号，n∈[0,N]，N代表图像库的样本总个数，并将多光谱遥感图像库划分为训练图像库和测试图像库。
本实例将多光谱遥感图像数据库中80％的图像数据划分为训练数据库，将20％的图像数据划分为测试数据库。
步骤2.构建包含Gabor变换模块、注意力机制模块的卷积神经网络。
为了更好的对遥感图像的云区域特征进行提取，构建了包含Gabor变换模块和注意力机制模块的基于编解码的卷积神经网络，其构建包括有如下步骤：
(2.1)构建Gabor变换模块，该模块包括有五个卷积层和一个Gabor滤波器，其结构如图2所示。
本实例中，Gabor滤波器中波长λ的取值范围为[2,6)内的整数，σ和λ的关系为σ＝0.56λ，方向角θ的取值范围是[0,π]，间隔是相位偏移ψ取0，γ空间横纵比取0.5；五个卷积层中，均采用3×3的卷积核，步长为1，padding策略为“SAME”，使用Relu作为激活函数。所述Relu激活函数如下：
其中，x为Relu函数的输入函数。
参见图2，本发明中Gabor变换模块的工作过程如下：
Gabor变换模块的输入X0是W×H×C的图像张量，W是图像的宽，H是图像的高，C是图像的通道数，X0首先经过一个卷积层对其进行特征提取后，得到输出Xf；Xf经过上支路Gabor滤波器后，再经过一个卷积处理，得到输出Xg；Xf经过下支路进行一个卷积处理，得到下支路输出Xf1；通过减法操作，得到特征图Xf1与Xg之间的差异，再经过一个卷积操作得到上支路输出Xdif；将Xdif的特征与Xf1相加，再经过一个卷积操作，得到所述Gabor变换模块的输出Xout，其维度同输入X0，为W×H×C。
(2.2)构建注意力机制模块，参见图5，该模块由空间注意力模块和通道注意力模块串联组成。
(2.2.1)空间注意力模块由卷积层，两个通道拼接层，一个全局最大池化层，一个全局平均池化层组成，其结构如图3所示。
本实例中，空间注意力模块的卷积层采用3×3的卷积核，步长为1，padding策略为“SAME”，使用Relu作为激活函数。
参见图3，本发明的空间注意力模块的工作过程如下：
Xd是来自Dark通道的特征图，尺寸为H×W×C1，X是来自编码端的特征图，尺寸为H×W×C；Xd分别通过全局平均池化和全局最大池化，将全局平均池化的特征图和全局最大池化的特征图通过Concat操作，并经过一次卷积进行特征学习，得到上支路特征图Xc，尺寸为H×W×1；Xd和X通过Concat操作后，进行一次卷积的特征学习，得到特征图Xf，尺寸为H×W×C2；将Xf和Xd再进行一次Concat操作，并经过一次卷积进行特征学习，得到下支路特征图Xg，尺寸为H×W×C3；将上支路特征图Xc和下支路特征图Xg相乘，得到空间注意力模块的最终输出Xout，尺寸为H×W×C3。
(2.2.2)通道注意力由一个卷积层，一个全局最大池化层，一个全局平均池化层，四个全连接层，像素相加层以及Sigmoid函数组成，其结构如图4所示。所述Sigmoid函数如下：
其中，x为Sigmoid函数的输入函数。
本实例中，通道注意力模块的卷积层采用3×3的卷积核，步长为1，padding策略为“SAME”，使用Relu作为激活函数；记通道数为C，与全局最大池化层和全局平均池化层连接的全连接层有个神经元，其余两个全连接层有C个神经元，四个全连接层均使用Relu作为激活函数。
参见图4，本发明的通道注意力模块的工作过程如下：
Xw是来自空间注意力输出的特征图，尺寸为H1×W1×C1，X是来自解码端的特征图，尺寸为H×W×C；Xw通过一次卷积变换后，通道数调整到和X的通道数相同的状态，调整后的尺寸为H1×W1×C；然后分别通过全局最大池化和全局平均池化后，生成两个1×1×C维向量；这两个向量分别经过两个全连接层进行信息变换和特征提取，再经过向量加法得到一个1×1×C维向量，并通过Sigmoid函数对向量中的权重规范到0和1之间；将该1×1×C维向量与特征图X进行乘法操作，得到所述模块的输出Xout，尺寸为H×W×C。
(2.3)构建卷积神经网络，网络包含编解码结构、Gabor变换模块、注意力机制模块。其结构如图6所示。
本实例中，除网络输出端最后一层的卷积采用1×1的卷积核外，其余卷积层均采用3×3的卷积核。网络中所有的卷积核步长均为1，padding策略均为“SAME”，均使用Relu作为激活函数。池化的核尺寸均为2×2，dropout以0.2的概率舍弃神经元。
参见图6，本发明的卷积神经网络网络的工作过程如下：
将尺寸为512×512×4的遥感图像输入网络，从图像数据中提取的Dark通道数据作为Dark子网的输入，尺寸为512×512×1。将输入图像通过Gabor变换模块提取浅层特征中的纹理信息，提取后的尺寸为512×512×32。网络编码端从第一层到第五层的卷积核个数分别为32，64，128，256和512。解码端第一层到第五层的卷积核个数分别为512，256，128，64和32。为了防止网络的过拟合，在编码端的第二层和第三层采取以0.2为舍弃神经元概率概率的dropout策略。每一层都经过两次卷积运算进行特征提取并使用Relu函数激活。将编码端的特征图通过通道拼接的方式进行信息弥补，将编码端特征图和同尺度的Dark子网的特征图输入注意力机制模块，提取出注意力特征，对解码端的信息进行指导。经过编解码网络后输出的特征图尺寸大小为512×512×32，再经过一次卷积核为1×1卷积层，得到尺寸为512×512×1的网络输出概率特征图。
步骤3.确定卷积神经网络的损失函数：
(3.1)确定输入输出
将训练图像库中的多光谱图像输入到卷积神经网络中，输出为卷积神经网络的最后一层特征图Fout。
(3.2)计算交叉熵
使用图像分割领域常用的交叉熵函数作为网络的损失函数，计算和对应的云掩膜图的交叉熵，并作为网络训练阶段的损失。卷积神经网络的损失函数：
其中，yj是输入卷积神经网络的多光谱图像对应的云掩膜图，yj∈Ra×a×1，fj是网络的最后一层特征，yj∈Ra×a×1，a×a×1表示图像的宽为a，高为a，通道数为1。
步骤4.设置迭代次数M，通过反向传播不断更新卷积神经网络参数，对网络进行迭代训练，直到网络收敛，得到训练好的卷积神经网络。
本实例中，在网络训练中采用自适应动量优化算法(Adapt moment estimation,Adam)进行网络参数的更新，设置初始学习率为0.00001，bathsize为2，迭代次数设置为15。
步骤5.将测试数据库中的多光谱图像输入到训练好的卷积神经网络中，以0.5为阈值，对网络的输出进行二值化分割，将概率图中大于等于阈值的像素点划分为云区域的像素点，小于阈值的点划分为非云区域的像素点，得到分割结果图，完成对图像的云检测。
本发明解决了遥感图像云检测中对于特征提取不够充分的问题，实现步骤为：建立遥感图像数据库和对应的掩膜图；构建一个包括Gabor变换模块、注意力模块的卷积神经网络；确定网络的损失函数；将训练图像库中的训练样本输入到卷积神经网络中，通过梯度下降方法对损失函数迭代更新直至损失函数收敛，得到训练好的卷积神经网络；将测试数据库中的数据输入到卷积神经网络中获得云区域的检测结果；本发明采用基于Gabor变换和注意力机制的图像特征提取技术，使用深度学习方法进行遥感图像的云检测，特征提取充分，检测精度高，用于遥感图像的预处理过程。
本发明的效果可通过以下仿真进一步说明：
实施例7
仿真条件
在Inetl(R)Xeon(R)Sliver 4110 CPU@2.10，GeForce RTX 2080，Ubuntu 16.04LTS系统下运行，所使用的深度学习框架为TensorFlow 1.12.0和Keras2.2.4。
仿真内容
下载来自高分一号卫星的WFV相机拍摄到的高分辨率图像数据集，这个数据集一共包含108景图像和响应的云掩膜图；覆盖多种地貌环境，包括城市区域，植被很少的贫瘠区域，被雪覆盖的区域，有大量植被覆盖的区域以及海洋或者湖泊；其中86景作为训练图像，22景作为测试图像；为提高网络的训练和测试效率，将每景图像裁剪成尺寸为512×512×4的小图，其中参与训练的小图一共41624幅，参与测试的小图一共10648幅。
为了评估所提出本发明的方法的性能，选用了Deeplabv3+和云检测卷积神经网络模型RS-Net进行对比。本发明中的遥感图像云检测算法将图像中的像素分为两类，云和非云像素，评价指标是对像素的分类情况进行评估，因此需要用到六种类型的像素个数。六种类型的像素个数说明如下：
(1)云掩膜种的云像素个数：P；(2)云掩膜中的非云像素个数：N；(3)检测结果中判定正确的云像素个数：TP；(4)检测结果中判定正确的非云像素个数：TN；(5)检测结果中判定错误的非云像素个数：FP；(6)检测结果图中判定错误的非云像素个数：FN；
采用的评价指标分别是整体准确率(Overall Accuracy,OA)，召回率(Recall)，Kappa系数以及误检率(False Alarm Rate,FAR)；其中OA是用来评价云检测的准确度，Recall表示算法检测出的正确的云像素占真是云像素的比例，Kappa系数是衡量云监测的整体效果，FAR表示监测错误的云像素占真实云像素的比例。
评价指标的计算方法如下：
/>
本发明与其他算法的仿真结果如表。
表1本发明与其他现有算法客观指标对比
指标 Deeplabv3+ RS-Net 本发明
OA 96.18％ 96.71％ 97.42％
Recall 85.99％ 87.92％ 90.82％
Kappa 82.37％ 84.74％ 88.56％
FAR 9.61％ 5.82％ 4.86％
表1中，通过统计各算法网络模型参数，本发明的准确率OA为97.42％，相比于Deeplabv3+的96.18％和RS-Net的96.71％均有明显提升；本发明的Recall为90.82％，相比于Deeplabv3+的85.99％提升了近5％，相比于RS-Net也有3％的提升；本发明的Kappa系数为88.56％，相比于Deeplabv3+的82.37％和RS-Net的84.74％提升明显；本发明的误检率FAR为4.86％，相比于RS-Net的5.82％下降了1％，只有Deeplabv3+的9.61％的一半。
本实例根据Gabor变换对图像纹理具有较好的特征提取性能，以及注意力机制能引导网络对重点区域进行关注的特点，在编解码网络的前端通过Gabor变换对遥感图像进行纹理特征提取，并使用注意力模块在多个尺度空间下进行注意力引导，其具体实现方式是在现有的基于深度学习的图像分割网络中的跳跃连接的编解码网络结构的基础上进行改进，得到性能更好的编解码网络；利用编解码相同尺度下的跳跃连接结构，在解码端引入注意力模块，利用注意力对解码端的数据进行引导，实现云区域的更精确的检测。
综合以上指标，本发明在保持高准确率的同时，依然保持着最低的误检，算法整体性能较优。
简而言之，本发明的基于Gabor变换和注意力机制的深度学习遥感云检测方法，解决了遥感图像云检测中对于特征提取不够充分的问题。实现步骤为：(1)建立多光谱遥感图像数据库，并划分为训练和测试数据库；(2)构建一个包含Gabor变换模块、注意力机制模块的卷积神经网络：(2a)构建Gabor变换模块，(2b)构建注意力机制模块，(2c)构建卷积神经网络；(3)确定卷积神经网络的损失函数；(4)训练卷积神经网络；(5)对图像进行云检测。本发明采用基于Gabor变换和注意力机制的图像特征提取技术，使用深度学习方法进行遥感图像的云检测，特征提取充分，检测精度高，用于遥感图像的预处理过程。

Claims (5)

1.一种基于Gabor变换和注意力机制的深度学习遥感图像云检测方法，其特征在于，包括如下步骤：
(1)建立多光谱遥感图像数据库，并划分为训练和测试数据库：针对要进行云检测的遥感图像数据，建立多光谱遥感图像数据库{(X1,Y1),(X2,Y2),...,(Xn,Yn)...,(XN,YN)}，其中Xn代表含有云干扰的多光谱图像，对图像库Yn代表多光谱图像对应的云掩膜图；n代表图像库中第n个样本的编号，n∈[0,N]，N代表图像库的样本个数，并将数据库划分为训练数据库和测试数据库；
(2)构建一个包含Gabor变换模块、注意力机制模块的卷积神经网络：图像数据首先经过Gabor变换模块进行纹理特征学习，再在卷积神经网络中使用注意力机制模块对解码端数据进行引导；通过Gabor变换模块和注意力机制模块，引导网络对重点区域的特征进行学习；上述模块的构建过程如下：
2a)构建Gabor变换模块：所述Gabor变换模块包含上下两个支路，上支路为Gabor变换支路，下支路为卷积变换支路；
2b)构建注意力机制模块：所述注意力机制模块包含空间注意力和通道注意力两个子模块，由依次连接的空间注意力子模块和通道注意力子模块构成；
2c)构建卷积神经网络：构建基于编解码结构的卷积神经网络，并将图像的Dark通道作为辅助通道，构建Dark子网，将Gabor变换模块加入到编解码网络结构的前端，输入图像首先经过Gabor变换模块，之后再进入到编解码网络；注意力机制模块通过跳跃连接，从同一尺度的编码端通过注意力模块引入特征图对解码端的数据进行引导；
(3)确定卷积神经网络的损失函数：确定网络的损失函数，通过损失函数度量网络的输出预测值，步骤如下：
3a)确定输入输出：将训练图像库中的多光谱图像输入到卷积神经网络中，输出为卷积神经网络的最后一层特征图Fout；
3b)计算交叉熵：计算Fout和对应的云掩膜图的交叉熵，并作为网络训练阶段的损失函数，卷积神经网络的损失函数：
其中，yj是输入卷积神经网络的多光谱图像对应的云掩膜图，yj∈Ra×a×1，fj是网络的最后一层特征，yj∈Ra×a×1，a×a×1表示图像的宽为a，高为a，通道数为1；
(4)训练卷积神经网络：将构建的训练数据库中的图像数据和对应的掩膜数据输入网络，设置迭代次数M，对网络进行迭代训练，通过反向传播机制不断更新卷积神经网络的参数，直到卷积神经网络的损失函数收敛，得到训练好的卷积神经网络；
(5)对图像进行云检测：将测试数据库中的多光谱图像输入到训练好的卷积神经网络中，得到网络输出的概率图，并对输出的概率图进行分割得到二值结果图，完成对图像的云检测。
2.根据权利要求1所述的基于Gabor变换和注意力机制的深度学习遥感图像云检测方法，其特征在于，步骤2a)构建Gabor变换模块中，所构建的Gabor变换支路的输出特征图通过与卷积变换支路的输出特征图做减法操作，得到与卷积变换支路特征图的信息差异，将该信息差异经过一次卷积学习后，重新加入到卷积变换支路中的特征图中，得到所述Gabor变换模块的输出。
3.根据权利要求1所述的基于Gabor变换和注意力机制的深度学习遥感图像云检测方法，其特征在于，步骤2b)构建注意力机制模块中，所构建的注意力机制模块包含空间注意力模块和通道注意力模块；空间注意力模块包括有卷积层，通道拼接层，全局最大池化层，全局平均池化层；一个全局最大池化层和一个全局平均池化层并联，之后依次串联一个通道拼接层和一个卷积层；通道注意力模块包括有卷积层，全局最大池化层，全局平均池化层，全连接层，像素相加层以及Sigmoid函数；一个卷积层后并联一个全局最大池化层和一个全局平均池化层，全局最大池化层和全局平均池化层后分别串联两个全连接层，全连接层后串联一个像素相加层，Sigmoid激活函数串联在像素相加层之后。
4.根据权利要求1所述的基于Gabor变换和注意力机制的深度学习遥感图像云检测方法，其特征在于，步骤2c)构建卷积神经网络中，所构建的卷积神经网络包含编解码结构,并提取图像的Dark通道作为辅助通道，构建Dark子网，编码端每一尺度的特征图均经过注意力模块与解码端对应尺度相连接，解码端采用跳跃连接结构将编码端和解码端对应尺度的特征图进行通道拼接。
5.根据权利要求1所述的基于Gabor变换和注意力机制的深度学习遥感图像云检测方法，其特征在于，步骤(5)中所述的对输出的概率图进行分割得到二值结果图，其实现如下：
按照阈值对网络模型输出的概率图进行分割，得到二值结果图，概率图中大于等于阈值的点划分为云区域像素点，小于阈值的点划分为非云区域像素点，所述阈值在0～1内选取，不同的阈值分割效果不同，最佳阈值为0.5。
CN202010542977.1A 2020-06-15 2020-06-15 基于Gabor变换和注意力的遥感图像云检测方法 Active CN111738124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010542977.1A CN111738124B (zh) 2020-06-15 2020-06-15 基于Gabor变换和注意力的遥感图像云检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010542977.1A CN111738124B (zh) 2020-06-15 2020-06-15 基于Gabor变换和注意力的遥感图像云检测方法

Publications (2)

Publication Number Publication Date
CN111738124A CN111738124A (zh) 2020-10-02
CN111738124B true CN111738124B (zh) 2023-08-22

Family

ID=72649187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010542977.1A Active CN111738124B (zh) 2020-06-15 2020-06-15 基于Gabor变换和注意力的遥感图像云检测方法

Country Status (1)

Country Link
CN (1) CN111738124B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287978B (zh) * 2020-10-07 2022-04-15 武汉大学 一种基于自注意力上下文网络的高光谱遥感图像分类方法
CN112395442B (zh) * 2020-10-12 2022-06-14 杭州电子科技大学 移动互联网上的低俗图片自动识别与内容过滤方法
CN112257786A (zh) * 2020-10-23 2021-01-22 南京大量数控科技有限公司 基于卷积神经网络与注意力机制相结合的特征检测方法
CN112241728B (zh) * 2020-10-30 2023-04-07 中国科学院合肥物质科学研究院 采用注意力机制学习上下文信息的实时车道线检测方法及系统
CN112464745B (zh) * 2020-11-09 2023-07-07 中国科学院计算机网络信息中心 一种基于语义分割的地物识别与分类方法和装置
CN112288738B (zh) * 2020-11-18 2022-07-29 新疆大学 基于深度学习的单幅图像去雪花方法、装置及存储介质
CN112749621B (zh) * 2020-11-25 2023-06-13 厦门理工学院 一种基于深度卷积神经网络的遥感图像云层检测方法
CN113220915B (zh) * 2021-04-29 2022-11-22 华中科技大学 一种基于残差注意力的遥感图像检索方法及装置
CN113486716B (zh) * 2021-06-04 2022-06-14 电子科技大学长三角研究院(衢州) 机场场面目标分割方法及其系统
CN113408398B (zh) * 2021-06-16 2023-04-07 西安电子科技大学 基于通道注意力及概率上采样的遥感图像云检测方法
CN113392775B (zh) * 2021-06-17 2022-04-29 广西大学 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
CN113420838B (zh) * 2021-08-20 2021-11-02 中国科学院空天信息创新研究院 基于多尺度注意力特征融合的sar与光学图像分类方法
CN113743300A (zh) * 2021-09-03 2021-12-03 中化现代农业有限公司 基于语义分割的高分遥感图像云检测方法和装置
CN113762143A (zh) * 2021-09-05 2021-12-07 东南大学 一种基于特征融合的遥感图像烟探测方法
CN113822279B (zh) * 2021-11-22 2022-02-11 中国空气动力研究与发展中心计算空气动力研究所 基于多特征融合的红外目标检测方法、装置、设备及介质
CN114140357B (zh) * 2021-12-02 2024-04-19 哈尔滨工程大学 一种基于协同注意力机制的多时相遥感图像云区重建方法
CN114943963B (zh) * 2022-04-29 2023-07-04 南京信息工程大学 一种基于双分支融合网络的遥感图像云和云影分割方法
CN116030057B (zh) * 2023-03-29 2023-06-09 中国电子科技集团公司第五十四研究所 一种基于注意力机制的遥感影像能见度估计方法
CN117197651B (zh) * 2023-07-24 2024-03-29 移动广播与信息服务产业创新研究院(武汉)有限公司 一种结合边缘检测与语义分割的田块提取方法及系统
CN117292276B (zh) * 2023-11-24 2024-01-30 南京航空航天大学 基于编解码注意力交互的云检测方法、系统、介质及设备
CN117853739A (zh) * 2024-02-04 2024-04-09 耕宇牧星(北京)空间科技有限公司 基于特征变换的遥感图像特征提取模型预训练方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214298A (zh) * 2011-06-20 2011-10-12 复旦大学 基于选择性视觉注意机制的遥感图像机场目标检测与识别方法
CN102999909A (zh) * 2012-11-19 2013-03-27 西安电子科技大学 基于改进视觉注意模型的sar目标检测方法
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN110334765A (zh) * 2019-07-05 2019-10-15 西安电子科技大学 基于注意力机制多尺度深度学习的遥感影像分类方法
CN110728224A (zh) * 2019-10-08 2020-01-24 西安电子科技大学 一种基于注意力机制深度Contourlet网络的遥感图像分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214298A (zh) * 2011-06-20 2011-10-12 复旦大学 基于选择性视觉注意机制的遥感图像机场目标检测与识别方法
CN102999909A (zh) * 2012-11-19 2013-03-27 西安电子科技大学 基于改进视觉注意模型的sar目标检测方法
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN110334765A (zh) * 2019-07-05 2019-10-15 西安电子科技大学 基于注意力机制多尺度深度学习的遥感影像分类方法
CN110728224A (zh) * 2019-10-08 2020-01-24 西安电子科技大学 一种基于注意力机制深度Contourlet网络的遥感图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进的全卷积神经网络的资源三号遥感影像云检测;裴亮;刘阳;谭海;高琳;;激光与光电子学进展(第05期);全文 *

Also Published As

Publication number Publication date
CN111738124A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN111738124B (zh) 基于Gabor变换和注意力的遥感图像云检测方法
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN109934200B (zh) 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
CN113705478B (zh) 一种基于改进YOLOv5的红树林单木目标检测方法
Venugopal Automatic semantic segmentation with DeepLab dilated learning network for change detection in remote sensing images
CN110598600A (zh) 一种基于unet神经网络的遥感图像云检测方法
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
CN109784283A (zh) 基于场景识别任务下的遥感图像目标提取方法
CN108229551B (zh) 一种基于紧凑字典稀疏表示的高光谱遥感图像分类方法
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN113989662A (zh) 一种基于自监督机制的遥感图像细粒度目标识别方法
CN114241053B (zh) 基于改进的注意力机制FairMOT多类别跟踪方法
CN113610905B (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
CN110490894A (zh) 基于改进的低秩稀疏分解的视频前背景分离方法
CN117115675A (zh) 一种跨时相轻量化空谱特征融合高光谱变化检测方法、系统、设备及介质
Schmidt et al. Object detection of aerial image using mask-region convolutional neural network (mask R-CNN)
Ansith et al. A modified Generative Adversarial Network (GAN) architecture for land use classification
CN113887656B (zh) 一种联合深度学习与稀疏表示的高光谱图像分类方法
CN116188943A (zh) 太阳射电频谱爆发信息检测方法及装置
Wang et al. Improving the Interpretability and Reliability of Regional Land Cover Classification by U-Net Using Remote Sensing Data
Yaman et al. Image processing and machine learning‐based classification method for hyperspectral images
CN113239895A (zh) 基于注意力机制的胶囊网络的sar图像变化检测方法
CN108154107B (zh) 一种确定遥感图像归属的场景类别的方法
Liu et al. Infrared dim small target detection based on regional refinement network
Tahraoui et al. Land Change Detection in Sentinel-2 Images Using IR-MAD And Deep Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant