CN115761484A - 一种基于遥感图像的云检测方法及装置 - Google Patents
一种基于遥感图像的云检测方法及装置 Download PDFInfo
- Publication number
- CN115761484A CN115761484A CN202211363248.5A CN202211363248A CN115761484A CN 115761484 A CN115761484 A CN 115761484A CN 202211363248 A CN202211363248 A CN 202211363248A CN 115761484 A CN115761484 A CN 115761484A
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- cloud
- remote sensing
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于遥感图像的云检测方法及装置,其中的方法基于深度神经网络实现,通过卷积特征提取层、图像数据嵌入层、自注意力特征提取层、上采样层、云边缘后处理层实现遥感图像云检测。本发明提供的基于遥感图像的云检测方法,提升了对云层边缘信息和小云层的云检测效果,提高了云检测效率和准确度。
Description
技术领域
本发明涉及图像处理和深度学习技术领域,尤其涉及一种基于遥感图像的云检测方法及装置。
背景技术
遥感图像中普遍存在云层遮挡现象,这会造成拍摄的地物不完整并且缺失部分有用信息,同时导致地物目标的检测和物理参数的估算出现偏差。云检测算法用于检测遥感图像中的云层,云检测任务的高质量完成可以帮助提高遥感图像质量,提升数据可用率,减少或者消除云层遮掩带来的负面影响。
随着深度学习技术的发展,采用深度神经网络对遥感图像进行云检测在天气预报、能源勘探、精细农业以及自然灾害系统监测等多个领域具有重要作用,如何更好地提升云检测性能一直是遥感图像处理领域的热点研究。现有的云检测方法存在对小云层漏检和对云层边缘误检等情况,云层边缘形状复杂,难以生成清晰的云层轮廓。
发明内容
本发明提供了一种基于遥感图像的云检测方法及装置,用以解决或者至少部分解决现有技术中存在的云检测效果不佳的技术问题。
为了解决上述技术问题,本发明第一方面提供了一种基于遥感图像的云检测方法,包括:
S1:获取原始多光谱遥感图像,并划分为训练集和测试集;
S2:构建深度神经网络,该深度神经网络包括卷积特征提取层、图像数据嵌入层、自注意力特征提取层、上采样层和云边缘后处理层,其中,卷积特征提取层用于根据输入的多光谱遥感图像得到多光谱图像卷积特征数据,图像数据嵌入层用于根据多光谱图像卷积特征数据得到嵌入图像像素位置信息的分块图像数据,自注意力特征提取层用于根据嵌入图像像素位置的分块图像数据得到图像的底层卷积特征,上采样层用于根据图像底层卷积特征得到初步云检测结果,云边缘后处理层用于根据初步云检测结果得到最终云检测结果;
S3:将划分得到的训练集作为输入对构建的深度神经网络进行训练,得到训练好的深度神经网络;
S4:将测试集中的多光谱遥感图像输入训练好的深度神经网络进行检测。
在一种实施方式中,步骤S1包括:
S11:对获取的原始多光谱遥感图像进行云像素标注,得到对应的标签图像,原始多光谱遥感图像与标签图像一一对应;
S12:将原始多光谱遥感图像和对应的标签图像划分为训练集和测试集。
在一种实施方式中,步骤S3的训练过程中,卷积特征提取层的处理过程包括:
S21:输入训练集中的图像数据,对图像进行卷积操作,得到浅层图像特征数据;
S22:对步骤S21得到的浅层图像特征数据进行卷积操作,得到中层图像特征数据;
S23:对步骤S22得到的中层图像特征数据进行卷积操作,得到深层图像特征数据,浅层图像特征数据、中层图像特征数据和深层图像特征数据的整体构成多光谱图像卷积特征数据。
在一种实施方式中,步骤S3的训练过程中,图像数据嵌入层的处理过程包括:
S31:将深层图像特征数据进行分块,得到非重叠的子块;
S32:提取所有非重叠的子块在深层图像特征数据中的坐标信息,并将所述坐标信息与对应的非重叠的子块数据相加,得到嵌入图像像素位置信息的分块图像数据。
在一种实施方式中,自注意力特征提取层包括多个单层自注意力层和一个全连接层,步骤S3的训练过程中,自注意力特征提取层的处理过程包括:
S41:输入嵌入图像像素位置信息的分块图像数据,乘以随机权重参数矩阵得到序列向量;
S42:将序列向量输入到单层自注意力层,提取单层自注意力特征;
S43:将多个单层自注意力特征进行拼接,实现自注意力特征提取,再经过全连接层降维输出得到图像底层卷积特征。
在一种实施方式中,步骤S3的训练过程中,上采样层的处理过程包括:
S51:对图像底层卷积特征进行反池化上采样操作,并与步骤S23中得到的深层图像特征进行拼接,得到第一特征融合图;
S52:对步骤S51得到的第一特征融合图进行反池化上采样操作,并与步骤S22中得到的中层图像特征进行拼接,得到第二特征融合图;
S53:对步骤S52中得到的第二特征融合图进行反池化上采样操作,并与步骤S21中得到的浅层图像特征进行拼接,得到第三特征融合图;
S54:对步骤S53得到的第三特征融合图通过三层1×1卷积降维,得到初步云检测结果。
在一种实施方式中,云边缘后处理层包括边缘检测模块和支持向量机,步骤S3的训练过程中,云边缘后处理层的处理过程包括:
S61:通过边缘检测模块对上采样层输出的初步云检测结果进行边缘检测,得到云的边缘像素点;
S62,将云的边缘像素点的初步云检测结果作为输入,对应位置的标签值作为输出,送入支持向量机,得到云边缘特征预测结果。
基于同样的发明构思,本发明第二方面提供了一种基于遥感图像的云检测装置,包括:
数据获取模块,用于获取原始多光谱遥感图像,并划分为训练集和测试集;
网络构建模块,用于构建深度神经网络,该深度神经网络包括卷积特征提取层、图像数据嵌入层、自注意力特征提取层、上采样层和云边缘后处理层,其中,卷积特征提取层用于根据输入的多光谱遥感图像得到多光谱图像卷积特征数据,图像数据嵌入层用于根据多光谱图像卷积特征数据得到嵌入图像像素位置信息的分块图像数据,自注意力特征提取层用于根据嵌入图像像素位置的分块图像数据得到图像的底层卷积特征,上采样层用于根据图像底层卷积特征得到初步云检测结果,云边缘后处理层用于根据初步云检测结果得到最终云检测结果;
训练模块,用于将划分得到的训练集作为输入对构建的深度神经网络进行训练,得到训练好的深度神经网络;
检测模块,用于将测试集中的多光谱遥感图像输入训练好的深度神经网络进行检测。
基于同样的发明构思,本发明第三方面提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被执行时实现第一方面所述的方法。
基于同样的发明构思,本发明第四方面提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现第一方面所述的方法。
相对于现有技术,本发明的优点和有益的技术效果如下:
本发明提供的遥感图像云检测方法,构建了用于云检测的深度神经网络,该网络包括卷积特征提取层、图像数据嵌入层、自注意力特征提取层、上采样层和云边缘后处理层,针对遥感图像的云检测任务进行算法改进,提升了小云层和云层边界的预测准确度,有效优化了云检测预测图,减少边缘区域的误检,实现了遥感图像的精准预测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中提供的基于遥感图像的云检测方法的流程图;
图2是本发明实施例中深度神经网络的处理过程示意图;
图3是本发明实施例中基于遥感图像的云检测装置的结构框图;
图4为本发明实施例提供的计算机可读存储介质的结构示意图;
图5为本发明实施例提供的计算机设备的结构示意图。
具体实施方式
现有的云检测方法存在对小云层漏检和对云层边缘误检等情况,云层边缘形状复杂,难以生成清晰的云层轮廓,因而导致检测准确性不高,为了解决该问题,本发明构建了用于云检测的深度神经网络,包括卷积特征提取层、图像数据嵌入层、自注意力特征提取层、上采样层和云边缘后处理层,通过卷积特征提取层从输入的多光谱遥感图像中提取得到多光谱图像卷积特征数据,图像数据嵌入层从多光谱图像卷积特征数据得到嵌入图像像素位置信息的分块图像数据,自注意力特征提取层根据嵌入图像像素位置的分块图像数据得到图像的底层卷积特征,上采样层根据图像底层卷积特征得到初步云检测结果,云边缘后处理层能够根据初步云检测结果得到最终云检测结果。该深度神经网络,针对遥感图像的云检测任务进行算法改进,提升了小云层和云层边界的预测准确度,有效优化了云检测预测图,减少边缘区域的误检,实现了遥感图像的精准预测。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
本发明实施例提供了一种基于遥感图像的云检测方法,包括:
S1:获取原始多光谱遥感图像,并划分为训练集和测试集;
S2:构建深度神经网络,该深度神经网络包括卷积特征提取层、图像数据嵌入层、自注意力特征提取层、上采样层和云边缘后处理层,其中,卷积特征提取层用于根据输入的多光谱遥感图像得到多光谱图像卷积特征数据,图像数据嵌入层用于根据多光谱图像卷积特征数据得到嵌入图像像素位置信息的分块图像数据,自注意力特征提取层用于根据嵌入图像像素位置的分块图像数据得到图像的底层卷积特征,上采样层用于根据图像底层卷积特征得到初步云检测结果,云边缘后处理层用于根据初步云检测结果得到最终云检测结果;
S3:将划分得到的训练集作为输入对构建的深度神经网络进行训练,得到训练好的深度神经网络;
S4:将测试集中的多光谱遥感图像输入训练好的深度神经网络进行检测。
请参见图1,是本发明实施例中提供的基于遥感图像的云检测方法的流程图;其中,步骤S1是数据的获取,S2是网络的构建,S3是网络的训练,S4是网络的具体应用。
深度神经网络,是指隐藏层达到两层或者两层以上的神经网络。神经网络是从信息处理角度对人脑神经元网络进行抽象,建立某种简单模型,按不同的连接方式组成不同的网络。作为一种运算模型,神经网络由大量的节点之间相互联接构成,在模式识别、智能机器人、自动控制、生物、医学、经济等领域都有应用,表现出良好的智能特性。
请参见图2,是本发明实施例中深度神经网络的处理过程示意图。
本发明基于深度神经网络,对云检测任务的算法进行设计,利用训练集对深度神经网络进行训练,对遥感图像中小云层和云层边界的检测更加准确,比传统的云检测方法检测结果更精确。
在一种实施方式中,步骤S1包括:
S11:对获取的原始多光谱遥感图像进行云像素标注,得到对应的标签图像,原始多光谱遥感图像与标签图像一一对应;
S12:将原始多光谱遥感图像和对应的标签图像划分为训练集和测试集。
具体实施过程中,原始图像即原始多光谱遥感图像,将原始图像根据预设尺寸进行裁剪,得到大小为H×W×c的图像块,其中H和W为图像块的长与宽,c为遥感图像的通道数;图像块对应的标签图像大小也为H×W×c;标签图中的像素分为“有云”和“无云”两种标签的掩码图,其中“有云”设为1,“无云”设为0。
原始图像与标签图像是一一对应的,标签图像是一幅二值图像,在本实施方式中,一幅标签图像是将一幅原始图像每一个像素点的云检测结果可以采用人工或者半人工的方法进行标注(赋值),有云的像素点值为1,无云的像素点值为0。其中,人工方法是通过人眼目视判决结果对原始图像进行标注,半人工方法是通过图像连通域处理、雷达回波信号先验等方法进行标注。标签图像的作用是作为参考值来对预测结果进行评估。
训练集用于训练构建云检测方法的深度神经网络,获得深度神经网络的权重值。测试集用于检测云检测方法的检测效果。应注意,本发明实施例对训练集和测试集的数量比例不作具体限定。例如可以是8:2,7:3等等。
在一种实施方式中,步骤S3的训练过程中,卷积特征提取层的处理过程包括:
S21:输入训练集中的图像数据,对图像进行卷积操作,得到浅层图像特征数据;
S22:对步骤S21得到的浅层图像特征数据进行卷积操作,得到中层图像特征数据;
S23:对步骤S22得到的中层图像特征数据进行卷积操作,得到深层图像特征数据,浅层图像特征数据、中层图像特征数据和深层图像特征数据的整体构成多光谱图像卷积特征数据。
具体来说,训练集中的图像数据即多光谱遥感图像。
卷积操作用于提取图像的特征信息。卷积网络中靠近输入层的为低层次特征,尺寸维度更大,感受野较小,主要包含位置、形状等图像的空间细节信息;靠近输出层的是高层次特征,尺寸维度更小,感受野较大,语义信息更加丰富,主要反映云层的轮廓、位置、种类等高级特征,更加注重全局语义信息。
每一步卷积过后都使用池化来完成下采样,在本发明具体实施例中选用窗口大小为2×2、步长为2的最大值池化(max_pooling)进行下采样。
本发明实施例的三个下采样层的卷积核尺寸均为3×3,步骤S2的浅层卷积、中层卷积和深层卷积分别提取原始图像中的边缘特征、局部特征和全局特征。
在一种实施方式中,步骤S3的训练过程中,图像数据嵌入层的处理过程包括:
S31:将深层图像特征数据进行分块,得到非重叠的子块;
S32:提取所有非重叠的子块在深层图像特征数据中的坐标信息,并将所述坐标信息与对应的非重叠的子块数据相加,得到嵌入图像像素位置信息的分块图像数据。
在一具体实施例中,图像数据嵌入层的具体包括如下步骤:
设深层图像特征图尺寸为(X,Y,Z),X为图像的高度,Y为图像的宽度,Z为图像的通道数,预设深层图像数据分块的子块大小为(P,P),生成子块数量的计算有如下公式:一共生成i个非重叠的子块,编号Mi{i=1,2,3…},此时序列维度为(i,P2×Z)。将这i个P2×Z大小的图像子块经过一个按列首位相接的二维转一维变换(flatten变换),flatten变换可以使用flatten函数进行维度调整,即将图像子块维度压缩至固定值D,D为P2×Z,此时序列维度变为(i,D)。提取所有非重叠的子块在深层图像特征数据中的坐标信息,将该信息数据与对应的非重叠的子块数据相加,得到嵌入图像像素位置信息的分块图像数据。
在一种实施方式中,自注意力特征提取层包括多个单层自注意力层和一个全连接层,步骤S3的训练过程中,自注意力特征提取层的处理过程包括:
S41:输入嵌入图像像素位置信息的分块图像数据,乘以随机权重参数矩阵得到序列向量;
S42:将序列向量输入到单层自注意力层,提取单层自注意力特征;
S43:将多个单层自注意力特征进行拼接,实现自注意力特征提取,再经过全连接层降维输出得到图像底层卷积特征。
具体来说,自注意力机制属于注意力机制的一种,注意力机制源于对人类视觉的研究,集中注意力关注小部分区域,从而发掘更加重要的信息,更好地分配有限的信息处理资源。神经网络中使用注意力机制可以使得网络可以有“自主性”地选择特定的输入向量,增强网络的特征表达能力。自注意力层通过计算注意力系数来提取图像云层的全局特征。注意力系数的计算主要包括两种方法:点积和加和。本发明实施例采用点积的计算形式。
在一实施例中,所述步骤S41具体包括如下步骤:
步骤S421,将每个序列向量乘以三个随机变换矩阵,分别得到向量Q、K、V;
其中Q代表去匹配其他图像云层向量的矩阵,K代表被匹配的图像云层矩阵,V用于存储匹配完的图像云层向量间的关系信息矩阵。
步骤S422,将每个向量Q与每个向量K做乘积以计算任意两个向量之间的相似度,并将相似度做归一化处理,获得注意力分数;
在一具体实施例中,第一个向量Q与向量K乘积计算公式为:其中,qi和kj分别表示向量Q的第i个元素和向量K的第j个元素,d表示二者维度大小。取i=1作后续说明,归一化处理使用Softmax函数,将相似度转换成[0,1]之间的分布,,计算公式为:其中e为自然对数,所获结果为注意力分数。
步骤S423,将注意力分数与对应的向量V相乘并求和,得到单层的自注意力特征。
在一种实施方式中,步骤S3的训练过程中,上采样层的处理过程包括:
S51:对图像底层卷积特征进行反池化上采样操作,并与步骤S23中得到的深层图像特征进行拼接,得到第一特征融合图;
S52:对步骤S51得到的第一特征融合图进行反池化上采样操作,并与步骤S22中得到的中层图像特征进行拼接,得到第二特征融合图;
S53:对步骤S52中得到的第二特征融合图进行反池化上采样操作,并与步骤S21中得到的浅层图像特征进行拼接,得到第三特征融合图;
S54:对步骤S53得到的第三特征融合图通过三层1×1卷积降维,得到初步云检测结果。
反池化上采样操作,是池化操作的近似逆运算。在池化过程中,先记下max-pooling(最大池化)在对应卷积核中的坐标,在反池化过程中,将一个底层数据扩展到卷积核大小,根据之前下采样时最大值所在的坐标将该底层数据写入,其他位置补0。反池化上采样可以减少参数量,且该操作不用学习训练。上采样操作过程中与下采样操作对应尺寸的特征图像进行拼接操作,可以保留更加丰富的特征。
在一种实施方式中,云边缘后处理层包括边缘检测模块和支持向量机,步骤S3的训练过程中,云边缘后处理层的处理过程包括:
S61:通过边缘检测模块对上采样层输出的初步云检测结果进行边缘检测,得到云的边缘像素点;
S62,将云的边缘像素点的初步云检测结果作为输入,对应位置的标签值作为输出,送入支持向量机,得到云边缘特征预测结果。
由于遥感图像中云的边缘表现为云层和背景之间的交界,存在图像灰度急剧变化的地方,容易产生误判和漏判。将这些点视为边缘像素点,提取点位置对应的初步云检测结果和标签值进行再预测。
在一具体实施例中,为加强深度神经网络的泛化能力,云边缘后处理层中除选取边缘像素点外,还随机选取了图像中任意位置像素点作为正负样本,用于训练深度神经网络。
在一种实施方式中,步骤S3的训练过程,具体包括如下步骤:
S71,向深度神经网络中送入训练集进行网络训练,将每次训练得到的预测结果与标签图像进行比较,获得每次训练后的损失值,基于所得到的损失值,利用反向传播算法对深度神经网络的网络参数进行调整;
在一具体实施例中,损失值获取使用二元交叉熵函数计算,该方法在梯度下降时可以避免均方误差损失函数学习速率降低的问题,计算公式如下:
其中,Ν表示批量大小,yi表示的是样本i的标签,pi表示的是对于可能类的预测可能性。
S72,当损失值趋于收敛时,结束对深度神经网络的训练;
在一实施例中,损失值收敛是指通过在训练中不断观察损失值,当损失值数值不再持续减小,且在一数值范围波动较小时,即认为损失值处于收敛状态。
最后在步骤S4的检测过程中,将测试集送入训练后的深度神经网络,得到最终云检测结果。
实施例二
基于同样的发明构思,本实施例提供了一种基于遥感图像的云检测装置,请参见图3,该装置包括:
数据获取模块201,用于获取原始多光谱遥感图像,并划分为训练集和测试集;
网络构建模块202,用于构建深度神经网络,该深度神经网络包括卷积特征提取层、图像数据嵌入层、自注意力特征提取层、上采样层和云边缘后处理层,其中,卷积特征提取层用于根据输入的多光谱遥感图像得到多光谱图像卷积特征数据,图像数据嵌入层用于根据多光谱图像卷积特征数据得到嵌入图像像素位置信息的分块图像数据,自注意力特征提取层用于根据嵌入图像像素位置的分块图像数据得到图像的底层卷积特征,上采样层用于根据图像底层卷积特征得到初步云检测结果,云边缘后处理层用于根据初步云检测结果得到最终云检测结果;
训练模块203,用于将划分得到的训练集作为输入对构建的深度神经网络进行训练,得到训练好的深度神经网络;
检测模块204,用于将测试集中的多光谱遥感图像输入训练好的深度神经网络进行检测。
由于本发明实施例二所介绍的装置为实施本发明实施例一中基于遥感图像的云检测方法所采用的装置,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该装置的具体结构及变形,故而在此不再赘述。凡是本发明实施例一中方法所采用的装置都属于本发明所欲保护的范围。
实施例三
基于同一发明构思,请参见图4,本发明还提供了一种计算机可读存储介质300,其上存储有计算机程序311,该程序被执行时实现如实施例一中所述的方法。
由于本发明实施例三所介绍的计算机可读存储介质为实施本发明实施例一中基于遥感图像的云检测方法所采用的计算机可读存储介质,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该计算机可读存储介质的具体结构及变形,故而在此不再赘述。凡是本发明实施例一的方法所采用的计算机可读存储介质都属于本发明所欲保护的范围。
实施例四
基于同一发明构思,本申请还提供了一种计算机设备,如图5所示,包括存储器401、处理器402及存储在存储器上并可在处理器上运行的计算机程序403,处理器执行上述程序时实现实施例一中的方法。
由于本发明实施例四所介绍的计算机设备为实施本发明实施例一中基于遥感图像的云检测方法所采用的计算机设备,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该计算机设备的具体结构及变形,故而在此不再赘述。凡是本发明实施例一中方法所采用的计算机设备都属于本发明所欲保护的范围。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于遥感图像的云检测方法,其特征在于,包括:
S1:获取原始多光谱遥感图像,并划分为训练集和测试集;
S2:构建深度神经网络,该深度神经网络包括卷积特征提取层、图像数据嵌入层、自注意力特征提取层、上采样层和云边缘后处理层,其中,卷积特征提取层用于根据输入的多光谱遥感图像得到多光谱图像卷积特征数据,图像数据嵌入层用于根据多光谱图像卷积特征数据得到嵌入图像像素位置信息的分块图像数据,自注意力特征提取层用于根据嵌入图像像素位置的分块图像数据得到图像的底层卷积特征,上采样层用于根据图像底层卷积特征得到初步云检测结果,云边缘后处理层用于根据初步云检测结果得到最终云检测结果;
S3:将划分得到的训练集作为输入对构建的深度神经网络进行训练,得到训练好的深度神经网络;
S4:将测试集中的多光谱遥感图像输入训练好的深度神经网络进行检测。
2.如权利要求1所述的基于遥感图像的云检测方法,其特征在于,步骤S1包括:
S11:对获取的原始多光谱遥感图像进行云像素标注,得到对应的标签图像,原始多光谱遥感图像与标签图像一一对应;
S12:将原始多光谱遥感图像和对应的标签图像划分为训练集和测试集。
3.如权利要求1所述的基于遥感图像的云检测方法,其特征在于,步骤S3的训练过程中,卷积特征提取层的处理过程包括:
S21:输入训练集中的图像数据,对图像进行卷积操作,得到浅层图像特征数据;
S22:对步骤S21得到的浅层图像特征数据进行卷积操作,得到中层图像特征数据;
S23:对步骤S22得到的中层图像特征数据进行卷积操作,得到深层图像特征数据,浅层图像特征数据、中层图像特征数据和深层图像特征数据的整体构成多光谱图像卷积特征数据。
4.如权利要求3所述的基于遥感图像的云检测方法,其特征在于,步骤S3的训练过程中,图像数据嵌入层的处理过程包括:
S31:将深层图像特征数据进行分块,得到非重叠的子块;
S32:提取所有非重叠的子块在深层图像特征数据中的坐标信息,并将所述坐标信息与对应的非重叠的子块数据相加,得到嵌入图像像素位置信息的分块图像数据。
5.如权利要求1所述的基于遥感图像的云检测方法,其特征在于,自注意力特征提取层包括多个单层自注意力层和一个全连接层,步骤S3的训练过程中,自注意力特征提取层的处理过程包括:
S41:输入嵌入图像像素位置信息的分块图像数据,乘以随机权重参数矩阵得到序列向量;
S42:将序列向量输入到单层自注意力层,提取单层自注意力特征;
S43:将多个单层自注意力特征进行拼接,实现自注意力特征提取,再经过全连接层降维输出得到图像底层卷积特征。
6.如权利要求3所述的基于遥感图像的云检测方法,其特征在于,步骤S3的训练过程中,上采样层的处理过程包括:
S51:对图像底层卷积特征进行反池化上采样操作,并与步骤S23中得到的深层图像特征进行拼接,得到第一特征融合图;
S52:对步骤S51得到的第一特征融合图进行反池化上采样操作,并与步骤S22中得到的中层图像特征进行拼接,得到第二特征融合图;
S53:对步骤S52中得到的第二特征融合图进行反池化上采样操作,并与步骤S21中得到的浅层图像特征进行拼接,得到第三特征融合图;
S54:对步骤S53得到的第三特征融合图通过三层1×1卷积降维,得到初步云检测结果。
7.如权利要求1所述的基于遥感图像的云检测方法,其特征在于,云边缘后处理层包括边缘检测模块和支持向量机,步骤S3的训练过程中,云边缘后处理层的处理过程包括:
S61:通过边缘检测模块对上采样层输出的初步云检测结果进行边缘检测,得到云的边缘像素点;
S62,将云的边缘像素点的初步云检测结果作为输入,对应位置的标签值作为输出,送入支持向量机,得到云边缘特征预测结果。
8.一种基于遥感图像的云检测装置,其特征在于,包括:
数据获取模块,用于获取原始多光谱遥感图像,并划分为训练集和测试集;
网络构建模块,用于构建深度神经网络,该深度神经网络包括卷积特征提取层、图像数据嵌入层、自注意力特征提取层、上采样层和云边缘后处理层,其中,卷积特征提取层用于根据输入的多光谱遥感图像得到多光谱图像卷积特征数据,图像数据嵌入层用于根据多光谱图像卷积特征数据得到嵌入图像像素位置信息的分块图像数据,自注意力特征提取层用于根据嵌入图像像素位置的分块图像数据得到图像的底层卷积特征,上采样层用于根据图像底层卷积特征得到初步云检测结果,云边缘后处理层用于根据初步云检测结果得到最终云检测结果;
训练模块,用于将划分得到的训练集作为输入对构建的深度神经网络进行训练,得到训练好的深度神经网络;
检测模块,用于将测试集中的多光谱遥感图像输入训练好的深度神经网络进行检测。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被执行时实现如权利要求1至7中任一项权利要求所述的方法。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7中任一项权利要求所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211363248.5A CN115761484A (zh) | 2022-11-02 | 2022-11-02 | 一种基于遥感图像的云检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211363248.5A CN115761484A (zh) | 2022-11-02 | 2022-11-02 | 一种基于遥感图像的云检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115761484A true CN115761484A (zh) | 2023-03-07 |
Family
ID=85355480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211363248.5A Pending CN115761484A (zh) | 2022-11-02 | 2022-11-02 | 一种基于遥感图像的云检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115761484A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116340733A (zh) * | 2023-05-29 | 2023-06-27 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 基于0级遥感信号的在轨云检测方法及遥感数据处理方法 |
CN116468812A (zh) * | 2023-05-16 | 2023-07-21 | 山东省计算中心(国家超级计算济南中心) | 一种基于多分支和多尺度的图像压缩感知重构方法及系统 |
CN116503398A (zh) * | 2023-06-26 | 2023-07-28 | 广东电网有限责任公司湛江供电局 | 绝缘子污闪检测方法、装置、电子设备及存储介质 |
-
2022
- 2022-11-02 CN CN202211363248.5A patent/CN115761484A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116468812A (zh) * | 2023-05-16 | 2023-07-21 | 山东省计算中心(国家超级计算济南中心) | 一种基于多分支和多尺度的图像压缩感知重构方法及系统 |
CN116340733A (zh) * | 2023-05-29 | 2023-06-27 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 基于0级遥感信号的在轨云检测方法及遥感数据处理方法 |
CN116340733B (zh) * | 2023-05-29 | 2023-09-01 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 基于0级遥感信号的在轨云检测方法及遥感数据处理方法 |
CN116503398A (zh) * | 2023-06-26 | 2023-07-28 | 广东电网有限责任公司湛江供电局 | 绝缘子污闪检测方法、装置、电子设备及存储介质 |
CN116503398B (zh) * | 2023-06-26 | 2023-09-26 | 广东电网有限责任公司湛江供电局 | 绝缘子污闪检测方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112052886B (zh) | 基于卷积神经网络的人体动作姿态智能估计方法及装置 | |
CN111931624B (zh) | 基于注意力机制的轻量级多分支行人重识别方法及系统 | |
CN115761484A (zh) | 一种基于遥感图像的云检测方法及装置 | |
CN112488210A (zh) | 一种基于图卷积神经网络的三维点云自动分类方法 | |
US20210264144A1 (en) | Human pose analysis system and method | |
US11810366B1 (en) | Joint modeling method and apparatus for enhancing local features of pedestrians | |
CN114565655B (zh) | 一种基于金字塔分割注意力的深度估计方法及装置 | |
CN112418330A (zh) | 一种基于改进型ssd的小目标物体高精度检测方法 | |
CN110309835B (zh) | 一种图像局部特征提取方法及装置 | |
Nguyen et al. | Satellite image classification using convolutional learning | |
JP2023073231A (ja) | イメージ処理方法及び装置 | |
CN115661622A (zh) | 一种基于图像增强和改进YOLOv5的陨石坑检测方法 | |
WO2022141718A1 (zh) | 一种辅助点云目标检测的方法及系统 | |
CN115147648A (zh) | 一种基于改进YOLOv5目标检测的茶叶嫩梢识别方法 | |
CN110135435B (zh) | 一种基于广度学习系统的显著性检测方法及装置 | |
CN114764856A (zh) | 图像语义分割方法和图像语义分割装置 | |
CN112785636A (zh) | 一种多尺度增强式的单目深度估计方法 | |
CN112396036A (zh) | 一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法 | |
CN112949380B (zh) | 一种基于激光雷达点云数据的智能水下目标识别系统 | |
CN113763417B (zh) | 一种基于孪生网络和残差结构的目标跟踪方法 | |
CN117079095A (zh) | 基于深度学习的高空抛物检测方法、系统、介质和设备 | |
CN116758419A (zh) | 针对遥感图像的多尺度目标检测方法、装置和设备 | |
CN114255385B (zh) | 基于感知向量的光学遥感图像舰船检测方法及系统 | |
CN115965905A (zh) | 一种基于多尺度融合卷积网络的人群计数方法及系统 | |
CN114820723A (zh) | 一种基于联合检测和关联的在线多目标跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |