CN113378897A - 基于神经网络的遥感图像分类方法、计算设备及存储介质 - Google Patents

基于神经网络的遥感图像分类方法、计算设备及存储介质 Download PDF

Info

Publication number
CN113378897A
CN113378897A CN202110586005.7A CN202110586005A CN113378897A CN 113378897 A CN113378897 A CN 113378897A CN 202110586005 A CN202110586005 A CN 202110586005A CN 113378897 A CN113378897 A CN 113378897A
Authority
CN
China
Prior art keywords
neural network
remote sensing
sensing image
geometric
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110586005.7A
Other languages
English (en)
Inventor
贺忠华
樊高峰
何月
李祥
蔡菊珍
方贺
张育慧
张小伟
周楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Keyao Software Technology Co ltd
Climate Center Of Zhejiang Province
Original Assignee
Nantong Keyao Software Technology Co ltd
Climate Center Of Zhejiang Province
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Keyao Software Technology Co ltd, Climate Center Of Zhejiang Province filed Critical Nantong Keyao Software Technology Co ltd
Priority to CN202110586005.7A priority Critical patent/CN113378897A/zh
Publication of CN113378897A publication Critical patent/CN113378897A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于神经网络的遥感图像分类方法、计算设备及存储介质，所述方法包括：搭建几何结构感知的神经网络分类模型；使用包含真实分类标签的遥感图像样本对所述几何结构感知的神经网络分类模型进行训练，并得到训练后的神经网络分类模型；基于训练后的神经网络分类模型构建神经网络分类系统，并设计所述神经网络分类系统用于交互的输入模块与输出模块；通过所述输入模块输入遥感图像，并由训练后的神经网络分类模型进行分类处理，得到可感知几何的分割图，再由所述输出模块输出。本发明的模型以DSM图像作为辅助监督进行训练，而在推理阶段，不需要DSM图像数据并直接预测出可感知几何结构的语义标签。

Description

基于神经网络的遥感图像分类方法、计算设备及存储介质
技术领域
本发明涉及神经网络和图像处理领域，尤其涉及一种基于神经网络的遥感图像分类方法、计算设备及存储介质。
背景技术
语义分割问题，通常在遥感领域中被称为图像分类，通常定义为确定输入图像中所有像素的语义类别。自动语义分割是遥感领域的一个长期存在的问题，在各种应用中起着至关重要的作用，例如土地使用/土地覆盖图，农业生产估算，建筑物提取，城市规划等。近年来，由于卷积神经网络(CNN)在许多应用中的出色表现，在遥感和摄影测量中引起了极大的关注。令人鼓舞的性能促使研究人员开发基于CNN的遥感图像(RSI)语义标记方法。在这个方向上，早期的工作是采用基于补丁的CNN对每个输入补丁的中心像素进行分类。最近的方法大多使用全卷积网络执行逐像素分割。研究人员开发了用于遥感图像分类的全卷积模型。大量研究试图通过使用功能更强大的编码器网络，使用膨胀的卷积模块或使用功能更强大的输出表示来提高性能。
众所周知，遥感图像中的物体具有复杂的光谱空间特性，需要全面的特征提取过程以确保分类性能。尽管如此，现有的基于CNN的方法主要集中在使用单个编码器-解码器网络进行频谱和上下文特征提取的过程中，而几何特征(例如，地面以上的高度，隐式3D结构)却常常未被充分研究。解决此问题的直接方法是将与几何相关的数据(例如DSM，Digital Surface Model)明确纳入其他输入。一些学者通过融合RGB图像和高程合成图像(NVDI，DSM，nDSM)中的特征表示来增强遥感图像的分割性能。他们提出了一种同时学习频谱和辅助几何特征的两流网络，并利用残差校正模块融合来自两个编码器网络的特征。但是，以前的方法大多采用3D高程信息作为附加输入。在许多实际应用中，手头没有相应的DSM信息，并且所获取的DSM图像的空间分辨率通常与航拍图像不匹配。
发明内容
为了解决上述至少一个技术问题，本发明提出了一种基于神经网络的遥感图像分类方法、计算设备及存储介质。
为了实现上述目的，本发明第一方面提出了一种基于神经网络的遥感图像分类方法，所述方法包括：
搭建几何结构感知的神经网络分类模型；
使用包含真实分类标签的遥感图像样本对所述几何结构感知的神经网络分类模型进行训练，并得到训练后的神经网络分类模型；
基于训练后的神经网络分类模型构建神经网络分类系统，并设计所述神经网络分类系统用于交互的输入模块与输出模块；
通过所述输入模块输入遥感图像，并由训练后的神经网络分类模型进行分类处理，得到可感知几何的分割图，再由所述输出模块输出。
本方案中，上述几何结构感知的神经网络分类模型通过联合高度估计实现对遥感图像的分类，其包括一个共享的编码器网络，一个用于语义分类的解码器网络和一个用于高度估计的解码器网络。
本方案中，共享的编码器网路采用ResNet-101作为骨干网络，在骨干网络之后附加了一个空间金字塔池模块，以融合多尺度特征得到高级别特征，并所述高级别特征与骨干网络中具有相同分辨率的低级别特征相拼接，得到组合的特征图。
本方案中，在得到组合的特征图之后，所述方法还包括：
将组合的特征图送到两个单独的3x 3卷积层，以分别学习用于语义分割和高度估计的独立特征表示；
在上述用于语义分类的解码器网络增设一个几何结构感知卷积模块，由所述几何结构感知卷积模块融合高度估计分支中的3D几何特征和语义分割分支中的2D上下文特征，以进行几何结构感知语义标记；
基于融合的特征嵌入生成具有增强性能的可感知几何的分割图。
本方案中，所述空间金字塔池化模块接收所述骨干网络输出的卷积特征图作为输入，然后分别使用一个全局平均池化层、一个1x1卷积层、以及3个空洞率分别为6、8、12的3x3卷积层来提取多尺度特征图，并将输出的多尺度特征图进行拼接；然后使用3x3卷积层、BatchNormalization层、ReLU层对拼接后的特征图进行特征提取，输出最终组合的特征图。
本方案中，在将组合的特征图送到两个单独的3x 3卷积层之后，所述方法还包括：
在高度估计的解码器网络分支，组合的特征图经过单独的3x 3卷积层学习得到独立的几何嵌入特征图；
将所述几何嵌入特征图送到两个卷积层中以获得两个子嵌入特征图；
通过两个子嵌入特征图的点积运算生成几何相似度矩阵；
通过点积运算将几何相似度矩阵与语义特征融合在一起，得到融合信息；
将所述融合信息通过元素求和与上下文特征结合在一起以产生可感知几何的分割图。
本方案中，所述几何结构感知卷积模块的公式：
给定一个输入特征图x和对应的几何特征G，其中
Figure BDA0003087468430000041
H、W、E分别表示特征图x的宽度、高度和通道数，几何结构感知卷积模块输出公式表示为：
Figure BDA0003087468430000042
其中，σ为激活函数，
Figure BDA0003087468430000043
为像素i的邻域点索引，xj为邻域点，b为偏置项；Wij表示卷积核权重，其度量了像素i和像素j之间的几何相似性；Wij的计算公式如下：
Wij(G)＝φ(Gi)·ψ(Gj)；
其中
Figure BDA0003087468430000044
和ψ(·)分别表示子空间特征，Gi和Gj分别为像素i，j的几何特征；
结合上述两个公式，得到最终几何结构感知卷积模块的计算公式：
Figure BDA0003087468430000045
本方案中，上述几何结构感知的神经网络分类模型受到语义分割分支和高度估计分支的监督，总损失函数公式为：
Figure BDA0003087468430000046
其中
Figure BDA0003087468430000047
表示分割损失，
Figure BDA0003087468430000048
表示高度估计损失，λ是用于平衡这两个损失项的超参数；
对于语义分割任务，利用加权的交叉熵损失来训练语义分割的解码器网络，其中将类别频率的倒数用作该类所有像素的平衡权重，语义分割损失函数计算公式为：
Figure BDA0003087468430000049
其中i表示像素位置，c表示类别索引，li是像素i的地面真值标签，pic是像素i属于类别c的预测概率，wi表示像素i的权重；
对于高度估计任务，采用L1损失来训练高度估计的解码器网络，高度估计损失函数计算公式为：
Figure BDA0003087468430000051
其中
Figure BDA0003087468430000052
和Hi表示像素i的预测高度和真实高度。
本发明第二方面还提出一种计算设备，所述计算设备包括：存储器及处理器，所述存储器中包括一种基于神经网络的遥感图像分类方法程序，所述基于神经网络的遥感图像分类方法程序被所述处理器执行时实现如上述的一种基于神经网络的遥感图像分类方法的步骤。
本发明第三方面还提出一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于神经网络的遥感图像分类方法程序，所述基于神经网络的遥感图像分类方法程序被处理器执行时，实现如上述的一种基于神经网络的遥感图像分类方法的步骤。
本发明引入了一种几何结构感知的神经网络分类模型，以通过联合高度估计实现遥感影像的精准分类。与传统编码器-解码器网络不同，本发明设计一个单独的解码器分支来预测高度图，并使用DSM图像作为监督来训练这个新设计的解码器分支。这样，本发明的模型就不需要DSM作为模型输入，并且仍然可以在训练过程中受益于有用的几何结构信息。通过新设计的解码器分支，本发明的模型可以在地面真实DSM图像的监督下从2D外观特征中提取3D几何特征。此外，本发明开发了一种新的几何结构感知卷积模块，该模块融合了高度解码器分支中的3D几何特征和语义分割分支中的2D上下文特征。融合的特征嵌入可以生成具有增强性能的可感知几何的分割图。本发明的模型以DSM图像作为辅助监督进行训练，而在推理阶段，它不需要DSM数据并直接预测语义标签。而且在ISPRS Vaihingen和Potsdam数据集上进行的实验证明了本发明方法对航空影像语义分割的有效性。此外，本发明所提出的神经网络分类模型无需使用任何手工特征或后处理即可在两个数据集上获得显着性能。
本发明的附加方面和优点将在下面的描述部分中给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1示出了本发明一种基于神经网络的遥感图像分类方法的流程图；
图2示出了本发明中一种基于几何结构感知神经网络的遥感图像分类系统架构图；
图3示出了本发明中空间金字塔池化模块结构图；
图4示出了本发明几何结构感知卷积模块结构图；
图5示出了本发明一幅原始卫星遥感图像、其对应的真实标签图、以及根据本发明的技术方案所实际输出的分类效果图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种基于神经网络的遥感图像分类方法的流程图。
如图1所示，本发明第一方面提出一种基于神经网络的遥感图像分类方法，所述方法包括：
S101，搭建几何结构感知的神经网络分类模型；
S102，使用包含真实分类标签的遥感图像样本对所述几何结构感知的神经网络分类模型进行训练，并得到训练后的神经网络分类模型；
S103，基于训练后的神经网络分类模型构建神经网络分类系统，并设计所述神经网络分类系统用于交互的输入模块与输出模块；
S104，通过所述输入模块输入遥感图像，并由训练后的神经网络分类模型进行分类处理，得到可感知几何的分割图，再由所述输出模块输出。
根据本发明的实施例，上述几何结构感知的神经网络分类模型通过联合高度估计实现对遥感图像的分类，其包括一个共享的编码器网络，一个用于语义分类的解码器网络和一个用于高度估计的解码器网络。
根据本发明的实施例，共享的编码器网路采用ResNet-101作为骨干网络，在骨干网络之后附加了一个空间金字塔池模块，以融合多尺度特征得到高级别特征，并所述高级别特征与骨干网络中具有相同分辨率的低级别特征相拼接，得到组合的特征图。
根据本发明的实施例，在得到组合的特征图之后，所述方法还包括：
将组合的特征图送到两个单独的3x 3卷积层，以分别学习用于语义分割和高度估计的独立特征表示；
在上述用于语义分类的解码器网络增设一个几何结构感知卷积模块，由所述几何结构感知卷积模块融合高度估计分支中的3D几何特征和语义分割分支中的2D上下文特征，以进行几何结构感知语义标记；
基于融合的特征嵌入生成具有增强性能的可感知几何的分割图。
需要说明的是，与传统基于编码器-解码器结构的遥感图像分类方法不同，本发明设计一个单独的解码器分支来预测高度图，并使用DSM(Digital Surface Model，数字地表模型)图像作为监督来训练这个新设计的解码器分支。这样，本发明的模型就不需要DSM图像作为模型输入，并且仍然可以在训练过程中受益于有用的几何结构信息。通过新设计的解码器分支，使得本发明的模型可以在地面真实DSM图像的监督下从2D外观特征中提取3D几何特征。
图2示出了本发明中一种基于几何结构感知神经网络的遥感图像分类系统架构图。
如图2所示，本发明的遥感图像分类系统以用于遥感图像语义标记的GA-Net模型(聚合网络模型)进行举例概述。当所述GA-Net模型(接收单个航空图像(即遥感图像)作为输入，并同时预测分类图和高度图。共享编码器采用ResNet-101作为骨干网络，以从输入图像中学习高级功能。在骨干网络之后附加了一个空间金字塔池模块，以融合多尺度特征。合并后的特征图将放大4倍，并进一步与骨干网络中具有相同分辨率的低级别特征相拼接。在解码器部分，组合的特征图被馈送到两个单独的3x 3卷积层，以分别学习用于语义分割和高度估计的独立特征表示。然后使用几何结构感知卷积模块进一步融合这两种形式的特征，从而实现几何结构感知语义标记。
可以理解，上述GA-Net模型以DSM图像作为辅助监督进行训练，而在推理阶段，它不需要DSM数据并直接预测语义标签。
图3示出了本发明中空间金字塔池化模块结构图。
如图3所示，所述空间金字塔池化模块接收所述骨干网络输出的卷积特征图作为输入，然后分别使用一个全局平均池化层、一个1x1卷积层、以及3个空洞率分别为6、8、12的3x3卷积层来提取多尺度特征图，并将输出的多尺度特征图进行拼接；然后使用3x3卷积层、BatchNormalization层、ReLU层对拼接后的特征图进行特征提取，输出最终组合的特征图。
根据本发明的实施例，在将组合的特征图送到两个单独的3x 3卷积层之后，所述方法还包括：
在高度估计的解码器网络分支，组合的特征图经过单独的3x 3卷积层学习得到独立的几何嵌入特征图；
将所述几何嵌入特征图送到两个卷积层中以获得两个子嵌入特征图；
通过两个子嵌入特征图的点积运算生成几何相似度矩阵；
通过点积运算将几何相似度矩阵与语义特征融合在一起，得到融合信息；
将所述融合信息通过元素求和与上下文特征结合在一起以产生可感知几何的分割图。
图4示出了本发明几何结构感知卷积模块结构图。几何嵌入特征图首先被馈送到两个卷积层中以获得子两个嵌入特征图(G)。然后，通过两个子嵌入特征图的点积生成几何相似度矩阵Wij(G)。之后，通过另一个点积运算将几何亲和力(即几何相似度矩阵Wij(G))与语义特征融合在一起。最后，融合信息通过元素求和与原始上下文特征结合在一起以产生最终输出。需要说明的是，整个卷积过程保持上下文特征的尺寸和大小。
根据本发明的实施例，所述几何结构感知卷积模块的公式：
给定一个输入特征图x和对应的几何特征G，其中
Figure BDA0003087468430000091
H、W、E分别表示特征图x的宽度、高度和通道数，R为实数，几何结构感知卷积模块输出公式表示为：
Figure BDA0003087468430000101
其中，σ为激活函数，
Figure BDA0003087468430000102
为像素i的邻域点索引，xj为邻域点，b为偏置项；Wij表示卷积核权重，其度量了像素i和像素j之间的几何相似性；Wij的计算公式如下：
Wij(G)＝φ(Gi)·ψ(Gj)；
其中
Figure BDA0003087468430000103
和ψ(·)分别表示子空间特征，Gi和Gj分别为像素i，j的几何特征；
结合上述两个公式，得到最终几何结构感知卷积模块的计算公式：
Figure BDA0003087468430000104
根据本发明的实施例，上述几何结构感知的神经网络分类模型受到语义分割分支和高度估计分支的监督，总损失函数公式为：
Figure BDA0003087468430000105
其中
Figure BDA0003087468430000106
表示分割损失，
Figure BDA0003087468430000107
表示高度估计损失，λ是用于平衡这两个损失项的超参数；默认情况下，λ可以设置为1；
对于语义分割任务，使用交叉熵损失来惩罚地面真值标签和预测标签之间的差异。为了解决不同的语义类别像素数量差异问题，本发明利用加权的交叉熵损失来训练语义分割的解码器网络，其中将类别频率的倒数用作该类所有像素的平衡权重，语义分割损失函数计算公式为：
Figure BDA0003087468430000108
其中i表示像素位置，c表示类别索引，li是像素i的地面真值标签，pic是像素i属于类别c的预测概率，wi表示像素i的权重；
对于高度估计任务，采用L1损失来训练高度估计的解码器网络，高度估计损失函数计算公式为：
Figure BDA0003087468430000111
其中
Figure BDA0003087468430000112
和Hi表示像素i的预测高度和真实高度。
可以理解，交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。L1损失，即L1范数损失函数，也被称为最小绝对值偏差，最小绝对值误差。总的说来，它是把目标值与估计值的绝对差值的总和最小化。
表1给出了包括Marmanis在“Semantic segmentation of aerial images withan ensemble of cnns”中所公开的DLR方案和Liu在“Semantic labeling in very highresolution images via a selfcascaded convolutional neural network”中所公开的CASIA方案和Yue在“Treeunet:Adaptive tree convolutional neural networks forsubdecimeter aerial image segmentation”中所公开的TreeUNet方案以及本发明的技术方案在内的不同方案之间的遥感影像分类精度对比。
表1：不同技术方案之间的性能对比
Figure BDA0003087468430000113
可以理解，上述表1中Ours一行数据为本发明的技术方案，F1是是统计学中用来衡量二分类模型精确度的一种指标，它同时兼顾了分类模型的精确率和召回率。F1可以看作是模型精确率和召回率的一种调和平均，它的最大值是1，最小值是0。
图5示出了本发明一幅原始卫星遥感图像、其对应的真实标签图、以及根据本发明的技术方案所实际输出的分类效果图。
图5中的(a)为输入的原始遥感图像，(b)为(a)对应的真实标签图，(c)为采用本发明的神经网络分类模型输出的分类预测结果图，通过对比(b)与(c)可知，二者偏差度很小，即可证明本发明的神经网络分类模型能够实现对遥感图像的精确分类标记。
本发明第二方面还提出一种计算设备，所述计算设备包括：存储器及处理器，所述存储器中包括一种基于神经网络的遥感图像分类方法程序，所述基于神经网络的遥感图像分类方法程序被所述处理器执行时实现如上述的一种基于神经网络的遥感图像分类方法的步骤。
本发明第三方面还提出一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于神经网络的遥感图像分类方法程序，所述基于神经网络的遥感图像分类方法程序被处理器执行时，实现如上述的一种基于神经网络的遥感图像分类方法的步骤。
本发明所公开的神经网络分类模型，用于遥感影像分类，包括：一个共享的编码器网络，一个用于语义分类的解码器网络和一个用于高度估计的解码器网络。具体来说，本发明引入了一种几何结构感知的神经网络分类模型，以通过联合高度估计实现遥感影像的精准分类。与传统编码器-解码器网络不同，本发明设计一个单独的解码器分支来预测高度图，并使用DSM图像作为监督来训练这个新设计的解码器分支。这样，本发明的模型就不需要DSM作为模型输入，并且仍然可以在训练过程中受益于有用的几何结构信息。通过新设计的解码器分支，本发明的模型可以在地面真实DSM图像的监督下从2D外观特征中提取3D几何特征。此外，本发明开发了一种新的几何结构感知卷积模块，该模块融合了高度解码器分支中的3D几何特征和语义分割分支中的2D上下文特征。融合的特征嵌入可以生成具有增强性能的可感知几何的分割图。本发明的模型以DSM图像作为辅助监督进行训练，而在推理阶段，它不需要DSM数据并直接预测语义标签。而且在ISPRS Vaihingen和Potsdam数据集上进行的实验证明了本发明方法对航空影像语义分割的有效性。此外，本发明所提出的神经网络分类模型无需使用任何手工特征或后处理即可在两个数据集上获得显着性能。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于神经网络的遥感图像分类方法，其特征在于，所述方法包括：搭建几何结构感知的神经网络分类模型；
使用包含真实分类标签的遥感图像样本对所述几何结构感知的神经网络分类模型进行训练，并得到训练后的神经网络分类模型；
基于训练后的神经网络分类模型构建神经网络分类系统，并设计所述神经网络分类系统用于交互的输入模块与输出模块；
通过所述输入模块输入遥感图像，并由训练后的神经网络分类模型进行分类处理，得到可感知几何的分割图，再由所述输出模块输出。
2.根据权利要求1所述的一种基于神经网络的遥感图像分类方法，其特征在于，上述几何结构感知的神经网络分类模型通过联合高度估计实现对遥感图像的分类，其包括一个共享的编码器网络，一个用于语义分类的解码器网络和一个用于高度估计的解码器网络。
3.根据权利要求2所述的一种基于神经网络的遥感图像分类方法，其特征在于，共享的编码器网路采用ResNet-101作为骨干网络，在骨干网络之后附加了一个空间金字塔池模块，以融合多尺度特征得到高级别特征，并所述高级别特征与骨干网络中具有相同分辨率的低级别特征相拼接，得到组合的特征图。
4.根据权利要求3所述的一种基于神经网络的遥感图像分类方法，其特征在于，在得到组合的特征图之后，所述方法还包括：
将组合的特征图送到两个单独的3x3卷积层，以分别学习用于语义分割和高度估计的独立特征表示；
在上述用于语义分类的解码器网络增设一个几何结构感知卷积模块，由所述几何结构感知卷积模块融合高度估计分支中的3D几何特征和语义分割分支中的2D上下文特征，以进行几何结构感知语义标记；
基于融合的特征嵌入生成具有增强性能的可感知几何的分割图。
5.根据权利要求3所述的一种基于神经网络的遥感图像分类方法，其特征在于，所述空间金字塔池化模块接收所述骨干网络输出的卷积特征图作为输入，然后分别使用一个全局平均池化层、一个1x1卷积层、以及3个空洞率分别为6、8、12的3x3卷积层来提取多尺度特征图，并将输出的多尺度特征图进行拼接；然后使用3x3卷积层、BatchNormalization层、ReLU层对拼接后的特征图进行特征提取，输出最终组合的特征图。
6.根据权利要求4所述的一种基于神经网络的遥感图像分类方法，其特征在于，在将组合的特征图送到两个单独的3x 3卷积层之后，所述方法还包括：
在高度估计的解码器网络分支，组合的特征图经过单独的3x 3卷积层学习得到独立的几何嵌入特征图；
将所述几何嵌入特征图送到两个卷积层中以获得两个子嵌入特征图；
通过两个子嵌入特征图的点积运算生成几何相似度矩阵；
通过点积运算将几何相似度矩阵与语义特征融合在一起，得到融合信息；
将所述融合信息通过元素求和与上下文特征结合在一起以产生可感知几何的分割图。
7.根据权利要求6所述的一种基于神经网络的遥感图像分类方法，其特征在于，所述几何结构感知卷积模块的公式：
给定一个输入特征图x和对应的几何特征G，其中
Figure FDA0003087468420000031
H、W、E分别表示特征图x的宽度、高度和通道数，几何结构感知卷积模块输出公式表示为：
Figure FDA0003087468420000032
其中，σ为激活函数，
Figure FDA0003087468420000033
为像素i的邻域点索引，xj为邻域点，b为偏置项；Wij表示卷积核权重，其度量了像素i和像素j之间的几何相似性；Wij的计算公式如下：
Wij(G)＝φ(Gi)·ψ(Gj)；
其中
Figure FDA0003087468420000034
和ψ(·)分别表示子空间特征，Gi和Gj分别为像素i，j的几何特征；
结合上述两个公式，得到最终几何结构感知卷积模块的计算公式：
Figure FDA0003087468420000035
8.根据权利要求7所述的一种基于神经网络的遥感图像分类方法，其特征在于，上述几何结构感知的神经网络分类模型受到语义分割分支和高度估计分支的监督，总损失函数公式为：
Figure FDA0003087468420000036
其中
Figure FDA0003087468420000037
表示分割损失，
Figure FDA0003087468420000038
表示高度估计损失，λ是用于平衡这两个损失项的超参数；
对于语义分割任务，利用加权的交叉熵损失来训练语义分割的解码器网络，其中将类别频率的倒数用作该类所有像素的平衡权重，语义分割损失函数计算公式为：
Figure FDA0003087468420000039
其中i表示像素位置，c表示类别索引，li是像素i的地面真值标签，pic是像素i属于类别c的预测概率，wi表示像素i的权重；
对于高度估计任务，采用L1损失来训练高度估计的解码器网络，高度估计损失函数计算公式为：
Figure FDA0003087468420000041
其中
Figure FDA0003087468420000042
和Hi表示像素i的预测高度和真实高度。
9.一种计算设备，其特征在于，所述计算设备包括：存储器及处理器，所述存储器中包括一种基于神经网络的遥感图像分类方法程序，所述基于神经网络的遥感图像分类方法程序被所述处理器执行时实现如权利要求1至8中任一项所述的一种基于神经网络的遥感图像分类方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括一种基于神经网络的遥感图像分类方法程序，所述基于神经网络的遥感图像分类方法程序被处理器执行时，实现如权利要求1至8中任一项所述的一种基于神经网络的遥感图像分类方法的步骤。
CN202110586005.7A 2021-05-27 2021-05-27 基于神经网络的遥感图像分类方法、计算设备及存储介质 Pending CN113378897A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110586005.7A CN113378897A (zh) 2021-05-27 2021-05-27 基于神经网络的遥感图像分类方法、计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110586005.7A CN113378897A (zh) 2021-05-27 2021-05-27 基于神经网络的遥感图像分类方法、计算设备及存储介质

Publications (1)

Publication Number Publication Date
CN113378897A true CN113378897A (zh) 2021-09-10

Family

ID=77572146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110586005.7A Pending CN113378897A (zh) 2021-05-27 2021-05-27 基于神经网络的遥感图像分类方法、计算设备及存储介质

Country Status (1)

Country Link
CN (1) CN113378897A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554032A (zh) * 2021-09-22 2021-10-26 南京信息工程大学 基于高度感知的多路并行网络的遥感图像分割方法
CN114419000A (zh) * 2022-01-20 2022-04-29 哈尔滨工业大学 基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统
CN114972989A (zh) * 2022-05-18 2022-08-30 中国矿业大学(北京) 一种基于深度学习算法的单幅遥感影像高度信息估算方法
CN116011515A (zh) * 2022-12-26 2023-04-25 人民网股份有限公司 几何神经网络模型构建方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188682A (zh) * 2019-05-30 2019-08-30 西安电子科技大学 基于几何结构双路卷积网络的光学遥感图像目标检测方法
US20190303725A1 (en) * 2018-03-30 2019-10-03 Fringefy Ltd. Neural network training system
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN111898543A (zh) * 2020-07-31 2020-11-06 武汉大学 一种融合几何感知与图像理解的建筑物自动提取方法
CN112232297A (zh) * 2020-11-09 2021-01-15 北京理工大学 基于深度联合卷积激活的遥感图像场景分类方法
CN112257766A (zh) * 2020-10-16 2021-01-22 中国科学院信息工程研究所 一种基于频域滤波处理的自然场景下阴影识别检测方法
CN112287807A (zh) * 2020-10-27 2021-01-29 武汉大学 一种基于多分支金字塔神经网络的遥感影像道路提取方法
CN112364699A (zh) * 2020-10-14 2021-02-12 珠海欧比特宇航科技股份有限公司 基于加权损失融合网络的遥感图像分割方法、装置及介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190303725A1 (en) * 2018-03-30 2019-10-03 Fringefy Ltd. Neural network training system
CN110188682A (zh) * 2019-05-30 2019-08-30 西安电子科技大学 基于几何结构双路卷积网络的光学遥感图像目标检测方法
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN111898543A (zh) * 2020-07-31 2020-11-06 武汉大学 一种融合几何感知与图像理解的建筑物自动提取方法
CN112364699A (zh) * 2020-10-14 2021-02-12 珠海欧比特宇航科技股份有限公司 基于加权损失融合网络的遥感图像分割方法、装置及介质
CN112257766A (zh) * 2020-10-16 2021-01-22 中国科学院信息工程研究所 一种基于频域滤波处理的自然场景下阴影识别检测方法
CN112287807A (zh) * 2020-10-27 2021-01-29 武汉大学 一种基于多分支金字塔神经网络的遥感影像道路提取方法
CN112232297A (zh) * 2020-11-09 2021-01-15 北京理工大学 基于深度联合卷积激活的遥感图像场景分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIANG LI ET AL: "Geometry-Aware Segmentation of Remote Sensing Images via Joint Height Estimation", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554032A (zh) * 2021-09-22 2021-10-26 南京信息工程大学 基于高度感知的多路并行网络的遥感图像分割方法
CN113554032B (zh) * 2021-09-22 2021-12-14 南京信息工程大学 基于高度感知的多路并行网络的遥感图像分割方法
CN114419000A (zh) * 2022-01-20 2022-04-29 哈尔滨工业大学 基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统
CN114419000B (zh) * 2022-01-20 2022-09-23 哈尔滨工业大学 基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统
CN114972989A (zh) * 2022-05-18 2022-08-30 中国矿业大学(北京) 一种基于深度学习算法的单幅遥感影像高度信息估算方法
CN116011515A (zh) * 2022-12-26 2023-04-25 人民网股份有限公司 几何神经网络模型构建方法、装置、设备及存储介质
CN116011515B (zh) * 2022-12-26 2024-01-26 人民网股份有限公司 几何神经网络模型构建方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Zhou et al. BOMSC-Net: Boundary optimization and multi-scale context awareness based building extraction from high-resolution remote sensing imagery
CN113780296B (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
Kang et al. A survey of deep learning-based object detection methods and datasets for overhead imagery
CN113378897A (zh) 基于神经网络的遥感图像分类方法、计算设备及存储介质
CN110728295B (zh) 半监督式的地貌分类模型训练和地貌图构建方法
Sukhia et al. Content-based remote sensing image retrieval using multi-scale local ternary pattern
JP2023533907A (ja) 自己注意ベースのニューラルネットワークを使用した画像処理
CN116758130A (zh) 一种基于多路径特征提取和多尺度特征融合的单目深度预测方法
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
Guo et al. Using multi-scale and hierarchical deep convolutional features for 3D semantic classification of TLS point clouds
Peng et al. Unsupervised change detection method based on saliency analysis and convolutional neural network
CN116740422A (zh) 基于多模态注意力融合技术的遥感图像分类方法及装置
Wang et al. Urban building extraction from high-resolution remote sensing imagery based on multi-scale recurrent conditional generative adversarial network
Huang et al. Attention-guided label refinement network for semantic segmentation of very high resolution aerial orthoimages
CN115577768A (zh) 半监督模型训练方法和装置
Chiang et al. Training deep learning models for geographic feature recognition from historical maps
Zuo et al. A remote sensing image semantic segmentation method by combining deformable convolution with conditional random fields
Mei et al. Camouflaged object segmentation with omni perception
Guan et al. RoadCapsFPN: Capsule feature pyramid network for road extraction from VHR optical remote sensing imagery
Patil et al. Semantic segmentation of satellite images using modified U-Net
CN112668675B (zh) 一种图像处理方法、装置、计算机设备及存储介质
Jiang et al. Semantic segmentation network combined with edge detection for building extraction in remote sensing images
CN116310832A (zh) 遥感图像处理方法、装置、设备、介质及产品
Zhan et al. Multi-Scale Feature Reconstruction and Inter-Class Attention Weighting for Land Cover Classification
Amirkolaee et al. Convolutional neural network architecture for digital surface model estimation from single remote sensing image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210910