CN113673530A - 遥感图像语义分割方法、装置、计算机设备和存储介质 - Google Patents

遥感图像语义分割方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113673530A
CN113673530A CN202110948818.6A CN202110948818A CN113673530A CN 113673530 A CN113673530 A CN 113673530A CN 202110948818 A CN202110948818 A CN 202110948818A CN 113673530 A CN113673530 A CN 113673530A
Authority
CN
China
Prior art keywords
remote sensing
sensing image
network
semantic segmentation
sga
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110948818.6A
Other languages
English (en)
Other versions
CN113673530B (zh
Inventor
陈浩
资文杰
熊伟
彭双
杜春
伍江江
吴烨
李军
欧阳雪
杨岸然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110948818.6A priority Critical patent/CN113673530B/zh
Publication of CN113673530A publication Critical patent/CN113673530A/zh
Application granted granted Critical
Publication of CN113673530B publication Critical patent/CN113673530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种遥感图像语义分割方法、装置、计算机设备和存储介质。所述方法包括：获取RGB三通道的遥感图像；构建遥感图像语义分割网络，该网络包括：特征图提取网络、卷积神经网络、4个共享参数的SGA‑Net网络以及融合预测模块；利用RGB三通道的遥感图像对该网络进行训练，得到遥感图像语义分割模型，利用该模型对待测RGB三通道的遥感图像进行分割，得到遥感图像中每个像素点的类别。采用图神经网络充分地挖掘了遥感图像各个像素点之间的空间相似度，可体现全局的空间联系，采用通道线性注意机制来捕捉图神经网络通道输出之间的相关性，并进一步提高基于GNN模型的性能。采用本方法可以提高建筑物、道路、低植被的分割精度。

Description

遥感图像语义分割方法、装置、计算机设备和存储介质
技术领域
本申请涉及遥感图像处理技术领域，特别是涉及一种遥感图像语义分割方法、装置、计算机设备和存储介质。
背景技术
遥感图像语义分割一直是计算机视觉的研究重点，遥感图像的语义分割是地面物体解读中的一个迫切问题，其目旨在为图像中的每个像素分配一个明确的物体类别。它已经成为交通监测、交通安全、交通监测、环境保护、车辆检测等方面最重要的方法之一。遥感图像通常由各种物体、高度不平衡的地面和错综复杂的色彩变化的纹理组成，给遥感图像的语义分割带来了挑战和困难。在深度学习时代之前，为了显示植被和土地覆盖的分布，超级像素经常被用来作为从多光谱图像中提取特征的措施。然而，手工制作的描述符对于模拟这些指数的灵活性来说是一个挑战。
现有的基于卷积神经网络的遥感图像语义分割的方法模型只可以从有限的感受野而不是整个图像中捕获像素的相互依赖性；基于图神经网络的遥感影像语义分割的方法模型，需要通过先验知识得到的邻接矩阵，泛化性不强。
发明内容
基于此，有必要针对上述技术问题，提供一种能够挖掘遥感图像的全局像素点之间空间相似性的遥感图像语义分割方法、装置、计算机设备和存储介质。
一种遥感图像语义分割方法，所述方法包括：
获取RGB三通道的遥感图像，并将所述遥感图像作为训练样本。
构建遥感图像语义分割网络；所述遥感图像语义分割网络包括：特征图提取网络、卷积神经网络、4个共享参数的SGA-Net网络以及融合预测模块；所述特征提取网络用于提取遥感图像的特征图；所述卷积神经网络用于提取图像增强后的遥感图像的特征图的自构建邻接矩阵；所述SGA-Net网络采用图注意力神经网络挖掘遥感图像各个像素点之间的空间相似度，并采用通道线性注意力机制捕捉图神经网络通道输出之间的相关性；所述融合预测模块用于将4个SGA-Net网络输出的特征进行融合预测，得到遥感图像中每个像素点的类别。
根据所述训练样本对所述遥感图像语义分割网络进行训练，得到训练好的遥感图像语义分割模型。
获取待测RGB三通道的遥感图像，并输入到所述遥感图像语义分割模型中，得到遥感图像中每个像素点的类别。
在其中一个实施例中，根据所述训练样本对所述遥感图像语义分割网络进行训练，得到训练好的遥感图像语义分割模型，步骤前还包括：
构建总损失函数，所述总损失函数包括：对角对数正则化项、Kullback-Leibler散度以及自适应多类加权损失函数。
在其中一个实施例中，根据所述训练样本对所述遥感图像语义分割网络进行训练，得到训练好的遥感图像语义分割模型，包括：
将所述训练样本输入到所述特征图提取网络中，得到遥感图像的特征图。
将所述遥感图像的特征图进行图像增强，得到4张增强特征图。
将4张所述增强特征图输入到所述卷积神经网络中，得到4个自构建邻接矩阵。
将4个所述自构建邻接矩阵分别输入到4个所述共享参数的SGA-Net网络得到4个通道相关性特征图。
将4个所述通道注意力特征图输入到所述融合预测网络中，得到遥感图像中每个像素点的预测类别。
根据所述预测类别、所述训练样本以及所述总损失函数，对所述遥感图像语义分割网络进行反向训练，得到训练好的遥感图像语义分割模型。
在其中一个实施例中，所述SGA-Net网络包括：图注意力神经网络和通道线性注意力机制。
将4个所述自构建邻接矩阵分别输入到4个所述共享参数的SGA-Net网络得到4个通道相关性特征图，包括：
将第一个所述自构建邻接矩阵输入到第一个所述SGA-Net网络的图注意力神经网络中，得到全局空间相似特征图。
将所述全局空间相似特征图输入到第一个所述SGA-Net网络的通道线性注意力机制中，得到第一个通道相关性特征图。
将第二个所述自构建邻接矩阵输入到第二个所述SGA-Net网络中，得到第二个通道相关性特征图。
将第三个所述自构建邻接矩阵输入到第三个所述SGA-Net网络中，得到第三个通道相关性特征图。
将第4个所述自构建邻接矩阵输入到第4个所述SGA-Net网络中，得到第4个通道相关性特征图。
在其中一个实施例中，将所述全局空间相似特征图输入到第一个所述SGA-Net网络的通道线性注意力机制中，得到第一个通道相关性特征图，包括：
将所述全局空间相似特征图输入到所述通道线性注意力机制中，分别对所述全局空间相似特征图进行3次变形操作，得到第一变形特征、第二变形特征以及第三变形特征。
对所述全局空间相似特征图进行变形操作，并对变形得到的结果进行转置，得到转置变形特征。
将所述第三变形特征与所述转置变形特征相乘，并将得到的特征进行变形操作，得到特征矩阵。
将所述特征矩阵与所述第二变形特征进行相乘，并将得到的特征进行变形操作后与所述第一变形特征相加，得到第一个通道相关性特征图。
在其中一个实施例中，所述图注意力神经网络是8头图注意力神经网络。
在其中一个实施例中，将所述遥感图像的特征图进行图像增强，得到4张增强特征图，包括：
将所述遥感图像的特征图旋转0°、90°、180°以及270°，得到4张增强特征图。
一种遥感图像语义分割装置，所述装置包括：
遥感图像获取模块，用于获取RGB三通道的遥感图像，并将所述遥感图像作为训练样本。
遥感图像语义分割网络构建模块，用于构建遥感图像语义分割网络；所述遥感图像语义分割网络包括：特征图提取网络、卷积神经网络、4个共享参数的SGA-Net网络以及融合预测模块；所述特征提取网络用于提取遥感图像的特征图；所述卷积神经网络用于提取图像增强后的遥感图像的特征图的自构建邻接矩阵；所述SGA-Net网络采用图注意力神经网络挖掘遥感图像各个像素点之间的空间相似度，并采用通道线性注意力机制捕捉图神经网络通道输出之间的相关性；所述融合预测模块用于将4个SGA-Net网络输出的特征进行融合预测，得到遥感图像中每个像素点的类别。
遥感图像语义分割网络训练模块，用于根据所述训练样本对所述遥感图像语义分割网络进行训练，得到训练好的遥感图像语义分割模型。
遥感图像像素点类别确定模块，用于获取待测RGB三通道的遥感图像，并输入到所述遥感图像语义分割模型中，得到遥感图像中每个像素点的类别。
上述遥感图像语义分割方法、装置、计算机设备和存储介质，获取RGB三通道的遥感图像，构建遥感图像语义分割网络；遥感图像语义分割网络包括：特征图提取网络、卷积神经网络、4个共享参数的SGA-Net网络以及融合预测模块；利用RGB三通道的遥感图像对遥感图像语义分割网络进行训练，得到训练好的遥感图像语义分割模型，利用遥感图像语义分割模型对待测RGB三通道的遥感图像进行分割，得到遥感图像中每个像素点的类别。采用图神经网络充分地挖掘了遥感图像各个像素点之间的空间相似度，可以体现全局的空间联系，采用通道线性注意机制来捕捉图神经网络通道输出之间的相关性，并进一步提高基于GNN的模型的性能。采用本方法可以提高建筑物、道路、低植被的分割精度。
附图说明
图1为一个实施例中遥感图像语义分割方法的流程示意图；
图2为一个实施例中遥感图像语义分割网络的结构示意图；
图3为一个实施例中遥感图像语义分割装置的结构框图；
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
自构建图注意力神经网络：Self-constructing graph attention neuralnetwork，简称：SGA-Net网络。
在一个实施例中，如图1所示，提供了一种遥感图像语义分割方法，该方法包括以下步骤：
步骤100：获取RGB三通道的遥感图像，并将遥感图像作为训练样本。
RGB三通道的遥感图像是任意大小的，可以是建筑物、道路或低植被等场景的遥感图像。
步骤102：构建遥感图像语义分割网络。
遥感图像语义分割网络包括：特征图提取网络、卷积神经网络、4个共享参数的SGA-Net网络以及融合预测模块。
特征提取网络用于提取遥感图像的特征图。
卷积神经网络用于提取图像增强后的遥感图像的特征图的自构建邻接矩阵。
SGA-Net网络采用图注意力神经网络挖掘遥感图像各个像素点之间的空间相似度，并采用通道线性注意力机制捕捉图神经网络通道输出之间的相关性；融合预测模块用于将4个SGA-Net网络输出的特征进行融合预测，得到遥感图像中每个像素点的类别。
步骤104：根据训练样本对遥感图像语义分割网络进行训练，得到训练好的遥感图像语义分割模型。
步骤106：获取待测RGB三通道的遥感图像，并输入到遥感图像语义分割模型中，得到遥感图像中每个像素点的类别。
遥感图像语义分割的目标是给每一个像素分配一个类别。
上述遥感图像语义分割方法中，获取RGB三通道的遥感图像，构建遥感图像语义分割网络；遥感图像语义分割网络包括：特征图提取网络、卷积神经网络、4个共享参数的SGA-Net网络以及融合预测模块；利用RGB三通道的遥感图像对遥感图像语义分割网络进行训练，得到训练好的遥感图像语义分割模型，利用遥感图像语义分割模型对待测RGB三通道的遥感图像进行分割，得到遥感图像中每个像素点的类别。采用图神经网络充分地挖掘了遥感图像各个像素点之间的空间相似度，可以体现全局的空间联系，采用通道线性注意机制来捕捉图神经网络通道输出之间的相关性，并进一步提高基于GNN的模型的性能。采用本方法可以提高建筑物、道路、低植被的分割精度。
在其中一个实施例中，步骤104前还包括：构建总损失函数，总损失函数包括：对角对数正则化项、Kullback-Leibler散度以及自适应多类加权损失函数。
图2所示的遥感图像语义分割网络框架的损失函数是三部分组成的：对角对数正则化项、Kullback-Leibler散度以及自适应多类加权损失函数。其中：
(1)对角对数正则化项：
Figure BDA0003217669620000061
其中：
Figure BDA0003217669620000062
表示对角对数正则化损失，∈表示噪声误差，很小的一个随机参数，，Aii是对角线上的元素，γ表示自适应因子，Aii应该大于0并接近于1，因此引入了一个对角对数正则化项来改进预测。
(2)Kullback-Leibler散度：
采用衡量潜在变量分布与单位高斯分布之间差异的Kullback-Leibler散度作为损失函数的一部分，K表示分割的种类数，D表示标准差矩阵，M表示平均值矩阵，Kullback-Leibler散度表达式如下：
Figure BDA0003217669620000071
(3)自适应多类加权(ACW)损失函数：
采用自适应多类加权损失函数来解决类的高度不平衡分布。MEAN表示求平均，
Figure BDA0003217669620000072
适应性广播到像素级系数，pij表示像素点,C表示像素种类数，自适应多类加权(ACW)损失函数表达式如下：
Figure BDA0003217669620000073
其中：
Figure BDA0003217669620000074
表示自适应多类加权损失；Y包括所有标记像素；dj表示骰子系数，其表达式为：
Figure BDA0003217669620000075
其中：yij表示真实值，取值范围为(0,1)；
Figure BDA0003217669620000076
表示预测值，取值范围为属于(0,1)。
为了细化最终的预测结果，总损失函数通过将对抗损失与循环一致性损失和几何一致性约束相结合，采用三种损失函数的总和作为框架中的最终损失函数，总损失函数可以表述如下：
Figure BDA0003217669620000077
在其中一个实施例中，遥感图像语义分割网络的结构如图2所示。步骤104包括：将训练样本输入到特征图提取网络中，得到遥感图像的特征图；将遥感图像的特征图进行图像增强，得到4张增强特征图；将4张增强特征图输入到卷积神经网络中，得到4个自构建邻接矩阵；将4个自构建邻接矩阵分别输入到4个共享参数的SGA-Net网络得到4个通道相关性特征图；将4个通道注意力特征图输入到融合预测网络中，得到遥感图像中每个像素点的预测类别；根据预测类别、训练样本以及总损失函数，对遥感图像语义分割网络进行反向训练，得到训练好的遥感图像语义分割模型。
自构建邻接矩阵确保了每张遥感图像的独特性。
在其中一个实施例中，SGA-Net网络包括：图注意力神经网络和通道线性注意力机制；步骤104还包括：将第一个自构建邻接矩阵输入到第一个SGA-Net网络的图注意力神经网络中，得到全局空间相似特征图；将全局空间相似特征图输入到第一个SGA-Net网络的通道线性注意力机制中，得到第一个通道相关性特征图；将第二个自构建邻接矩阵输入到第二个SGA-Net网络中，得到第二个通道相关性特征图；将第三个自构建邻接矩阵输入到第三个SGA-Net网络中，得到第三个通道相关性特征图；将第4个自构建邻接矩阵输入到第4个SGA-Net网络中，得到第4个通道相关性特征图。
具体的，图2中遥感图像语义分割网络的特征图提取网络输出遥感图像的特征图[C，W，H]，其中C为通道数，W为宽，H为高，作为优选，W＝H＝512。对遥感图像的特征图[C，W，H]进行图像增强后，得到4张增强特征图，分别为：X：[C′，W′，H′]，X90，X180，X270均是[C′，W′，H′]。作为优选，C′＝1024，W′＝32，H′＝32。
将4张增强特征图输入到卷积神经网络中，得到4个自构建邻接矩阵A0，A1，A2，A3，自构建邻接矩阵A0，A1，A2，A3均为N×N阶矩阵，其中N＝W′×H′。作为优选，W′＝32，H′＝32，N＝1024。
SGA-Net网络中的图注意力神经网络是一个8头的图注意力神经网络。
网络中的参数说明：
Figure BDA0003217669620000081
分别表示图像特征RF：F表示特征数，即图像通道数；
Figure BDA0003217669620000082
为N×N阶矩阵，作为优选，为1024×1024阶矩阵。
Figure BDA0003217669620000083
为N×8阶矩阵，其中8表示8头注意力的图注意力机制；图注意力神经网络输出的全局空间相似特征图h为N×T阶矩阵，其中:T表示类别数，作为优选h为1024×6阶矩阵。
在其中一个实施例中，步骤104还包括：将全局空间相似特征图输入到通道线性注意力机制中，分别对全局空间相似特征图进行3次变形操作，得到第一变形特征、第二变形特征以及第三变形特征；对全局空间相似特征图进行变形操作，并对变形得到的结果进行转置，得到转置变形特征；将第三变形特征与转置变形特征相乘，并将得到的特征进行变形操作，得到特征矩阵；将特征矩阵与第二变形特征进行相乘，并将得到的特征进行变形操作后与第一变形特征相加，得到第一个通道相关性特征图。
SGA-Net网络中的通道线性注意力机制中的参数说明：Q、K是全局空间相似特征图进行变形操作后得到的第二变形特征和第三变形特征，Q、K以及第一变形特征均为T×N阶矩阵，其中N表示低等特征图的高和宽的积，T表示种类数；V是全局空间相似特征图进行变形操作后再进行转置得到的转置变形矩阵，V为N×T阶矩阵，并将V变换为T×N阶矩阵；将V×K得到的结果进行变形得到特征矩阵[T，P，P]，其中：P×P＝N，P＝W'＝H'；通道线性注意力机输出通道相关性特征图是[T，P，P]。
在其中一个实施例中，图注意力神经网络是8头图注意力神经网络。
自构建邻接矩阵被输入到图注意力神经网络中，因为遥感图像是RGB三通道，因此采用8头的图注意力神经网络，可以增强网络的稳定性。
在其中一个实施例中，步骤104还包括：将遥感图像的特征图旋转0°、90°、180°以及270°，得到4张增强特征图。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个验证性实施例中，采用公开数据集对本方法进行验证。
(1)数据集
数据集包括两个公开数据集，分别为：ISPRS Potsdam公开数据集，一共38张遥感图像；分辨率：5cm；训练集：22张；验证集：2张；测试集：14张；大小：6000×6000；ISPRSVaihingen(公开数据集)一共33张遥感图像；分辨率：9cm；训练集：14张；验证集：2张；测试集：17张；大小：不定；
(2)评价指标
评价指标包括：mIoU(Mean Intersection over Union)(均交并比)、F1分数、Acc(Pixel Accurcy(％))准确性。
mIoU:计算真实值和预测值两个集合的交集和并集之比。
语义分割说到底还是一个分类任务，既然是分类任务，预测的结果往往就是四种情况：(1)true positive(TP)：真实值；(2)false positive(FP)：假正值；(3)truenegative(TN)：真负值；(4)false negative(FN)：假负值。
Figure BDA0003217669620000101
mIoU越大越好，代表遥感图像语义分割越准确其中。
Figure BDA0003217669620000102
Figure BDA0003217669620000103
Figure BDA0003217669620000104
F1分数越高，表示分类模型越稳健。
Figure BDA0003217669620000111
表示分类准确像素的占比，Acc越大，表示分类越准确。
(3)实验环境
使用Python 3.6和PyTorch框架进行实验。由于网络的复杂性和损失函数的计算量大，我们使用NVIDIA Tesla V100 GPU和NVIDIA的CUDA 10.0 API模型来训练模型。
(4)实验结果
为了验证遥感图像语义分割的有效性，我们将该方法与其他五种方法在两个数据集上进行比较，具体数据如表1、表2所示。。
表1不同方法使用Potsdam数据集的得分
Figure BDA0003217669620000112
表2不同方法使用Vaihingen数据集的得分
Figure BDA0003217669620000113
从两个数据集中随机选取几个生成图像的样本。显然，SGA-Net可以提高两个数据集的分割性能，性能优于之前的方法。
在一个实施例中，如图3所示，提供了一种遥感图像语义分割装置，包括：遥感图像获取模块、遥感图像语义分割网络构建模块、遥感图像语义分割网络训练模块以及遥感图像像素点类别确定模块，其中：
遥感图像获取模块，用于获取RGB三通道的遥感图像，并将遥感图像作为训练样本。
遥感图像语义分割网络构建模块，用于构建遥感图像语义分割网络；遥感图像语义分割网络包括：特征图提取网络、卷积神经网络、4个共享参数的SGA-Net网络以及融合预测模块；特征提取网络用于提取遥感图像的特征图；卷积神经网络用于提取图像增强后的遥感图像的特征图的自构建邻接矩阵；SGA-Net网络采用图注意力神经网络挖掘遥感图像各个像素点之间的空间相似度，并采用通道线性注意力机制捕捉图神经网络通道输出之间的相关性；融合预测模块用于将4个SGA-Net网络输出的特征进行融合预测，得到遥感图像中每个像素点的类别。
遥感图像语义分割网络训练模块，用于根据训练样本对遥感图像语义分割网络进行训练，得到训练好的遥感图像语义分割模型。
遥感图像像素点类别确定模块，用于获取待测RGB三通道的遥感图像，并输入到遥感图像语义分割模型中，得到遥感图像中每个像素点的类别。
在其中一个实施例中，遥感图像语义分割网络训练模块前还包括总损失函数构建模块，用于构建总损失函数，总损失函数包括：对角对数正则化项、Kullback-Leibler散度以及自适应多类加权损失函数。
在其中一个实施例中，遥感图像语义分割网络训练模块，还用于将训练样本输入到特征图提取网络中，得到遥感图像的特征图；将遥感图像的特征图进行图像增强，得到4张增强特征图；将4张增强特征图输入到卷积神经网络中，得到4个自构建邻接矩阵；将4个自构建邻接矩阵分别输入到4个共享参数的SGA-Net网络得到4个通道相关性特征图；将4个通道注意力特征图输入到融合预测网络中，得到遥感图像中每个像素点的预测类别；根据预测类别、训练样本以及总损失函数，对遥感图像语义分割网络进行反向训练，得到训练好的遥感图像语义分割模型。
在其中一个实施例中，SGA-Net网络包括：图注意力神经网络和通道线性注意力机制；遥感图像语义分割网络训练模块，还用于将第一个自构建邻接矩阵输入到第一个SGA-Net网络的图注意力神经网络中，得到全局空间相似特征图；将全局空间相似特征图输入到第一个SGA-Net网络的通道线性注意力机制中，得到第一个通道相关性特征图；将第二个自构建邻接矩阵输入到第二个SGA-Net网络中，得到第二个通道相关性特征图；将第三个自构建邻接矩阵输入到第三个SGA-Net网络中，得到第三个通道相关性特征图；将第4个自构建邻接矩阵输入到第4个SGA-Net网络中，得到第4个通道相关性特征图。
在其中一个实施例中，遥感图像语义分割网络训练模块，还用于将全局空间相似特征图输入到通道线性注意力机制中，分别对全局空间相似特征图进行3次变形操作，得到第一变形特征、第二变形特征以及第三变形特征；对全局空间相似特征图进行变形操作，并对变形得到的结果进行转置，得到转置变形特征；将第三变形特征与转置变形特征相乘，并将得到的特征进行变形操作，得到特征矩阵；将特征矩阵与第二变形特征进行相乘，并将得到的特征进行变形操作后与第一变形特征相加，得到第一个通道相关性特征图。
在其中一个实施例中，图注意力神经网络是8头图注意力神经网络。
在其中一个实施例中，遥感图像语义分割网络训练模块，还用于将遥感图像的特征图旋转0°、90°、180°以及270°，得到4张增强特征图。
关于遥感图像语义分割装置的具体限定可以参见上文中对于遥感图像语义分割方法的限定，在此不再赘述。上述遥感图像语义分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种遥感图像语义分割方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种遥感图像语义分割方法，其特征在于，所述方法包括：
获取RGB三通道的遥感图像，并将所述遥感图像作为训练样本；
构建遥感图像语义分割网络；所述遥感图像语义分割网络包括：特征图提取网络、卷积神经网络、4个共享参数的SGA-Net网络以及融合预测模块；所述特征提取网络用于提取遥感图像的特征图；所述卷积神经网络用于提取图像增强后的遥感图像的特征图的自构建邻接矩阵；所述SGA-Net网络采用图注意力神经网络挖掘遥感图像各个像素点之间的空间相似度，并采用通道线性注意力机制捕捉图神经网络通道输出之间的相关性；所述融合预测模块用于将4个SGA-Net网络输出的特征进行融合预测，得到遥感图像中每个像素点的类别；
根据所述训练样本对所述遥感图像语义分割网络进行训练，得到训练好的遥感图像语义分割模型；
获取待测RGB三通道的遥感图像，并输入到所述遥感图像语义分割模型中，得到遥感图像中每个像素点的类别。
2.根据权利要求1所述的方法，其特征在于，根据所述训练样本对所述遥感图像语义分割网络进行训练，得到训练好的遥感图像语义分割模型，步骤前还包括：
构建总损失函数，所述总损失函数包括：对角对数正则化项、Kullback-Leibler散度以及自适应多类加权损失函数。
3.根据权利要求2所述的方法，其特征在于，根据所述训练样本对所述遥感图像语义分割网络进行训练，得到训练好的遥感图像语义分割模型，包括：
将所述训练样本输入到所述特征图提取网络中，得到遥感图像的特征图；
将所述遥感图像的特征图进行图像增强，得到4张增强特征图；
将4张所述增强特征图输入到所述卷积神经网络中，得到4个自构建邻接矩阵；
将4个所述自构建邻接矩阵分别输入到4个所述共享参数的SGA-Net网络得到4个通道相关性特征图；
将4个所述通道注意力特征图输入到所述融合预测网络中，得到遥感图像中每个像素点的预测类别；
根据所述预测类别、所述训练样本以及所述总损失函数，对所述遥感图像语义分割网络进行反向训练，得到训练好的遥感图像语义分割模型。
4.根据权利要求3所述的方法，其特征在于，所述SGA-Net网络包括：图注意力神经网络和通道线性注意力机制；
将4个所述自构建邻接矩阵分别输入到4个所述共享参数的SGA-Net网络得到4个通道相关性特征图，包括：
将第一个所述自构建邻接矩阵输入到第一个所述SGA-Net网络的图注意力神经网络中，得到全局空间相似特征图；
将所述全局空间相似特征图输入到第一个所述SGA-Net网络的通道线性注意力机制中，得到第一个通道相关性特征图；
将第二个所述自构建邻接矩阵输入到第二个所述SGA-Net网络中，得到第二个通道相关性特征图；
将第三个所述自构建邻接矩阵输入到第三个所述SGA-Net网络中，得到第三个通道相关性特征图；
将第4个所述自构建邻接矩阵输入到第4个所述SGA-Net网络中，得到第4个通道相关性特征图。
5.根据权利要求4所述的方法，其特征在于，将所述全局空间相似特征图输入到第一个所述SGA-Net网络的通道线性注意力机制中，得到第一个通道相关性特征图，包括：
将所述全局空间相似特征图输入到所述通道线性注意力机制中，分别对所述全局空间相似特征图进行3次变形操作，得到第一变形特征、第二变形特征以及第三变形特征；
对所述全局空间相似特征图进行变形操作，并对变形得到的结果进行转置，得到转置变形特征；
将所述第三变形特征与所述转置变形特征相乘，并将得到的特征进行变形操作，得到特征矩阵；
将所述特征矩阵与所述第二变形特征进行相乘，并将得到的特征进行变形操作后与所述第一变形特征相加，得到第一个通道相关性特征图。
6.根据权利要求4或5所述的方法，其特征在于，所述图注意力神经网络是8头图注意力神经网络。
7.根据权利要求3-6任一项所述的方法，其特征在于，将所述遥感图像的特征图进行图像增强，得到4张增强特征图，包括：
将所述遥感图像的特征图旋转0°、90°、180°以及270°，得到4张增强特征图。
8.一种遥感图像语义分割装置，其特征在于，所述装置包括：
遥感图像获取模块，用于获取RGB三通道的遥感图像，并将所述遥感图像作为训练样本；
遥感图像语义分割网络构建模块，用于构建遥感图像语义分割网络；所述遥感图像语义分割网络包括：特征图提取网络、卷积神经网络、4个共享参数的SGA-Net网络以及融合预测模块；所述特征提取网络用于提取遥感图像的特征图；所述卷积神经网络用于提取图像增强后的遥感图像的特征图的自构建邻接矩阵；所述SGA-Net网络采用图注意力神经网络挖掘遥感图像各个像素点之间的空间相似度，并采用通道线性注意力机制捕捉图神经网络通道输出之间的相关性；所述融合预测模块用于将4个SGA-Net网络输出的特征进行融合预测，得到遥感图像中每个像素点的类别；
遥感图像语义分割网络训练模块，用于根据所述训练样本对所述遥感图像语义分割网络进行训练，得到训练好的遥感图像语义分割模型；
遥感图像像素点类别确定模块，用于获取待测RGB三通道的遥感图像，并输入到所述遥感图像语义分割模型中，得到遥感图像中每个像素点的类别。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110948818.6A 2021-08-18 2021-08-18 遥感图像语义分割方法、装置、计算机设备和存储介质 Active CN113673530B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110948818.6A CN113673530B (zh) 2021-08-18 2021-08-18 遥感图像语义分割方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110948818.6A CN113673530B (zh) 2021-08-18 2021-08-18 遥感图像语义分割方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113673530A true CN113673530A (zh) 2021-11-19
CN113673530B CN113673530B (zh) 2023-06-16

Family

ID=78543596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110948818.6A Active CN113673530B (zh) 2021-08-18 2021-08-18 遥感图像语义分割方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113673530B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743300A (zh) * 2021-09-03 2021-12-03 中化现代农业有限公司 基于语义分割的高分遥感图像云检测方法和装置
CN114998594A (zh) * 2022-06-30 2022-09-02 中国人民解放军国防科技大学 一种遥感图像分割方法、装置、计算机设备和存储介质
CN115359261A (zh) * 2022-10-21 2022-11-18 阿里巴巴（中国）有限公司 图像识别方法、计算机可读存储介质以及电子设备
CN115690592A (zh) * 2023-01-05 2023-02-03 阿里巴巴（中国）有限公司 图像处理方法和模型训练方法
CN115858766A (zh) * 2023-03-01 2023-03-28 中国人民解放军国防科技大学 一种兴趣传播推荐方法、装置、计算机设备和存储介质
CN116977750A (zh) * 2023-09-25 2023-10-31 中国地质大学（武汉） 土地覆盖场景分类模型构建方法及分类方法
CN118279593A (zh) * 2024-06-03 2024-07-02 之江实验室 基于遥感语义分割的城市碳排放精细化分析方法及装置
CN118429701A (zh) * 2024-04-25 2024-08-02 江苏海洋大学 一种基于U-net框架的养殖区遥感精细化识别方法及系统
CN118470253A (zh) * 2024-07-15 2024-08-09 湖南大学 一种用于医学图像的表面网格重建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132193A (zh) * 2020-09-10 2020-12-25 中国科学院深圳先进技术研究院 一种用于遥感图像分类的神经网络优化方法、终端以及存储介质
CN112991351B (zh) * 2021-02-23 2022-05-27 新华三大数据技术有限公司 遥感图像语义分割方法、装置及存储介质
CN113111835B (zh) * 2021-04-23 2022-08-02 长沙理工大学 卫星遥感图像语义分割方法、装置、电子设备和存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743300A (zh) * 2021-09-03 2021-12-03 中化现代农业有限公司 基于语义分割的高分遥感图像云检测方法和装置
CN114998594A (zh) * 2022-06-30 2022-09-02 中国人民解放军国防科技大学 一种遥感图像分割方法、装置、计算机设备和存储介质
CN115359261A (zh) * 2022-10-21 2022-11-18 阿里巴巴（中国）有限公司 图像识别方法、计算机可读存储介质以及电子设备
CN115359261B (zh) * 2022-10-21 2023-03-24 阿里巴巴（中国）有限公司 图像识别方法、计算机可读存储介质以及电子设备
CN115690592A (zh) * 2023-01-05 2023-02-03 阿里巴巴（中国）有限公司 图像处理方法和模型训练方法
CN115858766A (zh) * 2023-03-01 2023-03-28 中国人民解放军国防科技大学 一种兴趣传播推荐方法、装置、计算机设备和存储介质
CN116977750A (zh) * 2023-09-25 2023-10-31 中国地质大学（武汉） 土地覆盖场景分类模型构建方法及分类方法
CN116977750B (zh) * 2023-09-25 2023-12-12 中国地质大学（武汉） 土地覆盖场景分类模型构建方法及分类方法
CN118429701A (zh) * 2024-04-25 2024-08-02 江苏海洋大学 一种基于U-net框架的养殖区遥感精细化识别方法及系统
CN118279593A (zh) * 2024-06-03 2024-07-02 之江实验室 基于遥感语义分割的城市碳排放精细化分析方法及装置
CN118470253A (zh) * 2024-07-15 2024-08-09 湖南大学 一种用于医学图像的表面网格重建方法

Also Published As

Publication number Publication date
CN113673530B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
CN113673530B (zh) 遥感图像语义分割方法、装置、计算机设备和存储介质
CN109978893B (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
US11030471B2 (en) Text detection method, storage medium, and computer device
CN110309876B (zh) 目标检测方法、装置、计算机可读存储介质和计算机设备
KR102143108B1 (ko) 차선 인식 모델링 방법, 장치, 저장 매체 및 기기, 및 인식 방법, 장치, 저장 매체 및 기기
CN110163842B (zh) 建筑裂缝检测方法、装置、计算机设备和存储介质
CN109255772B (zh) 基于风格迁移的车牌图像生成方法、装置、设备及介质
CN112633144A (zh) 人脸遮挡检测方法、系统、设备及存储介质
CN113255915B (zh) 基于结构化实例图的知识蒸馏方法、装置、设备和介质
CN112418278A (zh) 一种多类物体检测方法、终端设备及存储介质
CN112949507A (zh) 人脸检测方法、装置、计算机设备及存储介质
CN113065576A (zh) 一种特征提取的方法以及装置
CN112651333B (zh) 静默活体检测方法、装置、终端设备和存储介质
CN109840524A (zh) 文字的类型识别方法、装置、设备及存储介质
CN112633354B (zh) 路面裂缝检测方法、装置、计算机设备和存储介质
CN111753782A (zh) 一种基于双流网络的假脸检测方法、装置及电子设备
CN111860496A (zh) 车牌识别方法、装置、设备及计算机可读存储介质
CN111144372A (zh) 车辆检测方法、装置、计算机设备和存储介质
CN111753729B (zh) 一种假脸检测方法、装置、电子设备及存储介质
CN116311214B (zh) 车牌识别方法和装置
CN110580507B (zh) 一种城市肌理分类识别方法
Nguyen et al. Combination of images and point clouds in a generative adversarial network for upsampling crack point clouds
CN112330619B (zh) 一种检测目标区域的方法、装置、设备及存储介质
CN111639523B (zh) 目标检测方法、装置、计算机设备和存储介质
CN116612272A (zh) 一种图像处理智能数字化的检测系统及其检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant