CN117115563A - 基于区域语义感知的遥感土地覆盖分类方法及系统 - Google Patents

基于区域语义感知的遥感土地覆盖分类方法及系统 Download PDF

Info

Publication number
CN117115563A
CN117115563A CN202311352076.6A CN202311352076A CN117115563A CN 117115563 A CN117115563 A CN 117115563A CN 202311352076 A CN202311352076 A CN 202311352076A CN 117115563 A CN117115563 A CN 117115563A
Authority
CN
China
Prior art keywords
semantic
remote sensing
superpixel
class
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311352076.6A
Other languages
English (en)
Inventor
郑先伟
马启源
岳林蔚
宦麟茜
熊汉江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202311352076.6A priority Critical patent/CN117115563A/zh
Publication of CN117115563A publication Critical patent/CN117115563A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于区域语义感知的遥感土地覆盖分类方法及系统，将遥感影像输入语义分割网络，经过特征提取获得特征图F，再经过语义分割网络的分类层获得类别预测概率图；所述语义分割网络，包括多尺度连续上下文特征编码模块和密集特征聚合解码模块；为缓解遥感图像中类内差异性和类间相似性对网络分类的干扰，本发明提出了类内相似性损失函数和类间差异性损失函数，分别通过增强同类语义超像素平均特征间的相似性和不同类超像素平均特征间的差异性来提升特征的类内一致性和类间可区分性，从而改善遥感土地覆盖分类的效果。

Description

基于区域语义感知的遥感土地覆盖分类方法及系统
技术领域
本发明属于遥感影像处理技术领域，涉及一种遥感土地覆盖分类方法及系统，具体涉及一种基于区域语义感知的遥感土地覆盖分类方法及系统。
背景技术
遥感土地覆盖分类的目标是获取遥感影像中每个像素的土地覆盖类别，以便高效地获取大范围地表的土地覆盖情况，在自然资源调查与管理、城市规划与管理、地图制图和环境监测等领域中具有广泛的应用。随着对地观测技术和传感器技术的发展，遥感影像的空间分辨率得到了大幅提升，为精细的遥感土地覆盖分类创造了条件。
随着卷积神经网络(CNN)的发展，其凭借强大的层次特征提取能力在自然图像语义分割任务中取得了巨大成功，CNN因此在遥感土地覆盖分类中也得到了广泛应用。然而，高分辨率遥感土地覆盖分类仍存在一些难点，主要包含以下两个方面：1）高分辨率遥感影像含有丰富的细节，这使CNN难以在同类区域内获得一致的分类结果，甚至在视觉一致区域内也常出现不一致的分类结果；2）遥感影像具有光谱复杂和场景多样的特点，遥感影像中各类土地覆盖因此具有较高的类内差异性和类间相似性，这为CNN正确识别各类土地覆盖造成了挑战。
发明内容
为了解决上述的技术问题，本发明提供了一种基于区域语义感知的遥感土地覆盖分类方法及系统，实现了高精度的遥感土地覆盖分类。
本发明的方法所采用的技术方案是：一种基于区域语义感知的遥感土地覆盖分类方法，其特征在于：将遥感影像输入语义分割网络，经过特征提取获得特征图F，再经过语义分割网络的分类层获得类别预测概率图；
所述语义分割网络，包括多尺度连续上下文特征编码模块和密集特征聚合解码模块；
所述多尺度连续上下文特征编码模块，首先使用加入混合空洞卷积的ResNet-101网络从输入图像中提取连续上下文特征图，网络中第三个残差块包含5组空洞率依次为{1,2,5,9}的空洞卷积层和1组空洞率依次为{1,2,5}的空洞卷积层，网络中第四个残差块包含1组空洞率分别为{5,9,17}的空洞卷积层，随后输出的特征图被输入空洞空间金字塔池化模块来提取多尺度特征，空洞空间金字塔池化模块各分支采用的空洞卷积的空洞率分别为1,2,4,6；
所述密集特征聚合解码模块，逐层地扩大编码器输出的特征图的空间尺寸，并逐层地将特征图与编码器中尺寸一致的特征图相加来融合多层次的特征，密集特征聚合解码模块为：
；
其中表示/>卷积操作，/>表示2倍双线性上采样操作，/>表示矩阵相加运算，/>表示编码器中由浅到深第i个残差块输出的特征图，/>表示解码器中由输出到输入第i个卷积层输出的特征图；当i=3时，/>表示编码器中空洞空间金字塔池化模块输出的特征图。
作为优选，所述语义分割网络，是训练好的语义分割网络；训练过程具体包括以下步骤：
步骤1：构建训练数据集；
获取若干遥感影像X及对应的土地覆盖类别标签图Y，并扩大逐像素的土地覆盖类别标签图中不同类别的数值间隔，再将增强后的标签图作为新的通道插入标签图所标注的遥感影像X，获得语义增强的遥感影像，随后在此基础上分割出内部具有视觉一致性和语义一致性的语义超像素S，并利用标签分割语义超像素来保证语义超像素内部的语义一致性；
步骤2：语义分割网络训练；
将原始遥感影像输入语义分割网络，经过特征提取获得特征图F，再经过网络的分类层和上采样操作获得类别预测概率图，上采样特征图F至输入图像尺寸得到特征图/>；
步骤3：基于土地覆盖类别标签图Y和类别预测概率图计算交叉熵损失函数/>，基于语义超像素S、土地覆盖类别标签图Y和特征图/>计算语义感知的区域损失函数/>，其包括超像素方差损失函数/>、类内相似性损失函数/>和类间差异性损失函数/>，将/>与/>的各损失函数加权求和获得总的损失函数，在此基础上利用反向传播更新语义分割网络参数；
步骤4：重复步骤2和3直至损失函数收敛，获得训练好的语义分割网络。
作为优选，步骤1中，使用LSC超像素分割算法分割出内部具有视觉一致性和语义一致性的语义超像素；
具体实现包括以下子步骤：
步骤1.1：将土地覆盖类别标签图中各像素的数值由c按下式转变为；
；
其中，c为类别序号，，C表示类别数，/>表示向下取整。
步骤1.2：将变换后的标签图作为新的通道插入标签图所标注的通道数为B的遥感影像X，获得通道数为/>的语义增强的遥感影像/>；
步骤1.3：用LSC超像素分割算法分割语义增强的遥感影像，为训练集中每张影像生成语义超像素S，用于后续监督网络训练；
步骤1.4：当一个语义超像素的内部出现多个类别的像素时，组合属于同一类别的像素作为新的语义超像素加入语义超像素集合，并删除该原始语义超像素，从而利用标签分割语义超像素来保证语义超像素内部的语义一致性。
作为优选，步骤2中，采用双线性内插方法将特征图F上采样至输入图像的尺寸，获得特征图。
作为优选，步骤3中，；其中，N和C分别表示像素和类别的数量；/>和/>分别代表各个像素的标签和类别预测概率，若第n个像素属于第c类，则/>，否则/>，/>是第n个像素被预测为第c个类别的概率。
作为优选，步骤3中，；其中，/>表示第s个语义超像素中第n个像素的第d维特征值，/>则表示第s个语义超像素的第d维平均特征值，其不参与梯度回传，S、/>和D分别为超像素的数量、第s个超像素内的像素数量和特征图/>通道数。
作为优选，步骤3中，
；其中，/>和/>表示两个同属于第i类的语义超像素的第d维平均特征值，D和C分别代表特征图/>的通道数量和分类的类别数；
；其中，/>和/>分别表示属于第i类和第j类的语义超像素的第d维平均特征值。
作为优选，步骤3中，加权求和各损失函数获得总的损失函数L来监督语义分割网络的学习；
；
其中，、/>和/>为平衡各项损失函数的权重参数。
本发明的系统所采用的技术方案是：一种基于区域语义感知的遥感土地覆盖分类系统，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的基于区域语义感知的遥感土地覆盖分类方法。
本发明的有益效果包括：
1）提出了一种语义超像素分割方法，通过为超像素分割引入语义信息来为训练集中的遥感影像生成内部具有视觉一致性和语义一致性的超像素，克服常规方法在遥感影像上分割的超像素内部语义不一致的问题，以便为网络学习区域一致信息和区域关联信息提供有效的监督。
2）为解决遥感土地覆盖分类中视觉一致区域内分类结果不一致的问题，提出了超像素方差损失函数，通过降低语义超像素内部的特征方差来提升网络在视觉一致且语义一致的区域内提取的特征的相似性，进而预测得到一致的分类结果。
3）为缓解遥感图像中类内差异性和类间相似性对网络分类的干扰，提出了类内相似性损失函数和类间差异性损失函数/>，分别通过增强同类语义超像素平均特征间的相似性和不同类超像素平均特征间的差异性来提升特征的类内一致性和类间可区分性，从而改善遥感土地覆盖分类的效果。
附图说明
下面使用实施例，以及具体实施方式作进一步说明本文的技术方案。另外，在说明技术方案的过程中，也使用了一些附图。对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图以及本发明的意图。
图1是本发明实施例的语义分割网络结构图；
图2是本发明实施例的语义超像素分割方法示意图；
图3是本发明实施例的基于语义超像素的损失函数示意图；
图4是本发明实施例在DeepGlobe数据集上部分对比实验的结果图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本实施例提供的一种基于区域语义感知的遥感土地覆盖分类方法，将遥感影像输入语义分割网络，经过特征提取获得特征图F，再经过语义分割网络的分类层获得类别预测概率图；
请见图1，所述语义分割网络，包括多尺度连续上下文特征编码模块和密集特征聚合解码模块；
所述多尺度连续上下文特征编码模块，首先使用加入混合空洞卷积的ResNet-101网络从输入图像中提取连续上下文特征图，网络中第三个残差块包含5组空洞率依次为{1,2,5,9}的空洞卷积层和1组空洞率依次为{1,2,5}的空洞卷积层，网络中第四个残差块包含1组空洞率分别为{5,9,17}的空洞卷积层，随后输出的特征图被输入空洞空间金字塔池化（ASPP）模块来提取多尺度特征，空洞空间金字塔池化（ASPP）模块各分支采用的空洞卷积的空洞率分别为1,2,4,6；
所述密集特征聚合解码模块，逐层地扩大编码器输出的特征图的空间尺寸，并逐层地将特征图与编码器中尺寸一致的特征图相加来融合多层次的特征，密集特征聚合解码模块为：
；
其中表示/>卷积操作，/>表示2倍双线性上采样操作，/>表示矩阵相加运算，/>表示编码器中由浅到深第i个残差块输出的特征图，/>表示解码器中由输出到输入第i个卷积层输出的特征图；当i=3时，/>表示编码器中空洞空间金字塔池化（ASPP）模块输出的特征图。
在一种实施方式中，所述语义分割网络，是训练好的语义分割网络；训练过程具体包括以下步骤：
步骤1：构建训练数据集；
获取若干遥感影像X及对应的土地覆盖类别标签图Y，并扩大逐像素的土地覆盖类别标签图中不同类别的数值间隔，再将增强后的标签图作为新的通道插入标签图所标注的遥感影像X，获得语义增强的遥感影像，随后在此基础上分割出内部具有视觉一致性和语义一致性的语义超像素S，并利用标签分割语义超像素来保证语义超像素内部的语义一致性；
请见图2，在一种实施方式中，使用LSC超像素分割算法分割出内部具有视觉一致性和语义一致性的语义超像素；
具体实现包括以下子步骤：
步骤1.1：将土地覆盖类别标签图中各像素的数值由c按下式转变为；
；
其中，c为类别序号，，C表示类别数（包括背景类），/>表示向下取整。
步骤1.2：将变换后的标签图作为新的通道插入标签图所标注的通道数为B的遥感影像X，获得通道数为/>的语义增强的遥感影像/>；
步骤1.3：用LSC超像素分割算法分割语义增强的遥感影像，为训练集中每张影像生成语义超像素S，用于后续监督网络训练；
步骤1.4：当一个语义超像素的内部出现多个类别的像素时，组合属于同一类别的像素作为新的语义超像素加入语义超像素集合，并删除该原始语义超像素，从而利用标签分割语义超像素来保证语义超像素内部的语义一致性。
步骤2：语义分割网络训练；
将原始遥感影像输入语义分割网络，经过特征提取获得特征图F，再经过网络的分类层和上采样操作获得类别预测概率图，上采样特征图F至输入图像尺寸得到特征图/>；
在一种实施方式中，采用双线性内插方法将特征图F上采样至输入图像的尺寸，获得特征图。
步骤3：基于土地覆盖类别标签图Y和类别预测概率图计算交叉熵损失函数/>，基于语义超像素S、土地覆盖类别标签图Y和特征图/>计算语义感知的区域损失函数/>，其包括超像素方差损失函数/>、类内相似性损失函数/>和类间差异性损失函数/>，将/>与/>的各损失函数加权求和获得总的损失函数，在此基础上利用反向传播更新语义分割网络参数；
请见图3，基于标签图Y和类别预测概率图计算交叉熵损失函数/>，其计算公式如下：
；
其中，N和C分别表示像素和类别的数量；和/>分别代表各个像素的标签和类别预测概率，若第n个像素属于第c类，则/>，否则/>，/>是第n个像素被预测为第c个类别的概率。
基于语义超像素S、土地覆盖类别标签图Y和特征图计算语义感知的区域损失函数/>来分别增强特征的区域一致性、类内相似性和类间可区分性。/>由超像素方差损失函数/>、类内相似性损失函数/>和类间差异性损失函数/>三部分组成。
首先，基于语义超像素和特征图按下式计算超像素方差损失函数/>：
；
其中，表示第s个语义超像素中第n个像素的第d维特征值，/>则表示第s个语义超像素的第d维平均特征值，其不参与梯度回传，S、/>和D分别为超像素的数量、第s个超像素内的像素数量和特征图/>通道数。
接着，基于语义超像素、标签图Y和特征图按下式计算类内相似性损失函数：
；
其中，和/>表示两个同属于第i类的语义超像素的第d维平均特征值，D和C分别代表特征图/>的通道数量和分类的类别数；
然后，基于语义超像素、标签图Y和特征图下式计算类间差异性损失函数/>：
；
其中，和/>分别表示属于第i类和第j类的语义超像素的第d维平均特征值，D和C分别代表特征图/>的通道数量和分类的类别数。
最后，加权求和各损失函数获得总的损失函数L监督语义分割网络的学习，L可用下式表达：
；
其中，、/>和/>为平衡各项损失函数的权重参数。
步骤4：重复步骤2和3直至损失函数收敛，获得训练好的语义分割网络。
本实施例还提供了一种基于区域语义感知的遥感土地覆盖分类系统，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的基于区域语义感知的遥感土地覆盖分类方法。
本实施例进行了广泛的消融研究，用以评估网络框架的各个组成部分和训练阶段各损失函数的影响。实验结果如下表所示：
1）多尺度连续上下文特征编码模块（MSCC）的效果：采用混合空洞卷积提取了空间上连续的上下文信息，增强了相邻特征间的关联性，在GID数据集上平均交并比mIoU分割结果提高了0.42%。
2）密集特征聚合解码模块（DFF）的效果：采用密集的上采样和特征融合，充分融合了高层次的语义特征和低层次的几何特征，GID数据集平均交并比mIoU提升了0.57%。
对损失函数的消融实验结果如下表所示：
1）超像素方差损失函数（L var）的效果：通过减小语义超像素内部的特征方差提升了网络在视觉一致区域内提取的特征的一致性，在GID数据集上平均交并比mIoU分割结果提高了2.52%。
2）类内相似性损失函数（L intra）的效果：通过减小同类语义超像素间的特征差异性提升了同类特征的相似性，GID数据集平均交并比mIoU相比只使用L var时提升了0.11%。
3）类间差异性损失函数（L inter）的效果：通过提升不同类语义超像素间的特征差异性增强了不同类特征的可区分性，在GID数据集上平均交并比mIoU分割结果提高了2.19%。
此外，本实施例进行了广泛的对比研究，用以评估网络框架和训练方法的有益效果。实验结果如下表所示：
在GID和DeepGlobe数据集上，本实施例均取得了最高的mIoU分割精度。
请见图4，为本实施例在DeepGlobe数据集上部分对比实验的结果图，与GLNet和MagNet相比，本实施例能够更准确地区分各类土地覆盖，能够有效减少碎片化分割的现象，在视觉一致区域获得更一致的分类结果。在GID数据集和DeepGlobe数据集上的实验结果表明，本发明提出的基于区域语义感知的遥感土地分类网络在遥感土地覆盖分类领域有显著提升。
为本实施提供一种基于区域语义感知的遥感土地覆盖分类方法及系统。提出了一种语义超像素分割方法，通过为超像素分割引入语义信息来为训练集中的遥感影像生成内部具有视觉一致性和语义一致性的超像素，克服常规方法在遥感影像上分割的超像素内部语义不一致的问题，以便为网络学习区域一致信息和区域关联信息提供有效的监督。为解决遥感土地覆盖分类中视觉一致区域内分类结果不一致的问题，提出了超像素方差损失函数，通过降低语义超像素内部的特征方差来提升网络在视觉一致且语义一致的区域内提取的特征的相似性，进而预测得到一致的分类结果。为缓解遥感图像中类内差异性和类间相似性对网络分类的干扰，提出了类内相似性损失函数/>和类间差异性损失函数，分别通过增强同类语义超像素平均特征间的相似性和不同类超像素平均特征间的差异性来提升特征的类内一致性和类间可区分性，从而改善遥感土地覆盖分类的效果。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (9)

1.一种基于区域语义感知的遥感土地覆盖分类方法，其特征在于：将遥感影像输入语义分割网络，经过特征提取获得特征图F，再经过语义分割网络的分类层获得类别预测概率图；
所述语义分割网络，包括多尺度连续上下文特征编码模块和密集特征聚合解码模块；
所述多尺度连续上下文特征编码模块，首先使用加入混合空洞卷积的ResNet-101网络从输入图像中提取连续上下文特征图，网络中第三个残差块包含5组空洞率依次为{1,2,5,9}的空洞卷积层和1组空洞率依次为{1,2,5}的空洞卷积层，网络中第四个残差块包含1组空洞率分别为{5,9,17}的空洞卷积层，随后输出的特征图被输入空洞空间金字塔池化模块来提取多尺度特征，空洞空间金字塔池化模块各分支采用的空洞卷积的空洞率分别为1,2,4,6；
所述密集特征聚合解码模块，逐层地扩大编码器输出的特征图的空间尺寸，并逐层地将特征图与编码器中尺寸一致的特征图相加来融合多层次的特征，密集特征聚合解码模块为：
；
其中表示/>卷积操作，/>表示2倍双线性上采样操作，/>表示矩阵相加运算，表示编码器中由浅到深第i个残差块输出的特征图，/>表示解码器中由输出到输入第i个卷积层输出的特征图；当i=3时，/> 表示编码器中空洞空间金字塔池化模块输出的特征图。
2.根据权利要求1所述的基于区域语义感知的遥感土地覆盖分类方法，其特征在于：所述语义分割网络，是训练好的语义分割网络；训练过程具体包括以下步骤：
步骤1：构建训练数据集；
获取若干遥感影像X及对应的土地覆盖类别标签图Y，并扩大逐像素的土地覆盖类别标签图中不同类别的数值间隔，再将增强后的标签图作为新的通道插入标签图所标注的遥感影像X，获得语义增强的遥感影像，随后在此基础上分割出内部具有视觉一致性和语义一致性的语义超像素S，并利用标签分割语义超像素来保证语义超像素内部的语义一致性；
步骤2：语义分割网络训练；
将原始遥感影像输入语义分割网络，经过特征提取获得特征图F，再经过网络的分类层和上采样操作获得类别预测概率图，上采样特征图F至输入图像尺寸得到特征图/>；
步骤3：基于土地覆盖类别标签图Y和类别预测概率图计算交叉熵损失函数/>，基于语义超像素S、土地覆盖类别标签图Y和特征图/>计算语义感知的区域损失函数/>，其包括超像素方差损失函数/>、类内相似性损失函数/>和类间差异性损失函数/>，将/>与/>的各损失函数加权求和获得总的损失函数，在此基础上利用反向传播更新语义分割网络参数；
步骤4：重复步骤2和3直至损失函数收敛，获得训练好的语义分割网络。
3.根据权利要求2所述的基于区域语义感知的遥感土地覆盖分类方法，其特征在于：步骤1中，使用LSC超像素分割算法分割出内部具有视觉一致性和语义一致性的语义超像素；
具体实现包括以下子步骤：
步骤1.1：将土地覆盖类别标签图中各像素的数值由c按下式转变为；
；
其中，c为类别序号，，C表示类别数，/>表示向下取整；
步骤1.2：将变换后的标签图作为新的通道插入标签图所标注的通道数为B的遥感影像X，获得通道数为/>的语义增强的遥感影像/>；
步骤1.3：用LSC超像素分割算法分割语义增强的遥感影像，为训练集中每张影像生成语义超像素S，用于后续监督网络训练；
步骤1.4：当一个语义超像素的内部出现多个类别的像素时，组合属于同一类别的像素作为新的语义超像素加入语义超像素集合，并删除该原始语义超像素，从而利用标签分割语义超像素来保证语义超像素内部的语义一致性。
4.根据权利要求2所述的基于区域语义感知的遥感土地覆盖分类方法，其特征在于：步骤2中，采用双线性内插方法将特征图F上采样至输入图像的尺寸，获得特征图。
5.根据权利要求2所述的基于区域语义感知的遥感土地覆盖分类方法，其特征在于：步骤3中，；其中，N和C分别表示像素和类别的数量；和/>分别代表各个像素的标签和类别预测概率，若第n个像素属于第c类，则/>，否则/>，/>是第n个像素被预测为第c个类别的概率。
6.根据权利要求2所述的基于区域语义感知的遥感土地覆盖分类方法，其特征在于：步骤3中，；其中，/>表示第s个语义超像素中第n个像素的第d维特征值，/>则表示第s个语义超像素的第d维平均特征值，其不参与梯度回传，S、/>和D分别为超像素的数量、第s个超像素内的像素数量和特征图/>通道数。
7.根据权利要求2所述的基于区域语义感知的遥感土地覆盖分类方法，其特征在于：步骤3中，
；其中，/>和/>表示两个同属于第i类的语义超像素的第d维平均特征值，D和C分别代表特征图/>的通道数量和分类的类别数；
；其中，/>和/>分别表示属于第i类和第j类的语义超像素的第d维平均特征值。
8.根据权利要求2所述的基于区域语义感知的遥感土地覆盖分类方法，其特征在于：步骤3中，加权求和各损失函数获得总的损失函数L来监督语义分割网络的学习；
；
其中，、/>和/>为平衡各项损失函数的权重参数。
9.一种基于区域语义感知的遥感土地覆盖分类系统，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至8中任一项所述的基于区域语义感知的遥感土地覆盖分类方法。
CN202311352076.6A 2023-10-19 2023-10-19 基于区域语义感知的遥感土地覆盖分类方法及系统 Pending CN117115563A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311352076.6A CN117115563A (zh) 2023-10-19 2023-10-19 基于区域语义感知的遥感土地覆盖分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311352076.6A CN117115563A (zh) 2023-10-19 2023-10-19 基于区域语义感知的遥感土地覆盖分类方法及系统

Publications (1)

Publication Number Publication Date
CN117115563A true CN117115563A (zh) 2023-11-24

Family

ID=88796822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311352076.6A Pending CN117115563A (zh) 2023-10-19 2023-10-19 基于区域语义感知的遥感土地覆盖分类方法及系统

Country Status (1)

Country Link
CN (1) CN117115563A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746191A (zh) * 2024-02-07 2024-03-22 浙江啄云智能科技有限公司 以图搜图模型训练方法和以图搜图方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191566A (zh) * 2019-12-26 2020-05-22 西北工业大学 基于像素分类的光学遥感图像多目标检测方法
CN112070779A (zh) * 2020-08-04 2020-12-11 武汉大学 一种基于卷积神经网络弱监督学习的遥感影像道路分割方法
CN113222124A (zh) * 2021-06-28 2021-08-06 重庆理工大学 用于图像语义分割的SAUNet++网络与图像语义分割方法
CN113408462A (zh) * 2021-06-29 2021-09-17 西南交通大学 基于卷积神经网络与类别热力图的滑坡遥感信息提取方法
CN115049936A (zh) * 2022-08-12 2022-09-13 武汉大学 一种面向高分遥感影像的边界增强型语义分割方法
CN115063701A (zh) * 2022-06-21 2022-09-16 南京理工大学 一种基于改进YOLOv4的无人机航拍小目标检测方法
CN116310852A (zh) * 2022-09-08 2023-06-23 武汉大学 双时相遥感影像无监督分类与变化检测方法及系统
CN116630824A (zh) * 2023-06-06 2023-08-22 北京星视域科技有限公司 一种面向电力巡检机制的卫星遥感图像边界感知语义分割模型

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191566A (zh) * 2019-12-26 2020-05-22 西北工业大学 基于像素分类的光学遥感图像多目标检测方法
CN112070779A (zh) * 2020-08-04 2020-12-11 武汉大学 一种基于卷积神经网络弱监督学习的遥感影像道路分割方法
CN113222124A (zh) * 2021-06-28 2021-08-06 重庆理工大学 用于图像语义分割的SAUNet++网络与图像语义分割方法
CN113408462A (zh) * 2021-06-29 2021-09-17 西南交通大学 基于卷积神经网络与类别热力图的滑坡遥感信息提取方法
CN115063701A (zh) * 2022-06-21 2022-09-16 南京理工大学 一种基于改进YOLOv4的无人机航拍小目标检测方法
CN115049936A (zh) * 2022-08-12 2022-09-13 武汉大学 一种面向高分遥感影像的边界增强型语义分割方法
CN116310852A (zh) * 2022-09-08 2023-06-23 武汉大学 双时相遥感影像无监督分类与变化检测方法及系统
CN116630824A (zh) * 2023-06-06 2023-08-22 北京星视域科技有限公司 一种面向电力巡检机制的卫星遥感图像边界感知语义分割模型

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PANQU WANG ET AL.: "Understanding Convolution for Semantic Segmentation", ARXIV.ORG, pages 4 *
XIANWEI ZHENG ET AL.: "Semantic-Aware Region Loss for Land-Cover Classification", IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING, pages 4143 - 4146 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746191A (zh) * 2024-02-07 2024-03-22 浙江啄云智能科技有限公司 以图搜图模型训练方法和以图搜图方法
CN117746191B (zh) * 2024-02-07 2024-05-10 浙江啄云智能科技有限公司 以图搜图模型训练方法和以图搜图方法

Similar Documents

Publication Publication Date Title
CN110781775B (zh) 一种多尺度特征支持的遥感影像水体信息精确分割方法
Bi et al. A graph-based semisupervised deep learning model for PolSAR image classification
CN110443842B (zh) 基于视角融合的深度图预测方法
CN110287849B (zh) 一种适用于树莓派的轻量化深度网络图像目标检测方法
CN109903301B (zh) 一种基于多级特征信道优化编码的图像轮廓检测方法
CN110070091B (zh) 用于街景理解的基于动态插值重建的语义分割方法及系统
Ghorai et al. Multiple pyramids based image inpainting using local patch statistics and steering kernel feature
CN111259904B (zh) 一种基于深度学习和聚类的语义图像分割方法及系统
CN112052783A (zh) 一种结合像素语义关联和边界注意的高分影像弱监督建筑物提取方法
CN109886159B (zh) 一种非限定条件下的人脸检测方法
CN115205672A (zh) 一种基于多尺度区域注意力的遥感建筑物语义分割方法及系统
CN117115563A (zh) 基于区域语义感知的遥感土地覆盖分类方法及系统
Ahmad et al. 3D capsule networks for object classification from 3D model data
CN110264483B (zh) 一种基于深度学习的语义图像分割方法
CN111860668B (zh) 一种针对原始3d点云处理的深度卷积网络的点云识别方法
CN112686830B (zh) 基于图像分解的单一深度图的超分辨率方法
CN117593187A (zh) 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法
CN112561925A (zh) 图像分割方法、系统、计算机设备及存储介质
CN116109656A (zh) 一种基于无监督学习的交互式图像分割方法
Xiao et al. Image inpainting network for filling large missing regions using residual gather
Zhang et al. Domain embedded multi-model generative adversarial networks for image-based face inpainting
CN117036368A (zh) 图像数据处理方法、装置、计算机设备和存储介质
CN114331894A (zh) 一种基于潜在特征重构和掩模感知的人脸图像修复方法
CN108376390B (zh) 一种动态感知平滑滤波算法
Zheng et al. Semantic segmentation method based on super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination