CN116645505A - 基于多尺度和级联的神经网络遥感影像语义分割方法 - Google Patents

基于多尺度和级联的神经网络遥感影像语义分割方法 Download PDF

Info

Publication number
CN116645505A
CN116645505A CN202310530344.2A CN202310530344A CN116645505A CN 116645505 A CN116645505 A CN 116645505A CN 202310530344 A CN202310530344 A CN 202310530344A CN 116645505 A CN116645505 A CN 116645505A
Authority
CN
China
Prior art keywords
feature
semantic segmentation
scale
remote sensing
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310530344.2A
Other languages
English (en)
Inventor
李显巨
周引
李天屹
陈伟涛
唐厂
冯如意
王力哲
陈刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202310530344.2A priority Critical patent/CN116645505A/zh
Publication of CN116645505A publication Critical patent/CN116645505A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，提供一种基于多尺度和级联的神经网络遥感影像语义分割方法，包括：获取待处理遥感影像；将待处理遥感影像输入构建好的语义分割网络，输出语义分割结果；语义分割网络包括编码网络、特征增强模块、解码网络、语义分割模块；其中，编码网络包括卷积块和多个多尺度特征提取模块；特征增强模块包括多个信道激活模块；解码网络为多个卷积块、多个反卷积块以及多个跨层特征选择模块通过多重级联方式构成；语义分割模块包括多尺度物体引导模块和语义分割头。本发明的语义分割网络获取特征中具有代表性和区分度的特征，采用级联方式的解码网络对特征逐层解码，增强解码网络的语义理解能力，提高了遥感影像语义分割的精确度。

Description

基于多尺度和级联的神经网络遥感影像语义分割方法
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种基于多尺度和级联的神经网络遥感影像语义分割方法。
背景技术
土地资源的合理利用有利于提高土地的使用效率，而充分熟悉土地资源是合理利用土地资源的前提，因此土地分类对于社会生产具有极其重要的作用。随着信息时代的不断发展，高分辨率遥感影像在土地分类方面发挥着重要的作用，它能够更好地体现土地风貌、植被分布等特征，展示更多的地面信息与细节特征。但同时高分辨率下图像的细节更多，在较为复杂的背景下，会给图像解译带来很多的困难。因此，遥感影像语义分割至关重要。
传统的遥感影像语义分割方法主要是基于超像素、聚类以及支持向量机等的分割方法，它们通常只能从遥感影像的浅层特征出发，难以充分挖掘遥感影像的深层特征，具有很强的数据集依赖性，难以广泛使用。随着深度学习的发展，各类神经网络也开始用于遥感影像的语义分割，然而也存在着精确度较低的问题，例如全卷积神经网络存在未充分考虑上下文信息的问题，其它神经网络也存在诸如引入冗余信息、无法充分挖掘特征、没有考虑多尺度等问题。
发明内容
本发明解决的问题是如何提高现有遥感影像语义分割的精确度。
为解决上述问题，本发明提供一种基于多尺度和级联的神经网络遥感影像语义分割方法，该方法包括：
获取待处理遥感影像；
将所述待处理遥感影像输入构建好的语义分割网络，输出所述待处理遥感影像的语义分割结果；所述语义分割网络包括编码网络、特征增强模块、解码网络、语义分割模块；其中，所述编码网络包括卷积块和多个多尺度特征提取模块；所述特征增强模块包括多个信道激活模块；所述解码网络为多个卷积块、多个反卷积块以及多个跨层特征选择模块通过多重级联方式构成；所述语义分割模块包括多尺度物体引导模块和语义分割头。
可选地，所述将所述待处理遥感影像输入构建好的语义分割网络，输出所述待处理遥感影像的语义分割结果包括：
在所述编码网络中对所述待处理遥感影像进行编码，得到多尺度特征；
将所述多尺度特征输入所述特征增强模块，输出增强后的多尺度特征；
在所述解码网络中对所述增强后的多尺度特征进行解码，分别获得第一特征、第二特征以及第三特征；
将所述第一特征、所述第二特征以及所述第三特征输入语义分割模块，输出所述待处理遥感影像的所述语义分割结果。
可选地，所述在所述编码网络中对所述待处理遥感影像进行编码，得到多尺度特征包括：
将所述待处理遥感影像进行卷积、批归一化以及激活函数处理，获得预处理特征；
将所述预处理特征输入多个所述多尺度特征提取模块构成的串联结构，输出所述多尺度特征。
可选地，所述将所述多尺度特征输入所述特征增强模块，输出增强后的多尺度特征包括：
将所述多尺度特征分别输入多个所述信道激活模块，输出所述增强后的多尺度特征。
可选地，还包括：
在所述解码网络中，所述卷积块和所述跨层特征选择模块向下一层的所述卷积块传递特征前，采用双线性插值算法增大所传递特征的尺寸。
可选地，所述将所述第一特征、所述第二特征以及所述第三特征输入语义分割模块，输出所述待处理遥感影像的所述语义分割结果包括：
将所述第一特征和所述第二特征输入所述多尺度物体引导模块，输出引导特征；
将所述引导特征和所述第三特征输入所述语义分割头，获得所述待处理遥感影像的所述语义分割结果。
可选地，所述将所述第一特征和所述第二特征输入所述多尺度物体引导模块，输出引导特征包括：
对所述第一特征和所述第二特征分别进行不同尺度的池化，然后通过1*1卷积和softmax函数分别获得所述第一特征和所述第二特征的权重；
利用最近邻插值算法增大所述第一特征和所述第二特征的权重，并分别与所述第一特征和所述第二特征相乘，从而获得所述引导特征。
可选地，所述多尺度特征提取模块的构建过程包括：
将所述多尺度特征提取模块的输入特征输至五个卷积分支，分别输出所述卷积分支的输出特征；
将所述卷积分支的所述输出特征按照信道维度进行拼接，获得拼接后的特征；
将所述拼接后的特征进行并行的1*1卷积和3*3卷积，然后相加得到所述多尺度特征提取模块的输出特征。
可选地，所述信道激活模块的构建过程包括：
将所述信道激活模块的输入特征先进行3*3卷积，然后采用全局最大池化和全局平均池化提取信道特征，最后依次通过1*1卷积、ReLU函数、层归一化、1*1卷积以及softmax函数处理提取信道权重；
将所述信道权重与所述信道激活模块的输入特征相乘，获得所述信道激活模块的输出。
可选地，所述跨层特征选择模块的构建过程包括：
将所述跨层特征选择模块的两个输入特征分别进行3*3卷积，获取卷积处理后的两个特征，然后相加并通过全局平均池化捕获全局特征信息，再利用多层感知机和softmax函数获取所述跨层特征选择模块的两个输入特征的权重；
将所述跨层特征选择模块的两个输入特征的权重和所述卷积处理后的两个特征相乘，然后相加并经过3*3卷积得到所述跨层特征选择模块的输出特征。
本发明所述的基于多尺度和级联的神经网络遥感影像语义分割方法的有益效果是：先通过编码网络对待处理遥感影像进行编码，具体地，利用多尺度特征提取模块进行综合性的特征提取，从而提高了网络对待处理遥感影像多尺度信息的理解能力。然后在特征增强模块中通过信道激活模块捕获特征中具有代表性和区分度的特征，以此来激活对应信道的特征。接着利用解码网络对特征进行逐层解码，多重级联的方式能够增加信息流的传递，增强解码网络的语义理解能力。最终在这些基础上利用语义分割模块实现语义分割，极大地提升了待处理遥感影像语义分割的精确度。
附图说明
图1为本发明实施例的一种基于多尺度和级联的神经网络遥感影像语义分割方法的流程示意图一；
图2为本发明实施例的语义分割网络的网络架构示意图；
图3为本发明实施例的一种基于多尺度和级联的神经网络遥感影像语义分割方法的流程示意图二；
图4为本发明实施例的一种基于多尺度和级联的神经网络遥感影像语义分割方法的流程示意图三；
图5为本发明实施例的多尺度特征提取模块的结构示意图；
图6为本发明实施例的信道激活模块的结构示意图；
图7为本发明实施例的跨层特征选择模块的结构示意图；
图8为本发明实施例的多尺度物体引导模块的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1为本发明实施例提供的一种基于多尺度和级联的神经网络遥感影像语义分割方法的流程示意图，如图1所示，该方法包含以下步骤：
步骤101、获取待处理遥感影像。
具体地，待处理遥感影像可以为一张或者多张。
步骤102、将所述待处理遥感影像输入构建好的语义分割网络，输出所述待处理遥感影像的语义分割结果；所述语义分割网络包括编码网络、特征增强模块、解码网络、语义分割模块；其中，所述编码网络包括卷积块和多个多尺度特征提取模块；所述特征增强模块包括多个信道激活模块；所述解码网络为多个卷积块、多个反卷积块以及多个跨层特征选择模块通过多重级联方式构成；所述语义分割模块包括多尺度物体引导模块和语义分割头。
参照图2，图2为本实施例中语义分割网络的网络架构示意图，具体地，在获取待处理遥感影像后，将该待处理遥感影像输入语义分割网络，即可获得该待处理遥感影像的语义分割结果。该语义分割网络包括四个部分，其中，编码网络的输入为待处理遥感影像，输出为多尺度特征。特征增强模块的输入为多尺度特征，输出为增强后的多尺度特征。解码网络的输入为增强后的多尺度特征，输出为第一特征、第二特征以及第三特征。语义分割模块的输入为第一特征、第二特征以及第三特征，输出为待处理遥感影像的语义分割结果。编码网络中的卷积块即图2中待处理遥感影像输入的CBL模块，解码网络中的卷积块同样也是图2对应位置的CBL模块，需要说明的是，编码网络中的卷积块和解码网络中的卷积块结构相同，均包括卷积、批归一化以及LeakyRelu函数。解码网络中的反卷积块即图2中的DBL模块，DBL模块包括反卷积、批归一化以及LeakyRelu函数。解码网络通过多重级联的方式将卷积块、反卷积块以及跨层特征选择模块(Cross-layer Feature Selection Module，CFSM)连接起来，可以更好地对特征进行解码，获得更多的特征信息。
在本实施例中，先通过编码网络对待处理遥感影像进行编码，具体地，利用多尺度特征提取模块(Multi-branch Feature Extraction Module，MFEM)进行综合性的特征提取，从而提高了网络对待处理遥感影像多尺度信息的理解能力。然后在特征增强模块中通过信道激活模块(Channel Activate Module，CAM)捕获特征中具有代表性和区分度的特征，以此来激活对应信道的特征。接着利用解码网络对特征进行逐层解码，多重级联的方式能够增加信息流的传递，增强解码网络的语义理解能力。最终在这些基础上利用语义分割模块实现语义分割，极大地提升了待处理遥感影像语义分割的精确度。
在一种可能的实施方式中，如图3所示，所述将所述待处理遥感影像输入构建好的语义分割网络，输出所述待处理遥感影像的语义分割结果包括：
步骤201、在所述编码网络中对所述待处理遥感影像进行编码，得到多尺度特征。
参照图2，将待处理遥感影像输入语义分割网络，先在编码网络中对该待处理遥感影像编码，该编码网络即图2中一个CBL模块和五个MFEM模块构成的编码网络，通过这五个MFEM模块的输出获得多尺度特征。
在一种可能的实施方式中，所述在所述编码网络中对所述待处理遥感影像进行编码，得到多尺度特征包括：
将所述待处理遥感影像进行卷积、批归一化以及激活函数处理，获得预处理特征；
将所述预处理特征输入多个所述多尺度特征提取模块构成的串联结构，输出所述多尺度特征。
具体地，先将待处理遥感影像通过一个卷积块即CBL模块调整信道数，得到预处理特征，其中，CBL模块包含卷积、批归一化以及LeakyRelu函数，再经过多个MFEM模块构成的串联结构进行编码。在将每个MFEM模块的输出特征输入下一个MFEM模块之前，对每个MFEM模块的输出特征进行软池化，从而实现下采样。其中，软池化是一种池化操作的变体，其目的是对输入数据进行下采样并减少输出数据的维度。与传统的池化操作不同的是，软池化不是直接选取最大值或平均值，而是通过对输入数据进行softmax转换来获取每个元素的权重，并将加权和作为输出。
步骤202、将所述多尺度特征输入所述特征增强模块，输出增强后的多尺度特征。
参照图2，特征增强模块即图2中五个CAM构成的模块，将编码网络中五个MFEM模块输出的特征即多尺度特征分别输入五个CAM模块，通过这五个CAM模块输出增强后的多尺度特征。
步骤203、在所述解码网络中对所述增强后的多尺度特征进行解码，获得第一特征、第二特征以及第三特征。
参照图2，解码网络即图2中四个DBL模块、六个CBL模块以及三个CFSM模块构成的级联网络，其中，DBL模块即反卷积块包含反卷积、批归一化以及LeakyRelu函数，CBL模块即卷积块包含卷积、批归一化以及LeakyRelu函数，将特征增强模块输出的增强后的多尺度特征输入到解码网络的四个DBL模块中，通过三个CBL模块输出第一特征、第二特征以及第三特征。
步骤204、将所述第一特征、所述第二特征以及所述第三特征输入语义分割模块，输出所述待处理遥感影像的所述语义分割结果。
参照图2，语义分割模块包含多尺度物体引导模块(Multi-scale Object GuideModule，MOGM)以及语义分割头(Segmentation Head)，其中，语义分割头为卷积块即CBL模块，包括卷积、批归一化以及LeakyRelu函数，将第一特征、第二特征以及第三特征输入语义分割模块，由此获得待处理遥感影像的语义分割结果。
在上述实施例中，先通过编码网络对待处理遥感影像进行编码，具体地，利用多尺度特征提取模块进行综合性的特征提取，从而提高了网络对待处理遥感影像多尺度信息的理解能力。然后在特征增强模块中捕获特征中具有代表性和区分度的特征，以此来激活对应信道的特征。接着利用解码网络对特征进行逐层解码，多重级联的方式能够增加信息流的传递，增强解码网络的语义理解能力。最终在这些基础上利用语义分割模块实现语义分割，极大地提升了待处理遥感影像语义分割的精确度。
在一种可能的实施方式中，如图4所示，所述多尺度特征提取模块的构建过程包括：
步骤301、将所述多尺度特征提取模块的输入特征输至五个卷积分支，分别输出所述卷积分支的输出特征。
参照图5，将多尺度特征提取模块的输入特征输至五个卷积分支，这五个卷积分支分别从不同尺度上提取特征。其中，在第一个卷积分支对多尺度特征提取模块的输入特征进行1*1卷积，在第二个卷积分支对多尺度特征提取模块的输入特征依次进行最大池化、1*1卷积，在第三个卷积分支对多尺度特征提取模块的输入特征依次进行1*1卷积以及扩张速率为1的3*3卷积，在第四个卷积分支对多尺度特征提取模块的输入特征依次进行1*1卷积、扩张速率为1的3*3卷积以及扩张速率为2的3*3卷积，在第五个卷积分支对多尺度特征提取模块的输入特征依次进行1*1卷积、扩张速率为1的3*3卷积、扩张速率为2的3*3卷积以及扩张速率为5的3*3卷积，从而获取五个卷积分支的输出特征。其中，扩张速率也称为空洞卷积率，是深度学习中卷积神经网络中卷积操作的一个参数，用于控制卷积核在输入特征图上的采样步长。扩张速率的作用是在不增加卷积核大小和参数数量的情况下，扩大卷积核感受野的范围。
步骤302、将所述卷积分支的所述输出特征按照信道维度进行拼接，获得拼接后的特征。
参照图5，将五个卷积分支的输出特征进行拼接，从而获得拼接后的特征。
步骤303、将所述拼接后的特征进行并行的1*1卷积和3*3卷积，然后相加得到所述多尺度特征提取模块的输出特征。
参照图5，将拼接后的特征通过并行的1*1卷积以及扩张速率为1的3*3卷积，然后逐元素相加获得多尺度特征提取模块的输出特征，其中，图5中的逐元素相加是指矩阵对应位置的元素逐个相加，需要说明的是，多尺度特征提取模块的输出特征和输入特征相比，通道数扩大一倍。
在上述实施例中，通过多尺度特征提取模块实现基于多尺度和多感受野的综合性特征提取，从而提高了网络对遥感影像多尺度信息的理解能力。
在一种可能的实施方式中，所述将所述多尺度特征输入所述特征增强模块，输出增强后的多尺度特征包括：
将所述多尺度特征分别输入多个所述信道激活模块，输出所述增强后的多尺度特征。
参照图2，特征增强模块即图2中五个CAM构成的模块，将多尺度特征分别输入五个CAM模块，通过这五个CAM模块输出增强后的多尺度特征。
在一种可能的实施方式中，所述信道激活模块的构建过程包括：
将所述信道激活模块的输入特征先进行3*3卷积，然后采用全局最大池化和全局平均池化提取信道特征，最后依次通过1*1卷积、ReLU函数、层归一化、1*1卷积以及softmax函数处理提取信道权重；
将所述信道权重与所述信道激活模块的输入特征相乘，获得所述信道激活模块的输出。
参照图6，将信道激活模块的输入特征先进行3*3卷积，然后分别进行全局最大池化(Global Max Pooling，GMP)和全局平均池化(Global Average Pooling，GAP)后进行逐元素相加，再进行1*1卷积、ReLU激活函数、层归一化(Layer Norm)处理，接着进行1*1卷积以及通过softmax函数处理获得信道权重。将获取的信道权重与信道激活模块的输入特征相乘，从而获得信道激活模块的输出。
在上述实施例中，通过全局平均池化和全局最大池化两种池化，充分地捕获特征中具有代表性和区分度的特征，从而实现对多尺度特征进行信道层面的特征增强。
在一种可能的实施方式中，还包括：
在所述解码网络中，所述卷积块和所述跨层特征选择模块向下一层的所述卷积块传递特征前，采用双线性插值算法增大所传递特征的尺寸。
具体地，采用双线性插值算法增大所传递特征的长和宽，从而实现对所传递特征的上采样。
在一种可能的实施方式中，所述跨层特征选择模块的构建过程包括：
将所述跨层特征选择模块的两个输入特征分别进行3*3卷积，获取卷积处理后的两个特征，然后相加并通过全局平均池化捕获全局特征信息，再利用多层感知机和softmax函数获取所述跨层特征选择模块的两个输入特征的权重；
将所述跨层特征选择模块的两个输入特征的权重和所述卷积处理后的两个特征相乘，然后相加并经过3*3卷积得到所述跨层特征选择模块的输出特征。
如图2所示，CFSM模块的两个输入特征分别是从CAM模块、DBL模块或CBL模块输出的。参照图7，将跨层特征选择模块的两个输入特征分别进行3*3卷积，得到卷积处理后的两个特征，将这两个特征逐元素相加并进行全局平均池化,然后通过多层感知机(Multilayerperceptron，MLP)以及softmax函数获取跨层特征选择模块的两个输入特征的权重W1和W2，分别将W1和W2与对应卷积处理后的特征相乘，然后逐元素相加并进行3*3卷积，从而获得跨层特征选择模块的输出特征。其中，多层感知机是一种基于前向人工神经网络的机器学习模型，它由一个或多个全连接的隐藏层和一个输出层组成，每个隐藏层包含多个神经元，也称为感知机，输出层的神经元数目通常与任务的类别数相等，多层感知机具有改变隐藏层层数的作用。
在上述实施例中，跨层特征选择模块通过利用多层感知机提取特征的权重，提高了网络对于重要特征的关注度，增强了网络的表征能力。
在一种可能的实施方式中，所述将所述第一特征、所述第二特征以及所述第三特征输入语义分割模块，输出所述待处理遥感影像的所述语义分割结果包括：
将所述第一特征和所述第二特征输入所述多尺度物体引导模块，输出引导特征；
将所述引导特征和所述第三特征输入所述语义分割头，获得所述待处理遥感影像的所述语义分割结果。
参照图2，将第一特征和第二特征输入MOGM模块，通过该MOGM模块输出引导特征，将引导特征和第三特征均输入语义分割头，其中，语义分割头为CBL模块，即卷积块，通过该语义分割头输出待处理遥感影像的语义分割结果。
在一种可能的实施方式中，所述将所述第一特征和所述第二特征输入所述多尺度物体引导模块，输出引导特征包括：
对所述第一特征和所述第二特征分别进行不同尺度的池化，然后通过1*1卷积和softmax函数分别获得所述第一特征和所述第二特征的权重；
利用最近邻插值算法增大所述第一特征和所述第二特征的权重，并分别与所述第一特征和所述第二特征相乘，从而获得所述引导特征。
参照图8，将第一特征和第二特征分别进行不同尺度的池化，示例性地，可以将第一特征和第二特征的长和宽分别池化到原来的1/32和1/4大小，本实施例对此不做具体限制，可以根据实际情况进行具体设置，然后进行1*1卷积和softmax函数处理，获得第一特征和第二特征的权重。
最近邻插值算法是将变换后的图像中原像素点最邻近像素的灰度值赋给原像素点的方法，采用最近邻插值算法增大第一特征和第二特征的权重，并分别与第一特征和第二特征相乘，然后逐元素相加即可获得引导特征。
在上述实施例中，利用多尺度物体引导模块在两种尺度上进行特征引导，提高了网络对于遥感影像中不同大小物体的辨别能力，最后通过语义分割头获得待处理遥感影像的语义分割结果，提高了待处理遥感影像语义分割的精确度。
虽然本发明披露如上，但本发明的保护范围并非仅限于此。本领域技术人员在不脱离本发明的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (10)

1.一种基于多尺度和级联的神经网络遥感影像语义分割方法，其特征在于，包括：
获取待处理遥感影像；
将所述待处理遥感影像输入构建好的语义分割网络，输出所述待处理遥感影像的语义分割结果；所述语义分割网络包括编码网络、特征增强模块、解码网络、语义分割模块；其中，所述编码网络包括卷积块和多个多尺度特征提取模块；所述特征增强模块包括多个信道激活模块；所述解码网络为多个卷积块、多个反卷积块以及多个跨层特征选择模块通过多重级联方式构成；所述语义分割模块包括多尺度物体引导模块和语义分割头。
2.根据权利要求1所述的基于多尺度和级联的神经网络遥感影像语义分割方法，其特征在于，所述将所述待处理遥感影像输入构建好的语义分割网络，输出所述待处理遥感影像的语义分割结果包括：
在所述编码网络中对所述待处理遥感影像进行编码，得到多尺度特征；
将所述多尺度特征输入所述特征增强模块，输出增强后的多尺度特征；
在所述解码网络中对所述增强后的多尺度特征进行解码，分别获得第一特征、第二特征以及第三特征；
将所述第一特征、所述第二特征以及所述第三特征输入语义分割模块，输出所述待处理遥感影像的所述语义分割结果。
3.根据权利要求2所述的基于多尺度和级联的神经网络遥感影像语义分割方法，其特征在于，所述在所述编码网络中对所述待处理遥感影像进行编码，得到多尺度特征包括：
将所述待处理遥感影像进行卷积、批归一化以及激活函数处理，获得预处理特征；
将所述预处理特征输入多个所述多尺度特征提取模块构成的串联结构，输出所述多尺度特征。
4.根据权利要求2所述的基于多尺度和级联的神经网络遥感影像语义分割方法，其特征在于，所述将所述多尺度特征输入所述特征增强模块，输出增强后的多尺度特征包括：
将所述多尺度特征分别输入多个所述信道激活模块，输出所述增强后的多尺度特征。
5.根据权利要求2所述的基于多尺度和级联的神经网络遥感影像语义分割方法，其特征在于，还包括：
在所述解码网络中，所述卷积块和所述跨层特征选择模块向下一层的所述卷积块传递特征前，采用双线性插值算法增大所传递特征的尺寸。
6.根据权利要求2所述的基于多尺度和级联的神经网络遥感影像语义分割方法，其特征在于，所述将所述第一特征、所述第二特征以及所述第三特征输入语义分割模块，输出所述待处理遥感影像的所述语义分割结果包括：
将所述第一特征和所述第二特征输入所述多尺度物体引导模块，输出引导特征；
将所述引导特征和所述第三特征输入所述语义分割头，获得所述待处理遥感影像的所述语义分割结果。
7.根据权利要求6所述的基于多尺度和级联的神经网络遥感影像语义分割方法，其特征在于，所述将所述第一特征和所述第二特征输入所述多尺度物体引导模块，输出引导特征包括：
对所述第一特征和所述第二特征分别进行不同尺度的池化，然后通过1*1卷积和softmax函数分别获得所述第一特征和所述第二特征的权重；
利用最近邻插值算法增大所述第一特征和所述第二特征的权重，并分别与所述第一特征和所述第二特征相乘，从而获得所述引导特征。
8.根据权利要求1所述的基于多尺度和级联的神经网络遥感影像语义分割方法，其特征在于，所述多尺度特征提取模块的构建过程包括：
将所述多尺度特征提取模块的输入特征输至五个卷积分支，分别输出所述卷积分支的输出特征；
将所述卷积分支的所述输出特征按照信道维度进行拼接，获得拼接后的特征；
将所述拼接后的特征进行并行的1*1卷积和3*3卷积，然后相加得到所述多尺度特征提取模块的输出特征。
9.根据权利要求1所述的基于多尺度和级联的神经网络遥感影像语义分割方法，其特征在于，所述信道激活模块的构建过程包括：
将所述信道激活模块的输入特征先进行3*3卷积，然后采用全局最大池化和全局平均池化提取信道特征，最后依次通过1*1卷积、ReLU函数、层归一化、1*1卷积以及softmax函数处理提取信道权重；
将所述信道权重与所述信道激活模块的输入特征相乘，获得所述信道激活模块的输出。
10.根据权利要求1所述的基于多尺度和级联的神经网络遥感影像语义分割方法，其特征在于，所述跨层特征选择模块的构建过程包括：
将所述跨层特征选择模块的两个输入特征分别进行3*3卷积，获取卷积处理后的两个特征，然后相加并通过全局平均池化捕获全局特征信息，再利用多层感知机和softmax函数获取所述跨层特征选择模块的两个输入特征的权重；
将所述跨层特征选择模块的两个输入特征的权重和所述卷积处理后的两个特征相乘，然后相加并经过3*3卷积得到所述跨层特征选择模块的输出特征。
CN202310530344.2A 2023-05-12 2023-05-12 基于多尺度和级联的神经网络遥感影像语义分割方法 Pending CN116645505A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310530344.2A CN116645505A (zh) 2023-05-12 2023-05-12 基于多尺度和级联的神经网络遥感影像语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310530344.2A CN116645505A (zh) 2023-05-12 2023-05-12 基于多尺度和级联的神经网络遥感影像语义分割方法

Publications (1)

Publication Number Publication Date
CN116645505A true CN116645505A (zh) 2023-08-25

Family

ID=87639137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310530344.2A Pending CN116645505A (zh) 2023-05-12 2023-05-12 基于多尺度和级联的神经网络遥感影像语义分割方法

Country Status (1)

Country Link
CN (1) CN116645505A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197182A (zh) * 2019-06-11 2019-09-03 中国电子科技集团公司第五十四研究所 基于上下文信息和注意力机制的遥感影像语义分割方法
CN112287940A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于深度学习的注意力机制的语义分割的方法
CN113298818A (zh) * 2021-07-09 2021-08-24 大连大学 基于注意力机制与多尺度特征的遥感图像建筑物分割方法
CN113807210A (zh) * 2021-08-31 2021-12-17 西安理工大学 一种基于金字塔切分注意力模块的遥感图像语义分割方法
CN114936995A (zh) * 2022-06-15 2022-08-23 郑州轻工业大学 基于大核注意力机制的多尺度特征增强的遥感图像融合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197182A (zh) * 2019-06-11 2019-09-03 中国电子科技集团公司第五十四研究所 基于上下文信息和注意力机制的遥感影像语义分割方法
CN112287940A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于深度学习的注意力机制的语义分割的方法
CN113298818A (zh) * 2021-07-09 2021-08-24 大连大学 基于注意力机制与多尺度特征的遥感图像建筑物分割方法
CN113807210A (zh) * 2021-08-31 2021-12-17 西安理工大学 一种基于金字塔切分注意力模块的遥感图像语义分割方法
CN114936995A (zh) * 2022-06-15 2022-08-23 郑州轻工业大学 基于大核注意力机制的多尺度特征增强的遥感图像融合方法

Similar Documents

Publication Publication Date Title
CN108491836B (zh) 一种自然场景图像中中文文本整体识别方法
CN113706545B (zh) 一种基于双分支神经判别降维的半监督图像分割方法
CN112560865B (zh) 一种室外大场景下点云的语义分割方法
CN113076957A (zh) 一种基于跨模态特征融合的rgb-d图像显著性目标检测方法
CN110599502A (zh) 一种基于深度学习的皮肤病变分割方法
CN111899168A (zh) 一种基于特征增强的遥感影像超分辨率重建方法和系统
Wang et al. TF-SOD: a novel transformer framework for salient object detection
CN113971735A (zh) 一种深度图像聚类方法、系统、设备、介质及终端
CN113362242A (zh) 基于多特征融合网络的图像修复方法
CN114463340B (zh) 一种边缘信息引导的敏捷型遥感图像语义分割方法
CN111199237A (zh) 一种基于注意力的卷积神经网络分频特征提取方法
CN115100509B (zh) 基于多分支块级注意力增强网络的图像识别方法及系统
CN114494284B (zh) 一种基于显式监督区域关系的场景解析模型及方法
CN116246109A (zh) 一种多尺度孔洞邻域注意力计算骨干网络模型及其应用
CN116645505A (zh) 基于多尺度和级联的神经网络遥感影像语义分割方法
CN113269702A (zh) 基于跨尺度特征融合的低曝光静脉图像增强方法
CN113837263A (zh) 基于特征融合注意力模块和特征选择的手势图像分类方法
CN112464733A (zh) 基于双向特征融合的高分辨率光学遥感图像地物分类方法
CN117114994B (zh) 基于层次特征融合的矿井图像超分辨率重建方法及系统
Wu et al. Lightweight stepless super-resolution of remote sensing images via saliency-aware dynamic routing strategy
CN115457611B (zh) 一种基于特征解耦网络的静脉识别方法
CN115496910B (zh) 基于全连接图编码及双重扩张残差的点云语义分割方法
CN115909045B (zh) 一种基于对比学习的two-stage滑坡图谱特征智能识别方法
CN114612685B (zh) 一种结合深度特征与对比学习的自监督信息提取方法
CN117058392A (zh) 一种基于卷积局部增强的多尺度Transformer图像语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination