CN111797779A - 基于区域注意力多尺度特征融合的遥感图像语义分割方法 - Google Patents

基于区域注意力多尺度特征融合的遥感图像语义分割方法 Download PDF

Info

Publication number
CN111797779A
CN111797779A CN202010651410.8A CN202010651410A CN111797779A CN 111797779 A CN111797779 A CN 111797779A CN 202010651410 A CN202010651410 A CN 202010651410A CN 111797779 A CN111797779 A CN 111797779A
Authority
CN
China
Prior art keywords
feature
remote sensing
feature map
training
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010651410.8A
Other languages
English (en)
Inventor
闫浩文
芦万祯
吴小所
蔡佳丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou Jiaotong University
Original Assignee
Lanzhou Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou Jiaotong University filed Critical Lanzhou Jiaotong University
Priority to CN202010651410.8A priority Critical patent/CN111797779A/zh
Publication of CN111797779A publication Critical patent/CN111797779A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于区域注意力多尺度特征融合的遥感图像语义分割方法，包括以下步骤：S1、构建针对遥感图像语义分割网络的网络模型；S2、构建训练数据集，并对收集训练用的数据集进行预处理；S3、将训练用的数据集输入网络模型进行训练，获得训练参数后并进行预测结果。本发明引入了图像级联网络的思想，大大减少了模型参数量。同时利用注意力机制优化编码特征与解码特征，构造出区域注意力模块、多尺度组融合模块，提取和融合不同尺度的特征图，并使用多尺度的语义标签和边界标签指导训练，在模型的参数量仅有8.4M的情况下，有效提高了模型性能。

Description

基于区域注意力多尺度特征融合的遥感图像语义分割方法
技术领域
本发明涉及到图像处理技术领域，尤其涉及到一种基于区域注意力多尺度特征融合的遥感图像语义分割方法。
背景技术
随着科学技术的进步，遥感卫星技术得到了长远的发展，遥感图像的语义分割研究也变的火热起来，但是遥感图像具有成像复杂、信息冗余、种类繁多等特点，因此，如何提高遥感图像的分割精度成为众多研究者关注的一个重点。传统方法的分类过程可分为两个步骤：特征提取和目标分类。即利用特征提取算法提取目标特征，然后利用分类器对目标进行分类。常见的特征提取的方法一般有梯度直方图(Histogram of oriented Gradient)、尺度不变特征变换(Scale-Invariant Feature Transform)、稀疏表示。梯度直方图(HOG)能较好的提取图像局部的梯度特征，但其仍然有着对噪声敏感、计算复杂度高的缺点。尺度不变特征变换(SIFT)提取的图像局部特征具有尺度缩放、旋转和亮度变化不变性，且对噪声有一定程度的稳定性，但SIFT算法无法准确的提取光滑目标的特征点。稀疏表示则在提高准确率的同时可对遥感图像目标进行定位，被应用在很多图像分类的任务中。常见的目标分类方法包括支持向量机(support vector machines)、决策树(decision tree)、随机森林等方法(random forest)。支持向量机(SVM)的目标是寻找对特征空间划分的最优超平面，使得正样本与负样本的隔离边界最大化，不仅剔除了大量的冗余样本，而且又有较好的鲁棒性，但是SVM对多分类的问题仍然存在着较大的困难。决策树(RF)是由多颗决策树组成的整体分类器，通过每颗决策树来投票决定每个像素的分类结果，由于随机性的植入，使得RF具有不容易过拟合，抗噪声等优点。尽管如此，传统算法仍面临着样本空间局限、繁琐费时、非线性能力差的问题。因此，寻找高效且快速遥感图像分割算法是当下亟待解决的问题。
发明内容
本发明的目的是为了克服现有技术的不足，提供了一种基于区域注意力多尺度特征融合的遥感图像语义分割方法。
本发明是通过以下技术方案实现：
本发明提供了一种基于区域注意力多尺度特征融合的遥感图像语义分割方法，该基于区域注意力多尺度特征融合的遥感图像语义分割方法包括以下步骤：
S1、构建针对遥感图像语义分割网络的网络模型；该步骤S1具体包括以下步骤：
S11、选取遥感图像语义分割的主干网络；
S12、采用增强的GCN模块使选取的主干网络得到进一步的改进；
S13、提出一种区域注意力模块，该区域注意力模块可以将不同的权重分配给特征层中的不同区域，主要用于自适应融合具有详细位置信息的低级特征图和具有抽象全局信息的高级特征图；
S14、设计一种多尺度组融合模块，该多尺度组融合模块充当编码器和解码器之间的桥梁，用于融合不同接受领域的特征为具有丰富语义信息的特征；
S2、构建训练数据集，并对收集训练用的数据集进行预处理；该步骤S2具体包括以下步骤：
S21、收集训练用的遥感图像构建训练用的数据集，对数据集的标签进行预处理，即先转化为最大值为类别数的索引图，再将索引图进行one-hot编码；
S22、将收集训练用的遥感图像随机裁剪为固定尺寸的大小；
S23、在收集训练用的遥感图像上进行镜像、旋转、亮度调节等增强处理；
S3、将训练用的数据集输入网络模型进行训练，获得训练参数后并进行预测结果；该步骤S3具体包括以下步骤：
S31、将训练用的数据集输入语义分割网络，得到每张遥感图像的语义分割结果；
S32、使用平均交并比MeanIOU、得分F1、像素精度PA作为评价指标来评价语义分割网络的性能。
优选的，步骤S11包括以下步骤：
S111、选择输入的主干网络为深度残差网络ResNet50；
S112、使用三个3×3卷积层来取代深度残差网络第一阶段的7×7的卷积层，并取消block4中的池化层采用膨胀率为8的空洞卷积来补充取消下采样后的感受野和非线性；
S113、深度残差网络ResNet50最后的block5输出的特征图增加辅助损失，并将其权重设置为0.4。
优选的，所述辅助损失的函数Lpri为：
Figure BDA0002575112340000031
其中，M表示类别数，为one-hot向量，即元素只取0、1，若与样本类别相同则取1，否则取0。
优选的，所述辅助损失为设定损失的一部分，所述设定损失为包括主损失和所述辅助损失的加权和，所述设定损失的函数为：
Ltotal＝αLpri+βLaux；
其中，α、β为平衡所述主损失和所述辅助损失两个损失的超参数，设定为α＝1，β＝0.4。
优选的，步骤S12包括以下步骤：
S121、采用非对称1×k+k×1、1×s+s×1卷积的组合，该组合具有与特征图中k×k卷积一样大的密集区域；
S122、设置第一组非对称卷积的尺寸为1×11+11×1，第二组非对称卷积的尺寸为1×9+9×1；
S123、将第一组非对称1×11+11×1的两组特征图相加；
S124、将第二组非对称1×9+9×1的两组特征图相加；
S125、融合第一组和第二组两组卷积的输出的特征。
优选的，步骤S13包括以下步骤：
S131、将增强的GCN模块的输出特征图输入提出的区域注意力模块；
S132、区域注意力模块将自适应地为输入特征图的每一个通道的不同区域分配权重；
S133、输入的特征图和区域注意力模块分配的权重相乘，根据贡献的大小为每个特征区域的分配不同的权重；
S134、输出每个区域都有不同权重的特征图。
优选的，步骤S132包括以下步骤：
S1321、将输入W×H×C的特征图进行平均池化，池化的大小和步长决定区域注意力模块分配区域权重的面积大小；
S1322、将池化后下采样的特征层进行双线性插值进行上采样，上采样后的特征图与输入特征图大小一致；
S1323、设计一个重采样模块，该重采样模块将输入的特征图分三路进行1×1、4×4、8×8的池化，然后将三路池化后的特征展开并拼接为S×C的特征图，其中,S＝∑n∈{1,4,8}n2；
S1324、将上采样后的特征层分为两个支路进行1×1的卷积，第一个支路将特征层转化为N×C的特征图，其中N等于W×H；第二个支路通过重采样模块将特征层转化为C×S的特征图；
S1325、将两个支路的特征层相乘得到一个尺寸为N×S的特征图；
S1326、将尺寸为N×S的特征图通过激活函数softmax得到基本的被分配权重矩阵；
S1327、输入的W×H×C特征图通过重采样模块将特征层转化为C×S的特征图，并将其转化为S×C的特征图；
S1328、将得到的N×S权重分布矩阵张量与S×C的特征图相乘得到N×C的特征图，最后还原成和输入W×H×C的特征图一样尺度的特征图，得到分配好权重的特征。
优选的，步骤S14包括以下步骤：
S141、将编码器输出的32×32特征图输入多尺度组融合模块；
S142、将输入的特征图按照3：1的比例进行分组；
S143、将分组后的3/4的特征图进行膨胀率为2×2的卷积操作，保留剩下的1/4的特征图；
S144、将进行了膨胀率为2×2的卷积操作的特征图按照2：1的比例进行分组；
S145、将分组后的2/4的特征图进行膨胀率为4×4的卷积操作，保留剩下的1/4的特征图；
S146、将进行了膨胀率为4×4的卷积操作的特征图按照1：1的比例进行分组；
S147、将分组后的1/4的特征图进行膨胀率为8×8的卷积操作，保留卷积后的两组1/4的特征图；
S148、分别融合剩下4组的1/4的特征图，并作为最终的输出特征图进行输出。
优选的，评估使用的平均交并比MeanIOU、得分F1、像素精度PA的公式分别为：
Figure BDA0002575112340000061
Figure BDA0002575112340000062
Figure BDA0002575112340000063
其中，设TP为真正样本数，TN为真负样本数，FP为假正样本数，FN为假负样本数。
在上述实施例中，本发明的主要创新点如下：
(1)受全球卷积网络(GCN)的启发，GCN模块的结构得到了进一步改进。增强的GCN使用两组大小不同的非对称卷积核，而不是与GCN大小相同的非对称卷积核。这种改进的好处是，它不仅可以增加特征层的接受范围，而且可以带来不同的上下文信息。
(2)本发明提出了一种区域注意力模块(RAM)，可以将不同的权重分配给特征层中的不同区域，而不是在每个阶段(级别)更改特征的权重，例如通道注意。RAM主要用于自适应融合具有详细位置信息的低级特征图和具有抽象全局信息的高级特征图。
(3)提供了一种特定的特征融合策略，并设计了一种新的架构，称为多尺度组融合模块(MGFM)，用于融合不同接受领域的特征。MGFM充当编码器和解码器之间的桥梁，并包括四个路径，这些路径以膨胀卷积的不同扩展速率同时提取特征，之后，将来自四个路径的特征融合为具有丰富语义信息的特征。
附图说明
图1是本发明实施例提供的基于区域注意力多尺度特征融合的遥感图像语义分割方法的架构图；
图2是本发明实施例提供的多尺度分组融合模块的结构图；
图3是本发明实施例提供的重采样模块的结构图；
图4是本发明实施例提供的区域注意力模块的结构图；
图5是本发明实施例提供的增强的GCN模块的结构图；
图6、7是在两个不同数据集上与其他流行网络对比的视觉效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了方便理解本发明实施例提供的基于区域注意力多尺度特征融合的遥感图像语义分割方法，下面结合附图及具体的实施例对其进行详细说明。
请参考图1，图1是本发明实施例提供的基于区域注意力多尺度特征融合的遥感图像语义分割方法的架构图。
如图1所示，该基于区域注意力多尺度特征融合的遥感图像语义分割方法包括如下步骤：
第一步：S1、构建针对遥感图像语义分割网络的网络模型。该步骤S1具体包括以下步骤：
S11、选取遥感图像语义分割的主干网络；该主干网络为深度残差网络ResNet50；
S12、采用增强的GCN模块使选取的主干网络得到进一步的改进；如图5所示，增强的GCN模块使用两组大小不同的非对称卷积核；
S13、提出一种区域注意力模块(RAM)，该区域注意力模块如图4所示，可以将不同的权重分配给特征层中的不同区域，例如通道注意，主要用于自适应融合具有详细位置信息的低级特征图和具有抽象全局信息的高级特征图；
S14、设计一种多尺度组融合模块(MGFM)，该多尺度组融合模块如图2所示，充当编码器和解码器之间的桥梁，用于融合不同接受领域的特征为具有丰富语义信息的特征。
上述语义分割网络以ResNet50为骨干网络，分别在block2、block3和block4采用增强的GCN模块获得了更大的接受野与特征多样性，然后把得到的特征输入到了区域注意力模块凭借贡献度获得权重的大小。多尺度组融合模块充当编码器和解码器之间的桥梁，并包括四个路径，这些路径以膨胀卷积的不同扩展速率同时提取特征，之后，将来自四个路径的特征融合为具有丰富语义信息的特征，使得最后特征含有丰富的上下文信息，并且在感受野最大的块、每个点基本覆盖了编码器输出的特征图大小，给网络结构带来了很大的优化。
在本实施例中，步骤S11包括以下步骤：
S111、选择输入的主干网络为深度残差网络ResNet50；
S112、使用三个3×3卷积层来取代深度残差网络第一阶段的7×7的卷积层，并取消block4中的池化层采用膨胀率为8的空洞卷积来补充取消下采样后的感受野和非线性；
S113、深度残差网络ResNet50最后的block5输出的特征图增加辅助损失，并将其权重设置为0.4。
所述辅助损失的函数Lpri为：
Figure BDA0002575112340000091
其中，M表示类别数，为one-hot向量，即元素只取0、1，若与样本类别相同则取1，否则取0。
所述辅助损失为设定损失的一部分，所述设定损失为包括主损失和所述辅助损失的加权和，所述设定损失的函数为：
Ltotal＝αLpri+βLaux；
其中，α、β为平衡所述主损失和所述辅助损失两个损失的超参数，设定为α＝1，β＝0.4。
在本实施例中，步骤S12包括以下步骤：
S121、采用非对称1×k+k×1、1×s+s×1卷积的组合，该组合具有与特征图中k×k卷积一样大的密集区域；
S122、设置第一组非对称卷积的尺寸为1×11+11×1，第二组非对称卷积的尺寸为1×9+9×1；
S123、将第一组非对称1×11+11×1的两组特征图相加；
S124、将第二组非对称1×9+9×1的两组特征图相加；
S125、融合第一组和第二组两组卷积的输出的特征。
优选的，步骤S13包括以下步骤：
S131、将增强的GCN模块的输出特征图输入提出的区域注意力模块；
S132、区域注意力模块将自适应地为输入特征图的每一个通道的不同区域分配权重；
S133、输入的特征图和区域注意力模块分配的权重相乘，根据贡献的大小为每个特征区域的分配不同的权重；
S134、输出每个区域都有不同权重的特征图。
进一步的，步骤S132包括以下步骤：
S1321、将输入W×H×C的特征图进行平均池化，池化的大小和步长决定区域注意力模块分配区域权重的面积大小；
S1322、将池化后下采样的特征层进行双线性插值进行上采样，上采样后的特征图与输入特征图大小一致；
S1323、设计一个重采样模块，该重采样模块如图3所示，将输入的特征图分三路进行1×1、4×4、8×8的池化，然后将三路池化后的特征展开并拼接为S×C的特征图，其中,S＝∑n∈{1,4,8}n2；
S1324、将上采样后的特征层分为两个支路进行1×1的卷积，第一个支路将特征层转化为N×C的特征图，其中N等于W×H；第二个支路通过重采样模块将特征层转化为C×S的特征图；
S1325、将两个支路的特征层相乘得到一个尺寸为N×S的特征图；
S1326、将尺寸为N×S的特征图通过激活函数softmax得到基本的被分配权重矩阵；
S1327、输入的W×H×C特征图通过重采样模块将特征层转化为C×S的特征图，并将其转化为S×C的特征图；
S1328、将得到的N×S权重分布矩阵张量与S×C的特征图相乘得到N×C的特征图，最后还原成和输入W×H×C的特征图一样尺度的特征图，得到分配好权重的特征。
在本实施例中，步骤S14包括以下步骤：
S141、将编码器输出的32×32特征图输入多尺度组融合模块；
S142、将输入的特征图按照3：1的比例进行分组；
S143、将分组后的3/4的特征图进行膨胀率为2×2的卷积操作，保留剩下的1/4的特征图；
S144、将进行了膨胀率为2×2的卷积操作的特征图按照2：1的比例进行分组；
S145、将分组后的2/4的特征图进行膨胀率为4×4的卷积操作，保留剩下的1/4的特征图；
S146、将进行了膨胀率为4×4的卷积操作的特征图按照1：1的比例进行分组；
S147、将分组后的1/4的特征图进行膨胀率为8×8的卷积操作，保留卷积后的两组1/4的特征图；
S148、分别融合剩下4组的1/4的特征图，并作为最终的输出特征图进行输出。
第二步：S2、构建训练数据集，并对收集训练用的数据集进行预处理。该步骤S2具体包括以下步骤：
S21、收集训练用的遥感图像构建训练用的数据集，对数据集的标签进行预处理，即先转化为最大值为类别数的索引图，再将索引图进行one-hot编码；
S22、将收集训练用的遥感图像随机裁剪为固定尺寸的大小；
S23、在收集训练用的遥感图像上进行镜像、旋转、亮度调节等增强处理。
上述训练用的数据集可以包括海量公开的遥感图像。
上述步骤S21中，波茨坦(Potsdam)数据集包含38个块(6000×6000像素)，地面采样距离为5厘米。每个块均由从较大的TOP(true orthophoto)中提取的真实正射影像(TOP)组成，TOP是TIFF文件，位于不同的通道组成中，其中每个通道的光谱分辨率为8位：IRRG具有3个通道(IR-RG)，具有3个通道的RGB(RGB)和具有4个通道的RGBIR(RGB-IR)。在我们的实验中，将可用数据的十六个块随机分为包含10张图片的训练数据和6张图片的验证数据。考虑到分辨率太高的图像是训练的缺点，我们采用最简单的方法将大图像裁剪为512×512色块，以使CNN能够进行批量训练并节省计算量，其中1500个块用作训练数据，其他块用于验证建议的模块。
上述步骤S21中，CCF数据集中有四张高分辨率的图像：两张分辨率为7969×7939，一张图像分辨率为5664×5142，另一张图像分辨率为4011×2470。为方便起见，对这些图片进行与Potsdam设置相同的处理，将这些高分辨率图像及其对应的地面真实情况随机切成尺寸为512×512的较小块。在我们的实验中，我们使用其中的2390个块作为训练数据，其中783个作为验证数据。
第三步：S3、将训练用的数据集输入网络模型进行训练，获得训练参数后并进行预测结果。该步骤S3具体包括以下步骤：
S31、将训练用的数据集输入语义分割网络，得到每张遥感图像的语义分割结果；
S32、使用平均交并比MeanIOU、得分F1、像素精度PA作为评价指标来评价语义分割网络的性能。
在此需要说明的是，评估使用的平均交并比MeanIOU、得分F1、像素精度PA的公式分别为：
Figure BDA0002575112340000131
Figure BDA0002575112340000141
Figure BDA0002575112340000142
其中，设TP为真正样本数，TN为真负样本数，FP为假正样本数，FN为假负样本数。
在训练过程中，添加了一些训练的细节，该训练的细节具体如下：
采用软件环境基于名为“Keras”的深度学习框架，该框架是从Tensorflow和Theano扩展而来的；
在配备Intel Core i7-9750H(12M缓存，4.50GHz)，32GB内存(RAM)，NvidiaGeForce RTX 2080Ti(11GB)的服务器上训练了网络模型，花了28个小时来训练500个批次；
在ImageNet上对ResNet-50预训练，并删除“Block4”的下采样操作；
采用Adam优化器[40]来优化我们的网络，其中每个数据集的初始学习率设置为0.001。
其中，学习率根据“poly”学习率策略衰减，其中学习率设置为：
Figure BDA0002575112340000143
结果分析如下：
在Potsdam数据集上的实验揭示了在平均IOU方面我们网络结构与其他现有技术之间的比较有着较好的分割效果。下表报告了我们所有提出的策略和四个比较结构的模型的性能。与通过比较方法(U-Net，SegNet，DeeplabV3和GCN)获得的平均值相比，Mean IoU的增加显而易见。平均IoU分别增加了12.33％，10.65％，5.18％和4.11％，尤其是在“树”类和“建筑”类中。图6显示了DCED50-M-G-R和其他模型的局部语义分割结果的直观比较。DCED50-M-G-R在所有类别中的表现均优于其他模型，尤其是在“tree”类别和“building”类别中。通常，这些结果证明DCED50-M-G-R可以有效地提高分割性能，并且比其他模型表现更好。
Figure BDA0002575112340000151
在CCF上的实验揭示了在平均IOU方面我们网络结构与其他现有技术之间的比较有着较好的分割效果。下表报告了我们所有提出的策略和四个比较结构的模型的性能。与比较方法(U-Net，SegNet，DeeplabV3和GCN)相比，Mean IoU的增加是明显的，尤其是IOU分别增加了21.16％，14.85％，6.21％和4.95％。在“道路”，“背景”和“建筑”等类别中可以看到明显的改善。图7显示了DCED50-M-G-R和其他模型的局部语义分割结果的直观比较。DCED50-M-G-R在所有类别中的性能均优于其他模型，尤其是在“公路”和“建筑”类别中。通常，结果证明DCED50-M-G-R可以有效地提高分割性能，并比其他模型更好地发挥作用。
Figure BDA0002575112340000152
Figure BDA0002575112340000161
近年来，深度学习在遥感图像上的应用取得了令人瞩目的成绩。FCN的出现给遥感图像的分割提高了一种新的思路，FCN对遥感图像进行像素级的分类，从而解决了语义级别的图像分割问题，随后，涌现出诸多改进的FCN。U-Net采用了encoder-decoder的框架，利用skep-layer来恢复丢失的位置信息。与U-Net不同，SegNet利用Unpooling在池化操作期间将最大激活位置记录下来，然后用反卷积操作填补丢失信息的内容。Chen等人提出的Deeplab充分的发挥了空洞卷积优势，在没增加参数的情况下增加特征层的感受野，并且巧妙的将CNN与概率图模型结合起来，通过条件随机场(CRF)实现了结构化的预测、提升了分割精度。
本发明引入了图像级联网络的思想，大大减少了模型参数量。同时利用注意力机制优化编码特征与解码特征，构造出区域注意力模块、多尺度组融合模块，提取和融合不同尺度的特征图，并使用多尺度的语义标签和边界标签指导训练，在模型的参数量仅有8.4M的情况下，有效提高了模型性能。
本发明的主要创新点如下：
(1)受全球卷积网络(GCN)的启发，GCN模块的结构得到了进一步改进。增强的GCN使用两组大小不同的非对称卷积核，而不是与GCN大小相同的非对称卷积核。这种改进的好处是，它不仅可以增加特征层的接受范围，而且可以带来不同的上下文信息。
(2)本发明提出了一种区域注意力模块(RAM)，可以将不同的权重分配给特征层中的不同区域，而不是在每个阶段(级别)更改特征的权重，例如通道注意。RAM主要用于自适应融合具有详细位置信息的低级特征图和具有抽象全局信息的高级特征图。
(3)提供了一种特定的特征融合策略，并设计了一种新的架构，称为多尺度组融合模块(MGFM)，用于融合不同接受领域的特征。MGFM充当编码器和解码器之间的桥梁，并包括四个路径，这些路径以膨胀卷积的不同扩展速率同时提取特征，之后，将来自四个路径的特征融合为具有丰富语义信息的特征。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于区域注意力多尺度特征融合的遥感图像语义分割方法，其特征在于，包括以下步骤：
S1、构建针对遥感图像语义分割网络的网络模型；该步骤S1具体包括以下步骤：
S11、选取遥感图像语义分割的主干网络；
S12、采用增强的GCN模块使选取的主干网络得到进一步的改进；
S13、提出一种区域注意力模块，该区域注意力模块可以将不同的权重分配给特征层中的不同区域，主要用于自适应融合具有详细位置信息的低级特征图和具有抽象全局信息的高级特征图；
S14、设计一种多尺度组融合模块，该多尺度组融合模块充当编码器和解码器之间的桥梁，用于融合不同接受领域的特征为具有丰富语义信息的特征；
S2、构建训练数据集，并对收集训练用的数据集进行预处理；该步骤S2具体包括以下步骤：
S21、收集训练用的遥感图像构建训练用的数据集，对数据集的标签进行预处理，即先转化为最大值为类别数的索引图，再将索引图进行one-hot编码；
S22、将收集训练用的遥感图像随机裁剪为固定尺寸的大小；
S23、在收集训练用的遥感图像上进行镜像、旋转、亮度调节等增强处理；
S3、将训练用的数据集输入网络模型进行训练，获得训练参数后并进行预测结果；该步骤S3具体包括以下步骤：
S31、将训练用的数据集输入语义分割网络，得到每张遥感图像的语义分割结果；
S32、使用平均交并比MeanIOU、得分F1、像素精度PA作为评价指标来评价语义分割网络的性能。
2.根据权利要求1所述的基于区域注意力多尺度特征融合的遥感图像语义分割方法，其特征在于，步骤S11包括以下步骤：
S111、选择输入的主干网络为深度残差网络ResNet50；
S112、使用三个3×3卷积层来取代深度残差网络第一阶段的7×7的卷积层，并取消block4中的池化层采用膨胀率为8的空洞卷积来补充取消下采样后的感受野和非线性；
S113、深度残差网络ResNet50最后的block5输出的特征图增加辅助损失，并将其权重设置为0.4。
3.根据权利要求2所述的基于区域注意力多尺度特征融合的遥感图像语义分割方法，其特征在于，所述辅助损失的函数Lpri为：
Figure FDA0002575112330000021
其中，M表示类别数，为one-hot向量，即元素只取0、1，若与样本类别相同则取1，否则取0。
4.根据权利要求3所述的基于区域注意力多尺度特征融合的遥感图像语义分割方法，其特征在于，所述辅助损失为设定损失的一部分，所述设定损失为包括主损失和所述辅助损失的加权和，所述设定损失的函数为：
Ltotal＝αLpri+βLaux；
其中，α、β为平衡所述主损失和所述辅助损失两个损失的超参数，设定为α＝1，β＝0.4。
5.根据权利要求1所述的基于区域注意力多尺度特征融合的遥感图像语义分割方法，其特征在于，步骤S12包括以下步骤：
S121、采用非对称1×k+k×1、1×s+s×1卷积的组合，该组合具有与特征图中k×k卷积一样大的密集区域；
S122、设置第一组非对称卷积的尺寸为1×11+11×1，第二组非对称卷积的尺寸为1×9+9×1；
S123、将第一组非对称1×11+11×1的两组特征图相加；
S124、将第二组非对称1×9+9×1的两组特征图相加；
S125、融合第一组和第二组两组卷积的输出的特征。
6.根据权利要求1所述的基于区域注意力多尺度特征融合的遥感图像语义分割方法，其特征在于，步骤S13包括以下步骤：
S131、将增强的GCN模块的输出特征图输入提出的区域注意力模块；
S132、区域注意力模块将自适应地为输入特征图的每一个通道的不同区域分配权重；
S133、输入的特征图和区域注意力模块分配的权重相乘，根据贡献的大小为每个特征区域的分配不同的权重；
S134、输出每个区域都有不同权重的特征图。
7.根据权利要求6所述的基于区域注意力多尺度特征融合的遥感图像语义分割方法，其特征在于，步骤S132包括以下步骤：
S1321、将输入W×H×C的特征图进行平均池化，池化的大小和步长决定区域注意力模块分配区域权重的面积大小；
S1322、将池化后下采样的特征层进行双线性插值进行上采样，上采样后的特征图与输入特征图大小一致；
S1323、设计一个重采样模块，该重采样模块将输入的特征图分三路进行1×1、4×4、8×8的池化，然后将三路池化后的特征展开并拼接为S×C的特征图，其中,S＝∑n∈{1,4,8}n2；
S1324、将上采样后的特征层分为两个支路进行1×1的卷积，第一个支路将特征层转化为N×C的特征图，其中N等于W×H；第二个支路通过重采样模块将特征层转化为C×S的特征图；
S1325、将两个支路的特征层相乘得到一个尺寸为N×S的特征图；
S1326、将尺寸为N×S的特征图通过激活函数softmax得到基本的被分配权重矩阵；
S1327、输入的W×H×C特征图通过重采样模块将特征层转化为C×S的特征图，并将其转化为S×C的特征图；
S1328、将得到的N×S权重分布矩阵张量与S×C的特征图相乘得到N×C的特征图，最后还原成和输入W×H×C的特征图一样尺度的特征图，得到分配好权重的特征。
8.根据权利要求1所述的基于区域注意力多尺度特征融合的遥感图像语义分割方法，其特征在于，步骤S14包括以下步骤：
S141、将编码器输出的32×32特征图输入多尺度组融合模块；
S142、将输入的特征图按照3：1的比例进行分组；
S143、将分组后的3/4的特征图进行膨胀率为2×2的卷积操作，保留剩下的1/4的特征图；
S144、将进行了膨胀率为2×2的卷积操作的特征图按照2：1的比例进行分组；
S145、将分组后的2/4的特征图进行膨胀率为4×4的卷积操作，保留剩下的1/4的特征图；
S146、将进行了膨胀率为4×4的卷积操作的特征图按照1：1的比例进行分组；
S147、将分组后的1/4的特征图进行膨胀率为8×8的卷积操作，保留卷积后的两组1/4的特征图；
S148、分别融合剩下4组的1/4的特征图，并作为最终的输出特征图进行输出。
9.根据权利要求1所述的基于区域注意力多尺度特征融合的遥感图像语义分割方法，其特征在于，评估使用的平均交并比MeanIOU、得分F1、像素精度PA的公式分别为：
Figure FDA0002575112330000051
Figure FDA0002575112330000052
Figure FDA0002575112330000053
其中，设TP为真正样本数，TN为真负样本数，FP为假正样本数，FN为假负样本数。
CN202010651410.8A 2020-07-08 2020-07-08 基于区域注意力多尺度特征融合的遥感图像语义分割方法 Pending CN111797779A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010651410.8A CN111797779A (zh) 2020-07-08 2020-07-08 基于区域注意力多尺度特征融合的遥感图像语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010651410.8A CN111797779A (zh) 2020-07-08 2020-07-08 基于区域注意力多尺度特征融合的遥感图像语义分割方法

Publications (1)

Publication Number Publication Date
CN111797779A true CN111797779A (zh) 2020-10-20

Family

ID=72809690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010651410.8A Pending CN111797779A (zh) 2020-07-08 2020-07-08 基于区域注意力多尺度特征融合的遥感图像语义分割方法

Country Status (1)

Country Link
CN (1) CN111797779A (zh)

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308860A (zh) * 2020-10-28 2021-02-02 西北工业大学 基于自监督学习的对地观测图像语义分割方法
CN112419333A (zh) * 2020-11-17 2021-02-26 武汉大学 一种遥感影像自适应特征选择分割方法及系统
CN112434663A (zh) * 2020-12-09 2021-03-02 国网湖南省电力有限公司 基于深度学习的输电线路山火检测方法、系统及介质
CN112465828A (zh) * 2020-12-15 2021-03-09 首都师范大学 一种图像语义分割方法、装置、电子设备及存储介质
CN112464745A (zh) * 2020-11-09 2021-03-09 中国科学院计算机网络信息中心 一种基于语义分割的地物识别与分类方法和装置
CN112508960A (zh) * 2020-12-21 2021-03-16 华南理工大学 一种基于改进注意力机制的低精度图像语义分割方法
CN112508031A (zh) * 2020-12-22 2021-03-16 北京航空航天大学 一种从虚拟到现实的无监督遥感图像语义分割方法及模型
CN112560624A (zh) * 2020-12-08 2021-03-26 中南大学 基于模型深度集成的高分遥感影像语义分割方法
CN112580649A (zh) * 2020-12-15 2021-03-30 重庆邮电大学 一种基于区域上下文关系模块的语义分割方法
CN112614112A (zh) * 2020-12-24 2021-04-06 苏州大学 Mcsli图像中条纹损伤的分割方法
CN112750129A (zh) * 2021-03-11 2021-05-04 湘潭大学 一种基于特征增强位置注意力机制的图像语义分割模型
CN112784856A (zh) * 2021-01-29 2021-05-11 长沙理工大学 胸部x射线图像的通道注意力特征提取方法和识别方法
CN112790782A (zh) * 2021-02-02 2021-05-14 广州柏视医疗科技有限公司 基于深度学习的盆腔肿瘤ctv的自动勾画方法
CN112926452A (zh) * 2021-02-25 2021-06-08 东北林业大学 一种基于GCN和GRU增强U-Net特征的高光谱分类方法及系统
CN112949771A (zh) * 2021-04-08 2021-06-11 河海大学 一种基于多深度多尺度层级注意力融合机制的高光谱遥感影像分类方法
CN113052848A (zh) * 2021-04-15 2021-06-29 山东大学 一种基于多尺度注意力网络的小鸡图像分割方法及系统
CN113139550A (zh) * 2021-03-29 2021-07-20 山东科技大学 一种基于深度语义分割网络的遥感影像海岸线提取方法
CN113177895A (zh) * 2021-05-20 2021-07-27 中国人民解放军国防科技大学 基于上下文的多特征融合网络的两阶段图像修复方法
CN113191208A (zh) * 2021-04-09 2021-07-30 湖北工业大学 一种用于遥感图像实例分割的特征提取方法和计算机设备
CN113256649A (zh) * 2021-05-11 2021-08-13 国网安徽省电力有限公司经济技术研究院 一种基于深度学习的遥感图像选站选线语义分割方法
CN113269237A (zh) * 2021-05-10 2021-08-17 青岛理工大学 基于注意力机制的装配体变化检测方法、设备和介质
CN113298825A (zh) * 2021-06-09 2021-08-24 东北大学 一种基于MSF-Net网络的图像分割方法
CN113378780A (zh) * 2021-06-30 2021-09-10 山东建筑大学 一种基于集成视觉的建筑物损伤智能检测系统与方法
CN113505792A (zh) * 2021-06-30 2021-10-15 中国海洋大学 面向非均衡遥感图像的多尺度语义分割方法及模型
CN113570611A (zh) * 2021-07-27 2021-10-29 华北理工大学 基于多特征融合解码器的矿物实时分割方法
CN113658200A (zh) * 2021-07-29 2021-11-16 东北大学 基于自适应特征融合的边缘感知图像语义分割方法
CN113688813A (zh) * 2021-10-27 2021-11-23 长沙理工大学 多尺度特征融合遥感影像分割方法、装置、设备和存储器
CN113705666A (zh) * 2021-08-26 2021-11-26 平安科技（深圳）有限公司 分割网络训练方法、使用方法、装置、设备及存储介质
CN113792640A (zh) * 2021-09-07 2021-12-14 海南大学 基于DenseNet的海洋遥感图像噪声识别方法
CN113792757A (zh) * 2021-08-18 2021-12-14 吉林大学 一种基于多尺度注意力残差网络的波形图分类方法
CN113850824A (zh) * 2021-09-27 2021-12-28 太原理工大学 一种基于多尺度特征融合的遥感图像路网提取方法
CN114067316A (zh) * 2021-11-23 2022-02-18 燕山大学 一种基于细粒度图像分类的快速识别方法
CN114140472A (zh) * 2022-02-07 2022-03-04 湖南大学 一种跨级信息融合医学图像分割方法
CN114241326A (zh) * 2022-02-24 2022-03-25 自然资源部第三地理信息制图院 一种渐进式遥感影像地物要素智能生产方法及系统
CN114332800A (zh) * 2022-03-09 2022-04-12 西南石油大学 一种用于自动驾驶的街道场景解析语义分割方法
CN114332535A (zh) * 2021-12-30 2022-04-12 宁波大学 基于高分辨率的互补注意力UNet分类器的sMRI图像分类方法
CN114419449A (zh) * 2022-03-28 2022-04-29 成都信息工程大学 一种自注意力多尺度特征融合的遥感图像语义分割方法
CN114511576A (zh) * 2022-04-19 2022-05-17 山东建筑大学 尺度自适应特征增强深度神经网络的图像分割方法与系统
CN114782298A (zh) * 2022-04-24 2022-07-22 西安交通大学 一种具有区域注意力的红外与可见光图像融合方法
CN114913325A (zh) * 2022-03-24 2022-08-16 北京百度网讯科技有限公司 语义分割方法、装置及计算机程序产品
CN114937204A (zh) * 2022-04-29 2022-08-23 南京信息工程大学 一种轻量级多特征聚合的神经网络遥感变化检测方法
CN115049919A (zh) * 2022-01-21 2022-09-13 昆明理工大学 一种基于注意力调控的遥感图像语义分割方法及系统
CN115131568A (zh) * 2022-08-31 2022-09-30 中国科学院空天信息创新研究院 基于非局部注意力机制的空间目标分割方法及装置
CN115294552A (zh) * 2022-08-08 2022-11-04 腾讯科技（深圳）有限公司 一种杆状物识别方法、装置、设备及存储介质
WO2023077998A1 (zh) * 2021-11-05 2023-05-11 通号通信信息集团有限公司 卷积神经网络中自适应特征融合方法及系统
CN116309431A (zh) * 2023-03-14 2023-06-23 中国人民解放军空军军医大学 一种基于医学影像的视觉解释方法
CN116309650A (zh) * 2023-05-22 2023-06-23 湖南大学 基于双分支嵌入注意力机制的医学图像分割方法与系统
CN116740362A (zh) * 2023-08-14 2023-09-12 南京信息工程大学 一种基于注意力的轻量化非对称场景语义分割方法及系统
CN116935044A (zh) * 2023-06-14 2023-10-24 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种多尺度引导和多层次监督的内镜息肉分割方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN111160378A (zh) * 2018-11-07 2020-05-15 电子科技大学 基于单张图像的多任务增强的深度估计系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160378A (zh) * 2018-11-07 2020-05-15 电子科技大学 基于单张图像的多任务增强的深度估计系统
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
VIJAY BADRINARAYANAN: "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation", 《 IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE ( VOLUME: 39, ISSUE: 12, DEC. 1 2017)》, 2 January 2017 (2017-01-02), pages 2481 *
WANZHEN LU: "An Adaptive Multiscale Fusion Network Based on Regional Attention for Remote Sensing Images", 《IEEE ACCESS ( VOLUME: 8)》, 5 June 2020 (2020-06-05), pages 107802 - 107813, XP011793787, DOI: 10.1109/ACCESS.2020.3000425 *
佚名: "语义分割损失总结", 《HTTPS://BLOG.CSDN.NET/WZT_GJT/ARTICLE/DETAILS/87997234》, 27 February 2019 (2019-02-27), pages 1 - 2 *
李小军: "一种多光谱遥感影像与航拍影像融合算法", 《遥感信息 遥感技术》, 18 September 2019 (2019-09-18), pages 11 - 15 *

Cited By (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308860B (zh) * 2020-10-28 2024-01-12 西北工业大学 基于自监督学习的对地观测图像语义分割方法
CN112308860A (zh) * 2020-10-28 2021-02-02 西北工业大学 基于自监督学习的对地观测图像语义分割方法
CN112464745A (zh) * 2020-11-09 2021-03-09 中国科学院计算机网络信息中心 一种基于语义分割的地物识别与分类方法和装置
CN112464745B (zh) * 2020-11-09 2023-07-07 中国科学院计算机网络信息中心 一种基于语义分割的地物识别与分类方法和装置
CN112419333A (zh) * 2020-11-17 2021-02-26 武汉大学 一种遥感影像自适应特征选择分割方法及系统
CN112419333B (zh) * 2020-11-17 2022-04-29 武汉大学 一种遥感影像自适应特征选择分割方法及系统
CN112560624A (zh) * 2020-12-08 2021-03-26 中南大学 基于模型深度集成的高分遥感影像语义分割方法
CN112560624B (zh) * 2020-12-08 2024-05-17 中南大学 基于模型深度集成的高分遥感影像语义分割方法
CN112434663A (zh) * 2020-12-09 2021-03-02 国网湖南省电力有限公司 基于深度学习的输电线路山火检测方法、系统及介质
CN112434663B (zh) * 2020-12-09 2023-04-07 国网湖南省电力有限公司 基于深度学习的输电线路山火检测方法、系统及介质
CN112465828A (zh) * 2020-12-15 2021-03-09 首都师范大学 一种图像语义分割方法、装置、电子设备及存储介质
CN112580649A (zh) * 2020-12-15 2021-03-30 重庆邮电大学 一种基于区域上下文关系模块的语义分割方法
CN112465828B (zh) * 2020-12-15 2024-05-31 益升益恒(北京)医学技术股份公司 一种图像语义分割方法、装置、电子设备及存储介质
CN112508960A (zh) * 2020-12-21 2021-03-16 华南理工大学 一种基于改进注意力机制的低精度图像语义分割方法
CN112508031B (zh) * 2020-12-22 2022-09-02 北京航空航天大学 一种从虚拟到现实的无监督遥感图像语义分割方法及模型
CN112508031A (zh) * 2020-12-22 2021-03-16 北京航空航天大学 一种从虚拟到现实的无监督遥感图像语义分割方法及模型
CN112614112B (zh) * 2020-12-24 2023-05-12 苏州大学 Mcsli图像中条纹损伤的分割方法
CN112614112A (zh) * 2020-12-24 2021-04-06 苏州大学 Mcsli图像中条纹损伤的分割方法
CN112784856A (zh) * 2021-01-29 2021-05-11 长沙理工大学 胸部x射线图像的通道注意力特征提取方法和识别方法
CN112790782B (zh) * 2021-02-02 2022-06-24 广州柏视医疗科技有限公司 基于深度学习的盆腔肿瘤ctv的自动勾画系统
CN112790782A (zh) * 2021-02-02 2021-05-14 广州柏视医疗科技有限公司 基于深度学习的盆腔肿瘤ctv的自动勾画方法
CN112926452A (zh) * 2021-02-25 2021-06-08 东北林业大学 一种基于GCN和GRU增强U-Net特征的高光谱分类方法及系统
CN112750129B (zh) * 2021-03-11 2022-12-02 湘潭大学 一种基于特征增强位置注意力机制的图像语义分割模型
CN112750129A (zh) * 2021-03-11 2021-05-04 湘潭大学 一种基于特征增强位置注意力机制的图像语义分割模型
CN113139550B (zh) * 2021-03-29 2022-07-12 山东科技大学 一种基于深度语义分割网络的遥感影像海岸线提取方法
CN113139550A (zh) * 2021-03-29 2021-07-20 山东科技大学 一种基于深度语义分割网络的遥感影像海岸线提取方法
CN112949771A (zh) * 2021-04-08 2021-06-11 河海大学 一种基于多深度多尺度层级注意力融合机制的高光谱遥感影像分类方法
CN113191208B (zh) * 2021-04-09 2022-10-21 湖北工业大学 一种用于遥感图像实例分割的特征提取方法和计算机设备
CN113191208A (zh) * 2021-04-09 2021-07-30 湖北工业大学 一种用于遥感图像实例分割的特征提取方法和计算机设备
CN113052848A (zh) * 2021-04-15 2021-06-29 山东大学 一种基于多尺度注意力网络的小鸡图像分割方法及系统
CN113269237A (zh) * 2021-05-10 2021-08-17 青岛理工大学 基于注意力机制的装配体变化检测方法、设备和介质
CN113256649A (zh) * 2021-05-11 2021-08-13 国网安徽省电力有限公司经济技术研究院 一种基于深度学习的遥感图像选站选线语义分割方法
CN113256649B (zh) * 2021-05-11 2022-07-01 国网安徽省电力有限公司经济技术研究院 一种基于深度学习的遥感图像选站选线语义分割方法
CN113177895A (zh) * 2021-05-20 2021-07-27 中国人民解放军国防科技大学 基于上下文的多特征融合网络的两阶段图像修复方法
CN113177895B (zh) * 2021-05-20 2022-04-22 中国人民解放军国防科技大学 基于上下文的多特征融合网络的两阶段图像修复方法
CN113298825A (zh) * 2021-06-09 2021-08-24 东北大学 一种基于MSF-Net网络的图像分割方法
CN113298825B (zh) * 2021-06-09 2023-11-14 东北大学 一种基于MSF-Net网络的图像分割方法
CN113505792B (zh) * 2021-06-30 2023-10-27 中国海洋大学 面向非均衡遥感图像的多尺度语义分割方法及模型
CN113378780A (zh) * 2021-06-30 2021-09-10 山东建筑大学 一种基于集成视觉的建筑物损伤智能检测系统与方法
CN113505792A (zh) * 2021-06-30 2021-10-15 中国海洋大学 面向非均衡遥感图像的多尺度语义分割方法及模型
CN113570611A (zh) * 2021-07-27 2021-10-29 华北理工大学 基于多特征融合解码器的矿物实时分割方法
CN113658200A (zh) * 2021-07-29 2021-11-16 东北大学 基于自适应特征融合的边缘感知图像语义分割方法
CN113658200B (zh) * 2021-07-29 2024-01-02 东北大学 基于自适应特征融合的边缘感知图像语义分割方法
CN113792757A (zh) * 2021-08-18 2021-12-14 吉林大学 一种基于多尺度注意力残差网络的波形图分类方法
CN113792757B (zh) * 2021-08-18 2023-12-08 吉林大学 一种基于多尺度注意力残差网络的波形图分类方法
CN113705666A (zh) * 2021-08-26 2021-11-26 平安科技（深圳）有限公司 分割网络训练方法、使用方法、装置、设备及存储介质
CN113705666B (zh) * 2021-08-26 2023-10-27 平安科技（深圳）有限公司 分割网络训练方法、使用方法、装置、设备及存储介质
WO2023024424A1 (zh) * 2021-08-26 2023-03-02 平安科技（深圳）有限公司 分割网络训练方法、使用方法、装置、设备及存储介质
CN113792640B (zh) * 2021-09-07 2023-07-14 海南大学 基于DenseNet的海洋遥感图像噪声识别方法
CN113792640A (zh) * 2021-09-07 2021-12-14 海南大学 基于DenseNet的海洋遥感图像噪声识别方法
CN113850824B (zh) * 2021-09-27 2024-03-29 太原理工大学 一种基于多尺度特征融合的遥感图像路网提取方法
CN113850824A (zh) * 2021-09-27 2021-12-28 太原理工大学 一种基于多尺度特征融合的遥感图像路网提取方法
CN113688813A (zh) * 2021-10-27 2021-11-23 长沙理工大学 多尺度特征融合遥感影像分割方法、装置、设备和存储器
WO2023077998A1 (zh) * 2021-11-05 2023-05-11 通号通信信息集团有限公司 卷积神经网络中自适应特征融合方法及系统
CN114067316B (zh) * 2021-11-23 2024-05-03 燕山大学 一种基于细粒度图像分类的快速识别方法
CN114067316A (zh) * 2021-11-23 2022-02-18 燕山大学 一种基于细粒度图像分类的快速识别方法
CN114332535A (zh) * 2021-12-30 2022-04-12 宁波大学 基于高分辨率的互补注意力UNet分类器的sMRI图像分类方法
CN115049919A (zh) * 2022-01-21 2022-09-13 昆明理工大学 一种基于注意力调控的遥感图像语义分割方法及系统
CN114140472A (zh) * 2022-02-07 2022-03-04 湖南大学 一种跨级信息融合医学图像分割方法
CN114241326A (zh) * 2022-02-24 2022-03-25 自然资源部第三地理信息制图院 一种渐进式遥感影像地物要素智能生产方法及系统
CN114332800B (zh) * 2022-03-09 2022-07-22 西南石油大学 一种用于自动驾驶的街道场景解析语义分割方法
CN114332800A (zh) * 2022-03-09 2022-04-12 西南石油大学 一种用于自动驾驶的街道场景解析语义分割方法
CN114913325A (zh) * 2022-03-24 2022-08-16 北京百度网讯科技有限公司 语义分割方法、装置及计算机程序产品
CN114913325B (zh) * 2022-03-24 2024-05-10 北京百度网讯科技有限公司 语义分割方法、装置及计算机程序产品
CN114419449B (zh) * 2022-03-28 2022-06-24 成都信息工程大学 一种自注意力多尺度特征融合的遥感图像语义分割方法
CN114419449A (zh) * 2022-03-28 2022-04-29 成都信息工程大学 一种自注意力多尺度特征融合的遥感图像语义分割方法
CN114511576A (zh) * 2022-04-19 2022-05-17 山东建筑大学 尺度自适应特征增强深度神经网络的图像分割方法与系统
CN114782298A (zh) * 2022-04-24 2022-07-22 西安交通大学 一种具有区域注意力的红外与可见光图像融合方法
CN114782298B (zh) * 2022-04-24 2024-03-12 西安交通大学 一种具有区域注意力的红外与可见光图像融合方法
CN114937204A (zh) * 2022-04-29 2022-08-23 南京信息工程大学 一种轻量级多特征聚合的神经网络遥感变化检测方法
CN115294552A (zh) * 2022-08-08 2022-11-04 腾讯科技（深圳）有限公司 一种杆状物识别方法、装置、设备及存储介质
CN115131568A (zh) * 2022-08-31 2022-09-30 中国科学院空天信息创新研究院 基于非局部注意力机制的空间目标分割方法及装置
CN115131568B (zh) * 2022-08-31 2022-12-27 中国科学院空天信息创新研究院 基于非局部注意力机制的空间目标分割方法及装置
CN116309431A (zh) * 2023-03-14 2023-06-23 中国人民解放军空军军医大学 一种基于医学影像的视觉解释方法
CN116309431B (zh) * 2023-03-14 2023-10-27 中国人民解放军空军军医大学 一种基于医学影像的视觉解释方法
CN116309650A (zh) * 2023-05-22 2023-06-23 湖南大学 基于双分支嵌入注意力机制的医学图像分割方法与系统
CN116935044B (zh) * 2023-06-14 2024-05-14 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种多尺度引导和多层次监督的内镜息肉分割方法
CN116935044A (zh) * 2023-06-14 2023-10-24 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种多尺度引导和多层次监督的内镜息肉分割方法
CN116740362B (zh) * 2023-08-14 2023-11-21 南京信息工程大学 一种基于注意力的轻量化非对称场景语义分割方法及系统
CN116740362A (zh) * 2023-08-14 2023-09-12 南京信息工程大学 一种基于注意力的轻量化非对称场景语义分割方法及系统

Similar Documents

Publication Publication Date Title
CN111797779A (zh) 基于区域注意力多尺度特征融合的遥感图像语义分割方法
CN111160311B (zh) 基于多注意力机制双流融合网络的黄河冰凌语义分割方法
CN111695467B (zh) 基于超像素样本扩充的空谱全卷积高光谱图像分类方法
CN109993082B (zh) 卷积神经网络道路场景分类与道路分割方法
CN110334705B (zh) 一种结合全局和局部信息的场景文本图像的语种识别方法
Jin et al. Object-oriented method combined with deep convolutional neural networks for land-use-type classification of remote sensing images
CN111612008B (zh) 基于卷积网络的图像分割方法
CN111753828B (zh) 一种基于深度卷积神经网络的自然场景水平文字检测方法
CN111461039B (zh) 基于多尺度特征融合的地标识别方法
CN112347970B (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN111882620B (zh) 一种基于多尺度信息道路可行驶区域分割方法
CN111680176A (zh) 基于注意力与双向特征融合的遥感图像检索方法及系统
CN113269224B (zh) 一种场景图像分类方法、系统及存储介质
CN113256649B (zh) 一种基于深度学习的遥感图像选站选线语义分割方法
CN113034506B (zh) 遥感图像语义分割方法、装置、计算机设备和存储介质
CN114510594A (zh) 一种基于自注意力机制的传统纹样子图检索方法
CN110807485B (zh) 基于高分遥感影像二分类语义分割图融合成多分类语义图的方法
CN112232151A (zh) 一种嵌入注意力机制的迭代聚合神经网络高分遥感场景分类方法
Bai et al. Multimodal information fusion for weather systems and clouds identification from satellite images
CN114155371A (zh) 基于通道注意力与金字塔卷积融合的语义分割方法
CN109993109A (zh) 图像文字识别方法
CN115222998A (zh) 一种图像分类方法
CN117152427A (zh) 基于扩散模型和知识蒸馏的遥感图像语义分割方法与系统
CN111310820A (zh) 基于交叉验证深度cnn特征集成的地基气象云图分类方法
CN117333672A (zh) 基于空间细节和注意力的遥感图像分割网络结构及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201020