CN112733693B - 一种全局感知高分辨率遥感影像多尺度残差道路提取方法 - Google Patents

一种全局感知高分辨率遥感影像多尺度残差道路提取方法 Download PDF

Info

Publication number
CN112733693B
CN112733693B CN202110003409.9A CN202110003409A CN112733693B CN 112733693 B CN112733693 B CN 112733693B CN 202110003409 A CN202110003409 A CN 202110003409A CN 112733693 B CN112733693 B CN 112733693B
Authority
CN
China
Prior art keywords
perception
global
road
module
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110003409.9A
Other languages
English (en)
Other versions
CN112733693A (zh
Inventor
钟燕飞
卢晓燕
郑卓
张良培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110003409.9A priority Critical patent/CN112733693B/zh
Publication of CN112733693A publication Critical patent/CN112733693A/zh
Application granted granted Critical
Publication of CN112733693B publication Critical patent/CN112733693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种全局感知高分辨率遥感影像多尺度残差道路提取方法，所提出的全局感知高分辨率遥感影像多尺度残差学习道路提取方法从两个方面来增大模型捕捉长距离依赖关系的能力，一方面在残差模块之间，我们采用全局感知操作从空间和通道两个维度来捕获长距离依赖关系；另一方面在残差模块内，我们使用多尺度残差卷积学习，提取多尺度特征的同时增大网络感受野，为紧接着的全局感知操作提供更丰富的信息；本发明能够一定程度上解决现有深度学习模型感受野有限与道路长跨度连接属性不匹配，导致道路识别零散的问题，可以显著提升道路识别精度。

Description

一种全局感知高分辨率遥感影像多尺度残差道路提取方法
技术领域
本发明基于遥感图像技术处理领域，特别涉及一种全局感知高分辨率遥感影像多尺度残差道路提取方法。
背景技术
道路作为国家一种重要的基础设施建设，是高分辨率遥感影像中一项重要的地物目标，对于人类生活具有十分重要的影响。对于一个国家而言，交通体系越发达，越有利于国家的经济社会建设。传统的道路信息获取方法需要专业人员实地测图，矢量化编辑，最后获取道路数据，此过程人工参与大，外界因素干扰多，更新速度慢，已无法满足经济社会快速发展的需求。而高分辨率遥感影像上，道路呈明显线状分布，道路边缘相互平行，道路宽度变化微小，多条道路相互交错形成路网。利用高分辨率遥感影像进行道路提取，不仅具有成本低，覆盖范围广的优势，还能获取实时性好、相对准确率高的道路信息。然而遥感影像的高分辨率也为道路提取带来了新的难题，随着影像细节信息的增加，道路分布情况更加复杂，其他地物带来的噪声干扰也愈发严重。因此，从高分辨率遥感影像中进行道路提取既是当前遥感领域的研究热点，也是一个研究难点。
历经几十年，已有众多专家学者投身于道路提取算法的研究。归纳这些方法，依据道路提取的层次，可以将道路提取方法分为基于像元的方法，面向对象的方法和基于深度学习的方法，面向遥感大数据的背景，目前最为主流的方法就是基于深度学习的方法。然而，道路不同于其它地物目标，道路分布在整张影像上且相互连接，深度学习模型中的卷积操作和池化操作每次只能处理局部区域，导致深度学习模型不可避免感受野有限，从而无法有效地长距离传播信息，这与道路的长跨度连接属性不匹配，导致道路识别结果存在很多零散的情况。
基于此，考虑直接增大深度学习模型感受野，捕获道路的长距离依赖关系，来改善道路识别零散的情况。
发明内容
本发明的目的在于提出一种全局感知高分辨率遥感影像多尺度残差道路提取方法。
提出的全局感知高分辨率遥感影像多尺度残差道路提取方法从两个方面来增大模型捕捉长距离依赖关系的能力，一方面在残差模块之间，我们采用全局感知操作从空间和通道两个维度来捕获长距离依赖关系；另一方面在残差模块内，我们使用多尺度残差卷积学习，提取多尺度特征的同时增大网络感受野，为紧接着的全局感知操作提供更丰富的信息；本发明能够一定程度上解决现有深度学习模型感受野有限与道路长跨度连接属性不匹配，导致道路识别零散的问题。
本发明中我们所提出的全局感知高分辨率遥感影像多尺度残差道路提取方法具有以下三个显著特点。一是发明了一个高分辨率遥感影像全局感知道路提取框架，该框架从两个方面来增大模型捕捉长距离依赖关系的能力，一方面在残差模块之间，我们采用全局感知操作来捕获长距离依赖关系；另一方面在残差模块内，我们使用多尺度残差卷积学习，提取多尺度特征的同时增大网络感受野，为紧接着的全局感知操作提供更丰富的信息。其二，全局感知操作从空间和通道两个维度来捕获长距离依赖关系，在空间维度上，设计了一种空间感知模块通过空间上下文建模，来捕获空间维度上的上下文依赖关系，在通道维度上，设计了一种通道感知模块通过逐通道建模，来捕获逐通道之间的依赖关系。其三，在残差模块内应用多尺度残差学习提取多尺度特征的同时增大网络感受野，由于全局感知操作在两个残差块之间进行，前面的残差学习获得的信息越丰富，后续的全局感知操作将会越有效，因此，在每一个残差块内应用多尺度残差学习来为后续的全局感知操作提供更丰富的信息。
本发明提供一种全局感知高分辨率遥感影像多尺度残差道路提取方法，实现步骤如下：
步骤1，获取高分辨率遥感影像道路竞赛数据集，按照公开划分方式将其拆分为训练集和测试集，对训练集进行归一化与数据增强；
步骤2，构建融合多尺度残差学习的全局感知道路提取模型，主要包括两个部分的改进：三个全局感知模块构建和四个多尺度残差学习模块构建。在四个残差模块内采用多尺度残差学习，在残差模块之间进行三个全局感知操作，即全局感知模块的输入为多尺度残差学习模块的输出；最终通过Sigmoid分类器获取道路分割概率图。
步骤3，基于构建的全局感知道路提取模型，在训练集上进行训练，优化模型参数，直至网络收敛；
步骤4，基于收敛后的全局感知道路提取模型，对测试集进行预测，利用输出概率获得道路提取结果。
进一步的，步骤1的具体实现包括如下子步骤：
步骤1.1，在公开道路提取竞赛网站上进行注册，并下载数据集。
步骤1.2，由于道路提取竞赛数据集只公开了训练集的标签，所以根据已发表论文所开源的方式，将训练集划分为两部分，一部分A用来训练，另一部分B用来测试。
步骤1.3，对训练集进行归一化操作，并利用水平翻转、垂直翻转和随机旋转对训练集进行数据增强。
进一步的，步骤2的具体实现包括如下子步骤：
步骤2.1，构建空间感知模块：对于输入的特征f，首先采用1×1卷积来降低特征通道数(Channel,C)到C/r,(r＝16)，紧接着用空洞率为4的两个3×3卷积以更大感受野获取上下文信息，再利用1×1卷积来获取1×H×W特征图，然后复制成C×H×W维度的空间感知特征图Fs(f)，再利用sigmoid激活函数计算得到空间感知的权重Ws(f)，最后，用此权重乘以输入特征获取加权后的特征图，再加上输入特征，得到空间感知的输出Os(f)。空间感知模块的整个计算过程可以用以下式子表达：
Figure BDA0002882458730000041
Ws(f)＝sigmoid(Fs(f))
Figure BDA0002882458730000042
其中G和Ga分别代表标准卷积和空洞卷积，
Figure BDA0002882458730000043
代表逐像素的相乘。
步骤2.2，构建通道感知模块：对于输入的特征，首先采用全局平均池化(GlobalAverage Pooling,GAP)操作来生成C×1×1维度的特征矢量，紧接着两个全连接层来学习通道间的关系，第一个全连接层降低通道维数到C/r,(r＝16)，第二个全连接层恢复通道维数到C，然后复制成C×H×W维度的通道感知特征图Fc(f)，再利用sigmoid激活函数计算得到逐通道感知的权重Wc(f)，最后，用此权重乘以输入特征获取加权后的特征图，再加上输入特征，得到通道感知的输出Oc(f)。通道感知模块的整个计算过程可以用以下式子表达：
Fc(f)＝W2(W1·GAP(f)+b1)+b2
Wc(f)＝sigmoid(Fc(f))
Figure BDA0002882458730000044
其中W1,b1,W2和b2分别代表线性计算的参数。
步骤2.3，构建全局感知模块：全局感知模块是融合空间感知模块和通道感知模块，将空间感知特征图Fs(f)和通道感知特征图Fc(f)进行逐像素的相乘，然后利用sigmoid激活函数计算得到全局感知权重Wg(f)，最后，用此权重乘以输入特征获取加权后的特征图，再加上输入特征，得到全局感知输出Og(f)。全局感知模块的整个计算过程可以用以下式子表达：
Figure BDA0002882458730000051
Wg(f)＝sigmoid(Fg(f))
Figure BDA0002882458730000052
然后，将此全局感知模块应用在每两个残差学习模块之间，从空间和通道两个维度来捕获长距离的依赖关系。
步骤2.4，构建多尺度残差学习模块：对于输入的特征，首先采用1×1卷积来降低特征通道数，然后将此特征平均分为四个子集X1,X2,X3和X4，其中子集X2,X3和X4分别经过相应的3×3卷积得到特征C2,C3和C4，为了增大感受野，子集之间采用残差连接方式，每一个子集的输出yi可以用以下公式表达：
Figure BDA0002882458730000053
由此获得的四个子集的输出y1,y2,y3,y4具有不同的感受野，将其进行组合，然后经过1×1卷积来恢复特征通道数，得到最后的特征输出。
步骤2.5，构建全局感知道路提取模型：对于输入影像，首先采用步长为2的7×7卷积和步长为2的3×3最大池化来降低特征图尺寸，然后依次输入到改进后的多尺度残差学习模块和全局感知模块，捕获长距离依赖关系的同时也降低了特征图尺寸，其中三个全局感知模块连接在四个多尺度残差学习模块之间，即全局感知模块的输入为多尺度残差学习模块的输出。在网络架构中心部分，特征图尺寸降低了32倍，然后输入到解码块中，解码块负责将特征图恢复到原始图像尺寸，在解码块中使用通道降低策略来提升效率，每一个解码块中采用三层卷积操作来实现，依次包括：使用1×1卷积降低特征通道数到输入的1/4，采用步长为2的3×3反卷积来二倍上采样特征图，采用1×1卷积获得输出特征图。前三个解码块的输出和对应的低层特征：三个多尺度残差学习模块的输出，进行跳跃连接(特征图直接相加)，以获取更多的细节信息，通过四个解码块之后，再连接一个步长为2的3×3反卷积，使得特征图尺寸恢复到与输入影像尺寸一样，最后连接一个步长为1的1×1卷积，使得通道数降为1。通过以上流程，构建完成全局感知道路提取模型。
进一步的，步骤3的具体实现包括如下子步骤：
步骤3.1，初始化全局感知道路提取模型网络参数，固定训练集的裁剪大小，每批次的输入张数，以及初始学习率。
步骤3.2，采用Adam优化器进行训练，网络前向传播，输出结果通过Sigmoid分类器获取道路分割概率图，与真实标签对比，根据分割损失函数计算损失值，通过后向反馈不断更新网络参数，直至网络收敛。其中分割损失函数Lseg是binary cross-entropy损失和dicecoefficient损失之和，可以用以下式子表达：
Lseg＝LBCE(Ps,Ys)+LDCL(Ps,Ys)
其中Ps和Ys分别是影像的预测结果和标签，LBCE为binary cross-entropy损失，LDCL为dice coefficient损失。
进一步的，步骤4的具体实现包括如下子步骤：
步骤4.1，输入测试集影像，对其进行归一化操作。
步骤4.2，将归一化后的影像输入到已经训练好的模型中，得到测试集的道路分割概率图，然后通过0.5的阈值判断属于道路的区域，获得最终的道路分割图。
与现有技术相比，本发明的优点和有益效果为：
深度学习模型局部感受野与道路长跨度特性不匹配问题。不同于其它地物目标，道路分布在整张影像上且相互连接，深度学习模型中的卷积操作和池化操作每次只能处理局部区域，导致深度学习模型不可避免感受野有限，从而无法有效地长距离传播信息，这与道路的长跨度连接属性不匹配，导致道路识别结果存在很多零散的情况。所提出的全局感知高分辨率遥感影像道路提取方法从两个方面来增大模型捕捉长距离依赖关系的能力，一方面在残差模块之间，我们采用全局感知操作从空间和通道两个维度来捕获长距离依赖关系；另一方面在残差模块内，我们使用多尺度残差卷积学习，提取多尺度特征的同时增大网络感受野，为紧接着的全局感知操作提供更丰富的信息；本发明能够有效解决现有深度学习模型感受野有限与道路长跨度连接属性不匹配，导致道路识别不连续的问题，显著提升道路识别精度。与目前最先进的道路提取方法，和其它捕获长距离依赖关系的方法相比，所提方法所取得的道路结果都是最优的。
附图说明
图1是本发明实施例1的步骤1.2中DeepGlobe道路提取竞赛数据集的部分可视化图。
图2是本发明实施例1的步骤2.1中设计的空间感知模块示意图。
图3是本发明实施例1的步骤2.2中设计的通道感知模块示意图。
图4是本发明实施例1的步骤2.3中设计的全局感知模块示意图。
图5是本发明实施例1的步骤2.4中设计的多尺度残差学习模块示意图。
图6是本发明实施例1的步骤2.5中全局感知道路提取模型总体架构。
图7是本发明实施例1的步骤4.2中得到道路预测图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例1：
本发明提供一种全局感知高分辨率遥感影像多尺度残差道路提取方法，包括以下步骤：
步骤1，下载高分辨率遥感影像道路竞赛数据集，包含有标签的6226张1024×1024大小的影像，按照公开划分方式将其拆分为4696张训练集和1530张测试集，对训练集进行归一化与数据增强。此步骤进一步包括：
步骤1.1，在公开道路提取竞赛网站上进行注册，并下载数据集。
步骤1.2，由于道路提取竞赛数据集只公开了训练集的标签，所以根据已发表论文所开源的方式，将训练集划分为两部分，一部分A用来训练，如图1所示，另一部分B用来测试。
步骤1.3，对训练集进行归一化操作，并利用水平翻转、垂直翻转和随机旋转对训练集进行数据增强。
步骤2，构建融合多尺度残差学习的全局感知道路提取模型，主要包括两个部分的改进：三个全局感知模块构建和四个多尺度残差学习模块构建。在四个残差模块内采用多尺度残差学习，在残差模块之间进行三个全局感知操作，即全局感知模块的输入为多尺度残差学习模块的输出；最终通过Sigmoid分类器获取道路分割概率图。此步骤进一步包括：
步骤2.1，构建空间感知模块，如图2所示：对于输入的特征，首先采用1×1卷积来降低特征通道数到C/r,(r＝16)，紧接着用空洞率为4的两个3×3卷积以更大感受野获取上下文信息，再利用1×1卷积来获取1×H×W特征图，然后复制成C×H×W维度的空间感知特征图Fs(f)，再利用sigmoid激活函数计算得到空间感知的权重Ws(f)，最后，用此权重乘以输入特征获取加权后的特征图，再加上输入特征，得到空间感知的输出Os(f)。空间感知模块的整个计算过程可以用以下式子表达：
Figure BDA0002882458730000091
Ws(f)＝sigmoid(Fs(f))
Figure BDA0002882458730000092
其中G和Ga分别代表标准卷积和空洞卷积，
Figure BDA0002882458730000093
代表逐像素的相乘。
步骤2.2，构建通道感知模块，如图3所示：对于输入的特征，首先采用全局平均池化操作来生成C×1×1维度的特征矢量，紧接着两个全连接层来学习通道间的关系，第一个全连接层降低通道维数到C/r,(r＝16)，第二个全连接层恢复通道维数到C，然后复制成C×H×W维度的通道感知特征图Fc(f)，再利用sigmoid激活函数计算得到逐通道感知的权重Wc(f)，最后，用此权重乘以输入特征获取加权后的特征图，再加上输入特征，得到通道感知的输出Oc(f)。通道感知模块的整个计算过程可以用以下式子表达：
Fc(f)＝W2(W1·GAP(f)+b1)+b2
Wc(f)＝sigmoid(Fc(f))
Figure BDA0002882458730000094
其中W1,b1,W2和b2分别代表线性计算的参数。
步骤2.3，构建全局感知模块，如图4所示：全局感知模块是融合空间感知模块和通道感知模块，将空间感知特征图Fs(f)和通道感知特征图Fc(f)进行逐像素的相乘，然后利用sigmoid激活函数计算得到全局感知权重Wg(f)，最后，用此权重乘以输入特征获取加权后的特征图，再加上输入特征，得到全局感知输出Og(f)。全局感知模块的整个计算过程可以用以下式子表达：
Figure BDA0002882458730000101
Wg(f)＝sigmoid(Fg(f))
Figure BDA0002882458730000102
然后，将此全局感知模块应用在每两个残差块之间，从空间和通道两个维度来捕获长距离的依赖关系。
步骤2.4，构建多尺度残差学习模块，如图5所示：对于输入的特征，首先采用1×1卷积来降低特征通道数，然后将此特征平均分为四个子集X1,X2,X3和X4，其中子集X2,X3和X4分别经过相应的3×3卷积得到特征C2,C3和C4，为了增大感受野，子集之间采用残差连接方式，每一个子集的输出yi可以用以下公式表达：
Figure BDA0002882458730000103
由此获得的四个子集的输出y1,y2,y3,y4具有不同的感受野，将其进行组合，然后经过1×1卷积来恢复特征通道数，得到最后的特征输出。
步骤2.5，构建全局感知道路提取模型，如图6所示：对于输入影像，首先采用步长为2的7×7卷积和步长为2的3×3最大池化来降低特征图尺寸，然后依次输入到改进后的多尺度残差学习模块和全局感知模块，捕获长距离依赖关系的同时也降低了特征图尺寸，其中三个全局感知模块连接在四个多尺度残差学习模块之间，即全局感知模块的输入为多尺度残差学习模块的输出。在网络架构中心部分，特征图尺寸降低了32倍，然后输入到解码块中，解码块负责将特征图恢复到原始图像尺寸，在解码块中使用通道降低策略来提升效率，每一个解码块中采用三层卷积操作来实现，依次包括：使用1×1卷积降低特征通道数到输入的1/4，采用步长为2的3×3反卷积来二倍上采样特征图，采用1×1卷积获得输出特征图。前三个解码块的输出和对应的低层特征：三个多尺度残差学习模块的输出，进行跳跃连接(特征图直接相加)，以获取更多的细节信息，通过四个解码块之后，再连接一个步长为2的3×3反卷积，使得特征图尺寸恢复到与输入影像尺寸一样，最后连接一个步长为1的1×1卷积，使得通道数降为1。通过以上流程，构建完成全局感知道路提取模型。
步骤3，基于构建的全局感知道路提取模型，在训练集上进行训练，优化模型参数，直至网络收敛。此步骤进一步包括：
步骤3.1，初始化全局感知道路提取模型网络参数，固定训练集的裁剪大小，每批次的输入张数，以及初始学习率。
步骤3.2，采用Adam优化器进行训练，网络前向传播，输出结果通过Sigmoid分类器获取道路分割概率图，与真实标签对比，根据分割损失函数计算损失值，通过后向反馈不断更新网络参数，直至网络收敛。其中分割损失函数Lseg是binary cross-entropy损失和dicecoefficient损失之和，可以用以下式子表达：
Lseg＝LBCE(Ps,Ys)+LDCL(Ps,Ys)
其中Ps和Ys分别是影像的预测结果和标签，LBCE为binary cross-entropy损失，LDCL为dice coefficient损失。
步骤4，基于收敛后的全局感知道路提取模型，对测试集进行预测，利用输出概率获得道路提取结果。此步骤进一步包括：
步骤4.1，输入测试集影像，对其进行归一化操作。
步骤4.2，将归一化后的影像输入到已经训练好的模型中，得到测试集的道路分割概率图，然后通过0.5的阈值判断属于道路的区域，获得最终的道路分割图，如图7所示。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种全局感知高分辨率遥感影像多尺度残差道路提取方法，其特征在于，包括以下步骤：
步骤1，获取高分辨率遥感影像道路竞赛数据集，按照公开划分方式将其拆分为训练集和测试集，对训练集进行归一化与数据增强；
步骤2，构建融合多尺度残差学习的全局感知道路提取模型，最终通过Sigmoid分类器获取道路分割概率图，所述全局感知道路提取模型包括多个全局感知模块、多尺度残差学习模块和解码块；
所述全局感知模块包括用于捕获空间维度上的上下文依赖关系的空间感知模块和用来捕获逐通道之间的依赖关的通道感知模块；
所述步骤2中全局感知模块具体包括；
步骤2.1，构建空间感知模块：对于输入的特征f，首先采用1×1卷积来降低特征通道数到C/r，r是一个数值，紧接着用空洞率为4的两个3×3卷积以更大感受野获取上下文信息，再利用1×1卷积来获取1×H×W特征图，然后复制成C×H×W维度的空间感知特征图Fs(f)，再利用sigmoid激活函数计算得到空间感知的权重Ws(f)，最后，用此权重乘以输入特征获取加权后的特征图，再加上输入特征，得到空间感知的输出Os(f)；空间感知模块的整个计算过程用以下式子表达：
Figure FDA0003707368940000011
Ws(f)＝sigmoid(Fs(f))
Figure FDA0003707368940000012
其中C、H、W分别表示特征图的通道数，长和宽，G和Ga分别代表标准卷积和空洞卷积，
Figure FDA0003707368940000021
代表逐像素的相乘；
步骤2.2，构建通道感知模块：对于输入的特征，首先采用全局平均池化操作来生成C×1×1维度的特征矢量，紧接着两个全连接层来学习通道间的关系，第一个全连接层降低通道维数到C/r，第二个全连接层恢复通道维数到C，然后复制成C×H×W维度的通道感知特征图Fc(f)，再利用sigmoid激活函数计算得到逐通道感知的权重Wc(f)，最后，用此权重乘以输入特征获取加权后的特征图，再加上输入特征，得到通道感知的输出Oc(f)；通道感知模块的整个计算过程用以下式子表达：
Fc(f)＝W2(W1·GAP(f)+b1)+b2
Wc(f)＝sigmoid(Fc(f))
Figure FDA0003707368940000022
其中W1,b1,W2和b2分别代表线性计算的参数，GAP代表全局平均池化；
步骤2.3，构建全局感知模块：全局感知模块是融合空间感知模块和通道感知模块，将空间感知特征图Fs(f)和通道感知特征图Fc(f)进行逐像素的相乘，然后利用sigmoid激活函数计算得到全局感知权重Wg(f)，最后，用此权重乘以输入特征获取加权后的特征图，再加上输入特征，得到全局感知输出Og(f)；全局感知模块的整个计算过程用以下式子表达：
Figure FDA0003707368940000023
Wg(f)＝sigmoid(Fg(f))
Figure FDA0003707368940000024
然后，将此全局感知模块应用在每两个残差学习模块之间，从空间和通道两个维度来捕获长距离的依赖关系；
任意两个多尺度残差学习模块之间连接一个全局感知模块，即全局感知模块的输入为多尺度残差学习模块的输出；
解码块和相应的多尺度残差学习模块进行跳跃连接；
所述步骤2中全局感知道路提取模型具体包括；
对于输入影像，首先采用一个卷积和一个最大池化操作来降低特征图尺寸，然后依次输入到多尺度残差学习模块和全局感知模块，捕获长距离依赖关系的同时也降低了特征图尺寸，其中三个全局感知模块连接在四个多尺度残差学习模块之间，即全局感知模块的输入为多尺度残差学习模块的输出；在网络架构中心部分，即第四个多尺度残差学习模块之后，将尺寸降低之后的特征图输入到解码块中，解码块负责将特征图恢复到原始图像尺寸，在解码块中使用通道降低策略来提升效率，每一个解码块中采用三层卷积操作来实现前三个解码块的输出和对应的低层特征，即三个多尺度残差学习模块的输出，进行跳跃连接，以获取更多的细节信息，通过四个解码块之后，再连接一个反卷积，使得特征图尺寸恢复到与输入影像尺寸一样，最后连接一个卷积，使得通道数降为1，通过以上流程，构建完成全局感知道路提取模型；
步骤3，基于构建的全局感知道路提取模型，在训练集上进行训练，优化模型参数，直至网络收敛；
步骤4，基于收敛后的全局感知道路提取模型，对测试集进行预测，利用输出概率获得道路提取结果。
2.如权利要求1所述的一种全局感知高分辨率遥感影像多尺度残差道路提取方法，其特征在于：所述步骤1的实现方式如下，
步骤1.1，在公开道路提取竞赛网站上进行注册，并下载数据集；
步骤1.2，由于道路提取竞赛数据集只公开了训练集的标签，将训练集划分为两部分，一部分A用来训练，另一部分B用来测试；
步骤1.3，对训练集进行归一化操作，并利用水平翻转、垂直翻转和随机旋转对训练集进行数据增强。
3.如权利要求1所述的一种全局感知高分辨率遥感影像多尺度残差道路提取方法，其特征在于：所述步骤2中多尺度残差学习模块具体包括；
对于输入的特征，首先采用1×1卷积来降低特征通道数，然后将此特征平均分为四个子集X1,X2,X3和X4，其中子集X2,X3和X4分别经过相应的3×3卷积得到特征C2,C3和C4，为了增大感受野，子集之间采用残差连接方式，每一个子集的输出yi用以下公式表达：
Figure FDA0003707368940000041
由此获得的四个子集的输出y1,y2,y3,y4具有不同的感受野，将其进行组合，然后经过1×1卷积来恢复特征通道数，得到最后的特征输出。
4.如权利要求1所述的一种全局感知高分辨率遥感影像多尺度残差道路提取方法，其特征在于：步骤2中首先采用步长为2的7×7卷积和步长为2的3×3最大池化来降低特征图尺寸；
解码块依次包括：使用1×1卷积降低特征通道数到输入的1/4，采用步长为2的3×3反卷积来二倍上采样特征图，采用1×1卷积获得输出特征图；
通过四个解码块之后，再连接一个步长为2的3×3反卷积；
最后连接一个步长为1的1×1卷积，使得通道数降为1。
5.如权利要求1所述的一种全局感知高分辨率遥感影像多尺度残差道路提取方法，其特征在于：所述步骤3的实现方式如下，
步骤3.1，初始化全局感知道路提取模型参数，固定训练集的裁剪大小，每批次的输入张数，以及初始学习率；
步骤3.2，采用Adam优化器进行训练，网络前向传播，输出结果通过Sigmoid分类器获取道路分割概率图，与真实标签对比，根据分割损失函数计算损失值，通过后向反馈不断更新网络参数，直至网络收敛，其中分割损失函数Lseg是binary cross-entropy损失和dicecoefficient损失之和，用以下式子表达：
Lseg＝LBCE(Ps,Ys)+LDCL(Ps,Ys)
其中Ps和Ys分别是影像的预测结果和标签，LBCE为binary cross-entropy损失，LDCL为dice coefficient损失。
6.如权利要求1所述的一种全局感知高分辨率遥感影像多尺度残差道路提取方法，其特征在于：所述步骤4的实现方式如下，
步骤4.1，输入测试集影像，对其进行归一化操作；
步骤4.2，将归一化后的影像输入到已经训练好的模型中，得到测试集的道路分割概率图，然后通过0.5的阈值判断属于道路的区域，获得最终的道路分割图。
CN202110003409.9A 2021-01-04 2021-01-04 一种全局感知高分辨率遥感影像多尺度残差道路提取方法 Active CN112733693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110003409.9A CN112733693B (zh) 2021-01-04 2021-01-04 一种全局感知高分辨率遥感影像多尺度残差道路提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110003409.9A CN112733693B (zh) 2021-01-04 2021-01-04 一种全局感知高分辨率遥感影像多尺度残差道路提取方法

Publications (2)

Publication Number Publication Date
CN112733693A CN112733693A (zh) 2021-04-30
CN112733693B true CN112733693B (zh) 2022-08-05

Family

ID=75589530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110003409.9A Active CN112733693B (zh) 2021-01-04 2021-01-04 一种全局感知高分辨率遥感影像多尺度残差道路提取方法

Country Status (1)

Country Link
CN (1) CN112733693B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642501A (zh) * 2021-08-23 2021-11-12 中国地质大学（武汉） 一种端对端的高分辨率遥感影像道路自动提取方法
CN114332919A (zh) * 2021-12-11 2022-04-12 南京行者易智能交通科技有限公司 一种基于多空间关系感知的行人检测方法、装置及终端设备
CN114298911B (zh) * 2021-12-31 2024-09-20 中国矿业大学 一种多尺度残差注意机制网络的单图像超分辨率重建方法
CN114254715B (zh) * 2022-03-02 2022-06-03 自然资源部第一海洋研究所 一种gf-1 wfv卫星影像超分辨率方法、系统及应用
CN114898110B (zh) * 2022-04-25 2023-05-09 四川大学 一种基于全分辨率表示网络的医学图像分割方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197468A (zh) * 2019-06-06 2019-09-03 天津工业大学 一种基于多尺度残差学习网络的单图像超分辨重建算法
CN112070779A (zh) * 2020-08-04 2020-12-11 武汉大学 一种基于卷积神经网络弱监督学习的遥感影像道路分割方法
CN112101410A (zh) * 2020-08-05 2020-12-18 中国科学院空天信息创新研究院 一种基于多模态特征融合的图像像素语义分割方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7245751B2 (en) * 2002-02-22 2007-07-17 Agfa-Gevaert N.V. Gradation processing method
CN103279957B (zh) * 2013-05-31 2015-11-25 北京师范大学 一种基于多尺度特征融合的遥感图像感兴趣区域提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197468A (zh) * 2019-06-06 2019-09-03 天津工业大学 一种基于多尺度残差学习网络的单图像超分辨重建算法
CN112070779A (zh) * 2020-08-04 2020-12-11 武汉大学 一种基于卷积神经网络弱监督学习的遥感影像道路分割方法
CN112101410A (zh) * 2020-08-05 2020-12-18 中国科学院空天信息创新研究院 一种基于多模态特征融合的图像像素语义分割方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种多尺度卷积神经网络道路提取方法;戴激光等;《遥感信息》;20200220(第01期);全文 *

Also Published As

Publication number Publication date
CN112733693A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN112733693B (zh) 一种全局感知高分辨率遥感影像多尺度残差道路提取方法
CN112070779B (zh) 一种基于卷积神经网络弱监督学习的遥感影像道路分割方法
CN111882002B (zh) 一种基于msf-am的低照度目标检测方法
CN110889449A (zh) 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
CN112668494A (zh) 基于多尺度特征提取的小样本变化检测方法
CN111461083A (zh) 基于深度学习的快速车辆检测方法
CN112132844A (zh) 基于轻量级的递归式非局部自注意力的图像分割方法
CN112489164B (zh) 基于改进深度可分离卷积神经网络的图像着色方法
CN113536925B (zh) 一种基于引导注意力机制的人群计数方法
CN114913379B (zh) 基于多任务动态对比学习的遥感图像小样本场景分类方法
CN113313180A (zh) 一种基于深度对抗学习的遥感图像语义分割方法
CN114973011A (zh) 一种基于深度学习的高分辨率遥感影像建筑物提取方法
CN113269224A (zh) 一种场景图像分类方法、系统及存储介质
CN111723660A (zh) 一种用于长形地面目标检测网络的检测方法
CN115272278A (zh) 一种用于遥感图像变化检测的变化检测模型的构建方法
CN115147727A (zh) 一种遥感影像不透水面提取方法及系统
CN114998373A (zh) 基于多尺度损失函数的改进型U-Net云图分割方法
CN113591614B (zh) 一种基于紧邻空间特征学习的遥感影像道路提取方法
CN114299305A (zh) 聚合密集和注意力多尺度特征的显著性目标检测算法
CN114581789A (zh) 一种高光谱图像分类方法及系统
CN114358246A (zh) 三维点云场景的注意力机制的图卷积神经网络模块
CN111914809B (zh) 目标对象定位方法、图像处理方法、装置和计算机设备
CN117523333A (zh) 一种基于注意力机制的地表覆盖分类方法
CN117765404A (zh) 一种基于特征相关性神经网络的复杂场景变化检测方法
CN117351360A (zh) 一种基于注意力机制改进的遥感图像道路提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant