CN112183258A - 一种基于上下文信息和注意力机制的遥感图像道路分割方法 - Google Patents

一种基于上下文信息和注意力机制的遥感图像道路分割方法 Download PDF

Info

Publication number
CN112183258A
CN112183258A CN202010976675.5A CN202010976675A CN112183258A CN 112183258 A CN112183258 A CN 112183258A CN 202010976675 A CN202010976675 A CN 202010976675A CN 112183258 A CN112183258 A CN 112183258A
Authority
CN
China
Prior art keywords
remote sensing
sensing image
network
image
context information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010976675.5A
Other languages
English (en)
Inventor
陈泽华
杨佳林
郭学俊
刘晓峰
赵哲峰
李龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202010976675.5A priority Critical patent/CN112183258A/zh
Publication of CN112183258A publication Critical patent/CN112183258A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明一种基于上下文信息和注意力机制的遥感图像道路分割方法，属于遥感图像道路分割方法技术领域；所要解决的技术问题为：提供一种基于上下文信息和注意力机制的遥感图像道路分割方法的改进；解决上述技术问题采用的技术方案为：将遥感图像数据集按照一定的比例划分为训练集和测试集；搭建遥感图像道路分割网络：所述遥感图像道路分割网络中包括上下文信息提取模块和注意力模块；将经过预处理的训练集数据输入至遥感图像道路分割网络中，对遥感图像道路分割网络进行训练；将测试集数据输入到已经训练好的遥感图像道路分割网络中，输出图像道路数据的精确分割结果；本发明应用于图像道路分割。

Description

一种基于上下文信息和注意力机制的遥感图像道路分割方法
技术领域
本发明一种基于上下文信息和注意力机制的遥感图像道路分割方法，属于遥感图像道路分割方法技术领域。
背景技术
近些年来随着世界遥感卫星发射数量与技术的不断增加与提高，遥感卫星图像的分辨率也有了很大的提高，因此高分辨率遥感图像已成为数字图像处理重要的数据来源。同时，高分辨率卫星遥感图像可以提供丰富的地物特征信息，同时更新速度快，精度高。遥感图像道路提取在城市规划，交通管理，车辆导航，地图更新等领域中发挥了重要作用，已经成为近年来的研究热点。
然而，由于遥感图像受光照，噪声，遮挡，阴影等因素的影响，导致道路特征之间存在差异，同时遥感图像背景中存在大量相似的非道路目标，对遥感图像道路提取造成干扰，因此如何从高分辨率的遥感图像中实现精确的道路提取仍是研究领域的一项挑战。
传统算法需要人为设计提取的特征，选择光谱、纹理、几何等特征来实现道路特征的提取，使得模型的表达能力有限。同时无法对高分辨率图像中的丰富信息进行充分利用。随着技术发展，深度学习方法在计算机视觉和图像处理领域展现出良好的性能。在图像分割领域，已有多种模型实现了较好的分割效果。已有部分学者将深度学习的方法应用到遥感图像道路提取中来。这些方法没有考虑到道路整体所具有的几何拓扑结构，缺乏对上下文信息的充分利用；同时在下采样过程中的图像分辨率不断下降，空间信息丢失，使得道路的边缘分割结果不清晰。
因此，需要提出一种能够有效利用上下文信息和恢复丢失位置信息的语义分割方法，对图像进行逐像素的分类，增强图像分割准确度，提高道路边缘分割结果。
发明内容
本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种基于上下文信息和注意力机制的遥感图像道路分割方法的改进。
为了解决上述技术问题，本发明采用的技术方案为：一种基于上下文信息和注意力机制的遥感图像道路分割方法，包括如下步骤：
步骤一：将遥感图像数据集按照一定的比例划分为训练集和测试集，所述遥感图像数据集通过遥感卫星获取，所述遥感图像数据集包括原始图像和经过人工标记的标签数据图像；对训练集的遥感图像数据进行预处理，得到经过数据增强后的遥感图像；
步骤二：搭建遥感图像道路分割网络：所述遥感图像道路分割网络中包括上下文信息提取模块和注意力模块，搭建步骤包括：
步骤2.1：以U-Net网络模型作为基础网络，将U-Net网络模型中的编码器模块替换为在ImageNet数据集上经过预训练的Resnet-34网络作为编码器；
步骤2.2：在步骤2.1的基础上在U-Net网络模型上添加用于提高对图像上下文信息利用的上下文信息提取模块；
步骤2.3：将经过步骤2.1中预先训练的作为编码器的Resnet-34网络提取的图像特征经过与编码器对应的解码器模块部分，再通过注意力模块优化网络的跳跃连接部分，实现对遥感图像数据中的道路特征的最终分割；
步骤三：将步骤一中经过预处理的训练集数据输入至步骤二中的遥感图像道路分割网络中，对遥感图像道路分割网络的超参数进行初始化，对遥感图像道路分割网络进行训练；训练完成后，将训练好的遥感图像道路分割网络模型参数进行保存；
步骤四：将测试集数据输入到步骤三中已经训练好的遥感图像道路分割网络中，输出图像道路数据的精确分割结果。
所述步骤一中对训练集的遥感图像数据进行预处理包括图像裁剪和对训练集中原始图像进行数据增强；
所述图像裁剪具体为：将训练集中的遥感图像裁剪为尺寸为1024像素*1024像素、分辨率为0.5米每分辨率的图像；
所述数据增强包括：将训练集中的图像进行图像旋转、图像色彩调节、图像垂直于水平翻转。
所述步骤2.1作为编码器的预先训练的Resnet-34网络的结构如下：
第一层为卷积层：从初始块开始，进行卷积核大小为7×7、步长为2的卷积；
第二层为最大池化层：初始块之后的步长为2的最大池化层；
所述Resnet-34网络的在最大池化层后设置有多个重复的残差块，所述残差块中的第一个卷积操作以步长为2的卷积实现下采样，所述残差块中的第二个及其之后的卷积操作使用不符为1的卷积操作，所述残差块中设置有用于加快网络收敛的短路连接。
所述注意力模块用于实现对跳跃连接传递的特征进行加权，对目标区域的特征信息进行强化；
所述注意力模块的输入数据为上采样的上一层特征图和下采样层同层的特征图，然后将输入数据进行一个pixel权重图的构建，最后将权重图对跳跃连接传递的特征图进行处理，得到进行权重加权的特征图。
所述注意力模块中的权重图的构建步骤为：
首先对输入的上采样的上一层特征图和下采样层同层的特征图这两幅特征图进行特征降维；
然后将降维后的两幅特征图进行特征部分的相加；
再对相加后的特征图经过线性修正和sigmoid函数层处理；
最后得到特征像素的权重图。
所述解码器模块由与相应编码器块连接的多个解码块组成，所述解码器模块的网络结构为：
先将从编码器模块传递的经注意力模块进行权重调整的特征图与上采样的特征图进行通道叠加；
然后将叠加后的特征图经过各个解码器模块，每个所述解码器模块均包括1×1卷积运算；
再将经过解码器模块的特征图进行批量归一化和转置卷积以对特征图实现上采样过程；
最终通过最后的卷积层生成只有道路和非道路两种标签的图像。
所述步骤三中对遥感图像道路分割网络进行训练中使用的损失函数为Dice系数损失函数和交叉熵损失函数共同作为损失函数，其中，在二分类的情况下，所述交叉熵损失函数的计算公式为：
Figure BDA0002685990540000031
上式中：y为真实的像素标签值，y'为预测的标签像素值，N为标签的类别数；
所述Dice系数损失函数的计算公式为：
Figure BDA0002685990540000032
上式中：X为生成的预测图，Y为真实的标签，|XI Y|为标签和预测之间的交集，|X|为标签的元素的个数，|Y|为预测的元素的个数；
最终的损失函数为交叉熵损失函数和Dice系数损失函数的总和，计算公式为：Lloss＝Ldice+Lcross。
本发明相对于现有技术具备的有益效果为：
1)本发明方法在编码器部分使用预先训练的Resnet-34网络作为编码器，在每个残差块中，第一个卷积操作以步长为2的卷积实现下采样，取代了常用的池化层。由于池化层在降低图像分辨率的同时会造成图像的位置特征损失，对于语义分割来说，位置信息的损失会极大程度上影响最终的预测精度。因此选择了步长为2的卷积层进行替代，该卷积层可以实现池化层的下采样效果，并能有效避免池化造成的位置信息损失，有效保证了图像的分割效果；
2)本发明方法采用上下文信息模块扩大网络的感受野，同时实现道路上下文信息的利用。扩大感受野以保证提取到更多的全局信息。该结构既可以采用不同感受野的卷积核来实现不同尺寸目标的特征获取，同时可以结合残差连接来避免梯度的爆炸和消失。引入空洞卷积可以在不增大计算量的条件下有效提高了各个支路的感受野，可以实现不同尺寸下的特征提取；
3)本发明方法在搭建道路分割网络时采用了注意力机制来优化跳跃连接传递的特征。在图像处理中，通过跳跃连接从编码过程中传递的特征图中不仅包含了目标的位置、边缘等细节特征，同时也存在着大量背景特征信息，这些特征会对分割任务造成干扰。采用注意力机制来自适应地将局部特征与全局特征相结合，对特征信息进行筛选，抑制非目标区域的特征，使得网络在特征提取过程中更关注目标区域特征；本发明的方法割准确度高，道路边缘分割结果清晰且鲁棒性强。
附图说明
下面结合附图对本发明做进一步说明：
图1为本发明方法中构建的道路分割网络的组成结构示意图；
图2为本发明方法中构建的道路分割网络中上下文信息提取模块的组成结构示意图；
图3为本发明方法中构建的道路分割网络中注意力机制模块的组成结构示意图；
图4为本发明实施例中人工标记的标准道路分割图；
图5为本发明实施例中U-Net预测的道路分割图；
图6为本发明实施例中的预测道路分割图。
具体实施方式
如图1至图6所示，本发明一种基于上下文信息和注意力机制的遥感图像道路分割方法，包括如下步骤：
步骤一：将遥感图像数据集按照一定的比例划分为训练集和测试集，所述遥感图像数据集通过遥感卫星获取，所述遥感图像数据集包括原始图像和经过人工标记的标签数据图像；对训练集的遥感图像数据进行预处理，得到经过数据增强后的遥感图像；
步骤二：搭建遥感图像道路分割网络：所述遥感图像道路分割网络中包括上下文信息提取模块和注意力模块，搭建步骤包括：
步骤2.1：以U-Net网络模型作为基础网络，将U-Net网络模型中的编码器模块替换为在ImageNet数据集上经过预训练的Resnet-34网络作为编码器；
步骤2.2：在步骤2.1的基础上在U-Net网络模型上添加用于提高对图像上下文信息利用的上下文信息提取模块；
步骤2.3：将经过步骤2.1中预先训练的作为编码器的Resnet-34网络提取的图像特征经过与编码器对应的解码器模块部分，再通过注意力模块优化网络的跳跃连接部分，实现对遥感图像数据中的道路特征的最终分割；
步骤三：将步骤一中经过预处理的训练集数据输入至步骤二中的遥感图像道路分割网络中，对遥感图像道路分割网络的超参数进行初始化，对遥感图像道路分割网络进行训练；训练完成后，将训练好的遥感图像道路分割网络模型参数进行保存；
步骤四：将测试集数据输入到步骤三中已经训练好的遥感图像道路分割网络中，输出图像道路数据的精确分割结果。
所述步骤一中对训练集的遥感图像数据进行预处理包括图像裁剪和对训练集中原始图像进行数据增强；
所述图像裁剪具体为：将训练集中的遥感图像裁剪为尺寸为1024像素*1024像素、分辨率为0.5米每分辨率的图像；
所述数据增强包括：将训练集中的图像进行图像旋转、图像色彩调节、图像垂直于水平翻转。
所述步骤2.1作为编码器的预先训练的Resnet-34网络的结构如下：
第一层为卷积层：从初始块开始，进行卷积核大小为7×7、步长为2的卷积；
第二层为最大池化层：初始块之后的步长为2的最大池化层；
所述Resnet-34网络的在最大池化层后设置有多个重复的残差块，所述残差块中的第一个卷积操作以步长为2的卷积实现下采样，所述残差块中的第二个及其之后的卷积操作使用不符为1的卷积操作，所述残差块中设置有用于加快网络收敛的短路连接。
所述注意力模块用于实现对跳跃连接传递的特征进行加权，对目标区域的特征信息进行强化；
所述注意力模块的输入数据为上采样的上一层特征图和下采样层同层的特征图，然后将输入数据进行一个pixel权重图的构建，最后将权重图对跳跃连接传递的特征图进行处理，得到进行权重加权的特征图。
所述注意力模块中的权重图的构建步骤为：
首先对输入的上采样的上一层特征图和下采样层同层的特征图这两幅特征图进行特征降维；
然后将降维后的两幅特征图进行特征部分的相加；
再对相加后的特征图经过线性修正和sigmoid函数层处理；
最后得到特征像素的权重图。
所述解码器模块由与相应编码器块连接的多个解码块组成，所述解码器模块的网络结构为：
先将从编码器模块传递的经注意力模块进行权重调整的特征图与上采样的特征图进行通道叠加；
然后将叠加后的特征图经过各个解码器模块，每个所述解码器模块均包括1×1卷积运算；
再将经过解码器模块的特征图进行批量归一化和转置卷积以对特征图实现上采样过程；
最终通过最后的卷积层生成只有道路和非道路两种标签的图像。
所述步骤三中对遥感图像道路分割网络进行训练中使用的损失函数为Dice系数损失函数和交叉熵损失函数共同作为损失函数，其中，在二分类的情况下，所述交叉熵损失函数的计算公式为：
Figure BDA0002685990540000061
上式中：y为真实的像素标签值，y'为预测的标签像素值，N为标签的类别数；
所述Dice系数损失函数的计算公式为：
Figure BDA0002685990540000062
上式中：X为生成的预测图，Y为真实的标签，|XI Y|为标签和预测之间的交集，|X|为标签的元素的个数，|Y|为预测的元素的个数；
最终的损失函数为交叉熵损失函数和Dice系数损失函数的总和，计算公式为：Lloss＝Ldice+Lcross。
本发明的目的是提供一种实现遥感图像道路分割的方法，解决现有分割方法存在的分割道路结构不完整，不连通，道路边缘区域不清晰的问题。
本发明所采用的技术方案是一种基于上下文信息和注意力机制的遥感图像道路分割方法，具体包括如下步骤：
步骤1，将遥感图像数据集按照一定比例划分为训练集和测试集，其中包括原图像和其对应的人工标记的标签数据；对训练集的遥感图像进行预处理，得到经过数据增强后的遥感图像。
步骤2，搭建结合注意力机制和上下文信息的遥感图像道路分割网络，如图1所示，所述道路分割网络以U-Net网络模型作为基础，将U-Net网络中的编码器模块替换为在ImageNet数据集上经过预训练的Resnet-34网络，添加上下文信息提取模块来提高对于图像上下文信息的利用，将提取的特征经过与编码器对应的解码器部分，再使用注意力模块优化网络的跳跃连接部分，实现最终道路的精细分割。
步骤3，输入经过预处理的训练数据集，初始化模型超参数，对改进的道路分割网络进行训练；在本发明中，使用Dice系数损失函数和交叉熵损失共同作为损失函数。训练完成后，将训练好的网络模型参数进行保存。
步骤4，将测试数据集输入到训练好的道路分割模型中，得到道路的精确分割结果。
步骤1中，数据集预处理中包括图像裁剪和训练集原图像的数据增强过程：
其中，图像裁剪过程将所有的遥感图像裁剪为尺寸为1024*1024，像素分辨率为0.5米每分辨率图像的，对训练数据集中所有图像均进行数据增强，包括图像旋转(上下、左右两个方向)、图像色彩调节、垂直与水平翻转。
步骤2中，以U-Net网络为基础，搭建结合注意力机制和上下文信息的遥感图像道路分割网络过程为：
1)在传统U-Net架构中，每个编码器块包含两个卷积层和一个最大池化层。使用预先训练的Resnet-34网络作为编码器。编码器从初始块开始，进行卷积核大小为7×7且步长为2的卷积。此块之后为步长为2的最大池化。网络的后面部分由重复的残差块组成。在每个残差块中，第一个卷积操作以步长为2的卷积实现下采样，其余卷积操作使用步长为1的卷积操作。在各个残差块中加入短路连接来加快网络的收敛。
2)上下文信息提取模块，如图2所示，采用不同大小感受野的卷积支路来实现不同尺度下的道路上下文信息提取，对高级语义特征图进行编码。该结构既可以采用不同感受野的卷积核来实现不同尺寸目标的特征获取，同时可以结合残差连接来避免梯度的爆炸和消失。结合空洞卷积的思想，在不增大计算量的条件下有效提高了各个支路的感受野。从上到下的每个支路分别具有3、7、9、19大小的感受野，可以实现不同尺寸下的道路特征的提取。
3)注意力机制模块，如图3所示，能够对跳跃连接传递的特征信息进行加权，对目标区域的特征信息进行强化，减弱无用信息的干扰，从而提高特征的利用效率进而提高模型对于细节的分割性能。注意力机制将上采样的上一层特征图和来自下采样过程的特征图作为输入信号。先对两幅特征图进行特征降维，然后直接相加，再经过线性修正和sigmoid函数层，最终得到像素的权重图。再最终再对跳跃连接的特征图进行加权。简单讲就是使用下采样层同层的特征图和上采样层上一层的特征图进行一个pixel权重图的构建，然后再把这个权重图对跳跃连接传递的特征图进行处理，得到进行权重加权的特征图。
4)解码器模块由与相应编码器块连接的几个解码器块组成。先将从编码器模块传递的经注意力模块进行权重调整的特征图与上采样的特征图进行通道叠加。然后经过各个解码器模块。每个解码器模块均包括1×1卷积运算，该运算将通道数减半，然后进行批量归一化和转置卷积以对特征图实现上采样过程，最终通过最后的卷积层生成只有道路和非道路两种标签的图像。
步骤3中使用Dice系数损失函数和交叉熵损失共同作为损失函数：
其中，在二分类的情况下，交叉熵损失函数的计算公式如下，
Figure BDA0002685990540000081
其中，y表示真实的像素标签值，y′表示预测的标签像素值，N表示标签的类别数。
dice loss计算公式如下所示：
Figure BDA0002685990540000082
其中，X和Y分别表示生成的预测图和真实的标签。|XI Y|是标签和预测之间的交集，|X|和|Y|分表表示标签和预测的元素的个数。
最终的损失函数为交叉熵函数和dice loss的总和。
Lloss＝Ldice+Lcross (3)。
为了进一步验证本方法的有效性和可行性，本发明根据下面实施例进行实验。
使用基于python的深度学习框架Pytorch1.5.0搭建卷积神经网络的架构。实验数据集使用Deep Global卫星道路提取数据集，采用了语义分割中常用的两种语义分割评估指标，即精确度，召回率和交并比来评价模型道路分割的性能，
本发明提出的方法与传统u-net模型比较，对比结果如表1所示。基于不同的网络模型的道路分割结果如图4至6所示。
表1为本发明在Deep Global卫星道路提取数据集上与其他方法识别性能上的比较结果：
Model 精确度 召回率 交并比
u-net 0.9759 0.4276 0.3944
<u>Ournet</u> 0.9851 0.8472 0.6915
表1
由表1可知，本发明的基于上下文信息和注意力机制的遥感图像道路分割方法相比传统的U-Net分割方法做比较，精确度高出了1％，召回率高出了41.96％，交并比高出了29.71％，充分说明了本发明方法的图像分割能力。从召回率值的比较可以看出，结果高于U-Net模型，分割结果更符合真实标签，对图像中的道路具有更好的识别率。综合精确度和交并比可以看出，本发明方法对于图像中非道路区域的误分辨更少，体现出模型的性能优越性。
本发明公开了一种基于上下文信息和注意力机制的遥感图像道路分割方法，首先对RGB三通道的遥感图像进行标注，生成标签图像。将图像分为测试集和训练集，对训练集图像进行预处理和数据扩增；之后通过深度学习模型建立道路分割网络，输入训练集图像对其进行训练，待到网络收敛时保存模型参数；最后将待测试图像通过道路分割模型得到最终预测结果图。与现有技术相比较，本发明通过添加注意力机制和上下文信息的方式实现遥感图像进行语义分割，进行逐像素的分类，最后得到提取的道路结果。优点是其分割准确度高，道路边缘分割结果清晰且鲁棒性强。
关于本发明具体结构需要说明的是，本发明采用的各部件模块相互之间的连接关系是确定的、可实现的，除实施例中特殊说明的以外，其特定的连接关系可以带来相应的技术效果，并基于不依赖相应软件程序执行的前提下，解决本发明提出的技术问题，本发明中出现的部件、模块、具体元器件的型号、连接方式除具体说明的以外，均属于本领域技术人员在申请日前可以获取到的已公开专利、已公开的期刊论文、或公知常识等现有技术，无需赘述，使得本案提供的技术方案是清楚、完整、可实现的，并能根据该技术手段重现或获得相应的实体产品。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种基于上下文信息和注意力机制的遥感图像道路分割方法，其特征在于：包括如下步骤：
步骤一：将遥感图像数据集按照一定的比例划分为训练集和测试集，所述遥感图像数据集通过遥感卫星获取，所述遥感图像数据集包括原始图像和经过人工标记的标签数据图像；
对训练集的遥感图像数据进行预处理，得到经过数据增强后的遥感图像；
步骤二：搭建遥感图像道路分割网络：所述遥感图像道路分割网络中包括上下文信息提取模块和注意力模块，搭建步骤包括：
步骤2.1：以U-Net网络模型作为基础网络，将U-Net网络模型中的编码器模块替换为在ImageNet数据集上经过预训练的Resnet-34网络作为编码器；
步骤2.2：在步骤2.1的基础上在U-Net网络模型上添加用于提高对图像上下文信息利用的上下文信息提取模块；
步骤2.3：将经过步骤2.1中预先训练的作为编码器的Resnet-34网络提取的图像特征经过与编码器对应的解码器模块部分，再通过注意力模块优化网络的跳跃连接部分，实现对遥感图像数据中的道路特征的最终分割；
步骤三：将步骤一中经过预处理的训练集数据输入至步骤二中的遥感图像道路分割网络中，对遥感图像道路分割网络的超参数进行初始化，对遥感图像道路分割网络进行训练；
训练完成后，将训练好的遥感图像道路分割网络模型参数进行保存；
步骤四：将测试集数据输入到步骤三中已经训练好的遥感图像道路分割网络中，输出图像道路数据的精确分割结果。
2.根据权利要求1所述的一种基于上下文信息和注意力机制的遥感图像道路分割方法，其特征在于：所述步骤一中对训练集的遥感图像数据进行预处理包括图像裁剪和对训练集中原始图像进行数据增强；
所述图像裁剪具体为：将训练集中的遥感图像裁剪为尺寸为1024像素*1024像素、分辨率为0.5米每分辨率的图像；
所述数据增强包括：将训练集中的图像进行图像旋转、图像色彩调节、图像垂直与水平翻转。
3.根据权利要求2所述的一种基于上下文信息和注意力机制的遥感图像道路分割方法，其特征在于：所述步骤2.1作为编码器的预先训练的Resnet-34网络的结构如下：
第一层为卷积层：从初始块开始，进行卷积核大小为7×7、步长为2的卷积；
第二层为最大池化层：初始块之后的步长为2的最大池化层；
所述Resnet-34网络的在最大池化层后设置有多个重复的残差块，所述残差块中的第一个卷积操作以步长为2的卷积实现下采样，所述残差块中的第二个及其之后的卷积操作使用步长为1的卷积操作，所述残差块中设置有用于加快网络收敛的短路连接。
4.根据权利要求3所述的一种基于上下文信息和注意力机制的遥感图像道路分割方法，其特征在于：
所述注意力模块用于实现对跳跃连接传递的特征进行加权，对目标区域的特征信息进行强化；
所述注意力模块的输入数据为上采样的上一层特征图和下采样层同层的特征图，然后将输入数据进行一个pixel权重图的构建，最后将权重图对跳跃连接传递的特征图进行处理，得到进行权重加权的特征图。
5.根据权利要求4所述的一种基于上下文信息和注意力机制的遥感图像道路分割方法，其特征在于：所述注意力模块中的权重图的构建步骤为：
首先对输入的上采样的上一层特征图和下采样层同层的特征图这两幅特征图进行特征降维；
然后将降维后的两幅特征图进行特征部分的相加；
再对相加后的特征图经过线性修正和sigmoid函数层处理；
最后得到特征像素的权重图。
6.根据权利要求5所述的一种基于上下文信息和注意力机制的遥感图像道路分割方法，其特征在于：所述解码器模块由与相应编码器块连接的多个解码块组成，所述解码器模块的网络结构为：
先将从编码器模块传递的经注意力模块进行权重调整的特征图与上采样的特征图进行通道叠加；
然后将叠加后的特征图经过各个解码器模块，每个所述解码器模块均包括1×1卷积运算；
再将经过解码器模块的特征图进行批量归一化和转置卷积以对特征图实现上采样过程；
最终通过最后的卷积层生成只有道路和非道路两种标签的图像。
7.根据权利要求6所述的一种基于上下文信息和注意力机制的遥感图像道路分割方法，其特征在于：所述步骤三中对遥感图像道路分割网络进行训练中使用的损失函数为Dice系数损失函数和交叉熵损失函数共同作为损失函数，其中，在二分类的情况下，所述交叉熵损失函数的计算公式为：
Figure FDA0002685990530000021
上式中：y为真实的像素标签值，y'为预测的标签像素值，N为标签的类别数；
所述Dice系数损失函数的计算公式为：
Figure FDA0002685990530000031
上式中：X为生成的预测图，Y为真实的标签，|XI Y|为标签和预测之间的交集，|X|为标签的元素的个数，|Y|为预测的元素的个数；
最终的损失函数为交叉熵损失函数和Dice系数损失函数的总和，计算公式为：
Lloss＝Ldice+Lcross。
CN202010976675.5A 2020-09-16 2020-09-16 一种基于上下文信息和注意力机制的遥感图像道路分割方法 Pending CN112183258A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010976675.5A CN112183258A (zh) 2020-09-16 2020-09-16 一种基于上下文信息和注意力机制的遥感图像道路分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010976675.5A CN112183258A (zh) 2020-09-16 2020-09-16 一种基于上下文信息和注意力机制的遥感图像道路分割方法

Publications (1)

Publication Number Publication Date
CN112183258A true CN112183258A (zh) 2021-01-05

Family

ID=73921360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010976675.5A Pending CN112183258A (zh) 2020-09-16 2020-09-16 一种基于上下文信息和注意力机制的遥感图像道路分割方法

Country Status (1)

Country Link
CN (1) CN112183258A (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699835A (zh) * 2021-01-12 2021-04-23 华侨大学 基于重建偏重U-Net的道路提取方法、装置、设备及存储介质
CN112733702A (zh) * 2021-01-07 2021-04-30 华侨大学 基于遥感图像的人行道检测方法、装置、设备及存储介质
CN112819798A (zh) * 2021-02-05 2021-05-18 苏州大学 一种适用于多种视网膜积液联合分割的上下文关注与融合网络
CN113033314A (zh) * 2021-02-26 2021-06-25 浙江方大通信有限公司 一种旅游高峰部署的移动式景区智能服务系统及服务方法
CN113129310A (zh) * 2021-03-04 2021-07-16 同济大学 一种基于注意力路由的医学图像分割系统
CN113160234A (zh) * 2021-05-14 2021-07-23 太原理工大学 基于超分辨率和域自适应的无监督遥感图像语义分割方法
CN113191285A (zh) * 2021-05-08 2021-07-30 山东大学 基于卷积神经网络和Transformer的河湖遥感图像分割方法及系统
CN113361445A (zh) * 2021-06-22 2021-09-07 华南理工大学 一种基于注意力机制的文档二值化处理方法及系统
CN113569724A (zh) * 2021-07-27 2021-10-29 中国科学院地理科学与资源研究所 基于注意力机制和扩张卷积的道路提取方法及系统
CN113609889A (zh) * 2021-05-18 2021-11-05 武汉大学 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法
CN113642501A (zh) * 2021-08-23 2021-11-12 中国地质大学（武汉） 一种端对端的高分辨率遥感影像道路自动提取方法
CN113642390A (zh) * 2021-07-06 2021-11-12 西安理工大学 一种基于局部注意力网络的街景图像语义分割方法
CN113780189A (zh) * 2021-09-14 2021-12-10 西南交通大学 一种基于U-Net改进的车道线检测方法
CN113808140A (zh) * 2021-09-24 2021-12-17 昆明理工大学 一种间隙区域感知的铝硅合金显微图像分割方法
CN113822428A (zh) * 2021-08-06 2021-12-21 中国工商银行股份有限公司 神经网络训练方法及装置、图像分割方法
CN113888547A (zh) * 2021-09-27 2022-01-04 太原理工大学 基于gan网络的无监督域自适应遥感道路语义分割方法
CN113887499A (zh) * 2021-10-21 2022-01-04 清华大学 一种沙丘图像识别模型及其创建方法和沙丘图像识别方法
CN113888550A (zh) * 2021-09-27 2022-01-04 太原理工大学 一种结合超分辨率和注意力机制的遥感图像道路分割方法
CN114612477A (zh) * 2022-03-03 2022-06-10 成都信息工程大学 一种轻量化图像分割方法、系统、介质、终端及应用
CN114693759A (zh) * 2022-03-31 2022-07-01 电子科技大学 一种基于编解码网络的轻量级快速图像深度估计方法
CN115641512A (zh) * 2022-12-26 2023-01-24 成都国星宇航科技股份有限公司 一种卫星遥感影像道路识别方法、装置、设备及介质
CN117078943A (zh) * 2023-10-17 2023-11-17 太原理工大学 融合多尺度特征和双注意力机制的遥感影像道路分割方法
CN117649609A (zh) * 2024-01-30 2024-03-05 中国人民解放军海军航空大学 面向跨时空尺度域的遥感图像建筑物信息提取方法
CN117853739A (zh) * 2024-02-04 2024-04-09 耕宇牧星(北京)空间科技有限公司 基于特征变换的遥感图像特征提取模型预训练方法及装置
CN114612477B (zh) * 2022-03-03 2024-07-05 成都信息工程大学 一种轻量化图像分割方法、系统、介质、终端及应用

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170011281A1 (en) * 2015-07-09 2017-01-12 Qualcomm Incorporated Context-based priors for object detection in images
CN109101907A (zh) * 2018-07-28 2018-12-28 华中科技大学 一种基于双边分割网络的车载图像语义分割系统
CN109872306A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 医学图像分割方法、装置和存储介质
CN110197182A (zh) * 2019-06-11 2019-09-03 中国电子科技集团公司第五十四研究所 基于上下文信息和注意力机制的遥感影像语义分割方法
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170011281A1 (en) * 2015-07-09 2017-01-12 Qualcomm Incorporated Context-based priors for object detection in images
CN109101907A (zh) * 2018-07-28 2018-12-28 华中科技大学 一种基于双边分割网络的车载图像语义分割系统
CN109872306A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 医学图像分割方法、装置和存储介质
CN110197182A (zh) * 2019-06-11 2019-09-03 中国电子科技集团公司第五十四研究所 基于上下文信息和注意力机制的遥感影像语义分割方法
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
GOOGLER_OFFER: "《keras搬砖系列-Resnet-34详解》", 《HTTPS://BLOG.CSDN.NET/GOOGLER_OFFER/ARTICLE/DETAILS/79521453》 *
KUN LI: "《CE-Net: Context encoder network for 2D medical image segmentation》", 《HTTPS://BLOG.CSDN.NET/U012193416/ARTICLE/DETAILS/88585323》 *
XIE GANG等: "《Hierarchy fault diagnosis based on signed directed graphs model》", 《2012 24TH CHINESE CONTROL AND DECISION CONFERENCE (CCDC)》 *
ZAIWANG GU等: "《CE-Net: Context Encoder Network for 2D Medical Image Segmentation》", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 *
武晓焱等: "《基于最小Hausdorff距离和NSST的遥感图像融合》", 《光子学报》 *
王英等: "《基于Shearlet域的改进加权法结合自适应PCNN的图像融合算法》", 《计算机科学》 *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733702A (zh) * 2021-01-07 2021-04-30 华侨大学 基于遥感图像的人行道检测方法、装置、设备及存储介质
CN112699835A (zh) * 2021-01-12 2021-04-23 华侨大学 基于重建偏重U-Net的道路提取方法、装置、设备及存储介质
CN112699835B (zh) * 2021-01-12 2023-09-26 华侨大学 基于重建偏重U-Net的道路提取方法、装置、设备及存储介质
CN112819798A (zh) * 2021-02-05 2021-05-18 苏州大学 一种适用于多种视网膜积液联合分割的上下文关注与融合网络
CN112819798B (zh) * 2021-02-05 2023-06-13 苏州大学 多种视网膜积液联合分割的上下文关注与融合网络系统
CN113033314A (zh) * 2021-02-26 2021-06-25 浙江方大通信有限公司 一种旅游高峰部署的移动式景区智能服务系统及服务方法
CN113129310A (zh) * 2021-03-04 2021-07-16 同济大学 一种基于注意力路由的医学图像分割系统
CN113191285A (zh) * 2021-05-08 2021-07-30 山东大学 基于卷积神经网络和Transformer的河湖遥感图像分割方法及系统
CN113191285B (zh) * 2021-05-08 2023-01-20 山东大学 基于卷积神经网络和Transformer的河湖遥感图像分割方法及系统
CN113160234A (zh) * 2021-05-14 2021-07-23 太原理工大学 基于超分辨率和域自适应的无监督遥感图像语义分割方法
CN113609889A (zh) * 2021-05-18 2021-11-05 武汉大学 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法
CN113609889B (zh) * 2021-05-18 2024-02-13 武汉大学 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法
CN113361445B (zh) * 2021-06-22 2023-06-20 华南理工大学 一种基于注意力机制的文档二值化处理方法及系统
CN113361445A (zh) * 2021-06-22 2021-09-07 华南理工大学 一种基于注意力机制的文档二值化处理方法及系统
CN113642390A (zh) * 2021-07-06 2021-11-12 西安理工大学 一种基于局部注意力网络的街景图像语义分割方法
CN113642390B (zh) * 2021-07-06 2024-02-13 西安理工大学 一种基于局部注意力网络的街景图像语义分割方法
CN113569724A (zh) * 2021-07-27 2021-10-29 中国科学院地理科学与资源研究所 基于注意力机制和扩张卷积的道路提取方法及系统
CN113822428A (zh) * 2021-08-06 2021-12-21 中国工商银行股份有限公司 神经网络训练方法及装置、图像分割方法
CN113642501A (zh) * 2021-08-23 2021-11-12 中国地质大学（武汉） 一种端对端的高分辨率遥感影像道路自动提取方法
CN113780189A (zh) * 2021-09-14 2021-12-10 西南交通大学 一种基于U-Net改进的车道线检测方法
CN113808140A (zh) * 2021-09-24 2021-12-17 昆明理工大学 一种间隙区域感知的铝硅合金显微图像分割方法
CN113808140B (zh) * 2021-09-24 2024-04-09 昆明理工大学 一种间隙区域感知的铝硅合金显微图像分割方法
CN113888550A (zh) * 2021-09-27 2022-01-04 太原理工大学 一种结合超分辨率和注意力机制的遥感图像道路分割方法
CN113888547A (zh) * 2021-09-27 2022-01-04 太原理工大学 基于gan网络的无监督域自适应遥感道路语义分割方法
CN113888550B (zh) * 2021-09-27 2024-06-04 太原理工大学 一种结合超分辨率和注意力机制的遥感图像道路分割方法
CN113887499A (zh) * 2021-10-21 2022-01-04 清华大学 一种沙丘图像识别模型及其创建方法和沙丘图像识别方法
CN113887499B (zh) * 2021-10-21 2022-11-18 清华大学 一种沙丘图像识别模型及其创建方法和沙丘图像识别方法
CN114612477A (zh) * 2022-03-03 2022-06-10 成都信息工程大学 一种轻量化图像分割方法、系统、介质、终端及应用
CN114612477B (zh) * 2022-03-03 2024-07-05 成都信息工程大学 一种轻量化图像分割方法、系统、介质、终端及应用
CN114693759A (zh) * 2022-03-31 2022-07-01 电子科技大学 一种基于编解码网络的轻量级快速图像深度估计方法
CN115641512A (zh) * 2022-12-26 2023-01-24 成都国星宇航科技股份有限公司 一种卫星遥感影像道路识别方法、装置、设备及介质
CN117078943B (zh) * 2023-10-17 2023-12-19 太原理工大学 融合多尺度特征和双注意力机制的遥感影像道路分割方法
CN117078943A (zh) * 2023-10-17 2023-11-17 太原理工大学 融合多尺度特征和双注意力机制的遥感影像道路分割方法
CN117649609A (zh) * 2024-01-30 2024-03-05 中国人民解放军海军航空大学 面向跨时空尺度域的遥感图像建筑物信息提取方法
CN117649609B (zh) * 2024-01-30 2024-04-30 中国人民解放军海军航空大学 面向跨时空尺度域的遥感图像建筑物信息提取方法
CN117853739A (zh) * 2024-02-04 2024-04-09 耕宇牧星(北京)空间科技有限公司 基于特征变换的遥感图像特征提取模型预训练方法及装置

Similar Documents

Publication Publication Date Title
CN112183258A (zh) 一种基于上下文信息和注意力机制的遥感图像道路分割方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN109871798B (zh) 一种基于卷积神经网络的遥感影像建筑物提取方法
CN108596248B (zh) 一种基于改进深度卷积神经网络的遥感影像分类方法
CN112991354B (zh) 一种基于深度学习的高分辨率遥感影像语义分割方法
CN113888550B (zh) 一种结合超分辨率和注意力机制的遥感图像道路分割方法
CN110889449A (zh) 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
CN110070091B (zh) 用于街景理解的基于动态插值重建的语义分割方法及系统
CN114187450A (zh) 一种基于深度学习的遥感图像语义分割方法
CN111738111A (zh) 基于多分支级联空洞空间金字塔的高分辨遥感图像的道路提取方法
CN113705580B (zh) 基于深度迁移学习的高光谱图像分类方法
CN114022408A (zh) 基于多尺度卷积神经网络的遥感图像云检测方法
CN110599502B (zh) 一种基于深度学习的皮肤病变分割方法
CN112419333B (zh) 一种遥感影像自适应特征选择分割方法及系统
CN113888547A (zh) 基于gan网络的无监督域自适应遥感道路语义分割方法
CN112766089B (zh) 一种基于全局-局部对抗学习框架的跨域道路提取方法
CN113838064B (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
CN113255837A (zh) 工业环境下基于改进的CenterNet网络目标检测方法
CN114724155A (zh) 基于深度卷积神经网络的场景文本检测方法、系统及设备
CN113449691A (zh) 一种基于非局部注意力机制的人形识别系统及方法
CN115311194A (zh) 一种基于transformer和SE块的CT自动肝脏图像分割方法
CN111178304A (zh) 基于全卷积神经网络的高分辨率遥感影像像素级解译方法
CN116740121A (zh) 一种基于专用神经网络和图像预处理的秸秆图像分割方法
CN116958827A (zh) 一种基于深度学习的撂荒区域提取方法
CN112200029A (zh) 基于改进型UNet++网络的遥感图像建筑物提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210105