CN113888550A - 一种结合超分辨率和注意力机制的遥感图像道路分割方法 - Google Patents
一种结合超分辨率和注意力机制的遥感图像道路分割方法 Download PDFInfo
- Publication number
- CN113888550A CN113888550A CN202111157701.2A CN202111157701A CN113888550A CN 113888550 A CN113888550 A CN 113888550A CN 202111157701 A CN202111157701 A CN 202111157701A CN 113888550 A CN113888550 A CN 113888550A
- Authority
- CN
- China
- Prior art keywords
- network
- resolution
- remote sensing
- sensing image
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 120
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000007246 mechanism Effects 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000012360 testing method Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 41
- 238000005070 sampling Methods 0.000 claims description 24
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 230000017105 transposition Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000005728 strengthening Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims 1
- 238000013135 deep learning Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种结合超分辨率和注意力机制的遥感图像道路分割方法，属于遥感图像道路分割方法技术领域；通过将遥感图像数据集按照一定的比例划分为训练集和测试集；搭建遥感图像道路分割网络：所述遥感图像道路分割网络中包括编码器模块、超分辨率模块、语义分割模块；将经过预处理的训练集数据输入至遥感图像道路分割网络中，对遥感图像道路分割网络进行训练直到模型收敛，并保存模型参数；将测试集图像输入到导入训练好的参数的遥感图像道路分割模型中，输出图像道路数据的精确分割结果；本发明应用于遥感图像道路分割。
Description
技术领域
本发明涉及机器学习技术领域，具体而言，涉及一种结合超分辨率和注意力机制的遥感图像道路分割方法。
背景技术
近些年来随着遥感卫星发射数量不断增加，高分辨率遥感图像的获取更加方便，已成为数字图像处理重要的数据来源。同时，高分辨率卫星遥感图像中包含丰富的地物特征信息。遥感图像道路提取在城市规划，交通管理，车辆导航，地图更新等领域中发挥了重要作用，已经成为近年来的研究热点。
然而，由于高分辨率遥感图像中包含丰富的地物特征信息，受光照，噪声，遮挡，阴影等因素的影响，导致道路特征之间存在差异，同时遥感图像背景中相似非道路目标特征信息对实现道路提取造成干扰，因此如何从高分辨率遥感图像中实现精确的道路提取仍是研究领域的一项挑战。传统算法模型的表达能力有限，无法对高分辨率图像中的丰富信息进行充分利用。图像的超分辨率是对图像的分辨率通过低分辨率的图像去生成对应的高分辨率图像，在实现过程中对图像的底层特征进行了充分的利用，因此可以作为图像的特征提取部分对图像语义分割进行辅助。
发明内容
本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种结合超分辨率和注意力机制的遥感图像道路分割方法。
本发明解决其技术问题所采用的技术方案是：本发明公开一种结合超分辨率和注意力机制的遥感图像道路分割方法，包括如下步骤：
步骤一：将高分辨率遥感图像数据集按照一定的比例划分为训练集和测试集，所述高分辨率遥感图像数据集通过遥感卫星获取，包括原始遥感图像数据和经过人工标记的遥感图像数据；对训练集的遥感图像进行预处理和数据扩增，得到经过数据增强后的遥感图像数据集；
步骤二：搭建遥感图像道路分割网络：所述遥感图像道路分割网络中包括编码器网络、超分辨率网络和结合注意力机制的语义分割网络，搭建步骤包括：
步骤2.1：编码器网络：以U-Net网络模型作为基础网络，将U-Net网络模型中的编码器部分替换为Resnet-34网络的卷积层部分，并作为道路分割网络的编码器，同时使用在ImageNet数据集上预训练的Resnet-34网络参数初始化编码器网络；编码器最终输出底层特征图和高层特征图分别作为超分辨率网络和语义分割网络的输入；
步骤2.2：超分辨率网络：超分辨率网络通过残差模块来对编码器提取的底层特征图进行特征整合，通过三个反卷积模块逐步恢复图像的分辨率，同时减少网络的通道数，生成低分辨率遥感图像所对应的高分辨率遥感图像；
步骤2.3：语义分割网络：将高层特征图通过上下文信息提取模块后，经过预先训练的作为编码器的Resnet-34网络提取的图像特征和超分辨率网络提取的图像特征，通过注意力模块优化网络的跳跃连接部分，实现对遥感图像数据中的道路图像的最终分割；
步骤三：将预处理的训练集数据输入至搭建的遥感图像道路分割网络中，对遥感图像道路分割网络的参数进行初始化，采用resnet-34网络在ImageNet数据集上训练的参数来初始化编码器网络，对其余网络参数进行随机初始化，对遥感图像道路分割网络进行训练；
训练完成后，将训练好的遥感图像道路分割网络模型参数进行保存；
步骤四：经过处理的实时的遥感道路数据输入到训练好的遥感图像语义分割网络中，输出遥感图像数据的精确分割结果。
其中，对训练集的遥感图像数据进行预处理包括图像裁剪和对训练集中原始图像进行数据增强；
所述图像裁剪具体为：将训练集中的遥感图像裁剪为尺寸为512像素*512像素、分辨率为1米每分辨率的图像；对裁剪后的高分辨率遥感图像进行下采样，得到尺寸为256像素*258像素、分辨率为0.5米每分辨率的低分辨率图像；
所述数据增强包括：将训练集中的图像和标签一起进行图像旋转、图像垂直翻转、图像水平翻转。图像垂直加水平翻转。
其中，编码器网络的结构如下：
第一层为卷积层，进行卷积核大小为7×7、步长为2的卷积；第二层为步长为2的最大池化层；
所述编码器网络的在第二层最大池化层后设置有三个重复的残差块，第一个残差块进行卷积操作，以步长为2的卷积实现下采样，第二个残差块及其之后的卷积操作使用步长为1的卷积操作，残差块中设置有用于加快网络收敛的短路连接；其中第一个残差块所生成的特征图称之为底层特征图，被用于进行图像的超分辨率；输出的图像特征图称之为高层特征图，用于进行图像的语义分割。
其中，超分辨率网络的结构如下：
所述超分辨率网络将输入的底层特征图经过两个残差模块来整合提取的多尺度特征，得到新的特征图；通过三个反卷积模块逐步恢复图像的分辨率，同时减少网络的通道数，生成低分辨率遥感图像所对应的高分辨率遥感图像。
其中，语义分割网络的结构如下：
将从编码器网络提取的高层特征图进行送入上下文信息模块，提取并整合网络的上下文信息，使用提取的特征图通过注意力模块对来自编码器网络和超分辨率网络的特征图进行权重调整，将权重调整后的特征图和上采样的特征图进行叠加；依次经过解码器模块，解码器模块包括1×1卷积运算，该运算将通道数减半，进行批量归一化和转置卷积以对特征图实现上采样过程；通过最后的反卷积层生成只有道路和非道路两种标签的单通道概率图；
为充分利用图像所包含的特征，语义分割网络将来自编码器网络和超分辨率网络传递的特征图通过注意力机制模块进行过滤，送入图像的上采样的过程中，实现超分辨率模块对于语义分割过程的辅助作用。
其中，语义分割网络中的注意力模块用于实现对跳跃连接传递的特征进行加权，对目标区域的特征信息进行强化；所述注意力模块的输入数据为上一层的上采样特征图和输入的编码器及超分辨率模块的特征图，以上一层的上采样特征图作为监督信号，和传递的特征图生成一个逐像素权重图，采用逐像素权重图对跳跃连接传递的特征图进行处理，得到进行加权的传递特征图。
其中，所述注意力模块中的权重图的构建步骤为：
对输入的特征图进行特征降维，将降维后的两幅特征图相加，对相加后的特征图经过线性修正和sigmoid函数层处理，得到特征像素的权重图。
其中，解码器模块由接受特征图传递的多个解码块组成，所述解码器模块结构为：
将从编码器网络和超分辨率网络传递特征图进行拼接，经过注意力模块进行权重调整；将权重调整后的特征图与上一层的特征图进行通道叠加；
将叠加后的特征图依次送入各个解码器模块，每个解码器模块均包括1×1卷积运算，将经过解码器模块的特征图进行批量归一化和转置卷积以对特征图实现上采样过程，通过卷积层生成只有最终的语义分割图。
其中，对遥感图像分割网络进行训练中使用的损失函数为超分辨率损失和语义分割损失；其中，语义分割损失由Dice系数损失函数和交叉熵损失函数共同组成，其中，所述交叉熵损失函数的计算公式为：
上式中：y为真实的像素标签值，y'为预测的标签像素值，N为标签的类别数；
所述Dice系数损失函数的计算公式为：
上式中：X为生成的预测图，Y为真实的标签，|XIY|为标签和预测之间的交集，|X|为标签的元素的个数，|Y|为预测的元素的个数；最终的语义分割损失函数为交叉熵损失函数和Dice系数损失函数的加权系数总和，计算公式为：
Ls＝Ldice+Lcross；
所述超分辨率损失采用均方损失函数作为损失函数，其中，在二分类的情况下，所述均方差损失函数的计算公式如下所示：
上式中，X为超分辨率模块生成的高分辨率图像，Y为真实的高分辨率图像；N代表图像的像素点数量；
对整个网络进行训练，网络的总损失函数如下所示：
Lloss＝αLs+βLsr
其中，α为语义分割损失的权重，β为超分辨率损失的权重。其中α值取10，β值取1。
本发明相对于现有技术具备的有益效果为：
1)本发明方法在编码器部分使用Resnet-34网络的卷积层，并采用预训练的参数进行参数的初始化。在特征提取过程中，不同的图像任务中所采用的特征具有相似性，通过使用其余任务中训练的参数来初始化网络模型，这样做可以确保模型特征提取的效果，加快模型收敛的速度。
2)本发明方法采用超分辨率网络来提取特征，送入语义分割模块中实现网络的特征提取功能。超分辨率通过低分辨率图像生成高分辨率的图像，在生成过程中，网络提取了精细的底层特征，因此可以作为特征提取模块来实现底层特征的提取，将提取出的底层特征传递到语义分割模块中，可以有效的利用超分辨率网络提取的底层特征，用来辅助语义分割功能的实现。
3)本发明方法在搭建道路分割网络时采用了注意力机制来对图像特征进行加权。在图像处理中，图像特征图中存在着大量背景信息，这些无关特征会对分割任务造成干扰。采用注意力机制来对特征信息进行过滤，抑制非道路区域的图像特征，提升目标区域特征的权重。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明提供的一种结合超分辨率和注意力机制的遥感图像道路分割方法的流程示意图。
图2是本发明提供的一种结合超分辨率和注意力机制的遥感图像道路分割方法中遥感图像道路语义分割网络的结构示意图。
图3是本发明提供的一种结合超分辨率和注意力机制的遥感图像道路分割方法中注意力机制模块的构造示意图。
图4是本发明提供的一种结合超分辨率和注意力机制的遥感图像道路分割方法中超分辨率网络的构造示意图。
图5是本发明提供的一种结合超分辨率和注意力机制的遥感图像道路分割方法中使用的数据集马萨诸塞州道路数据集遥感图像。
图6是本发明提供的一种结合超分辨率和注意力机制的遥感图像道路分割方法中使用的数据集马萨诸塞州道路数据集中添加标签的遥感图像。
图7是本发明提供的一种结合超分辨率和注意力机制的遥感图像道路分割方法中提取的路网结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明做进一步的详细说明。应当理解，此外所描述的具体实施例仅用以解释本发明，但并不用于限定本发明。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都将属于本发明保护的范围。
如图1所示，本发明提供一种结合超分辨率和注意力机制的遥感图像道路分割方法，包括如下步骤：
步骤一：将高分辨率遥感图像数据集按照一定的比例划分为训练集和测试集，所述高分辨率遥感图像数据集通过遥感卫星获取，包括原始遥感图像数据和经过人工标记的遥感图像数据；对训练集的遥感图像进行预处理和数据扩增，得到经过数据增强后的遥感图像数据集；
步骤二：搭建遥感图像道路分割网络：所述遥感图像道路分割网络中包括编码器网络、超分辨率网络和结合注意力机制的语义分割网络，如图2所示，搭建步骤包括：
步骤2.1：编码器网络：以U-Net网络模型作为基础网络，将U-Net网络模型中的编码器部分替换为Resnet-34网络的卷积层部分，并作为道路分割网络的编码器，同时使用在ImageNet数据集上预训练的Resnet-34网络参数初始化编码器网络；编码器最终输出底层特征图和高层特征图分别作为超分辨率网络和语义分割网络的输入；
步骤2.2：超分辨率网络：超分辨率网络通过残差模块来对编码器提取的底层特征图进行特征整合，通过三个反卷积模块逐步恢复图像的分辨率，同时减少网络的通道数，生成低分辨率遥感图像所对应的高分辨率遥感图像；
步骤2.3：语义分割网络：将高层特征图通过上下文信息提取模块后，经过预先训练的作为编码器的Resnet-34网络提取的图像特征和超分辨率网络提取的图像特征，通过注意力模块优化网络的跳跃连接部分，实现对遥感图像数据中的道路图像的最终分割；
步骤三：将预处理的训练集数据输入至搭建的遥感图像道路分割网络中，对遥感图像道路分割网络的参数进行初始化，采用resnet-34网络在ImageNet数据集上训练的参数来初始化编码器网络，对其余网络参数进行随机初始化，对遥感图像道路分割网络进行训练；
训练完成后，将训练好的遥感图像道路分割网络模型参数进行保存；
步骤四：经过处理的实时的遥感道路数据输入到训练好的遥感图像语义分割网络中，输出遥感图像数据的精确分割结果。
其中，对训练集的遥感图像数据进行预处理包括图像裁剪和对训练集中原始图像进行数据增强；
所述图像裁剪具体为：将训练集中的遥感图像裁剪为尺寸为512像素*512像素、分辨率为1米每分辨率的图像；对裁剪后的高分辨率遥感图像进行下采样，得到尺寸为256像素*258像素、分辨率为0.5米每分辨率的低分辨率图像；
所述数据增强包括：将训练集中的图像和标签一起进行图像旋转、图像垂直翻转、图像水平翻转。图像垂直加水平翻转。
其中，编码器网络的结构如下：
第一层为卷积层，进行卷积核大小为7×7、步长为2的卷积；第二层为步长为2的最大池化层；
所述编码器网络的在第二层最大池化层后设置有三个重复的残差块，第一个残差块进行卷积操作，以步长为2的卷积实现下采样，第二个残差块及其之后的卷积操作使用步长为1的卷积操作，残差块中设置有用于加快网络收敛的短路连接；其中第一个残差块所生成的特征图称之为底层特征图，被用于进行图像的超分辨率；输出的图像特征图称之为高层特征图，用于进行图像的语义分割。
如图4所示，超分辨率网络的结构如下：
所述超分辨率网络将输入的底层特征图经过两个残差模块来整合提取的多尺度特征，得到新的特征图；通过三个反卷积模块逐步恢复图像的分辨率，同时减少网络的通道数，生成低分辨率遥感图像所对应的高分辨率遥感图像。
其中，语义分割网络的结构如下：
将从编码器网络提取的高层特征图进行送入上下文信息模块，提取并整合网络的上下文信息，使用提取的特征图通过注意力模块对来自编码器网络和超分辨率网络的特征图进行权重调整，将权重调整后的特征图和上采样的特征图进行叠加；依次经过解码器模块，解码器模块包括1×1卷积运算，该运算将通道数减半，进行批量归一化和转置卷积以对特征图实现上采样过程；通过最后的反卷积层生成只有道路和非道路两种标签的单通道概率图；
为充分利用图像所包含的特征，语义分割网络将来自编码器网络和超分辨率网络传递的特征图通过注意力机制模块进行过滤，送入图像的上采样的过程中，实现超分辨率模块对于语义分割过程的辅助作用。
如图3所示，语义分割网络中的注意力模块用于实现对跳跃连接传递的特征进行加权，对目标区域的特征信息进行强化；所述注意力模块的输入数据为上一层的上采样特征图和输入的编码器及超分辨率模块的特征图，以上一层的上采样特征图作为监督信号，和传递的特征图生成一个逐像素权重图，采用逐像素权重图对跳跃连接传递的特征图进行处理，得到进行加权的传递特征图。
其中，所述注意力模块中的权重图的构建步骤为：
对输入的特征图进行特征降维，将降维后的两幅特征图相加，对相加后的特征图经过线性修正和sigmoid函数层处理，得到特征像素的权重图。
其中，解码器模块由接受特征图传递的多个解码块组成，所述解码器模块结构为：
将从编码器网络和超分辨率网络传递特征图进行拼接，经过注意力模块进行权重调整；将权重调整后的特征图与上一层的特征图进行通道叠加；
将叠加后的特征图依次送入各个解码器模块，每个解码器模块均包括1×1卷积运算，将经过解码器模块的特征图进行批量归一化和转置卷积以对特征图实现上采样过程，通过卷积层生成只有最终的语义分割图。
其中，对遥感图像分割网络进行训练中使用的损失函数为超分辨率损失和语义分割损失；其中，语义分割损失由Dice系数损失函数和交叉熵损失函数共同组成，其中，所述交叉熵损失函数的计算公式为：
上式中：y为真实的像素标签值，y'为预测的标签像素值，N为标签的类别数；
所述Dice系数损失函数的计算公式为：
上式中：X为生成的预测图，Y为真实的标签，|XIY|为标签和预测之间的交集，|X|为标签的元素的个数，|Y|为预测的元素的个数；最终的语义分割损失函数为交叉熵损失函数和Dice系数损失函数的加权系数总和，计算公式为：
Ls＝Ldice+Lcross；
所述超分辨率损失采用均方损失函数作为损失函数，其中，在二分类的情况下，所述均方差损失函数的计算公式如下所示：
上式中，X为超分辨率模块生成的高分辨率图像，Y为真实的高分辨率图像；N代表图像的像素点数量；
对整个网络进行训练，网络的总损失函数如下所示：
Lloss＝αLs+βLsr
其中，α为语义分割损失的权重，β为超分辨率损失的权重。其中α值取10，β值取1。
为了进一步验证本方法的有效性和可行性，本发明根据下面实施例进行实验。
使用深度学习框架Pytorch1.5.0搭建遥感道路提取网络的架构。实验数据集使用马萨诸塞道路提取数据集，采用了语义分割中常用的三种语义分割评估指标，即精确度，召回率和交并比来评价模型道路分割的性能。图5所示是通过本发明方法进行道路分割前的遥感道路图像，图6是对应的人工标记后的遥感道路分割图像，图7是经过本发明的方法处理后得到的预测道路分割图像。
表1马萨诸塞道路提取数据集上的具体指标
本发明公开了一种结合超分辨率和注意力机制的遥感图像道路分割方法，首先对RGB三通道的高分辨率遥感图像进行人工标注，制作标签图像。将图像数据集分为测试集和训练集，对训练集图像进行预处理；之后搭建基于深度学习方法的道路分割模型，输入训练集图像和标签对其进行训练，待到网络收敛时保存模型参数；最后将待测试图像输入道路分割模型得到预测标签图像。与现有技术相比较，本发明通过添加超分辨率模块的方式实现高分辨率遥感图像的特征提取效果，最后得到提取的道路标签图像。优点是其分割准确度高，道路分割结果清晰且鲁棒性强。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (9)
1.一种结合超分辨率和注意力机制的遥感图像道路分割方法，其特征在于，包括如下步骤：
步骤一：将高分辨率遥感图像数据集按照一定的比例划分为训练集和测试集，所述高分辨率遥感图像数据集通过遥感卫星获取，包括原始遥感图像数据和经过人工标记的遥感图像数据；对训练集的遥感图像进行预处理和数据扩增，得到经过数据增强后的遥感图像数据集；
步骤二：搭建遥感图像道路分割网络：所述遥感图像道路分割网络中包括编码器网络、超分辨率网络和结合注意力机制的语义分割网络，搭建步骤包括：
步骤2.1：编码器网络：以U-Net网络模型作为基础网络，将U-Net网络模型中的编码器部分替换为Resnet-34网络的卷积层部分，并作为道路分割网络的编码器，同时使用在ImageNet数据集上预训练的Resnet-34网络参数初始化编码器网络；编码器最终输出底层特征图和高层特征图分别作为超分辨率网络和语义分割网络的输入；
步骤2.2：超分辨率网络：超分辨率网络通过残差模块来对编码器提取的底层特征图进行特征整合，通过三个反卷积模块逐步恢复图像的分辨率，同时减少网络的通道数，生成低分辨率遥感图像所对应的高分辨率遥感图像；
步骤2.3：语义分割网络：将高层特征图通过上下文信息提取模块后，经过预先训练的作为编码器的Resnet-34网络提取的图像特征和超分辨率网络提取的图像特征，通过注意力模块优化网络的跳跃连接部分，实现对遥感图像数据中的道路图像的最终分割；
步骤三：将预处理的训练集数据输入至搭建的遥感图像道路分割网络中，对遥感图像道路分割网络的参数进行初始化，采用resnet-34网络在ImageNet数据集上训练的参数来初始化编码器网络，对其余网络参数进行随机初始化，对遥感图像道路分割网络进行训练；
训练完成后，将训练好的遥感图像道路分割网络模型参数进行保存；
步骤四：经过处理的实时的遥感道路数据输入到训练好的遥感图像语义分割网络中，输出遥感图像数据的精确分割结果。
2.根据权利要求1所述的结合超分辨率和注意力机制的遥感图像道路分割方法，其特征在于：对训练集的遥感图像数据进行预处理包括图像裁剪和对训练集中原始图像进行数据增强；
所述图像裁剪具体为：将训练集中的遥感图像裁剪为尺寸为512像素*512像素、分辨率为1米每分辨率的图像；对裁剪后的高分辨率遥感图像进行下采样，得到尺寸为256像素*258像素、分辨率为0.5米每分辨率的低分辨率图像；
所述数据增强包括：将训练集中的图像和标签一起进行图像旋转、图像垂直翻转、图像水平翻转。图像垂直加水平翻转。
3.根据权利要求1所述的结合超分辨率和注意力机制的遥感图像道路分割方法，其特征在于：编码器网络的结构如下：
第一层为卷积层，进行卷积核大小为7×7、步长为2的卷积；
第二层为步长为2的最大池化层；
所述编码器网络的在第二层最大池化层后设置有三个重复的残差块，第一个残差块进行卷积操作，以步长为2的卷积实现下采样，第二个残差块及其之后的卷积操作使用步长为1的卷积操作，残差块中设置有用于加快网络收敛的短路连接；其中第一个残差块所生成的特征图称之为底层特征图，被用于进行图像的超分辨率；输出的图像特征图称之为高层特征图，用于进行图像的语义分割。
4.根据权利要求3所述的结合超分辨率和注意力机制的遥感图像道路分割方法，其特征在于：超分辨率网络的结构如下：
所述超分辨率网络将输入的底层特征图经过两个残差模块来整合提取的多尺度特征，得到新的特征图；通过三个反卷积模块逐步恢复图像的分辨率，同时减少网络的通道数，生成低分辨率遥感图像所对应的高分辨率遥感图像。
5.根据权利要求1所述的结合超分辨率和注意力机制的遥感图像道路分割方法，其特征在于：语义分割网络的结构如下：
将从编码器网络提取的高层特征图进行送入上下文信息模块，提取并整合网络的上下文信息，使用提取的特征图通过注意力模块对来自编码器网络和超分辨率网络的特征图进行权重调整，将权重调整后的特征图和上采样的特征图进行叠加；依次经过解码器模块，解码器模块包括1×1卷积运算，该运算将通道数减半，进行批量归一化和转置卷积以对特征图实现上采样过程；通过最后的反卷积层生成只有道路和非道路两种标签的单通道概率图；
为充分利用图像所包含的特征，语义分割网络将来自编码器网络和超分辨率网络传递的特征图通过注意力机制模块进行过滤，送入图像的上采样的过程中，实现超分辨率模块对于语义分割过程的辅助作用。
6.根据权利要求5所述的结合超分辨率和注意力机制的遥感图像道路分割方法，其特征在于：语义分割网络中的注意力模块用于实现对跳跃连接传递的特征进行加权，对目标区域的特征信息进行强化；所述注意力模块的输入数据为上一层的上采样特征图和输入的编码器及超分辨率模块的特征图，以上一层的上采样特征图作为监督信号，和传递的特征图生成一个逐像素权重图，采用逐像素权重图对跳跃连接传递的特征图进行处理，得到进行加权的传递特征图。
7.根据权利要求6所述的基于上下文信息和多尺度信息融合的遥感图像道路分割方法，其特征在于：所述注意力模块中的权重图的构建步骤为：
对输入的特征图进行特征降维，将降维后的两幅特征图相加，对相加后的特征图经过线性修正和sigmoid函数层处理，得到特征像素的权重图。
8.根据权利要求5所述的结合超分辨率和注意力机制的遥感图像道路分割方法，其特征在于：所述解码器模块由接受特征图传递的多个解码块组成，所述解码器模块结构为：
将从编码器网络和超分辨率网络传递特征图进行拼接，经过注意力模块进行权重调整；将权重调整后的特征图与上一层的特征图进行通道叠加；
将叠加后的特征图依次送入各个解码器模块，每个解码器模块均包括1×1卷积运算，将经过解码器模块的特征图进行批量归一化和转置卷积以对特征图实现上采样过程，通过卷积层生成只有最终的语义分割图。
9.根据权利要求1所述的结合超分辨率和注意力机制的遥感图像道路分割方法，其特征在于：对遥感图像分割网络进行训练中使用的损失函数为超分辨率损失和语义分割损失；其中，语义分割损失由Dice系数损失函数和交叉熵损失函数共同组成，其中，所述交叉熵损失函数的计算公式为：
上式中：y为真实的像素标签值，y'为预测的标签像素值，N为标签的类别数；
所述Dice系数损失函数的计算公式为：
上式中：X为生成的预测图，Y为真实的标签，|X∩Y|为标签和预测之间的交集，|X|为标签的元素的个数，|Y|为预测的元素的个数；最终的语义分割损失函数为交叉熵损失函数和Dice系数损失函数的加权系数总和，计算公式为：
Ls＝Ldice+Lcross；
所述超分辨率损失采用均方损失函数作为损失函数，其中，在二分类的情况下，所述均方差损失函数的计算公式如下所示：
上式中，X为超分辨率模块生成的高分辨率图像，Y为真实的高分辨率图像；N代表图像的像素点数量；
对整个网络进行训练，网络的总损失函数如下所示：
Lloss＝αLs+βLsr
其中，α为语义分割损失的权重，β为超分辨率损失的权重。其中α值取10，β值取1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111157701.2A CN113888550B (zh) | 2021-09-27 | 2021-09-27 | 一种结合超分辨率和注意力机制的遥感图像道路分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111157701.2A CN113888550B (zh) | 2021-09-27 | 2021-09-27 | 一种结合超分辨率和注意力机制的遥感图像道路分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113888550A true CN113888550A (zh) | 2022-01-04 |
| CN113888550B CN113888550B (zh) | 2024-06-04 |
Family
ID=79004764
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111157701.2A Active CN113888550B (zh) | 2021-09-27 | 2021-09-27 | 一种结合超分辨率和注意力机制的遥感图像道路分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113888550B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114092477A (zh) * | 2022-01-21 | 2022-02-25 | 浪潮云信息技术股份公司 | 一种图像篡改检测方法、装置及设备 |
| CN114359120A (zh) * | 2022-03-21 | 2022-04-15 | 深圳市华付信息技术有限公司 | 遥感影像处理方法、装置、设备及存储介质 |
| CN114550014A (zh) * | 2022-02-24 | 2022-05-27 | 中国电建集团中南勘测设计研究院有限公司 | 道路分割方法及计算机装置 |
| CN114547017A (zh) * | 2022-04-27 | 2022-05-27 | 南京信息工程大学 | 一种基于深度学习的气象大数据融合方法 |
| CN114612477A (zh) * | 2022-03-03 | 2022-06-10 | 成都信息工程大学 | 一种轻量化图像分割方法、系统、介质、终端及应用 |
| CN114693930A (zh) * | 2022-03-31 | 2022-07-01 | 福州大学 | 基于多尺度特征和上下文注意力的实例分割方法及系统 |
| CN115546033A (zh) * | 2022-12-05 | 2022-12-30 | 耕宇牧星(北京)空间科技有限公司 | 一种基于遥感图像的图像矫正方法 |
| CN116563538A (zh) * | 2023-04-27 | 2023-08-08 | 中国科学院空天信息创新研究院 | 图像分割方法及系统 |
| CN117078943A (zh) * | 2023-10-17 | 2023-11-17 | 太原理工大学 | 融合多尺度特征和双注意力机制的遥感影像道路分割方法 |
| CN118097340A (zh) * | 2024-04-28 | 2024-05-28 | 合肥市正茂科技有限公司 | 一种车道图像分割模型的训练方法、系统、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112183258A (zh) * | 2020-09-16 | 2021-01-05 | 太原理工大学 | 一种基于上下文信息和注意力机制的遥感图像道路分割方法 |
| US20210118099A1 (en) * | 2019-10-18 | 2021-04-22 | Retrace Labs | Generative Adversarial Network for Dental Image Super-Resolution, Image Sharpening, and Denoising |
| CN112785502A (zh) * | 2021-01-25 | 2021-05-11 | 江南大学 | 一种基于纹理迁移的混合相机的光场图像超分辨率方法 |
| CN112861978A (zh) * | 2021-02-20 | 2021-05-28 | 齐齐哈尔大学 | 一种基于注意力机制的多分支特征融合遥感场景图像分类方法 |
-
2021
- 2021-09-27 CN CN202111157701.2A patent/CN113888550B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210118099A1 (en) * | 2019-10-18 | 2021-04-22 | Retrace Labs | Generative Adversarial Network for Dental Image Super-Resolution, Image Sharpening, and Denoising |
| CN112183258A (zh) * | 2020-09-16 | 2021-01-05 | 太原理工大学 | 一种基于上下文信息和注意力机制的遥感图像道路分割方法 |
| CN112785502A (zh) * | 2021-01-25 | 2021-05-11 | 江南大学 | 一种基于纹理迁移的混合相机的光场图像超分辨率方法 |
| CN112861978A (zh) * | 2021-02-20 | 2021-05-28 | 齐齐哈尔大学 | 一种基于注意力机制的多分支特征融合遥感场景图像分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 崔昊;: "基于深度学习的高分辨率遥感图像海陆分割方法", 软件导刊, no. 03, 15 March 2020 (2020-03-15) * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114092477A (zh) * | 2022-01-21 | 2022-02-25 | 浪潮云信息技术股份公司 | 一种图像篡改检测方法、装置及设备 |
| CN114550014A (zh) * | 2022-02-24 | 2022-05-27 | 中国电建集团中南勘测设计研究院有限公司 | 道路分割方法及计算机装置 |
| CN114612477B (zh) * | 2022-03-03 | 2024-07-05 | 成都信息工程大学 | 一种轻量化图像分割方法、系统、介质、终端及应用 |
| CN114612477A (zh) * | 2022-03-03 | 2022-06-10 | 成都信息工程大学 | 一种轻量化图像分割方法、系统、介质、终端及应用 |
| CN114359120A (zh) * | 2022-03-21 | 2022-04-15 | 深圳市华付信息技术有限公司 | 遥感影像处理方法、装置、设备及存储介质 |
| CN114359120B (zh) * | 2022-03-21 | 2022-06-21 | 深圳市华付信息技术有限公司 | 遥感影像处理方法、装置、设备及存储介质 |
| CN114693930A (zh) * | 2022-03-31 | 2022-07-01 | 福州大学 | 基于多尺度特征和上下文注意力的实例分割方法及系统 |
| CN114547017A (zh) * | 2022-04-27 | 2022-05-27 | 南京信息工程大学 | 一种基于深度学习的气象大数据融合方法 |
| CN114547017B (zh) * | 2022-04-27 | 2022-08-05 | 南京信息工程大学 | 一种基于深度学习的气象大数据融合方法 |
| CN115546033A (zh) * | 2022-12-05 | 2022-12-30 | 耕宇牧星(北京)空间科技有限公司 | 一种基于遥感图像的图像矫正方法 |
| CN116563538A (zh) * | 2023-04-27 | 2023-08-08 | 中国科学院空天信息创新研究院 | 图像分割方法及系统 |
| CN116563538B (zh) * | 2023-04-27 | 2023-09-22 | 中国科学院空天信息创新研究院 | 图像分割方法及系统 |
| CN117078943A (zh) * | 2023-10-17 | 2023-11-17 | 太原理工大学 | 融合多尺度特征和双注意力机制的遥感影像道路分割方法 |
| CN117078943B (zh) * | 2023-10-17 | 2023-12-19 | 太原理工大学 | 融合多尺度特征和双注意力机制的遥感影像道路分割方法 |
| CN118097340A (zh) * | 2024-04-28 | 2024-05-28 | 合肥市正茂科技有限公司 | 一种车道图像分割模型的训练方法、系统、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113888550B (zh) | 2024-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113888550A (zh) | 一种结合超分辨率和注意力机制的遥感图像道路分割方法 | |
| CN113052210B (zh) | 一种基于卷积神经网络的快速低光照目标检测方法 | |
| CN109871798B (zh) | 一种基于卷积神经网络的遥感影像建筑物提取方法 | |
| CN112183258A (zh) | 一种基于上下文信息和注意力机制的遥感图像道路分割方法 | |
| CN113159051B (zh) | 一种基于边缘解耦的遥感图像轻量化语义分割方法 | |
| CN117078943B (zh) | 融合多尺度特征和双注意力机制的遥感影像道路分割方法 | |
| CN115049936A (zh) | 一种面向高分遥感影像的边界增强型语义分割方法 | |
| CN113888547A (zh) | 基于gan网络的无监督域自适应遥感道路语义分割方法 | |
| CN112991354A (zh) | 一种基于深度学习的高分辨率遥感影像语义分割方法 | |
| CN111833277B (zh) | 一种具有非配对多尺度混合编解码结构的海上图像去雾方法 | |
| CN112364699B (zh) | 基于加权损失融合网络的遥感图像分割方法、装置及介质 | |
| CN113838064B (zh) | 一种基于分支gan使用多时相遥感数据的云去除方法 | |
| CN112819000A (zh) | 街景图像语义分割系统及分割方法、电子设备及计算机可读介质 | |
| CN113610024B (zh) | 一种多策略的深度学习遥感影像小目标检测方法 | |
| CN114022408A (zh) | 基于多尺度卷积神经网络的遥感图像云检测方法 | |
| CN113436198A (zh) | 一种协同图像超分辨率重建的遥感图像语义分割方法 | |
| CN115661655B (zh) | 高光谱和高分影像深度特征融合的西南山区耕地提取方法 | |
| CN115660979A (zh) | 一种基于注意力机制的双判别器图像修复方法 | |
| CN114943894A (zh) | 一种基于ConvCRF的高分遥感影像建筑物提取优化方法 | |
| CN115293986A (zh) | 一种多时相遥感图像云区重建方法 | |
| CN116958827A (zh) | 一种基于深度学习的撂荒区域提取方法 | |
| CN114612306A (zh) | 一种面向裂缝检测的深度学习超分辨率方法 | |
| CN118365543A (zh) | 一种基于改进EnlightenGAN的裂缝图像阴影去除方法 | |
| CN117727046A (zh) | 新型山洪前端仪器仪表读数自动识别方法及系统 | |
| CN111414988A (zh) | 基于多尺度特征自适应融合网络的遥感影像超分辨率方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220318 Address after: 030024 No. 79 West Main Street, Taiyuan, Shanxi, Yingze Applicant after: Taiyuan University of Technology Applicant after: Shanxi Transportation Technology Research and Development Co.,Ltd. Address before: 030024 No. 79 West Main Street, Taiyuan, Shanxi, Yingze Applicant before: Taiyuan University of Technology |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240508 Address after: 030024 No. 79 West Main Street, Wan Berlin District, Shanxi, Taiyuan, Yingze Applicant after: Taiyuan University of Technology Country or region after: China Applicant after: Shanxi Intelligent Transportation Research Institute Co.,Ltd. Address before: 030024 No. 79 West Main Street, Taiyuan, Shanxi, Yingze Applicant before: Taiyuan University of Technology Country or region before: China Applicant before: Shanxi Transportation Technology Research and Development Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |