CN113850824A - 一种基于多尺度特征融合的遥感图像路网提取方法 - Google Patents
一种基于多尺度特征融合的遥感图像路网提取方法 Download PDFInfo
- Publication number
- CN113850824A CN113850824A CN202111137800.4A CN202111137800A CN113850824A CN 113850824 A CN113850824 A CN 113850824A CN 202111137800 A CN202111137800 A CN 202111137800A CN 113850824 A CN113850824 A CN 113850824A
- Authority
- CN
- China
- Prior art keywords
- feature map
- feature
- remote sensing
- road
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 104
- 230000004927 fusion Effects 0.000 title claims abstract description 86
- 230000011218 segmentation Effects 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 20
- 239000013589 supplement Substances 0.000 claims abstract description 8
- 238000012360 testing method Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 21
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于多尺度特征融合的遥感图像路网提取方法，通过获取高分辨率遥感图像道路数据集并分为训练集核测试集；搭建基于多尺度特征图融合的遥感道路分割网络；所述遥感图像道路语义分割网络由特征提取模块、上下文语义提取模块、多尺度特征融合模块、解码器组成，将输入的遥感图像输入特征提取模块，得到的图像高层语义特征图输入上下文语义特征图得到具有上下文语义特征图的融合特征图，将编码器同层次特征图、低层特征图、高层语义特征图送入多尺度特征融合模块为不同尺度解码器补充道路信息；模型收敛保存参数；将测试集数据输入模型，输出测试集图像路网结构；本发明适用于遥感图像路网提取。
Description
技术领域
本发明涉及机器学习技术领域，具体而言，涉及一种基于多尺度特征融合的遥感图像路网提取方法。
背景技术
遥感图像中蕴含着丰富的信息，从遥感图像中识别物体在许多领域都有广泛的应用前景。道路是人类生活中的重要情景，从遥感图像中提取道路信息已成为更新路网结构的重要数据来源。
随着深度学习技术在众多视觉任务取得了良好的表现，结合深度学习技术进行遥感图像语义分割成为行业内的研究热点。相较于传统的通过人工绘制路网的方式，深度学习技术表现出高效的工作效率。深度学习技术输入图像与道路标签进行训练，通过梯度回传不断学习道路的规律，从而进行道路识别。
考虑特征提取得到的高层语义特征图包含不同尺寸的道路特征，如何能后有效提取核整合这部分特征是一个迫切的问题。同时不同尺度特征蕴含着不同的道路信息，如何整合这部分特征。
发明内容
本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种基于多尺度特征融合的遥感图像路网提取方法。
本发明解决其技术问题所采用的技术方案是：本发明公开一种基于多尺度特征融合的遥感图像路网提取方法，包括如下步骤：
步骤一：制作遥感道路数据集：
将高分辨率遥感图像道路数据集按照比例随机拆分为训练集和测试集，高分辨率遥感图像道路数据集通过卫星获取，包括原始遥感道路图像与对应的绘制人工标签的遥感道路图像；
对训练集的遥感图像进行随机旋转、平移等操作，得到数据增强后的遥感图像数据集；
步骤二：搭建遥感图像道路分割网络：
所述遥感图像路网提取方法中包括特征提取模块、上下文语义提取模块、多尺度融合模块、特征解码模块，搭建步骤包括：
步骤2.1：将道路图像输入特征提取模块，得到不同尺度的图像特征；所述特征提取模块通过采用Resnet34结构代替U-Net编码器阶段实现特征提取，实现模型从底层特征到高层语义的提取；特征提取对图像进行卷积核大小为7和步长为2的最大池化操作提取图像的低层特征，通过三个堆叠的残差块来实现对图像高层信息的提取，得到图像底层特征图和高层语义特征图；
步骤2.2：将高层语义特征图经过上下文语义提取模块得到融合上下文语义信息的特征图；
步骤2.3：将高层语义特征图、对应编码器传递的特征图、对应编码器上一阶段的底层特征图和上下文语义模块得到的上下文语义特征图一起作为多尺度融合模块的输入；特征提取模块提取的高层特征图、对应的编码器特征图和对应编码器上一阶段的底层特征图一起输入到网络的特征融合模块，得到的特征图与上下文语义提取模块生成的上下文语义特征图进行融合，得到的融合特征图为解码器补充对应的结构、语义信息；
步骤 2.4：结合多尺度融合模块补充的信息与解码器上一阶段生成的特征图，进行特征提取；
其中，特征提取模块、上下文语义提取模块、多尺度融合模块、解码器模块构成深度学习遥感道路分割网络；
步骤三：将训练集的遥感道路图像数据输入遥感图像道路分割网络，模型编码器参数载入ResNet-34预训练模型参数，训练遥感图像道路分割网络；
训练结束后，保存训练的模型参数；
步骤四：经过处理的实时的遥感道路数据输入到训练好的遥感图像语义分割网络中，输出遥感图像数据的精确分割结果。
其中，对训练集的遥感道路图像数据进行预处理的方式包括图像裁剪、图像翻转等对训练集的遥感图像和对应标签进行数据增强；
所述图像裁剪具体为：将数据集中的遥感图像裁剪为含有道路区域的1024像素x1024像素、分辨率为1米每分辨率的高分辨率图像；
所述数据增强包括：将遥感图像道路提取训练集中的图像进行图像旋转、图像垂直加水平翻转。
其中，特征提取模块的网络结构如下：
特征提取阶段对图像进行卷积核大小为7和步长为2的最大池化操作提取图像的低层特征，通过三个堆叠的残差块来实现对图像高层信息的提取，得到图像底层特征图和高层语义特征图；得到的图像底层特征图作为多尺度融合模块的输入，得到的高层语义特征图作为上下文语义提取模块的输入；
所述残差块由两个卷积核为3、步长为1的卷积组成实现特征提取，残差块输入输出之间设置短连接加速网络收敛。
其中，上下文语义提取模块通过不同扩张率的卷积对输入的高层语义特征图进行特征提取与整合；对特征图进行1x1的卷积实现通道降维，采用3个不同扩张率的空洞卷积实现不同尺度特征提取，支路1与支路2得到的特征图进行拼接卷积，对得到的融合特征图进行输出通道数为2的卷积，随后进行sigmoid函数得到不同分支特征图的融合比例，得到的比例乘以特征图进行相加得到的特征图为两条支路的融合特征图；融合特征图与分支三特征图通过以上操作得到整体融合特征图，得到的特征图与输入特征图进行自适应融合得到融合上下文语义的高层语义特征图。
其中，多尺度融合模块的输入数据为对应编码器的同层次特征图、编码器的最高层语义特征图、编码器对应的上一级低层特征图，将输入的同层次特征图与编码器对应的上一级低层特征图进行融合，得到的融合特征图与高层特征图进行相加为解码器补充不同层次的道路信息；
为了更有效的融合同层次特征图与上一层次低层特征图，消除不同尺度间的语义差异，利用通道注意力实现有效融合；选用64个卷积核的卷积进行特征提取，提取后的特征图拼接后输入通道注意力模块，压缩特征图尺寸至一维，采用卷积对压缩后的特征图进行特征提取，对得到特征图进行sigmoid操作得到不同通道注意力的权重，恢复特征图乘以对应权重，得到结合注意力机制的融合特征图，得到的特征图与高层语义特征图进行相加，得到蕴含道路结构于语义的特征图。
其中，语义分割网络使用的损失函数为Dice系数损失函数和交叉熵损失函数共同作为损失函数，其中，所述交叉熵损失函数的计算公式为：
上式中：y为真实的标签图，y’为预测的标签图，N为图像的数量；
所述Dice系数损失函数的计算公式为：
上式中：X为路网预测图，Y为实际标签图，
为预测和道路标签的交集，
为预测道路像素点个数，
为标签道路像素点个数。
本发明相对于现有技术具备的有益效果为：
1）编码器替换为Resnet-34模型，载入在ImageNet数据集预训练的参数。通过Resnet-34结构能有效提取到图像特征，图像特征提取具有相似性，载入在大规模数据集上训练的权重进行微调能有效加快网络收敛。
2）本发明方法设计了上下文语义提取模块提取和整合不同尺寸特征。针对高层语义特征图存在的不同尺寸特征，采用降维有效抑制背景噪音干扰，设计融合模块消除不同分支存在的语义差异，得到具有上下文语义的融合特征图。对输入特征图与融合特征图设计了自适应融合模块，有效补充背景信息。
3)本发明方法设计了一种引入和整合不同尺度特征的方法。针对编码过程中图像结构化特征缺失、解码高层语义信息逐步变弱的问题，设计了一种结合同尺度特征图、编码器低层特征图、高层语义特征图的融合方法，采用通道注意力模块消除特征图之间的语义差异后提取特征与高层特征图结合为不同程度的解码器补充对应的结构、语义信息，增加语义分割的精度。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明提供的一种基于多尺度特征融合的遥感图像路网提取方法的流程示意图。
图2是本发明提供的一种基于多尺度特征融合的遥感图像路网提取方法中遥感图像道路语义分割网络的结构示意图。
图3是本发明提供的一种基于多尺度特征融合的遥感图像路网提取方法中上下文语义模块的构造示意图。
图4是本发明提供的一种基于多尺度特征融合的遥感图像路网提取方法中多尺度特征融合模块的构造示意图。
图5是本发明提供的一种基于多尺度特征融合的遥感图像路网提取方法中使用的数据集马萨诸塞州道路数据集遥感图像。
图6是本发明提供的一种基于多尺度特征融合的遥感图像路网提取方法中使用的数据集马萨诸塞州道路数据集中添加标签的遥感图像。
图7是本发明提供的一种基于多尺度特征融合的遥感图像路网提取方法中提取的路网结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明做进一步的详细说明。应当理解，此外所描述的具体实施例仅用以解释本发明，但并不用于限定本发明。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都将属于本发明保护的范围。
如图1所示，本发明提供一种基于多尺度特征融合的遥感图像路网提取方法，包括如下步骤：
步骤一：制作遥感道路数据集：
将高分辨率遥感图像道路数据集按照比例随机拆分为训练集和测试集，高分辨率遥感图像道路数据集通过卫星获取，包括原始遥感道路图像与对应的绘制人工标签的遥感道路图像；
对训练集的遥感图像进行随机旋转、平移等操作，得到数据增强后的遥感图像数据集；
步骤二：搭建遥感图像道路分割网络：
所述遥感图像路网提取方法中包括特征提取模块、上下文语义提取模块、多尺度融合模块、特征解码模块，搭建步骤包括：
步骤2.1：将道路图像输入特征提取模块，得到不同尺度的图像特征；所述特征提取模块通过采用Resnet34结构代替U-Net编码器阶段实现特征提取，实现模型从底层特征到高层语义的提取；特征提取对图像进行卷积核大小为7和步长为2的最大池化操作提取图像的低层特征，通过三个堆叠的残差块来实现对图像高层信息的提取，得到图像底层特征图和高层语义特征图；
步骤2.2：将高层语义特征图经过上下文语义提取模块得到融合上下文语义信息的特征图；
步骤2.3：将高层语义特征图、对应编码器传递的特征图、对应编码器上一阶段的底层特征图和上下文语义模块得到的上下文语义特征图一起作为多尺度融合模块的输入；特征提取模块提取的高层特征图、对应的编码器特征图和对应编码器上一阶段的底层特征图一起输入到网络的特征融合模块，得到的特征图与上下文语义提取模块生成的上下文语义特征图进行融合，得到的融合特征图为解码器补充对应的结构、语义信息；
步骤 2.4：结合多尺度融合模块补充的信息与解码器上一阶段生成的特征图，进行特征提取；
其中，特征提取模块、上下文语义提取模块、多尺度融合模块、解码器模块构成深度学习遥感道路分割网络；
步骤三：将训练集的遥感道路图像数据输入遥感图像道路分割网络，模型编码器参数载入ResNet-34预训练模型参数，训练遥感图像道路分割网络；
训练结束后，保存训练的模型参数；
步骤四：经过处理的实时的遥感道路数据输入到训练好的遥感图像语义分割网络中，输出遥感图像数据的精确分割结果。
其中，对训练集的遥感道路图像数据进行预处理的方式包括图像裁剪、图像翻转等对训练集的遥感图像和对应标签进行数据增强；
所述图像裁剪具体为：将数据集中的遥感图像裁剪为含有道路区域的1024像素x1024像素、分辨率为1米每分辨率的高分辨率图像；
所述数据增强包括：将遥感图像道路提取训练集中的图像进行图像旋转、图像垂直加水平翻转。
其中，特征提取模块的网络结构如下：
特征提取阶段对图像进行卷积核大小为7和步长为2的最大池化操作提取图像的低层特征，通过三个堆叠的残差块来实现对图像高层信息的提取，得到图像底层特征图和高层语义特征图；得到的图像底层特征图作为多尺度融合模块的输入，得到的高层语义特征图作为上下文语义提取模块的输入；
所述残差块由两个卷积核为3、步长为1的卷积组成实现特征提取，残差块输入输出之间设置短连接加速网络收敛。
其中，上下文语义提取模块通过不同扩张率的卷积对输入的高层语义特征图进行特征提取与整合；对特征图进行1x1的卷积实现通道降维，采用3个不同扩张率的空洞卷积实现不同尺度特征提取，支路1与支路2得到的特征图进行拼接卷积，对得到的融合特征图进行输出通道数为2的卷积，随后进行sigmoid函数得到不同分支特征图的融合比例，得到的比例乘以特征图进行相加得到的特征图为两条支路的融合特征图；融合特征图与分支三特征图通过以上操作得到整体融合特征图，得到的特征图与输入特征图进行自适应融合得到融合上下文语义的高层语义特征图。
其中，多尺度融合模块的输入数据为对应编码器的同层次特征图、编码器的最高层语义特征图、编码器对应的上一级低层特征图，将输入的同层次特征图与编码器对应的上一级低层特征图进行融合，得到的融合特征图与高层特征图进行相加为解码器补充不同层次的道路信息；
为了更有效的融合同层次特征图与上一层次低层特征图，消除不同尺度间的语义差异，利用通道注意力实现有效融合；选用64个卷积核的卷积进行特征提取，提取后的特征图拼接后输入通道注意力模块，压缩特征图尺寸至一维，采用卷积对压缩后的特征图进行特征提取，对得到特征图进行sigmoid操作得到不同通道注意力的权重，恢复特征图乘以对应权重，得到结合注意力机制的融合特征图，得到的特征图与高层语义特征图进行相加，得到蕴含道路结构于语义的特征图。
其中，语义分割网络使用的损失函数为Dice系数损失函数和交叉熵损失函数共同作为损失函数，其中，所述交叉熵损失函数的计算公式为：
上式中：y为真实的标签图，y’为预测的标签图，N为图像的数量；
所述Dice系数损失函数的计算公式为：
上式中：X为路网预测图，Y为实际标签图，
为预测和道路标签的交集，
为预测道路像素点个数，
为标签道路像素点个数
为了进一步验证本方法的有效性和可行性，本发明根据下面实施例进行实验。
使用深度学习框架Pytorch1.8.0搭建遥感道路提取网络的架构。实验数据集使用马萨诸塞道路提取数据集，采用了语义分割中常用的三种语义分割评估指标，即精确度，召回率和交并比来评价模型道路分割的性能。图5所示是通过本发明方法进行道路分割前的遥感道路图像，图6是对应的人工标记后的遥感道路分割图像，图7是经过本发明的方法处理后得到的预测道路分割图像。
| 模型 | 精确度 | 召回率 | 交并比 |
| 基于上下文语义的遥感图像道路分割方法 | 0.9840 | 0.8410 | 0.6828 |
表1 马萨诸塞道路提取数据集上的具体指标
本发明公开了基于多尺度特征融合的遥感道路语义分割方法，首先对遥感图像道路部分进行标记，得到道路标签。将图像和对应的道路标签数据集随机分为训练集和测试集，对训练集进行数据增强；之后搭建基于多尺度特征融合的遥感道路语义分割方法，输入训练集图像训练语义分割网络，模型收敛时保存模型参数；测试集图像输入到模型得到道路语义分割标签。与现有的技术相比，本发明通过设计上下文语义提取模块与融合不同尺度特征的融合模块实现遥感道路语义分割。用本方法得到的道路标签精度较高，更加接近真实标签。
关于本发明具体结构需要说明的是，本发明采用的各部件模块相互之间的连接关系是确定的、可实现的，除实施例中特殊说明的以外，其特定的连接关系可以带来相应的技术效果，并基于不依赖相应软件程序执行的前提下，解决本发明提出的技术问题，本发明中出现的部件、模块、具体元器件的型号、连接方式除具体说明的以外，均属于本领域技术人员在申请日前可以获取到的已公开专利、已公开的期刊论文、或公知常识等现有技术，无需赘述，使得本案提供的技术方案是清楚、完整、可实现的，并能根据该技术手段重现或获得相应的实体产品。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (6)
1.一种基于多尺度特征融合的遥感图像路网提取方法，其特征在于，包括如下步骤：
步骤一：制作遥感道路数据集：
将高分辨率遥感图像道路数据集按照比例随机拆分为训练集和测试集，高分辨率遥感图像道路数据集通过卫星获取，包括原始遥感道路图像与对应的绘制人工标签的遥感道路图像；
对训练集的遥感图像进行随机旋转、平移等操作，得到数据增强后的遥感图像数据集；
步骤二：搭建遥感图像道路分割网络：
所述遥感图像路网提取方法中包括特征提取模块、上下文语义提取模块、多尺度融合模块、特征解码模块，搭建步骤包括：
步骤2.1：将道路图像输入特征提取模块，得到不同尺度的图像特征；所述特征提取模块通过采用Resnet34结构代替U-Net编码器阶段实现特征提取，实现模型从底层特征到高层语义的提取；特征提取对图像进行卷积核大小为7和步长为2的最大池化操作提取图像的低层特征，通过三个堆叠的残差块来实现对图像高层信息的提取，得到图像底层特征图和高层语义特征图；
步骤2.2：将高层语义特征图经过上下文语义提取模块得到融合上下文语义信息的特征图；
步骤2.3：将高层语义特征图、对应编码器传递的特征图、对应编码器上一阶段的底层特征图和上下文语义模块得到的上下文语义特征图一起作为多尺度融合模块的输入；特征提取模块提取的高层特征图、对应的编码器特征图和对应编码器上一阶段的底层特征图一起输入到网络的特征融合模块，得到的特征图与上下文语义提取模块生成的上下文语义特征图进行融合，得到的融合特征图为解码器补充对应的结构、语义信息；
步骤 2.4：结合多尺度融合模块补充的信息与解码器上一阶段生成的特征图，进行特征提取；
其中，特征提取模块、上下文语义提取模块、多尺度融合模块、解码器模块构成深度学习遥感道路分割网络；
步骤三：将训练集的遥感道路图像数据输入遥感图像道路分割网络，模型编码器参数载入ResNet-34预训练模型参数，训练遥感图像道路分割网络；
训练结束后，保存训练的模型参数；
步骤四：经过处理的实时的遥感道路数据输入到训练好的遥感图像语义分割网络中，输出遥感图像数据的精确分割结果。
2.根据权利要求1所述的基于多尺度特征融合的遥感图像路网提取方法，其特征在于：对训练集的遥感道路图像数据进行预处理的方式包括图像裁剪、图像翻转等对训练集的遥感图像和对应标签进行数据增强；
所述图像裁剪具体为：将数据集中的遥感图像裁剪为含有道路区域的1024像素x1024像素、分辨率为1米每分辨率的高分辨率图像；
所述数据增强包括：将遥感图像道路提取训练集中的图像进行图像旋转、图像垂直加水平翻转。
3.根据权利要求1所述的基于多尺度特征融合的遥感图像路网提取方法，其特征在于：特征提取模块的网络结构如下：
特征提取阶段对图像进行卷积核大小为7和步长为2的最大池化操作提取图像的低层特征，通过三个堆叠的残差块来实现对图像高层信息的提取，得到图像底层特征图和高层语义特征图；得到的图像底层特征图作为多尺度融合模块的输入，得到的高层语义特征图作为上下文语义提取模块的输入；
所述残差块由两个卷积核为3、步长为1的卷积组成实现特征提取，残差块输入输出之间设置短连接加速网络收敛。
4.根据权利要求1所述的基于多尺度特征融合的遥感图像路网提取方法，其特征在于：所述上下文语义提取模块通过不同扩张率的卷积对输入的高层语义特征图进行特征提取与整合；对特征图进行1x1的卷积实现通道降维，采用3个不同扩张率的空洞卷积实现不同尺度特征提取，支路1与支路2得到的特征图进行拼接卷积，对得到的融合特征图进行输出通道数为2的卷积，随后进行sigmoid函数得到不同分支特征图的融合比例，得到的比例乘以特征图进行相加得到的特征图为两条支路的融合特征图；融合特征图与分支三特征图通过以上操作得到整体融合特征图，得到的特征图与输入特征图进行自适应融合得到融合上下文语义的高层语义特征图。
5.根据权利要求1所述的基于多尺度特征融合的遥感图像路网提取方法，其特征在于：所述多尺度融合模块的输入数据为对应编码器的同层次特征图、编码器的最高层语义特征图、编码器对应的上一级低层特征图，将输入的同层次特征图与编码器对应的上一级低层特征图进行融合，得到的融合特征图与高层特征图进行相加为解码器补充不同层次的道路信息；
为了更有效的融合同层次特征图与上一层次低层特征图，消除不同尺度间的语义差异，利用通道注意力实现有效融合；选用64个卷积核的卷积进行特征提取，提取后的特征图拼接后输入通道注意力模块，压缩特征图尺寸至一维，采用卷积对压缩后的特征图进行特征提取，对得到特征图进行sigmoid操作得到不同通道注意力的权重，恢复特征图乘以对应权重，得到结合注意力机制的融合特征图，得到的特征图与高层语义特征图进行相加，得到蕴含道路结构于语义的特征图。
6.根据权利要求1所述的基于多尺度特征融合的遥感图像路网提取方法，其特征在于：语义分割网络使用的损失函数为Dice系数损失函数和交叉熵损失函数共同作为损失函数，其中，所述交叉熵损失函数的计算公式为：
上式中：y为真实的标签图，y’为预测的标签图，N为图像的数量；
所述Dice系数损失函数的计算公式为：
上式中：X为路网预测图，Y为实际标签图，
为预测和道路标签的交集，
为预测道路像素点个数，
为标签道路像素点个数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111137800.4A CN113850824B (zh) | 2021-09-27 | 2021-09-27 | 一种基于多尺度特征融合的遥感图像路网提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111137800.4A CN113850824B (zh) | 2021-09-27 | 2021-09-27 | 一种基于多尺度特征融合的遥感图像路网提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113850824A true CN113850824A (zh) | 2021-12-28 |
| CN113850824B CN113850824B (zh) | 2024-03-29 |
Family
ID=78980215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111137800.4A Active CN113850824B (zh) | 2021-09-27 | 2021-09-27 | 一种基于多尺度特征融合的遥感图像路网提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113850824B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114511576A (zh) * | 2022-04-19 | 2022-05-17 | 山东建筑大学 | 尺度自适应特征增强深度神经网络的图像分割方法与系统 |
| CN114820395A (zh) * | 2022-06-30 | 2022-07-29 | 浙江工业大学 | 一种基于多领域信息融合的水下图像增强方法 |
| CN114821211A (zh) * | 2022-03-30 | 2022-07-29 | 高德软件有限公司 | 到达点确定方法、装置及程序产品 |
| CN115620149A (zh) * | 2022-12-05 | 2023-01-17 | 耕宇牧星(北京)空间科技有限公司 | 一种基于遥感图像的道路检测方法 |
| CN115731243A (zh) * | 2022-11-29 | 2023-03-03 | 北京长木谷医疗科技有限公司 | 基于人工智能及注意力机制的脊柱图像分割方法及装置 |
| CN115861635A (zh) * | 2023-02-17 | 2023-03-28 | 武汉大学 | 抗透射畸变的无人机倾斜影像语义信息提取方法及设备 |
| CN116168302A (zh) * | 2023-04-25 | 2023-05-26 | 耕宇牧星(北京)空间科技有限公司 | 一种基于多尺度残差融合网络的遥感图像岩脉提取方法 |
| CN116343043A (zh) * | 2023-03-30 | 2023-06-27 | 南京审计大学 | 一种具有多尺度特征融合功能的遥感影像变化检测方法 |
| CN116612288A (zh) * | 2023-07-19 | 2023-08-18 | 南京信息工程大学 | 一种多尺度轻量级实时语义分割方法、系统 |
| CN116797787A (zh) * | 2023-05-22 | 2023-09-22 | 中国地质大学（武汉） | 基于跨模态融合与图神经网络的遥感影像语义分割方法 |
| CN117422787A (zh) * | 2023-12-18 | 2024-01-19 | 中国人民解放军国防科技大学 | 一种融合判别式和生成式模型的遥感影像转换地图方法 |
| CN117611610A (zh) * | 2023-12-11 | 2024-02-27 | 苏州大学 | 一种基于多尺度特征补偿的微动脉瘤分割方法 |
| CN117635982A (zh) * | 2023-12-07 | 2024-03-01 | 哈尔滨航天恒星数据系统科技有限公司 | 一种基于深度学习的面向遥感图像的路网匹配方法 |
| CN118230174A (zh) * | 2024-05-22 | 2024-06-21 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种基于序列信息挖掘的遥感图像序列云检测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127493A (zh) * | 2019-11-12 | 2020-05-08 | 中国矿业大学 | 基于注意力多尺度特征融合的遥感图像语义分割方法 |
| CN111797779A (zh) * | 2020-07-08 | 2020-10-20 | 兰州交通大学 | 基于区域注意力多尺度特征融合的遥感图像语义分割方法 |
| WO2020232905A1 (zh) * | 2019-05-20 | 2020-11-26 | 平安科技（深圳）有限公司 | 基于超对象信息的遥感图像目标提取方法、装置、电子设备及介质 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN113283435A (zh) * | 2021-05-14 | 2021-08-20 | 陕西科技大学 | 一种基于多尺度注意力融合的遥感图像语义分割方法 |
-
2021
- 2021-09-27 CN CN202111137800.4A patent/CN113850824B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020232905A1 (zh) * | 2019-05-20 | 2020-11-26 | 平安科技（深圳）有限公司 | 基于超对象信息的遥感图像目标提取方法、装置、电子设备及介质 |
| CN111127493A (zh) * | 2019-11-12 | 2020-05-08 | 中国矿业大学 | 基于注意力多尺度特征融合的遥感图像语义分割方法 |
| CN111797779A (zh) * | 2020-07-08 | 2020-10-20 | 兰州交通大学 | 基于区域注意力多尺度特征融合的遥感图像语义分割方法 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN113283435A (zh) * | 2021-05-14 | 2021-08-20 | 陕西科技大学 | 一种基于多尺度注意力融合的遥感图像语义分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张小娟;汪西莉;: "完全残差连接与多尺度特征融合遥感图像分割", 遥感学报, no. 09, 16 September 2020 (2020-09-16), pages 65 - 78 * |
| 李帅;郭艳艳;卫霞;: "基于下采样的特征融合遥感图像语义分割", 测试技术学报, no. 04, 31 December 2020 (2020-12-31), pages 61 - 67 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114821211A (zh) * | 2022-03-30 | 2022-07-29 | 高德软件有限公司 | 到达点确定方法、装置及程序产品 |
| CN114511576A (zh) * | 2022-04-19 | 2022-05-17 | 山东建筑大学 | 尺度自适应特征增强深度神经网络的图像分割方法与系统 |
| CN114511576B (zh) * | 2022-04-19 | 2022-07-12 | 山东建筑大学 | 尺度自适应特征增强深度神经网络的图像分割方法与系统 |
| CN114820395A (zh) * | 2022-06-30 | 2022-07-29 | 浙江工业大学 | 一种基于多领域信息融合的水下图像增强方法 |
| CN115731243B (zh) * | 2022-11-29 | 2024-02-09 | 北京长木谷医疗科技股份有限公司 | 基于人工智能及注意力机制的脊柱图像分割方法及装置 |
| CN115731243A (zh) * | 2022-11-29 | 2023-03-03 | 北京长木谷医疗科技有限公司 | 基于人工智能及注意力机制的脊柱图像分割方法及装置 |
| CN115620149A (zh) * | 2022-12-05 | 2023-01-17 | 耕宇牧星(北京)空间科技有限公司 | 一种基于遥感图像的道路检测方法 |
| CN115861635A (zh) * | 2023-02-17 | 2023-03-28 | 武汉大学 | 抗透射畸变的无人机倾斜影像语义信息提取方法及设备 |
| CN116343043A (zh) * | 2023-03-30 | 2023-06-27 | 南京审计大学 | 一种具有多尺度特征融合功能的遥感影像变化检测方法 |
| CN116343043B (zh) * | 2023-03-30 | 2023-11-21 | 南京审计大学 | 一种具有多尺度特征融合功能的遥感影像变化检测方法 |
| CN116168302A (zh) * | 2023-04-25 | 2023-05-26 | 耕宇牧星(北京)空间科技有限公司 | 一种基于多尺度残差融合网络的遥感图像岩脉提取方法 |
| CN116797787B (zh) * | 2023-05-22 | 2024-01-02 | 中国地质大学（武汉） | 基于跨模态融合与图神经网络的遥感影像语义分割方法 |
| CN116797787A (zh) * | 2023-05-22 | 2023-09-22 | 中国地质大学（武汉） | 基于跨模态融合与图神经网络的遥感影像语义分割方法 |
| CN116612288A (zh) * | 2023-07-19 | 2023-08-18 | 南京信息工程大学 | 一种多尺度轻量级实时语义分割方法、系统 |
| CN116612288B (zh) * | 2023-07-19 | 2023-11-07 | 南京信息工程大学 | 一种多尺度轻量级实时语义分割方法、系统 |
| CN117635982A (zh) * | 2023-12-07 | 2024-03-01 | 哈尔滨航天恒星数据系统科技有限公司 | 一种基于深度学习的面向遥感图像的路网匹配方法 |
| CN117635982B (zh) * | 2023-12-07 | 2024-06-04 | 哈尔滨航天恒星数据系统科技有限公司 | 一种基于深度学习的面向遥感图像的路网匹配方法 |
| CN117611610A (zh) * | 2023-12-11 | 2024-02-27 | 苏州大学 | 一种基于多尺度特征补偿的微动脉瘤分割方法 |
| CN117611610B (zh) * | 2023-12-11 | 2024-05-24 | 苏州大学 | 一种基于多尺度特征补偿的微动脉瘤分割方法 |
| CN117422787A (zh) * | 2023-12-18 | 2024-01-19 | 中国人民解放军国防科技大学 | 一种融合判别式和生成式模型的遥感影像转换地图方法 |
| CN117422787B (zh) * | 2023-12-18 | 2024-03-08 | 中国人民解放军国防科技大学 | 一种融合判别式和生成式模型的遥感影像转换地图方法 |
| CN118230174A (zh) * | 2024-05-22 | 2024-06-21 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种基于序列信息挖掘的遥感图像序列云检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113850824B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113850824A (zh) | 一种基于多尺度特征融合的遥感图像路网提取方法 | |
| CN113850825B (zh) | 基于上下文信息和多尺度特征融合的遥感图像道路分割方法 | |
| CN113780296B (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
| CN113159051B (zh) | 一种基于边缘解耦的遥感图像轻量化语义分割方法 | |
| CN110378222B (zh) | 一种输电线路防震锤目标检测与缺陷识别方法及装置 | |
| CN113888550B (zh) | 一种结合超分辨率和注意力机制的遥感图像道路分割方法 | |
| CN109784283A (zh) | 基于场景识别任务下的遥感图像目标提取方法 | |
| CN112668630B (zh) | 一种基于模型剪枝的轻量化图像分类方法、系统及设备 | |
| CN113034506B (zh) | 遥感图像语义分割方法、装置、计算机设备和存储介质 | |
| CN113870286B (zh) | 一种基于多级特征和掩码融合的前景分割方法 | |
| CN111242180A (zh) | 一种基于轻量化卷积神经网络的图像识别方法及系统 | |
| CN113393370A (zh) | 中国书法文字图像风格迁移的方法、系统、智能终端 | |
| CN112037228A (zh) | 一种基于双倍注意力的激光雷达点云目标分割方法 | |
| CN113269224A (zh) | 一种场景图像分类方法、系统及存储介质 | |
| CN112070040A (zh) | 一种用于视频字幕的文本行检测方法 | |
| CN115984564A (zh) | 一种基于体素聚类和稀疏卷积的点云语义分割方法和系统 | |
| CN116778318A (zh) | 一种卷积神经网络遥感影像道路提取模型及方法 | |
| CN112001293A (zh) | 结合多尺度信息和编解码网络的遥感影像地物分类方法 | |
| CN113762265A (zh) | 肺炎的分类分割方法及系统 | |
| CN113554655B (zh) | 基于多特征增强的光学遥感图像分割方法及装置 | |
| CN114155524A (zh) | 单阶段3d点云目标检测方法及装置、计算机设备、介质 | |
| CN112766134B (zh) | 一种强化类间区分的表情识别方法 | |
| CN113963271A (zh) | 用于从遥感图像中识别不透水面的模型及训练模型的方法 | |
| CN113313721A (zh) | 基于多尺度结构的实时语义分割方法 | |
| CN113378722B (zh) | 基于3d卷积和多级语义信息融合的行为识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |