CN112528803B - 道路特征提取方法、装置、设备及存储介质 - Google Patents
道路特征提取方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112528803B CN112528803B CN202011401028.8A CN202011401028A CN112528803B CN 112528803 B CN112528803 B CN 112528803B CN 202011401028 A CN202011401028 A CN 202011401028A CN 112528803 B CN112528803 B CN 112528803B
- Authority
- CN
- China
- Prior art keywords
- road
- feature extraction
- feature
- road feature
- extraction model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 126
- 238000003860 storage Methods 0.000 title claims abstract description 7
- 238000013507 mapping Methods 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000017105 transposition Effects 0.000 claims description 5
- 238000005096 rolling process Methods 0.000 claims description 4
- 230000010339 dilation Effects 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000010606 normalization Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000002255 vaccination Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/182—Network patterns, e.g. roads or rivers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种道路特征提取方法、装置、设备及存储介质。该方法的主要步骤包括：通过道路特征提取模型对训练数据集进行特征提取，依次获得初始特征映射、全局上下文依赖关系特征映射、高层语义特征映射、多尺度上下文特征映射、解码器后的特征映射；通过后向传播算法对所述解码器后的特征映射进行训练，获得训练后的道路特征提取模型；通过所述训练后的道路特征提取模型对待分类的影像进行道路特征分类，获得每张所述影像的道路特征分类结果。本发明提供了一种全局上下文感知和批次不依赖的道路特征提取方法，能充分各种复杂场景下道路特定的上下文信息，并使模型训练不受批次大小的影像，具有较强的鲁棒性和泛化性。
Description
技术领域
本发明涉及深度学习与遥感影像处理技术领域，具体涉及一种道路特征提取方法、装置、设备及存储介质。
背景技术
道路是城市的骨架，准确实时的路线图对于地理信息系统更新、人道主义救援、自动驾驶、城市规划等领域是必不可少的。特别是发展中国家部分地区缺乏好的地图，导致城市规划、灾难应对行动、疫苗接种等公共运动的资源分配效率低下。高分辨率遥感影像是探测和绘制道路、建筑物等地物的重要数据来源，卫星的周期性运转有助于捕捉和记录在重大事件或长期发展之后发生的突然变化。然而，这些地物的标签仍主要依靠手工标记和验证，如OpenStreetMap(OSM)平台会定期从全球用户那里收集标签，但单独的众包数据是不可扩展的。世界上仍有数百万公里的道路仍然没有被绘制成，而且手工绘制需要大量的时间与劳动力，无法实际应用于灾害救援等实时性的道路提取任务。因此，一种实时、通用的模型或系统实现从高分辨率遥感影像中自动提取道路的建立，是学术界和工业界研究热点。
在传统的道路提取方法中，主要有基于像素的方法和面向对象方法。基于像元的方法包括光谱分析、阈值分割和边缘检测等，这些方法可以充分利用灰度值，在道路清晰、背景简单的遥感图像中取得良好的效果。但是容易产生“椒盐”噪声，并且很难分辨道路旁的树木和建筑物造成的阴影，因此，损失了高光谱影像中部分信息。面向对象的方法包括区域法、知识模型法、纹理分析法等，这些方法将道路对象作为一个整体进行识别，具有良好的抗噪性和适用性。但是这些方法依赖于中间分割结果，容易将相邻形状相似的地物混合在一起。
因此，针对背景复杂、图像特征相似、道路类型多变的道路场景，实现从其高分辨率遥感影像中自动提取高精度的道路特征是亟待解决的技术问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明提出了一种道路特征提取方法、装置、设备及存储介质，旨在解决从高分辨率遥感影像中自动提取高精度的道路特征的问题。
一种道路特征提取方法，包括以下步骤：
选取训练数据集和测试数据集；其中，训练数据集用于训练道路特征提取模型，测试数据集用于对训练后的道路特征提取模型进行精度测试；
通过道路特征提取模型对训练数据集进行特征提取，依次获得初始特征映射、全局上下文依赖关系特征映射、高层语义特征映射、多尺度上下文特征映射、解码器后的特征映射；
通过后向传播算法对所述解码器后的特征映射进行训练，获得训练后的道路特征提取模型；
通过所述训练后的道路特征提取模型对待分类的影像进行道路特征分类，获得每张所述影像的道路特征分类结果。
优选地，所述通过道路特征提取模型对训练数据集进行特征提取，依次获得初始特征映射、全局上下文依赖关系特征映射、高层语义特征映射、多尺度上下文特征映射、解码器后的特征映射，具体步骤为：
通过所述道路特征提取模型中编码器的残差模块对所述训练数据集进行卷积和池化处理，获得所述训练数据集的初始特征映射，具体为：
所述残差模块分为两层，x表示输入的所述训练数据集，F(x)表示残差模块在第二层激活函数之前的输出，即F(x)＝W2σ(W1x)，其中W1和W2分别表示第一层和第二层的权重，σ表示ReLU激活函数，最后残差模块输出的初始特征映射是σ(F(x)+x)。
通过所述道路特征提取模型中编码器的全局上下文模块对所述初始特征映射进行矩阵乘法处理，得到注意权重向量，并将所述注意权重向量与相应的键值进行加权求和，获得所述全局上下文依赖关系特征映射，具体为：
输入的经过残差模块卷积和池化处理后得到的初始特征映射经过两个不同的1×1卷积层，分别得到局部特征向量A＝[a1，…，adhw]∈Rm×dhw和权重向量其中，ai表示位置i处的局部特征值，i＝(1，…，dhw)；/>是一个dhw维的行向量，表示位置j处的权重向量值，j＝(1，…，n)；m表示局部特征向量A的通道数，d，h，w分别表示经过处理后的初始特征映射的通道数、高度与宽度，n表示权重向量B的通道数；
利用双线性池化层捕获经过残差模块卷积和池化处理后的初始特征映射的二阶统计量，并生成全局表示，通过局部特征向量A＝[a1，…，adhw]∈Rm×dhw与权重向量得到元素gi，双线性池化层的输出变量G＝[g1，…，gn]∈Rm×n，关键特征聚合为：/>从而定义为A＝Φ(X；WΦ)，B＝sof max(θ(X；Wθ))，其中Φ、θ表示对X进行变换的不同卷积操作函数，使得输入的初始特征映射X∈Rdhw分别转换为A＝[a1，…，adhw]∈Rm×dhw和/>X表示输入的初始特征映射，W表示对X的对应不同双线性池化层卷积；
将关键特征聚合后分发给初始特征映射的每个位置的像素值vi作为输入，Ggather(X)表示所有输出变量G＝[g1，…，gn]∈Rm×n的相加求和，从Ggather(X)选择一个子集的特征映射来获得注意权重：gj表示双线性池化层的输出变量G＝[g1，…，gn]∈Rm×n，j∈(1，…，n)；vij表示对应于gj的像素值vi，注意权重向量的集合也由一个卷积层以及其后的softmax归一化生成，即V＝softmax(ρ(X；Wρ))；其中，ρ是表示对X进行变换的卷积操作函数，使得输入的初始特征映射X∈Rdhw分别转换为V＝[v1，…，vdhw]∈Rdhw。
对输入的初始特征映射和注意权重进行矩阵乘法、重采样与转置操作，Fdister是将注意权重对应乘回初始特征映射中，得到全局上下文依赖关系特征映射为：
Z＝Fdister(Ggather(X)，V)
＝Ggather(X)softmax(ρ(X；Wρ))
＝[Φ(X；WΦ)softmax(θ(X；Wθ))T]softmax(ρ(X；Wρ))
通过所述道路特征提取模型中编码器的后续残差模块与全局上下文模块对所述依赖关系特征映射进行高层语义提取处理，获得所述高层语义特征映射；
通过所述道路特征提取模型中的多平行的膨胀卷积模块对高层语义特征映射进行多尺度上下文特征提取处理，获得所述多尺度上下文特征映射，具体为：
将所述编码器后得到的高层语义特征映射，输入到多平行膨胀卷积模块。该模块一共有5组特征层，每组特征层为Fl，第l组的第ith层特征值表示为Fi l，是第l组的第ith层膨胀卷积，*l表示要进行的膨胀卷积操作，l表示膨胀卷积的膨胀率，p的是特征层Fl中各元素的感受域，s是特征值Fi l卷积核的大小，t是膨胀卷积/>卷积核的大小，则膨胀卷积可以定义为：/>
所述膨胀卷积包含级联模式和并行模式下的扩展卷积，每个所述膨胀卷积路径的接受域不同，通过结合不同尺度的特征获得道路目标的多尺度上下文特征映射。
通过所述道路特征提取模型中的解码器将所述多尺度上下文特征映射进行上采样处理，通过跳级连接将所述高层语义特征映射和所述全局上下文依赖关系特征映射分别输入到对应的解码器中，通过转置卷积恢复所述全局上下文依赖关系特征映射和所述高层语义特征映射的对象细节和空间维度，获得所述解码器后的特征映射。
优选地，在所述通过道路特征提取模型对训练数据集进行特征提取之前，还包括：
对所述训练数据集进行数据增强处理，获得增强训练数据集；
所述数据增强操作具体包括：裁剪、水平翻转、垂直翻转、对角翻转、水平或垂直移动、缩放和色彩抖动。
对所述道路特征提取模型进行初始化并设置超参数，获得初始化道路特征提取模型；
使用Adam作为优化器，Batchsize大小为4，并使用二元交叉熵(BCE)与Dice系数(Dice coefficient)损失函数；初始学习率设为2e-4，迭代轮数每增加3轮学习率自动衰减5倍。预先设定的Epoch大小为300，当模型的损失不再持续减小，且精度不在6轮内提升等，就可以提前停止训练。发明环境是Ubuntu 16.04，使用Pytorch作为深度学习框架，在4台NVIDIARTX2080 GPU上进行数据运算。
优选地，在获得所述训练后的道路特征提取模型之后，还包括：输入测试数据集对训练后的道路特征提取模型进行精度测试。
优选地，通过所述训练后的道路特征提取模型对待分类的影像进行道路特征分类，获得每张所述影像的道路特征分类结果，具体包括：
根据二元交叉熵、Dice系数损失函数及后向传播优化所述训练后的道路特征提取模型的超参数，获得所述训练后的道路特征提取模型的最优超参数；
将所述待分类的影像输入到所述的训练后的道路特征提取模型；
根据所述最优超参数来获取所述影像每个像元的类别标签，并生成类别特征图；
将所述类别特征图通过转置卷积上采样处理，恢复为原始影像的空间尺寸，获得每张所述影像的道路特征分类结果。
优选地，在通过所述训练后的道路特征提取模型对待分类的影像进行道路特征分类，获得每张所述影像的道路特征分类结果之后，还包括：
根据交叉比和F1分数对所述道路特征分类结果进行分析评价，获得分析评价结果。
此外，为实现上述目的，本发明还提出了一种道路特征提取设备，所述道路特征提取设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的道路特征提取程序，所述道路特征提取程序被所述处理器执行时实现所述的道路特征提取方法的步骤。
此外，为实现上述目的，本发明还提出了一种存储介质，所述存储介质上存储有道路特征提取程序，所述道路特征提取程序被处理器执行时实现如上文所述的道路特征提取方法的步骤。
此外，为实现上述目的，本发明还提出了一种道路特征提取装置，所述道路特征提取装置包括：
数据增强模块，用于对所述训练数据集进行数据增强处理，获得增强训练数据集；
初始化模块，用于对道路特征提取模型进行初始化，获得初始化道路特征提取模型；
特征提取模块，用于对所述增强训练数据集进行特征提取，依次获得初始特征映射、全局上下文依赖关系特征映射、高层语义特征映射、多尺度上下文特征映射、解码器后的特征映射；
训练模块，用于对所述解码器后的特征映射进行训练，获得训练后的道路特征提取模型；
分类模块，用于将待分类的影像输入到所述的训练后的道路特征提取模型，进行道路特征分类，获取每张所述影像的道路特征分类结果。
本发明所提出的技术方案带来的有益效果是：改变了传统卷积神经网络受限于固有的卷积算子而只能捕获局部邻域关系的特征提取方式，实现了建模全局空间上下文关系的计算方式。通过全局上下文模块的建立，将全局关键特征收集到一个紧凑的集合中，然后自适应地将它们分布到每个位置，最后对这两个路线进行合并，形成了全局感知，实现对特征的全局相互依赖关系的建模。以及通过使用过滤器响应归一化方法，使得提出的基于深度学习框架的道路特征提取模型的训练结果不再受批次大小的影响，该模型能够更好地训练，最终使得所提出方法对于不同的道路场景实现了更好的鲁棒性。最终，通过迁移学习中的微调技术，将已经训练好的模型参数迁移到新的模型来帮助新模型训练，使用预训练模型作为特征提取器，输入新地理区域的道路数据集，微调整个道路特征提取网络。本发明所公开的道路特征提取方法具有更好的泛化性与鲁棒性，能够满足跨域的城市道路精细制图任务。
附图说明
图1为本发明具体实施方式中道路特征提取方法流程图；
图2为本发明具体实施方式中基于深度学习框架的道路提取模型图；
其中，图2(a)是获取大尺度道路图的具体流程，图2(b)是道路特征提取模型的详细设计；
图3为本发明具体实施方式中全局上下文模块的结构图；
图4为本发明具体实施方式中多平行膨胀卷积模块的结构图；
图5为本发明具体实施方式中在Deepglobe道路数据集上进行道路特征提取的对比结果图。
具体实施方式
为了对本发明的技术方案、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
具体实施方式公开了一种基于深度学习框架的高分辨率影像的道路特征提取方法。
请参考图1-2，图1是本发明具体实施方式中道路特征提取方法流程图，图2为本发明具体实施方式中基于深度学习框架的道路提取模型图；图2(a)是获取大尺度道路图的具体流程，图2(b)是道路特征提取模型的详细设计；
图1所示的一种道路特征提取方法具体步骤如下：
S1、对待输入训练数据集进行数据增强处理，获得增强训练数据集，具体为：
输入高分辨率遥感影像数据集，本发明一共使用了三组道路数据集，但在此实例中仅对Deepglobe道路数据集与CHN6-CUG道路数据集进行分析和讨论。
Deepglobe道路数据集是来自泰国、印度和印度尼西亚三个国家的像素级标注数据。每幅图像的地面分辨率为50cm/pixel，像素分辨率为1024×1024。将原始的6226张训练图像分割为：4976张用于训练，1250张用于测试。为了扩充训练集，将每张图片裁剪为512×512大小。最后，新的DeepGlobe道路数据集有42255张训练图像和6116张测试图像；
CHN6-CUG道路数据集是人工标记的中国代表性城市的大尺度卫星影像数据集。影像选取了六个城市化程度不同的城市，分别是北京朝阳区、上海杨浦区、武汉中心城区、深圳南山区、香港沙田区、澳门区。其它参数与Deepglobe道路数据集保持一致；
所述数据增强操作具体包括：裁剪、水平翻转、垂直翻转、对角翻转、水平或垂直移动、缩放和色彩抖动。
S2、将增强训练数据集输入道路特征提取模型；
S3、对道路特征提取模型进行初始化和超参数设置，获得初始化道路特征提取模型，具体为：
使用在ImageNet数据集上预训练得到的ResNet34参数进行道路特征提取模型的初始化，旨在加快梯度下降的收敛速度，有效提高道路特征提取模型性能；
使用Adam作为优化器，Batchsize大小为4，并使用二元交叉熵(BCE)与Dice系数(Dice coefficient)损失函数；初始学习率设为2e-4，迭代轮数每增加3轮学习率自动衰减5倍。预先设定的Epoch大小为300，当模型的损失不再持续减小，且精度不在6轮内提升等，就可以提前停止训练。
S4、通过道路特征提取模型对增强训练数据集进行特征提取，依次获得初始特征映射、全局上下文依赖关系特征映射、高层语义特征映射、多尺度上下文特征映射、解码器后的特征映射；
将训练图像数据集以RGB图像输入道路特征提取模型，道路特征提取模型中的编码器从一个初始块开始，对输入的图像进行核大小为7×7，步长为2的卷积，获得初始特征映射。在编码器的后面部分，有四组重复的卷积层，每一组卷积层都包含全局上下文模块和残差模块。
将初始特征映射输入到残差模块中，输出经过残差模块卷积和池化处理后的特征映射。残差模块里首先有两个有相同输出通道数的3×3卷积层，每个卷积层后接一个批量归一化层和修正线性单元激活函数。然后将上一步骤输入的特征映射跳过这两个卷积运算后直接加在最后的修正线性单元激活函数前。
将所述经过残差模块卷积和池化处理后的特征映射输入到全局上下文模块，进行全局上下文道路特征的收集和分布，获得全局上下文依赖关系特征映射。经过编码器四组重复的参差模块与全局上下文模块后，获得高层语义特征映射。请参考图3，在全局上下文模块，也有三个步骤，首先是特征聚合模块进行特征聚合，利用双线性池化捕获特征的二阶统计量并生成全局表示；其次是特征分布模块进行特征分布，根据每个位置的特征需求，通过分布一个自适应的注意因素来获得更大的灵活性；最后是将上面两个注意模块结合起来，就形成了全局上下文模块，具体步骤为：输入的经过残差模块卷积和池化处理后得到的初始特征映射经过两个不同的1×1卷积层，分别得到局部特征向量A＝[a1，…，adhw]∈Rm×dhw和权重向量ai表示位置i处的局部特征值，i＝(1，…，dhw)；/>是一个dhw维的行向量，表示位置j处的权重向量值，j＝(1，…，n)；m表示局部特征向量A的通道数，d，h，w分别表示经过处理后的初始特征映射的通道数、高度与宽度，n表示权重向量B的通道数；
利用双线性池化层捕获经过残差模块卷积和池化处理后的初始特征映射的二阶统计量，并生成全局表示，通过局部特征向量A＝[a1，…，adhw]∈Rm×dhw与权重向量得到元素gi，双线性池化层的输出变量G＝[g1，…，gn]∈Rm×n，关键特征聚合为：/>从而定义为A＝Φ(X；WΦ)，B＝softmax(θ(X；Wθ))，其中Φ、θ表示对X进行变换的不同卷积操作函数，使得输入的初始特征映射X∈Rdhw分别转换为A＝[a1，…，adhw]∈Rm×dhw和/>X表示输入的初始特征映射，W表示对X的对应不同双线性池化层卷积；
将关键特征聚合后分发给初始特征映射的每个位置的像素值vi作为输入，Ggather(X)表示所有输出变量G＝[g1，…，gn]∈Rm×n的相加求和，从Ggather(X)选择一个子集的特征映射来获得注意权重：vij表示对应于gj的像素值vi，注意权重向量的集合也由一个卷积层以及其后的softmax归一化生成，即V＝softmax(ρ(X；Wρ))；其中，ρ是表示对X进行变换的卷积操作函数，使得输入的初始特征映射X∈Rdhw分别转换为V＝[v1，…，vdhw]∈Rdhw。
对输入的初始特征映射和注意权重进行矩阵乘法、重采样与转置操作，Fdister是将注意权重对应乘回初始特征映射中，得到全局上下文依赖关系特征映射为：
Z＝Fdister(Ggather(X)，V)
＝Ggather(X)softmax(ρ(X；Wρ))
＝[Φ(X；WΦ)softmax(θ(X；Wθ))T]softmax(ρ(X；Wρ))
通过所述道路特征提取模型中编码器的后续残差模块与全局上下文模块对所述依赖关系特征映射进行高层语义提取处理，获得所述高层语义特征映射；
通过所述道路特征提取模型中的多平行的膨胀卷积模块对高层语义特征映射进行多尺度上下文特征提取处理，获得所述多尺度上下文特征映射，具体为：
将所述编码器后得到的高层语义特征映射，输入到多平行膨胀卷积模块。该模块一共有5组特征层，每组特征层为Fl，第l组的第ith层特征值表示为Fi l，是第l组的第ith层膨胀卷积，l表示膨胀卷积的膨胀率，p的是特征层Fl中各元素的感受域，s是特征值Fi l卷积核的大小，t是膨胀卷积/>卷积核的大小，则膨胀卷积可以定义为：/>
多平行膨胀卷积模块将编码器得到的高层语义特征映射经过放大的卷积，对接受域进行扩展，增强空间区域和特征通道。请参考图4，输入特征映射的大小为16×16×512，膨胀卷积的膨胀率分别为1、2、4、8。根据膨胀率定义计算公式(膨胀的卷积核尺寸＝膨胀系数*(原始卷积核尺寸-1)+1)，如果堆叠的膨胀卷积的膨胀率分别为1、2、4、8，则每一层的接受域分别为3、7、15、31。它包含了级联模式和并行模式下的扩展卷积，级联模式如图4中的每一行，并行模式如图4中的5行之间同时进行，每个路径的接受域不同，因此网络可以结合不同尺度的特征。通过不同的膨胀率提取特征，在单独的分支中进行处理，然后融合产生最终的结果，即得到多尺度上下文关系映射。
将所述多平行膨胀卷积模块得到的多尺度上下文特征映射输入到解码器中。在解码器的上采样路径执行对称操作。四组中每组都有三个卷积，包括两个1×1卷积层和一个转置卷积层，每个转置卷积层之后是一个FRN层和一个ReLU层。上采样四个转置卷积的特征映射到大小为64×64、128×128、256×256、512×512，分别通过ReLU激活函数来缓解消失梯度的问题，以及滤波器响应归一化方法来加快学习速度，同时消除了对其他批次样本或同一样本通道的依赖。
同时，为了恢复更多的分割细节信息，如纹理、边界和空间信息，采用跳级连接机制融合高层特征映射和低层特征映射。具体来说，在每一组中，解码器特征首先通过转置卷积层向上采样4倍，然后与来自编码器对应的低层语义特征进行相加，进行特征融合，通过转置卷积层及上采样，使其与原始输入图像大小相同，即512×512像素，通道数为32个，即获得解码器后的特征映射。
S5、通过后向传播算法对所述解码器后的特征映射进行训练，获得训练后的道路特征提取模型；
S6、通过所述训练后的道路特征提取模型对待分类的影像进行道路特征分类，获得每张所述影像的道路特征分类结果。
采用Sigmoid分类器，利用后向传播算法对所述解码器后的特征映射进行训练分类，即对道路目标和背景进行分类，输出道路特征分类结果。
S7、对分类结果进行分析评价。
请参考图5，图5展示了不同方法在DeepGlobe数据集上的分类图，其中，图5(a)、图5(b)、图5(c)、图5(d)、图5(e)和图5(f)分别为U-Net模型、Deeplabv3模型、D-LinkNet模型、HsgNet模型在DeepGlobe数据集上的分类图，图5(g)为本发明一种道路特征提取方法的分类图，从可视化的角度进行分析，本发明提出的道路特征提取方法对道路的整体结构和道路边界都具有很好的判别能力，分类结果更符合实际的道路分布，当道路和背景的光谱特征非常相似，被建筑物和树林遮挡，以及复杂的道路交叉口等场景下，对比其他先进的道路提取方法，此方法都取得了显著的道路提取性能。表1为多种分类方法在DeepGlobe、SpaceNet以及CHN6-CUG道路数据集上精度评价结果，总体上能看出本发明一种道路特征提取方法具有最好的分类精度和有效性。
表1多种分类方法在三种数据集上精度评价结果
本发明的有益效果是：改变了传统卷积神经网络受限于固有的卷积算子而只能捕获局部邻域关系的特征提取方式，实现了建模全局空间上下文关系的计算方式。通过全局上下文模块的建立，将全局关键特征收集到一个紧凑的集合中，然后自适应地将它们分布到每个位置，最后对这两个路线进行合并，形成了全局感知，实现对特征的全局相互依赖关系的建模。以及通过使用过滤器响应归一化方法，使得提出的基于深度学习框架的道路特征提取模型的训练结果不再受批次大小的影响，该模型能够更好地训练，最终使得所提出方法对于不同的道路场景实现了更好的鲁棒性。最终，通过迁移学习中的微调技术，将已经训练好的模型参数迁移到新的模型来帮助新模型训练，使用预训练模型作为特征提取器，输入新地理区域的道路数据集，微调整个道路特征提取网络。本发明所公开的道路特征提取方法具有更好的泛化性与鲁棒性，能够满足跨域的城市道路精细制图任务。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种道路特征提取方法，其特征在于，所述道路特征提取方法包括以下步骤：
通过道路特征提取模型对训练数据集进行特征提取，依次获得初始特征映射、全局上下文依赖关系特征映射、高层语义特征映射、多尺度上下文特征映射、解码器后的特征映射；具体包括：
通过所述道路特征提取模型中编码器的残差模块对所述训练数据集进行卷积和池化处理，获得所述训练数据集的初始特征映射；
通过所述道路特征提取模型中编码器的全局上下文模块对所述初始特征映射进行矩阵乘法处理，得到注意权重向量，并将所述注意权重向量与相应的键值进行加权求和，获得所述全局上下文依赖关系特征映射；
通过所述道路特征提取模型中编码器的后续残差模块与全局上下文模块对所述依赖关系特征映射进行高层语义提取处理，获得所述高层语义特征映射；
通过所述道路特征提取模型中的多平行的膨胀卷积模块对所述高层语义特征映射进行多尺度上下文特征提取处理，获得所述多尺度上下文特征映射；
通过所述道路特征提取模型中的解码器将所述多尺度上下文特征映射进行上采样处理，通过跳级连接将所述高层语义特征映射和所述全局上下文依赖关系特征映射分别输入到对应的解码器中，通过转置卷积恢复所述全局上下文依赖关系特征映射和所述高层语义特征映射的对象细节和空间维度，获得所述解码器后的特征映射；
通过后向传播算法对所述解码器后的特征映射进行训练，获得训练后的道路特征提取模型；
通过所述训练后的道路特征提取模型对待分类的影像进行道路特征分类，获得每张所述影像的道路特征分类结果。
2.根据权利要求1所述的道路特征提取方法，其特征在于，在所述通过道路特征提取模型对训练数据集进行特征提取之前，还包括：
对所述训练数据集进行数据增强处理，获得增强训练数据集；
对所述道路特征提取模型进行初始化并设置超参数，获得初始化道路特征提取模型；
将所述增强训练数据集输入到所述初始化道路特征提取模型进行特征提取。
3.根据权利要求2所述的道路特征提取方法，其特征在于，通过所述训练后的道路特征提取模型对待分类的影像进行道路特征分类，获得每张所述影像的道路特征分类结果，具体包括：
根据二元交叉熵、Dice系数损失函数及后向传播优化所述训练后的道路特征提取模型的超参数，获得所述训练后的道路特征提取模型的最优超参数；
将所述待分类的影像输入到最优的道路特征提取模型；
根据所述最优超参数来获取所述影像每个像元的类别标签，并生成类别特征图；
将所述类别特征图通过转置卷积上采样处理，恢复为原始影像的空间尺寸，获得每张所述影像的道路特征分类结果。
4.一种道路特征提取装置，其特征在于：所述道路特征提取装置包括：
数据增强模块，用于对训练数据集进行数据增强处理，获得增强训练数据集；
初始化模块，用于对道路特征提取模型进行初始化及超参数设置，获得初始化道路特征提取模型；
特征提取模块，用于对所述增强训练数据集进行特征提取，依次获得初始特征映射、全局上下文依赖关系特征映射、高层语义特征映射、多尺度上下文特征映射、解码器后的特征映射；具体包括：
通过所述道路特征提取模型中编码器的残差模块对所述增强训练数据集进行卷积和池化处理，获得所述增强训练数据集的初始特征映射；
通过所述道路特征提取模型中编码器的全局上下文模块对所述初始特征映射进行矩阵乘法处理，得到注意权重向量，并将所述注意权重向量与相应的键值进行加权求和，获得所述全局上下文依赖关系特征映射；
通过所述道路特征提取模型中编码器的后续残差模块与全局上下文模块对所述依赖关系特征映射进行高层语义提取处理，获得所述高层语义特征映射；
通过所述道路特征提取模型中的多平行的膨胀卷积模块对所述高层语义特征映射进行多尺度上下文特征提取处理，获得所述多尺度上下文特征映射；
通过所述道路特征提取模型中的解码器将所述多尺度上下文特征映射进行上采样处理，通过跳级连接将所述高层语义特征映射和所述全局上下文依赖关系特征映射分别输入到对应的解码器中，通过转置卷积恢复所述全局上下文依赖关系特征映射和所述高层语义特征映射的对象细节和空间维度，获得所述解码器后的特征映射；
训练模块，用于对所述解码器后的特征映射进行训练，获得训练后的道路特征提取模型；
分类模块，用于将待分类的影像输入到所述的训练后的道路特征提取模型，进行道路特征分类，获取每张所述影像的道路特征分类结果。
5.一种道路特征提取设备，其特征在于，所述道路特征提取设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的道路特征提取程序，所述道路特征提取程序被所述处理器执行时实现如权利要求1至3中任一项所述的道路特征提取方法的步骤。
6.一种存储介质，其特征在于，所述存储介质上存储有道路特征提取程序，所述道路特征提取程序被处理器执行时实现如权利要求1至3中任一项所述的道路特征提取方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011401028.8A CN112528803B (zh) | 2020-12-03 | 2020-12-03 | 道路特征提取方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011401028.8A CN112528803B (zh) | 2020-12-03 | 2020-12-03 | 道路特征提取方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112528803A CN112528803A (zh) | 2021-03-19 |
| CN112528803B true CN112528803B (zh) | 2023-12-19 |
Family
ID=74997410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011401028.8A Active CN112528803B (zh) | 2020-12-03 | 2020-12-03 | 道路特征提取方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112528803B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115995046B (zh) * | 2022-11-18 | 2023-08-04 | 北京市农林科学院信息技术研究中心 | 阴影遮挡状态下的农村道路遥感提取方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109800736A (zh) * | 2019-02-01 | 2019-05-24 | 东北大学 | 一种基于遥感影像和深度学习的道路提取方法 |
| WO2019153245A1 (en) * | 2018-02-09 | 2019-08-15 | Baidu.Com Times Technology (Beijing) Co., Ltd. | Systems and methods for deep localization and segmentation with 3d semantic map |
| CN110197182A (zh) * | 2019-06-11 | 2019-09-03 | 中国电子科技集团公司第五十四研究所 | 基于上下文信息和注意力机制的遥感影像语义分割方法 |
| CN110751111A (zh) * | 2019-10-24 | 2020-02-04 | 成都大成均图科技有限公司 | 基于高阶空间信息全局自动感知的道路提取方法和系统 |
| CN110889449A (zh) * | 2019-11-27 | 2020-03-17 | 中国人民解放军国防科技大学 | 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法 |
| CN111814607A (zh) * | 2020-06-24 | 2020-10-23 | 中国地质大学（武汉） | 一种适用于小样本高光谱影像分类的深度学习模型 |
| CN111833246A (zh) * | 2020-06-02 | 2020-10-27 | 天津大学 | 基于注意力级联网络的单帧图像超分辨方法 |
| CN111932553A (zh) * | 2020-07-27 | 2020-11-13 | 北京航空航天大学 | 基于区域描述自注意力机制的遥感图像语义分割方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10977530B2 (en) * | 2019-01-03 | 2021-04-13 | Beijing Jingdong Shangke Information Technology Co., Ltd. | ThunderNet: a turbo unified network for real-time semantic segmentation |
-
2020
- 2020-12-03 CN CN202011401028.8A patent/CN112528803B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019153245A1 (en) * | 2018-02-09 | 2019-08-15 | Baidu.Com Times Technology (Beijing) Co., Ltd. | Systems and methods for deep localization and segmentation with 3d semantic map |
| CN109800736A (zh) * | 2019-02-01 | 2019-05-24 | 东北大学 | 一种基于遥感影像和深度学习的道路提取方法 |
| CN110197182A (zh) * | 2019-06-11 | 2019-09-03 | 中国电子科技集团公司第五十四研究所 | 基于上下文信息和注意力机制的遥感影像语义分割方法 |
| CN110751111A (zh) * | 2019-10-24 | 2020-02-04 | 成都大成均图科技有限公司 | 基于高阶空间信息全局自动感知的道路提取方法和系统 |
| CN110889449A (zh) * | 2019-11-27 | 2020-03-17 | 中国人民解放军国防科技大学 | 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法 |
| CN111833246A (zh) * | 2020-06-02 | 2020-10-27 | 天津大学 | 基于注意力级联网络的单帧图像超分辨方法 |
| CN111814607A (zh) * | 2020-06-24 | 2020-10-23 | 中国地质大学（武汉） | 一种适用于小样本高光谱影像分类的深度学习模型 |
| CN111932553A (zh) * | 2020-07-27 | 2020-11-13 | 北京航空航天大学 | 基于区域描述自注意力机制的遥感图像语义分割方法 |
Non-Patent Citations (5)
| Title |
|---|
| Building High Resolution Maps for Humanitarian Aid and Development with Weakly-and Semi-Supervised Learning;Derrick Bonafilia 等;《Computer Science》;全文 * |
| Discriminative Feature Network Based on a Hierarchical Attention Mechanism for Semantic Hippocampus;Jiali Shi 等;《IEEE Journal of Biomedical and Health Informatics》;第25卷(第2期);全文 * |
| Multi-scale Adaptive Feature Fusion Network for Semantic Segmentation in Remote Sensing Images;Ronghua Shang 等;《remote sensing》;全文 * |
| 基于高分辨率影像的多尺度最优分割层次模型的城市道路网提取方法;任建平 等;《兰州大学学报(自然科学版)》;第55卷(第1期);全文 * |
| 面向高分辨率遥感影像场景语义理解的概率主题模型研究;朱祺琪;《中国博士学位论文全文数据库基础科学辑》(第6期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112528803A (zh) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110136170B (zh) | 一种基于卷积神经网络的遥感影像建筑物变化检测方法 | |
| CN111986099B (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
| CN113780296B (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
| CN111915592B (zh) | 基于深度学习的遥感图像云检测方法 | |
| CN108596108B (zh) | 基于三元组语义关系学习的航拍遥感图像变化检测方法 | |
| JP6397379B2 (ja) | 変化領域検出装置、方法、及びプログラム | |
| CN111860233B (zh) | 基于选择注意力网络的sar图像复杂建筑物提取方法及系统 | |
| CN113298815A (zh) | 一种半监督遥感图像语义分割方法、装置和计算机设备 | |
| CN114943893B (zh) | 一种土地覆盖分类的特征增强方法 | |
| US20200034664A1 (en) | Network Architecture for Generating a Labeled Overhead Image | |
| CN116645592B (zh) | 一种基于图像处理的裂缝检测方法和存储介质 | |
| Guo et al. | Using multi-scale and hierarchical deep convolutional features for 3D semantic classification of TLS point clouds | |
| CN114898089B (zh) | 一种融合高分影像和poi数据的功能区提取与分类方法 | |
| CN115810149A (zh) | 基于超像素与图卷积的高分辨率遥感图像建筑物提取方法 | |
| Sharma et al. | ResDeepD: A residual super-resolution network for deep downscaling of daily precipitation over India | |
| CN112528803B (zh) | 道路特征提取方法、装置、设备及存储介质 | |
| Thati et al. | A systematic extraction of glacial lakes for satellite imagery using deep learning based technique | |
| Cui et al. | A graph-based dual convolutional network for automatic road extraction from high resolution remote sensing images | |
| Zhang et al. | Multi-path fusion network for high-resolution height estimation from a single orthophoto | |
| CN117036948A (zh) | 一种基于注意力机制的致敏植物识别方法 | |
| CN116758419A (zh) | 针对遥感图像的多尺度目标检测方法、装置和设备 | |
| Jiao et al. | A Novel Data Augmentation Method to Enhance the Training Dataset for Road Extraction from Historical Maps | |
| Pang et al. | PTRSegNet: A Patch-to-Region Bottom-Up Pyramid Framework for the Semantic Segmentation of Large-Format Remote Sensing Images | |
| Bidari et al. | Performance analysis of change detection algorithms on multispectral imagery | |
| Lalitha et al. | Satellite image enhancement using neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |