CN116343063A - 一种路网提取方法、系统、设备及计算机可读存储介质 - Google Patents

一种路网提取方法、系统、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN116343063A
CN116343063A CN202310601902.XA CN202310601902A CN116343063A CN 116343063 A CN116343063 A CN 116343063A CN 202310601902 A CN202310601902 A CN 202310601902A CN 116343063 A CN116343063 A CN 116343063A
Authority
CN
China
Prior art keywords
road
network
extraction
image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310601902.XA
Other languages
English (en)
Other versions
CN116343063B (zh
Inventor
盛庆红
曾玉娟
杜阳
李俊
吴沣原
贾志强
陈志起
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202310601902.XA priority Critical patent/CN116343063B/zh
Publication of CN116343063A publication Critical patent/CN116343063A/zh
Application granted granted Critical
Publication of CN116343063B publication Critical patent/CN116343063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种路网提取方法，包括获取待提取道路检测区域的遥感卫星影像；使用道路提取网络对待检测的遥感影像进行路网提取工作，输出路网提取结果；其中道路提取网络通过以下步骤得到：获取多光谱和全色遥感影像；利用神经网络模型进行卷积和池化操作得到空间特征和光谱特征；通过局部对称性特征融合模块和全局非对称性语义融合模块进行双路特征融合，利用通道注意力模块区分重要特征和非重要特征；计算多路监督损失，优化网络参数，得到训练完成的道路提取网络。本发明获取待检测地区的多光谱和全色遥感影像；使用道路提取网络对待处理的遥感卫星影像进行路网提取，输出提取结果；提升网络的检测能力，具有道路提取精度高、误差小优点。

Description

一种路网提取方法、系统、设备及计算机可读存储介质
技术领域
本发明属于遥感影像信息提取技术领域，尤其涉及一种路网提取方法、系统、设备及计算机可读存储介质。
背景技术
道路是保证整个人类社会正常运行的关键基础设施，在灾害管理、城市规划以及自动驾驶等众多领域扮演者重要的基础性角色。同时由于高分辨率遥感影像中包含了丰富的地物细节，也为目标地物的精细化自动解译提供了数据基础。因此，道路作为遥感影像中的一种典型地物，自动提取工作一直以来都备受关注。
道路提取方法，整体上可以分为模板匹配、面向对象、知识驱动和深度学习4类。模板匹配方法一般需要经过模板设计、测度分析和位置更新三个阶段。在人机交互式的工作模式下，基于模板设计的方法具有较强的纠错能力，被广泛应用于多款商业软件中，如Erdas easytrace、Feature Analyst。面向对象方法将道路视为具有一定几何纹理规律性的区域，通过影像处理得到分割区域结果，具有良好的抗噪声能力和适用性，在eCognition软件中也有应用。而知识驱动的方法着重于建立知识与道路属性的先验条件，常用于对前面两种方法补充。总体而言，高分辨率遥感影像中丰富的地物细节，使道路的自动化提取成为了可能，但其中伴随着更为复杂的空间地理关系和空间异质性，使得上述方法难以应对。
随着人工智能技术的发展，基于深度学习的遥感影像道路提取受到越来越多的关注。但是面对遥感影像道路提取这种相对简单的二元语义分割问题，基于深度学习的方法仍一直具有挑战性和局限性。早期阶段，大多数的网络采用编码-解码的结构，通过编码器和解码器分别获取高级语义信息和预测相应的道路区域。随后为了促进网络性能的进一步提升，在神经网络中使用注意力机制和其他辅助信息成为了一种研究热点。但现今的基于深度学习的道路提取任务，由于多光谱影像与融合影像相比有着更低的分辨率，在一定程度上忽略了多光谱数据的作用。
多光谱影像相比于融合影像，虽然在分辨率上有所差距，但多光谱影像能够在较小尺寸的影像上，获得与融合影像相同的场景范围。即在一个像素内，能够集成融合影像中16个像素所表示的真实地面信息（一般情况下，融合影像的分辨率为多光谱影像的4倍）。与此同时，考虑到深度学习的范式，即多个卷积层之间嵌套池化操作，需要不断提升网络的感受域，即在深度学习挖掘影像规律的同时，也需要使用更深层次的抽象特征，来表达较浅区域中的像素内容。但是网络模型中的这种表达方式，需要经过多次运算和迭代，使其中的误差远大于多光谱影像直接获取。
发明内容
发明目的：本发明的第一目的是提供一种顾及遥感数据特性和神经网络范式的路网提取方法。
本发明的第二目的是提供一种顾及遥感数据特性和神经网络范式的路网提取系统。
本发明第三目的是提供一种路网提取设备。
本发明第四目的是提供一种计算机可读存储介质。
技术方案：为实现以上目的，本发明公开了一种路网提取方法包括以下步骤：
（1）获取待提取道路检测区域的遥感卫星影像，并将其裁剪为统一尺度的若干个小块；
（2）使用训练完成的道路提取网络对待检测的遥感影像进行路网提取工作，输出路网提取结果；
其中训练完成的道路提取网络，通过以下步骤得到：
（2.1）获取卫星上相同区域的多光谱和全色遥感影像，通过预处理获得相应的训练集和测试集；
（2.2）利用预先构建的神经网络模型对获取到的影像进行卷积和池化操作，得到两条支路、不同尺度的空间特征和光谱特征；
构建的卷积神经网络包括多光谱影像特征提取分支和融合影像特征提取分支，并且两条支路的深度相同；多光谱影像特征提取分支和融合影像特征提取分支分别对相应的影像进行卷积、激活函数和池化操作，获取融合影像所在支路的输出特征与多光谱所在支路的输出特征；
（2.3）通过预先设计的局部对称性特征融合模块和全局非对称性语义融合模块进行双路特征融合，最后利用通道注意力模块区分重要特征和非重要特征；
（2.4）基于网络提取出的特征图和对应的标签图，通过解码器计算多路监督损失，通过不断迭代优化预设的道路提取网络的网络参数；
（2.5）利用训练集和测试集对优化后的道路提取网络进行训练和测试，得到训练完成的道路提取网络。
其中步骤（2.1）中对获取到的影像进行预处理包括：
对获取到的影像进行切分为统一尺度的小块；
对小块中的道路区域进行标注，将标注的二值影像块放入有标签文件夹GT，将融合影像的小块影像块放入融合文件夹Fuse，相应的多光谱小块影像放入多光谱文件夹Multi；
对三个文件夹中，相应的所有影像，按对应的编号，随机抽取20%作为测试集，剩余的80%作为训练集。
进一步，步骤（2.3）中双路特征融合的具体融合策略分为：（a）分别对融合影像的第3-5个特征空间和融合影像的第1-3个特征空间，进行局部对称性特征融合；（b）对融合影像的第6个特征空间和融合影像的第4-6个语义空间，进行全局非对称性语义融合。
优选的，步骤（2.3）中预先构建的局部对称性特征融合模块包括特征聚合、缩放型Softmax激活函数和门控残差连接；
局部对称性特征融合模块利用卷积操作，将多光谱影像输出特征进行特征聚合，即聚合为单一通道的特征图；利用缩放型Softmax激活函数，对单通道特征图进行粗略的道路区域概率预测，得到粗略的概率预测结果；基于粗略的概率预测结果，利用门控残差连接，对融合影像的特征图进行融合，获得更准确的道路提取特征图；
局部对称性特征融合模块相应的计算公式可以被表述为：
Figure SMS_1
，
Figure SMS_2
，其中Conv表示卷积操作，Softmax scaled 表示缩放型Softmax激活函数，/>
Figure SMS_3
表示融合影像经过第i个特征提取单元之后的输出特征，/>
Figure SMS_4
表示多光谱影像经过第i个特征提取单元之后的输出特征，下角标F表示融合影像，下角标M表示多光谱影像，c表示特征通道数，h表示特征图的长，w表示特征图的宽，M M_i-2_s 表示粗略的道路概率预测结果；/>
Figure SMS_5
表示融合影像的特征空间，/>
Figure SMS_6
表示多光谱影像的特征空间；X F_i_out 表示经过两条支路上的特征图，经过局部对称性特征融合之后的结果。
再者，步骤（2.3）中预先构建的全局非对称性语义融合模块包括金字塔池化和自注意力单元；
全局非对称性语义融合模块对于多光谱影像的多尺度特征图
Figure SMS_7
，利用金字塔池化，将其缩放为不同尺度的特征图并按行展开为一维序列；并将其特征图也进行序列展开，对所有的一维序列进行拼接，获得两组一维序列/>
Figure SMS_8
c=1,n=(1+16)+(16+49)+(1+81)=169表示序列长度；对于融合影像的特征图
Figure SMS_9
，直接对其进行序列化展开，获得一维序列Q/>
Figure SMS_10
,c=1,n=169；对于多光谱和融合影像的一维序列，进行自注意力运算，并还原成相应尺寸的特征图，最为获得最终的特征提取结果Final out，相应的计算公式为：
Figure SMS_11
。
进一步，步骤（2.3）中预先构建的通道注意力模块包括全局均值池化、1×1卷积和缩放型Sigmoid激活函数；
通道注意力模块对于特征提取结果Final out，利用全局均值池化，获得多个通道的1×1特征；利用1×1卷积和缩放型Sigmoid函数提升网络的非线性能力；利用点乘的方法，实现对每张特征图的权重赋值。
优选的，步骤（2.4）中计算多路监督损失，通过下式进行计算：
Figure SMS_13
，
Figure SMS_16
，/>
Figure SMS_19
，上式中，Loss表示整个网络的所有监督损失之和，/>
Figure SMS_14
表示融合影像所在支路的损失值，/>
Figure SMS_15
表示融合影像所在支路的损失值，/>
Figure SMS_18
表示二值交叉熵损失，/>
Figure SMS_20
表示结构相似性损失，/>
Figure SMS_12
表示注意力通道相应的操作，/>
Figure SMS_17
表示人工标注的道路标签。
本发明公开了一种路网提取系统，包括：
获取模块：用于获取有待道路检测区域的遥感卫星影像，并将其裁剪为统一尺度的若干个小块；
输出模块：用于使用训练完成的道路提取网络对待检测的遥感影像进行路网提取工作，并输出路网提取结果；
其中，所述输出模块包括用于训练道路提取网络的网络处理模块，所述网络处理模块包括：
预处理模块：用于获取卫星上相同区域的多光谱遥感影和全色遥感影像，并对获取到的影像进行预处理，得到训练集和测试集；
采样模块：用于利用预先构建的神经网络模型对获取到的影像进行卷积和池化操作，得到两条支路、不同尺度的空间特征和光谱特征；
特征融合模块：用于利用预先构建的局部对称性特征融合模块和全局非对称性语义融合模块，对两条支路上的特征进行融合，再利用通道注意力模块区分重要特征和非重要特征；
优化模块：用于利用标签和网络提取结果，计算多路监督损失，优化预设的道路提取网络的网络参数；
训练测试模块：用于利用训练集和测试集对优化后的道路提取网络进行训练和测试，得到训练完成的道路提取网络。
本发明公开了一种路网提取设备，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行上述一种路网提取方法的步骤。
本发明公开了计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述一种路网提取方法的步骤。
有益效果：与现有技术相比，本发明具有以下显著优点：本发明获取待检测地区的多光谱和全色遥感影像；使用训练完成的道路提取网络对待处理的遥感卫星影像进行路网提取，输出道路提取结果；能够提升网络的检测能力，具有道路提取精度高、误差小等优点；本发明在训练道路提取网络的过程中，利用预先构建的卷积神经网络对获取到的影像进行采样，得到多光谱和融合影像在不同尺度下的空间特征；本发明利用卷积神经网络代替了人工设计的影像重采样方法，对多光谱影像各波段可根据目标自动学习最优的影像采样参数，并能将不同分辨率多光谱和融合影像的特征空间进行融合；本发明利用预先构建的两条支路网络，分别获得不同尺度下的多光谱和融合影像的特征空间，并利用局部对称性特征融合和全局非对称性语义融合模块将得到的两组特征空间进行融合，获得更精准的道路提取特征图；能够从数据输入端获得多尺度特征，并能够进一步对特征进行融合；本发明预先构建的道路提取网络还包括通道注意力，通道注意力模块是对全局非对称性语义融合模块的补充，全局非对称性语义融合模块本质上是一种空间注意力机制，因此使用通道注意力有利于提升网络对道路区域的关注度；从而进一步提升对路网的提取精度。本发明基于多光谱影像特征和融合影像特征，通过与人工标注的标签比对，计算多路监督损失，优化预设的道路提取网络的网络参数；能够实现两种不同分辨率影像的道路提取进行监督，提升所述顾及遥感数据特性和神经网络范式的路网提取方法在遥感影像上的路网提取能力。
附图说明
图1为本发明实施例一提供的一种顾及遥感数据特性和神经网络范式的路网提取方法的流程图；
图2为本发明实施例一提供的一种顾及遥感数据特性和神经网络范式的路网提取方法的网络结构图；
图3为本发明实施例一提供的一种顾及遥感数据特性和神经网络范式的路网提取方法的特征提取单元结构图；
图4为本发明实施例一提供的一种顾及遥感数据特性和神经网络范式的路网提取方法中局部对称性特征融合模块结构示意图；
图5为本发明实施例一提供的一种顾及遥感数据特性和神经网络范式的路网提取方法中全局非对称性语义融合模块结构示意图；
图6为本发明实施例二提供的一种顾及遥感数据特性和神经网络范式的路网提取系统的结构图。
实施方式
下面结合附图对本发明的技术方案作进一步说明。
实施例
如图1所示，本发明一种顾及遥感数据特性和神经网络范式的路网提取方法，包括如下步骤：
（1）获取待提取区域的遥感卫星影像，并将其裁剪为400*400像素大小的若干个小块；
（2）使用训练完成的道路提取网络对待检测的遥感影像进行路网提取工作，输出路网提取结果；
在高性能计算机训练道路提取网络，计算机的配置为：AMDRyzen9 5900X 12核24线程处理器，主频 4.2GHz，Nvidia GeForceRTX3080ti图形处理器,12G显存，内存32GB，操作系统为windows11；顾及遥感数据特性和神经网络范式的路网提取网络的实现基于Pytorch深度学习框架工具包。
其中训练完成的道路提取网络，通过以下步骤得到：
（2.1）获取待检测区域某颗光学遥感卫星上的多光谱和全色遥感影像，通过预处理获得相应的训练集和测试集；
所述对获取到的影像进行预处理包括：
获取3幅17600×17600像素的高分2号卫星全色和四分之一大小的多光谱影像，利用ENVI等专业软件，获得兼具多光谱和高分辨率的融合影像，并通过python编程，将融合影像和多光谱影像按400×400像素和100×100像素大小进行等比例裁剪。对小块中的道路区域进行标注，将标注的二值影像块放入有标签文件夹GT，将融合影像的小块影像块放入融合文件夹Fuse，相应的多光谱小块影像放入多光谱文件夹Multi，共计5000组训练数据切片；
对三个文件夹中，相应的所有影像，按对应的编号，将最终的数据，按4:1的比例进行随机划分为训练集和测试集，即随机抽取80%作为训练集，剩余的20%作为测试集；
（2.2）利用预先构建的神经网络模型对获取到的影像进行卷积和池化操作，得到两条支路、不同尺度的空间特征和光谱特征；利用卷积神经网络代替了人工设计的影像重采样方法，对多光谱影像各波段可根据目标自动学习最优的影像采样参数，并能将不同分辨率多光谱和融合影像的特征空间进行融合；
构建的卷积神经网络包括多光谱影像特征提取分支和融合影像特征提取分支，并且两条支路的深度相同，以保证多光谱影像能够获得更高级的语义信息，融合影像则负责提供详细的细节特征；多光谱影像特征提取分支和融合影像特征提取分支分别对相应的影像进行卷积、激活函数和池化操作，获取融合影像所在支路的输出特征与多光谱所在支路的输出特征，如图2所示；
（2.3）通过预先设计的局部对称性特征融合模块和全局非对称性语义融合模块进行双路特征融合，最后利用通道注意力模块区分重要特征和非重要特征；
如图3所示，为特征提取单元的结构，两个支路网络的特征提取单元均保持一致。由于多光谱影像的尺寸天然是融合影像的1/4，因此为保证二者的尺寸一致，对融合影像采用了三次特征提取单元，而多光谱影像则只用了一次，为了融合两条支路的特征，双路特征融合的具体融合策略分为：（a）分别对融合影像的第3-5个特征空间和融合影像的第1-3个特征空间，进行局部对称性特征融合；（b）对融合影像的第6个特征空间和融合影像的第4-6个语义空间，进行全局非对称性语义融合；
（2.3.1）预先构建的局部对称性特征融合模块包括特征聚合、缩放型Softmax激活函数（Scaled Softmax）和门控残差连接（gated residue connection），如图4所示，为局部对称性特征融合结构图
利用卷积操作，将多光谱影像输出特征进行特征聚合，即聚合为单一通道的特征图；
利用缩放型Softmax激活函数，对单通道特征图进行粗略的道路区域概率预测，得到粗略的概率预测结果；
基于粗略的概率预测结果，利用门控残差连接，对融合影像的特征图进行融合，获得更准确的道路提取特征图；
局部对称性特征融合模块相应的计算公式可以被表述为：
Figure SMS_21
，
Figure SMS_22
，
其中Conv表示卷积操作，Softmax scaled 表示缩放型Softmax激活函数，
Figure SMS_23
表示融合影像经过第i个特征提取单元之后的输出特征，/>
Figure SMS_24
表示多光谱影像经过第i个特征提取单元之后的输出特征，下角标F表示融合影像，下角标M表示多光谱影像，c表示特征通道数，h表示特征图的长，w表示特征图的宽，M M_i-2_s 表示粗略的道路概率预测结果；/>
Figure SMS_25
表示融合影像的特征空间，/>
Figure SMS_26
表示多光谱影像的特征空间；X F_i_out 表示经过两条支路上的特征图，经过局部对称性特征融合之后的结果；
（2.3.2）预先构建的全局非对称性语义融合模块包括金字塔池化和自注意力（self-attention）单元，如图5所示；
对于多光谱影像的多尺度特征图
Figure SMS_27
，利用金字塔池化，将其缩放为不同尺度的特征图并按行展开为一维序列；并将其特征图也进行序列展开，对所有的一维序列进行拼接，获得两组一维序列/>
Figure SMS_28
c=1,n=(1+16)+(16+49)+(1+81)=169表示序列长度；
对于融合影像的特征图
Figure SMS_29
，直接对其进行序列化展开，获得一维序列Q/>
Figure SMS_30
,c=1,n=169；
对于多光谱和融合影像的一维序列，进行自注意力运算，并还原成相应尺寸的特征图，最为获得最终的特征提取结果Final out，相应的计算公式为：
Figure SMS_31
；
如图5所示，首先对多光谱特征空间
Figure SMS_32
，分别进行金字塔池化，三层金字塔池化的尺度分别为9×9，4×4，1×1三种尺度；其次对其进行序列展开，获得81,16和1三种一维向量；然后，通过与原特征图的序列展开向量进行拼接，得到一个新的1×[(1+16)+ (16+49)+(1+81)]的向量K，并以此为基础创建向量V，相应的Q向量则是融合影像的特征图序列展开；最后通过Q×KT×V获得最终的语义融合特征图。
由于全局非对称性语义融合模块是一种空间注意力模式，因此为了更好的处理语义融合特征图，还额外添加了通道注意力模块，从另一个方向提升语义融合特征图的准确性。具体来说，通过对语义融合特征图，使用一个1×1卷积和缩放的Sigmoid函数，获取不同通道的重要程度，并分别对语义特征融合图的不同通道进行赋值。
上述两种方法，不仅兼顾了网络的全局语义和局部细节特征，而且设计了空间和通道双重注意力机制，以此确保网络提取特征的准确性，从而提升道路提取网络的性能。
（2.3.3）预先构建的通道注意力模块包括全局均值池化、1×1卷积和缩放型Sigmoid激活函数（Scaled Sigmoid）；
对于特征提取结果Final out，利用全局均值池化，获得多个通道的1×1特征；
利用1×1卷积和缩放型Sigmoid函数提升网络的非线性能力；
利用点乘的方法，实现对每张特征图的权重赋值；
（2.4）基于网络提取出的特征图和对应的标签图，通过解码器计算多路监督损失，通过不断迭代优化预设的道路提取网络的网络参数；解码器与“U2net：Going Deeper withNested U-Structure for Salient Object Detection”文章的设定保持一致；
计算多路监督损失，通过下式进行计算：
Figure SMS_35
，
Figure SMS_38
，/>
Figure SMS_40
，上式中，Loss表示整个网络的所有监督损失之和，/>
Figure SMS_34
表示融合影像所在支路的损失值，/>
Figure SMS_36
表示融合影像所在支路的损失值，/>
Figure SMS_39
表示二值交叉熵损失，/>
Figure SMS_41
表示结构相似性损失，/>
Figure SMS_33
表示注意力通道相应的操作，/>
Figure SMS_37
表示人工标注的道路标签；
具体的，将多光谱影像和融合影像的特征图，放入局部对称性特征融合和全局非对称性语义融合通道中，然后通过解码器获取最终的道路提取结果。本发明所述方法的整体结构基于U2Nett结构，反卷积过程和融合影像的特征提取分支对应，通过设置不同步长的反卷积来到不同分辨率的提取结果。本发明使用二值交叉熵误差和结构相似性误差作为最终的损失函数。通过将不同分辨率的路网提取结果和道路标签一起代入损失函数，分别为获得Loss Fused 和Loss Multi ；最后利用反向传播算法，优化网络参数。该步骤能够实现对多种不同尺度的道路提取结果进行监督，提升所述顾及遥感数据特性和神经网络范式的路网提取方法在高分辨率遥感影像上的处理能力。
（2.5）利用训练集和测试集对优化后的道路提取网络进行训练和测试，得到训练完成的道路提取网络；包括如下具体步骤：利用步骤（2.1）中的训练数据，训练道路提取网络，网络中所有卷积核的初始化采用均值为0、方差为0.01的高斯分布，偏置的初始化采用固定值0.0，采用Adam优化算法，批次大小为8，初始学习率设为0.0001，前50个epoch保持不变，50个epoch后每15次减小为0.98，实际训练时每隔20个epoch，进行一次模型精度验证，共训练300个epoch后模型基本收敛。
根据以上步骤以卷积网络为基础，以利用多光谱影像和融合影像特征检测遥感影像中的道路为目标，建立一个有效的道路提取网络，达到了很好的路网提取精度。
以上所述发明同样可以推广到其他同类型多源数据道路提取任务，只需设置合适的采样参数。根据任务情况判断道路提取网络是否需要进行重新训练。若需要则按照步骤（2.1）建立多光谱影像和融合影像的训练数据，对网络重新进行训练，即可得到适用于多源遥感影像的道路提取网络。为了充分融合遥感影像数据和网路范式的优势，本发明提出了一种从上下文局部感知到全局的受多光谱影像引导的道路提取网络，以改善道路提取细节缺失现象，从而提高道路提取精度。
如图6所示，本发明实施例提供一种顾及遥感数据特性和神经网络范式的路网提取系统，包括：
获取模块：用于获取有待道路检测区域的遥感卫星影像，并将其裁剪为统一尺度的若干个小块；
输出模块：用于使用训练完成的道路提取网络对待检测的遥感影像进行路网提取工作，并输出路网提取结果；
其中，所述输出模块包括用于训练道路提取网络的网络处理模块，所述网络处理模块包括：
预处理模块：用于获取卫星上相同区域的多光谱遥感影和全色遥感影像，并对获取到的影像进行预处理，得到训练集和测试集；
采样模块：用于利用预先构建的神经网络模型对获取到的影像进行卷积和池化操作，得到两条支路、不同尺度的空间特征和光谱特征；
特征融合模块：用于利用预先构建的局部对称性特征融合模块和全局非对称性语义融合模块，对两条支路上的特征进行融合，再利用通道注意力模块区分重要特征和非重要特征；
优化模块：用于利用标签和网络提取结果，计算多路监督损失，优化预设的道路提取网络的网络参数；
训练测试模块：用于利用训练集和测试集对优化后的道路提取网络进行训练和测试，得到训练完成的道路提取网络。
本发明实施例提供一种顾及遥感数据特性和神经网络范式的路网提取设备，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行实施例一所述方法的步骤。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例一所述方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种路网提取方法，其特征在于，包括以下步骤：
（1）获取待提取道路检测区域的遥感卫星影像，并将其裁剪为统一尺度的若干个小块；
（2）使用训练完成的道路提取网络对待检测的遥感影像进行路网提取工作，输出路网提取结果；
其中训练完成的道路提取网络，通过以下步骤得到：
（2.1）获取卫星上相同区域的多光谱和全色遥感影像，通过预处理获得相应的训练集和测试集；
（2.2）利用预先构建的神经网络模型对获取到的影像进行卷积和池化操作，得到两条支路、不同尺度的空间特征和光谱特征；
构建的卷积神经网络包括多光谱影像特征提取分支和融合影像特征提取分支，并且两条支路的深度相同；多光谱影像特征提取分支和融合影像特征提取分支分别对相应的影像进行卷积、激活函数和池化操作，获取融合影像所在支路的输出特征与多光谱所在支路的输出特征；
（2.3）通过预先设计的局部对称性特征融合模块和全局非对称性语义融合模块进行双路特征融合，最后利用通道注意力模块区分重要特征和非重要特征；
（2.4）基于网络提取出的特征图和对应的标签图，通过解码器计算多路监督损失，通过不断迭代优化预设的道路提取网络的网络参数；
（2.5）利用训练集和测试集对优化后的道路提取网络进行训练和测试，得到训练完成的道路提取网络。
2.根据权利要求1所述的一种路网提取方法，其特征在于：所述步骤（2.1）中对获取到的影像进行预处理包括：
对获取到的影像进行切分为统一尺度的小块；
对小块中的道路区域进行标注，将标注的二值影像块放入有标签文件夹GT，将融合影像的小块影像块放入融合文件夹Fuse，相应的多光谱小块影像放入多光谱文件夹Multi；
对三个文件夹中，相应的所有影像，按对应的编号，随机抽取20%作为测试集，剩余的80%作为训练集。
3.根据权利要求2所述的一种路网提取方法，其特征在于：所述步骤（2.3）中双路特征融合的具体融合策略分为：（a）分别对融合影像的第3-5个特征空间和融合影像的第1-3个特征空间，进行局部对称性特征融合；（b）对融合影像的第6个特征空间和融合影像的第4-6个语义空间，进行全局非对称性语义融合。
4.根据权利要求3所述的一种路网提取方法，其特征在于：所述步骤（2.3）中预先构建的局部对称性特征融合模块包括特征聚合、缩放型Softmax激活函数和门控残差连接；
局部对称性特征融合模块利用卷积操作，将多光谱影像输出特征进行特征聚合，即聚合为单一通道的特征图；利用缩放型Softmax激活函数，对单通道特征图进行粗略的道路区域概率预测，得到粗略的概率预测结果；基于粗略的概率预测结果，利用门控残差连接，对融合影像的特征图进行融合，获得更准确的道路提取特征图；
局部对称性特征融合模块相应的计算公式可以被表述为：
Figure QLYQS_1
，
Figure QLYQS_2
，其中Conv表示卷积操作，Softmax scaled 表示缩放型Softmax激活函数，/>
Figure QLYQS_3
表示融合影像经过第i个特征提取单元之后的输出特征，/>
Figure QLYQS_4
表示多光谱影像经过第i个特征提取单元之后的输出特征，下角标F表示融合影像，下角标M表示多光谱影像，c表示特征通道数，h表示特征图的长，w表示特征图的宽，M M_i-2_s 表示粗略的道路概率预测结果；/>
Figure QLYQS_5
表示融合影像的特征空间，/>
Figure QLYQS_6
表示多光谱影像的特征空间；X F_i_out 表示经过两条支路上的特征图，经过局部对称性特征融合之后的结果。
5.根据权利要求4所述的一种路网提取方法，其特征在于：所述步骤（2.3）中预先构建的全局非对称性语义融合模块包括金字塔池化和自注意力单元；
全局非对称性语义融合模块对于多光谱影像的多尺度特征图
Figure QLYQS_7
，利用金字塔池化，将其缩放为不同尺度的特征图并按行展开为一维序列；并将其特征图也进行序列展开，对所有的一维序列进行拼接，获得两组一维序列/>
Figure QLYQS_8
c=1,n=(1+16)+(16+49)+(1+81)=169表示序列长度；对于融合影像的特征图
Figure QLYQS_9
，直接对其进行序列化展开，获得一维序列Q/>
Figure QLYQS_10
,c=1,n=169；对于多光谱和融合影像的一维序列，进行自注意力运算，并还原成相应尺寸的特征图，以获得最终的特征提取结果Final out，相应的计算公式为：
Figure QLYQS_11
。
6.根据权利要求5所述的一种路网提取方法，其特征在于：所述步骤（2.3）中预先构建的通道注意力模块包括全局均值池化、1×1卷积和缩放型Sigmoid激活函数；
通道注意力模块对于特征提取结果Final out，利用全局均值池化，获得多个通道的1×1特征；利用1×1卷积和缩放型Sigmoid函数提升网络的非线性能力；利用点乘的方法，实现对每张特征图的权重赋值。
7.根据权利要求6所述的一种路网提取方法，其特征在于：所述步骤（2.4）中计算多路监督损失，通过下式进行计算：
Figure QLYQS_13
，
Figure QLYQS_17
，/>
Figure QLYQS_19
，上式中，Loss表示整个网络的所有监督损失之和，/>
Figure QLYQS_14
表示融合影像所在支路的损失值，/>
Figure QLYQS_16
表示融合影像所在支路的损失值，/>
Figure QLYQS_18
表示二值交叉熵损失，/>
Figure QLYQS_20
表示结构相似性损失，/>
Figure QLYQS_12
表示注意力通道相应的操作，/>
Figure QLYQS_15
表示人工标注的道路标签。
8.一种路网提取系统，其特征在于，包括：
获取模块：用于获取有待道路检测区域的遥感卫星影像，并将其裁剪为统一尺度的若干个小块；
输出模块：用于使用训练完成的道路提取网络对待检测的遥感影像进行路网提取工作，并输出路网提取结果；
其中，所述输出模块包括用于训练道路提取网络的网络处理模块，所述网络处理模块包括：
预处理模块：用于获取卫星上相同区域的多光谱遥感影和全色遥感影像，并对获取到的影像进行预处理，得到训练集和测试集；
采样模块：用于利用预先构建的神经网络模型对获取到的影像进行卷积和池化操作，得到两条支路、不同尺度的空间特征和光谱特征；
特征融合模块：用于利用预先构建的局部对称性特征融合模块和全局非对称性语义融合模块，对两条支路上的特征进行融合，再利用通道注意力模块区分重要特征和非重要特征；
优化模块：用于利用标签和网络提取结果，计算多路监督损失，优化预设的道路提取网络的网络参数；
训练测试模块：用于利用训练集和测试集对优化后的道路提取网络进行训练和测试，得到训练完成的道路提取网络。
9.一种路网提取设备，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行权利要求1~7任一项所述方法的步骤。
10.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1~7任一项所述方法的步骤。
CN202310601902.XA 2023-05-26 2023-05-26 一种路网提取方法、系统、设备及计算机可读存储介质 Active CN116343063B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310601902.XA CN116343063B (zh) 2023-05-26 2023-05-26 一种路网提取方法、系统、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310601902.XA CN116343063B (zh) 2023-05-26 2023-05-26 一种路网提取方法、系统、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN116343063A true CN116343063A (zh) 2023-06-27
CN116343063B CN116343063B (zh) 2023-08-11

Family

ID=86884321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310601902.XA Active CN116343063B (zh) 2023-05-26 2023-05-26 一种路网提取方法、系统、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116343063B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020101448A1 (en) * 2018-08-28 2020-05-22 Samsung Electronics Co., Ltd. Method and apparatus for image segmentation
WO2021164299A1 (zh) * 2020-02-20 2021-08-26 苏州浪潮智能科技有限公司 一种图像分割的方法、系统、设备及可读存储介质
CN113807198A (zh) * 2021-08-24 2021-12-17 深圳市魔方卫星科技有限公司 道路网变化检测方法、模型训练方法、装置、设备及介质
CN114066755A (zh) * 2021-11-11 2022-02-18 南京航空航天大学 一种基于全波段特征融合的遥感影像薄云去除方法及系统
WO2022083784A1 (zh) * 2020-10-23 2022-04-28 西安科锐盛创新科技有限公司 一种基于车联网的道路检测方法
CN114596503A (zh) * 2022-03-03 2022-06-07 大连理工大学 一种基于遥感卫星影像的道路提取方法
WO2022132153A1 (en) * 2020-12-17 2022-06-23 Google Llc Gating of contextual attention and convolutional features
CN114863094A (zh) * 2022-05-31 2022-08-05 征图新视(江苏)科技股份有限公司 基于双支路网络的工业图像感兴趣区域分割算法
CN115439751A (zh) * 2022-09-22 2022-12-06 桂林理工大学 一种融合多注意力的高分辨率遥感影像道路提取方法
CN115471754A (zh) * 2022-08-08 2022-12-13 重庆邮电大学 一种基于多维多尺度U-net网络的遥感图像道路提取方法
CN115797931A (zh) * 2023-02-13 2023-03-14 山东锋士信息技术有限公司 一种基于双分支特征融合的遥感图像语义分割方法
WO2023040247A1 (zh) * 2021-09-18 2023-03-23 浙江大学 一种基于图像和点云融合网络的道路区域图像识别方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020101448A1 (en) * 2018-08-28 2020-05-22 Samsung Electronics Co., Ltd. Method and apparatus for image segmentation
WO2021164299A1 (zh) * 2020-02-20 2021-08-26 苏州浪潮智能科技有限公司 一种图像分割的方法、系统、设备及可读存储介质
WO2022083784A1 (zh) * 2020-10-23 2022-04-28 西安科锐盛创新科技有限公司 一种基于车联网的道路检测方法
WO2022132153A1 (en) * 2020-12-17 2022-06-23 Google Llc Gating of contextual attention and convolutional features
CN113807198A (zh) * 2021-08-24 2021-12-17 深圳市魔方卫星科技有限公司 道路网变化检测方法、模型训练方法、装置、设备及介质
WO2023040247A1 (zh) * 2021-09-18 2023-03-23 浙江大学 一种基于图像和点云融合网络的道路区域图像识别方法
CN114066755A (zh) * 2021-11-11 2022-02-18 南京航空航天大学 一种基于全波段特征融合的遥感影像薄云去除方法及系统
CN114596503A (zh) * 2022-03-03 2022-06-07 大连理工大学 一种基于遥感卫星影像的道路提取方法
CN114863094A (zh) * 2022-05-31 2022-08-05 征图新视(江苏)科技股份有限公司 基于双支路网络的工业图像感兴趣区域分割算法
CN115471754A (zh) * 2022-08-08 2022-12-13 重庆邮电大学 一种基于多维多尺度U-net网络的遥感图像道路提取方法
CN115439751A (zh) * 2022-09-22 2022-12-06 桂林理工大学 一种融合多注意力的高分辨率遥感影像道路提取方法
CN115797931A (zh) * 2023-02-13 2023-03-14 山东锋士信息技术有限公司 一种基于双分支特征融合的遥感图像语义分割方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
BO WANG 等: "Multiscale ship detection based on cascaded dense weighted networks in synthetic aperture radar images", 《JOURNAL OF APPLIED REMOTE SENSING》, vol. 16, no. 2, pages 026504 - 1 *
HUAFENG LIU 等: "Road segmentation with image-LiDAR data fusion in deep neural network", 《MULTIMEDIA TOOLS AND APPLICATIONS。, pages 35503 - 35518 *
JIAXING SUN 等: "Multi-feature fusion network for road scene semantic segmentation", 《COMPUTERS AND ELECTRICAL ENGINEERING》, pages 1 - 10 *
张颖 等: "结合密集注意力和并行上采样的遥感图像道路分割", 《小型微型计算机系统》, vol. 42, no. 11, pages 2356 - 2361 *
杨宇翔 等: "基于多阶段多尺度彩色图像引导的道路场景深度图像补全", 《电子与信息学报》, vol. 44, no. 11, pages 3951 - 3959 *
王亓才: "基于预训练模型及强化学习的自动文本摘要研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 138 - 644 *

Also Published As

Publication number Publication date
CN116343063B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN110119728B (zh) 基于多尺度融合语义分割网络的遥感图像云检测方法
CN109241972B (zh) 基于深度学习的图像语义分割方法
CN111950453B (zh) 一种基于选择性注意力机制的任意形状文本识别方法
US20190294970A1 (en) Systems and methods for polygon object annotation and a method of training an object annotation system
CN111104903A (zh) 一种深度感知交通场景多目标检测方法和系统
CN111696110B (zh) 场景分割方法及系统
CN113780296A (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
CN107506792B (zh) 一种半监督的显著对象检测方法
CN112233129B (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
WO2023030182A1 (zh) 图像生成方法及装置
CN112598053A (zh) 基于半监督学习的主动显著性目标检测方法
CN112861931B (zh) 一种基于差异注意力神经网络的多级别变化检测方法、系统、介质及电子设备
CN114092487A (zh) 目标果实实例分割方法及系统
Li et al. Gated auxiliary edge detection task for road extraction with weight-balanced loss
CN111652240A (zh) 一种基于cnn的图像局部特征检测与描述方法
CN114463340B (zh) 一种边缘信息引导的敏捷型遥感图像语义分割方法
CN116109947A (zh) 一种基于大核等效卷积注意力机制的无人机图像目标检测方法
CN114743109A (zh) 多模型协同优化高分遥感图像半监督变化检测方法及系统
CN114996495A (zh) 一种基于多原型和迭代增强的单样本图像分割方法及装置
CN114842215A (zh) 一种基于多任务融合的鱼类视觉识别方法
CN114529832A (zh) 一种预设遥感图像重叠阴影分割模型训练方法及装置
Bajić Latent space inpainting for loss-resilient collaborative object detection
Qiu et al. Saliency detection using a deep conditional random field network
CN116343063B (zh) 一种路网提取方法、系统、设备及计算机可读存储介质
GB2618876A (en) Lightweight and efficient object segmentation and counting method based on generative adversarial network (GAN)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant