CN117593639A - 公路及其附属物的提取方法、装置、设备及介质 - Google Patents
公路及其附属物的提取方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117593639A CN117593639A CN202311557883.1A CN202311557883A CN117593639A CN 117593639 A CN117593639 A CN 117593639A CN 202311557883 A CN202311557883 A CN 202311557883A CN 117593639 A CN117593639 A CN 117593639A
- Authority
- CN
- China
- Prior art keywords
- module
- features
- coding module
- encoding
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 63
- 230000005012 migration Effects 0.000 claims abstract description 43
- 238000013508 migration Methods 0.000 claims abstract description 43
- 230000008447 perception Effects 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000013135 deep learning Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 11
- 238000009826 distribution Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/182—Network patterns, e.g. roads or rivers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机技术领域，尤其涉及一种公路及其附属物的提取方法、装置、设备及介质。该方法通过对深度学习网络进行优化，即在解码网络中设置依次连接的语义关联迁移模块和空间感知模块，语义关联迁移模块可以完成第二编码模块、第三编码模块和第四编码模块的不同层级特征之间的语义关联，并将深层特征的语义信息迁移至浅层特征中，空间感知模块可以融合不同层次特征的空间细节和语义信息，这样可以充分交互公路及其附属物高低特征层的语义信息，重点关注不同尺度地物要素的空间细节，使得网络在保持较高提取精度的同时，显著地提升了识别效率。因此，上述技术方案能够有效提高公路及其附属物的提取精度。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种公路及其附属物的提取方法、装置、设备及介质。
背景技术
公路以及路面裂缝、标线和路边建筑物等公路典型附属物要素，是一类活跃的遥感大数据泛地理实体。精确、快速、自动且轻量化地获取这些泛地理实体是遥感提取持续研究的热点。
随着计算机技术、机器学习技术等发展，深度学习凭借其优异的特征提取能力，广泛运用于公路及其附属物的巡检领域。然而，相关提取模型在提取公路及其附属物的特征信息时存在提取精度不佳的技术问题。
基于此，本发明提出了一种公路及其附属物的提取方法、装置、设备及介质来解决上述技术问题。
发明内容
本发明描述了一种公路及其附属物的提取方法、装置、设备及介质，能够有效提高公路及其附属物的提取精度。
根据第一方面，本发明提供了一种公路及其附属物的提取方法，包括：
获取待提取的公路遥感图像；
将待提取的公路遥感图像输入到训练好的遥感提取模型中，得到待提取的公路遥感图像中公路及其附属物的提取结果；其中，所述遥感提取模型是利用标签公路遥感影像对预设的深度学习网络进行训练得到的；
所述深度学习网络包括编码网络和解码网络，所述编码网络包括依次连接的第一编码模块、第二编码模块、第三编码模块和第四编码模块，所述解码网络包括依次连接的语义关联迁移模块、空间感知模块和输出模块；
所述语义关联迁移模块的输入端分别与所述第二编码模块、所述第三编码模块和所述第四编码模块的输出端连接，用于完成所述第二编码模块、所述第三编码模块和所述第四编码模块的不同层级特征之间的语义关联，并将深层特征的语义信息迁移至浅层特征中；
所述空间感知模块的输入端分别与所述第一编码模块和所述语义关联迁移模块的输出端连接，用于融合不同层次特征的空间细节和语义信息；
所述输出模块的输入端与所述空间感知模块的输出端连接，用于输出所述提取结果。
根据第二方面，本发明提供了一种公路及其附属物的提取装置，包括：
获取单元，被配置为获取待提取的公路遥感图像；
提取单元，被配置为将待提取的公路遥感图像输入到训练好的遥感提取模型中，得到待提取的公路遥感图像中公路及其附属物的提取结果；其中，所述遥感提取模型是利用标签公路遥感影像对预设的深度学习网络进行训练得到的；
所述深度学习网络包括编码网络和解码网络，所述编码网络包括依次连接的第一编码模块、第二编码模块、第三编码模块和第四编码模块，所述解码网络包括依次连接的语义关联迁移模块、空间感知模块和输出模块；
所述语义关联迁移模块的输入端分别与所述第二编码模块、所述第三编码模块和所述第四编码模块的输出端连接，用于完成所述第二编码模块、所述第三编码模块和所述第四编码模块的不同层级特征之间的语义关联，并将深层特征的语义信息迁移至浅层特征中；
所述空间感知模块的输入端分别与所述第一编码模块和所述语义关联迁移模块的输出端连接，用于融合不同层次特征的空间细节和语义信息；
所述输出模块的输入端与所述空间感知模块的输出端连接，用于输出所述提取结果。
根据第三方面，本发明提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现第一方面的方法。
根据第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
根据本发明提供的公路及其附属物的提取方法、装置、设备及介质，通过对深度学习网络进行优化，即在解码网络中设置依次连接的语义关联迁移模块和空间感知模块，语义关联迁移模块可以完成第二编码模块、第三编码模块和第四编码模块的不同层级特征之间的语义关联，并将深层特征的语义信息迁移至浅层特征中，空间感知模块可以融合不同层次特征的空间细节和语义信息，这样可以充分交互公路及其附属物高低特征层的语义信息，重点关注不同尺度地物要素的空间细节，使得网络在保持较高提取精度的同时，显著地提升了识别效率。因此，上述技术方案能够有效提高公路及其附属物的提取精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据一个实施例的公路及其附属物的提取方法的流程示意图；
图2示出了根据一个实施例的公路及其附属物的提取装置的示意性框图；
图3示出了根据一个实施例的遥感提取模型的结构示意图；
图4为图3所示遥感提取模型中EDB的结构示意图；
图5为图3所示遥感提取模型中SIT的结构示意图；
图6为图3所示遥感提取模型中MSA的结构示意图；
图7为图6所示MSA中msa的结构示意图。
具体实施方式
下面结合附图，对本发明提供的方案进行描述。
图1示出根据一个实施例的公路及其附属物的提取方法的流程示意图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。如图1所示，该方法包括:
步骤101、获取待提取的公路遥感图像；
步骤102、将待提取的公路遥感图像输入到训练好的遥感提取模型(可参见图3)中，得到待提取的公路遥感图像中公路及其附属物的提取结果；其中，遥感提取模型是利用标签公路遥感影像对预设的深度学习网络进行训练得到的；
深度学习网络包括编码网络和解码网络，编码网络包括依次连接的第一编码模块、第二编码模块、第三编码模块和第四编码模块，解码网络包括依次连接的语义关联迁移模块(即图3中的(a))、空间感知模块(即图3中的(b))和输出模块(即图3中的(c))；
语义关联迁移模块的输入端分别与第二编码模块、第三编码模块和第四编码模块的输出端连接，用于完成第二编码模块、第三编码模块和第四编码模块的不同层级特征之间的语义关联，并将深层特征的语义信息迁移至浅层特征中；
空间感知模块的输入端分别与第一编码模块和语义关联迁移模块的输出端连接，用于融合不同层次特征的空间细节和语义信息；
输出模块的输入端与空间感知模块的输出端连接，用于输出提取结果。
在本实施例中，通过对深度学习网络进行优化，即在解码网络中设置依次连接的语义关联迁移模块和空间感知模块，语义关联迁移模块可以完成第二编码模块、第三编码模块和第四编码模块的不同层级特征之间的语义关联，并将深层特征的语义信息迁移至浅层特征中，空间感知模块可以融合不同层次特征的空间细节和语义信息，这样可以充分交互公路及其附属物高低特征层的语义信息，重点关注不同尺度地物要素的空间细节，使得网络在保持较高提取精度的同时，显著地提升了识别效率。因此，上述技术方案能够有效提高公路及其附属物的提取精度。
如图3所示，在编码部分使用卷积神经网络(Convolutional Neural Networks，CNNs)或Transformer自注意力机制作为骨干特征提取网络，分别收集公路及其附属物等地物信息的局部和全局特征信息，自动地生成不同层级的特征图{Ei}。在解码部分先后使用SAT(即SIA和SIT，其中SIA为EDB中的一部分)和MSA策略高效地完成层级特征之间的语义信息关联，快速地迁移深层特征丰富的语义信息，并实现公路及其附属物等多尺度地物特征空间细节的敏锐感知，最终得到精细的提取结果。
对于遥感影像中公路、裂缝、标线或建筑物等多种形态和尺度不一的特性，缺乏深层语义信息引导和浅层空间细节考虑的解码器很难实现精确的地物提取结果。为此，发明人创造性地提出：可以使用语义关联迁移(Sematic Association Transfer，SAT)和多尺度空间感知(Multiscale Spatial Awareness，MSA)，即语义关联迁移模块和空间感知模块，从而可以加强远距离特征之间的语义关联，实现深层特征语义信息的高效传递，并在多个尺度上感知提取目标的空间分布关系，提高浅层特征的全局语义和局部空间信息感知能力，从而提升公路及其附属物提取精度和效率。
如图4所示，作为一种优选的实施方式，语义关联迁移模块是通过采用如下公式完成第二编码模块、第三编码模块和第四编码模块的不同层级特征之间的语义关联的：
D4＝DConv(ρrow(Prj(E4))(ρcol(Prj(E4))TPrj(E4)))
式中，2≤i≤3；Ei为第i编码模块生成的浅层特征图；Di为与第i编码模块对应的深层特征图；Xi为Ei和Di融合后的特征图；CBR(·)表示依次进行3×3卷积、BN和Relu的操作；Conv(·)表示卷积操作；UP2(·)表示2倍上采样操作；表示add融合操作；Prj(·)为使用1×1卷积的投影函数；ρrow(·)和ρcol(·)依次为行和列的归一化函数；DConv(·)表示深度可分离卷积操作。
在本实施例中，通过降维和融合方式获取的存在通道信息衰减和跨层特征混合的缺点，需要进一步加强公路及其附属物等地物语义信息长距离关联，并消除层级特征差异的影响。为此，发明人设计了如图4所示的高效解码块(即EDB)，采用语义信息关联策略和特征提取分支，加强地物特征之间的语义关联，逐级还原地物特征的空间细节。
输入特征图Xi在SIA的支持下，定量地刻画远距离信息的权重关系，并以矩阵相乘方式进行加权求和，加强公路及其附属物的语义信息关联。SIA使用矩阵维度变换函数生成一组特征向量其中Ni＝(H/2i+1)×(W/2i+1)表示特征向量的长度，是具备C个元素的行向量。随后，使用三个投影函数Prj(·)生成对应的地物特征矩阵/>和/>
归一化函数ρcol(·)表示对Ki的每一列进行归一化。通过这种改进的点乘自注意力机制，发明人成功地减少了计算复杂度，同时也加强了跨层特征特征远距离语义信息的关联。此外，特征提取分支首先使用3×3卷积提取地物特征的局部空间信息，然后与信息迁移策略提取的特征进行相加融合，最后使用深度可分离卷积快速地还原地物的空间细节，通过三个层级结构得到精细的地物提取结果。公路和裂缝的输入特征图经过高效解码器后，其亮度发生了显著地变化，使得模型关注提取目标本身，而不是树木等噪声信息。
尽管SIA在一定程度上缓解了逐级解码方案语义信息衰减效应，但是高效解码器通过通道降维的方式限制了语义信息的还原。为此，发明人基于高效语义信息关联策略的计算模式，设计了如图5所示的深层特征语义信息迁移模块(Sematic InformationTransform，SIT)，将深层特征丰富的语义信息高效迁移至浅层特征，允许公路及其附属物特征的语义信息在编码解码器之间充分流动，显著地提升有益特征的传播和流动。
如图5所示，作为一种优选的实施方式，语义关联迁移模块是通过采用如下公式完成将深层特征的语义信息迁移至浅层特征中的：
T＝ρrow(Q)(ρcol(K)TV)
D1＝Concat(D2,T)
式中，UP4(·)表示4倍上采样操作；E2、E3和E4依次为第二编码模块、第三编码模块和第四编码模块生成的浅层特征图；D1为与第一编码模块对应的深层特征图；Concat(·)表示Concat融合操作。
在本实施例中，由可视化结果可知，特征图和/>分别具备详尽的空间细节和丰富的语义信息，而/>两者兼具。SIT接收来自编码器的三个特征图，通过映射、激活和迁移等步骤后，一方面将深层特征E4丰富的语义信息传递至浅层特征E2，另一方面，也保留了浅层特征E2详尽的空间细节信息。对于编码器的三个特征图E2、E3和E4，分别使用1×1卷积和双线性上采样方法将其映射为Q、K和V，使其具有相同的空间分辨率(H/8)×(W/8)，满足后续的矩阵乘法运算规则。
特征图K和V通过softmaxcol(K)归一化函数、矩阵转置和矩阵乘法等一系列操作，自动地定量刻画每个特征点语义信息的长距离关系，优化分配通道权重信息，得到语义信息矩阵A，定义如下：
式中，K使用softmaxcol(·)激活函数列进行归一化计算，权衡特征点的重要程度。在KT和V相乘后，得到8C×4C大小的的语义关系图A，不仅暂时保存了深层特征图E4的语义信息，而且激活了深层特征图E3的通道信息，高度地表达了每个特征点之间的长距离语义关系。同时，语义信息矩阵A能够自适应的评估每个长距离语义信息的相关性，选择性地判断深层语义信息的重要程度，在一定程度上削弱了特征的冗余性。将语义信息矩阵A和特征图Q相乘后，在不需要过多卷积的情况下完成了深层特征语义信息的快速迁移，不仅保留了详细的空间细节信息，而且选择性地评估长距离语义信息的贡献程度。计算过程如下：
T＝softmaxrow(Q)A
式中，表示SIT的输出特征图。softmaxrow(·)对Q的每一行进行归一化，使其其中每个语义信息被激活，再与特征图A的相乘过程中，自动地实现深层特征语义信息的迁移，最终将浅层特征图E2的通道数2C变为深层特征图E4的8C。正如特征图可视化结果，SIT有效地将深层特征对建筑物的语义信息成功迁移至迁移特征，同时也保留了浅层特征的空间细节。通过这种方式，SIT有效地将深层特征的语义信息迁移至浅层特征，使地物特征在解码器中充分流动，实现了跨层特征的有效融合。
综上，SAT通过SIA和SIT两种模式，有效地缓解了逐级解码方法的语义信息衰减效应，提高了地物特征之间的紧密关联的程度，也实现了深层特征语义信息的高效迁移，使得网络快速地得到精细化的地物提取结果。
编码器的浅层特征E1尽管具有十分详尽的空间细节，但其特征语义信息较为薄弱。相反，解码器逐级还原的深层特征D1提供了较为丰富的语义信息，但空间细节模糊。如何在解码最后阶段构建顾及空间细节和语义信息的解码单元，是实现公路及其附属物信息精细提取的关键所在。为此，发明人设计了如图6所示的特征精细解码头(即MSA)，通过语义关联和空间感知两个策略，充分融合不同层次特征的空间细节和语义信息，进一步提高地物提取的精度和效果。
如图6和7所示，作为一种优选的实施方式，空间感知模块是通过采用如下公式完成融合不同层次特征的空间细节和语义信息的：
Fp＝(Max(F1),Mean(F1))
式中，E1为第一编码模块生成的浅层特征图；F2为空间感知模块生成的特征图；Max(·)表示最大池化操作；Mean(·)表示平均池化操作；表示不同卷积提取的空间特征图；BN(·)表示批量归一化操作。
在本实施例中，特征精细解码头一方面通过SIA捕捉浅层特征和深层特征/>两者之间的语义信息关系，另一方面采用空间感知方式提高空间细节信息感知能力，精确地还原地物的空间语义信息。同时，使用跳跃连接机制和深度可分离卷积加快模型特征学习的效率，快速地融合不同层次特征的语义信息和空间细节。
图7展示了msa模块的主要结果及其特征可视化的结果。输入图像经过编码器和SAT得到的特征图F1虽然通过利用了SIA策略评估了每个通道信息的贡献程度，但其空间细节仍未被重视，存在背景噪声区域的错误关注。为此，发明人提出的msa模块通过空间信息压缩、多尺度空间感知和空间特征激活三个关键步骤，自适应地探索特征信息的空间分布规律，从多个尺度上自主地构建每个像素之间的空间关系，增强特征区域的空间细节信息刻画，抑制背景区域的噪声信息干扰，使得网络将背景区域的注意力移动到公路前区域。
1)空间信息压缩：输入特征通过最大池化和平均池化操作，将通道信息压缩至一维，生成含有空间信息的特征图/>尽可能地刻画公路的边缘和内部的语义信息。由特征图可视化结果可知，平均池化和最大池化分别保留了公路的边缘细节和语义信息；
2)多尺度空间感知：分别使用三个大小不同的卷积分支感受不同空间尺度的地物特征信息，获取每个像素点之间的空间分布关系，得到具有空间信息权重的特征图
3)特征激活：特征图Fs j高度表征了公路特征点之间的空间分布关系。使用Sigmoid激活函数进一步详细地刻画其中的空间细节信息，并与输入特征F1矩阵点乘后，抑制背景信息的干扰。
由特征图可知，三种不同尺度的卷积操作实现了不同尺度公路的上下文信息聚合，并同时加强了对公路边缘细节的关注程度，也抑制了背景噪声信息的表达。综上，msa模块通过通道信息降维、空间关系感知和地物特征激活等三个关键步骤，自适应地获取了每个地物特征点之间的空间关系，并以优化分配权重的方式自动地提高公路信息的空间表征强度，降低背景噪声信息的干扰。
综上，上述技术方案不仅实现了公路、建筑物等大尺度地物要素的高精度高效率提取，而且也能较好地处理裂缝、标线破损等小尺度的空间细节；同时，可通过定量表征方式关联公路及其附属物不同层次特征之间的语义信息，有效将深层特征语义信息快速迁移至浅层特征，提高了对地物语义特征的认知能力；利用多个不同尺度的空间感知路径，有效地感知了不同尺度特征的空间边缘细节，消除背景噪声信息的干扰。
上述对本发明特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
根据另一方面的实施例，本发明提供了一种公路及其附属物的提取装置。图2示出根据一个实施例的公路及其附属物的提取装置的示意性框图。可以理解，该装置可以通过任何具有计算、处理能力的装置、设备、平台和设备集群来实现。如图2所示，该装置包括：获取单元201和提取单元202。其中各组成单元的主要功能如下：
获取单元201，被配置为获取待提取的公路遥感图像；
提取单元202，被配置为将待提取的公路遥感图像输入到训练好的遥感提取模型中，得到待提取的公路遥感图像中公路及其附属物的提取结果；其中，遥感提取模型是利用标签公路遥感影像对预设的深度学习网络进行训练得到的；
深度学习网络包括编码网络和解码网络，编码网络包括依次连接的第一编码模块、第二编码模块、第三编码模块和第四编码模块，解码网络包括依次连接的语义关联迁移模块、空间感知模块和输出模块；
语义关联迁移模块的输入端分别与第二编码模块、第三编码模块和第四编码模块的输出端连接，用于完成第二编码模块、第三编码模块和第四编码模块的不同层级特征之间的语义关联，并将深层特征的语义信息迁移至浅层特征中；
空间感知模块的输入端分别与第一编码模块和语义关联迁移模块的输出端连接，用于融合不同层次特征的空间细节和语义信息；
输出模块的输入端与空间感知模块的输出端连接，用于输出提取结果。
作为一种优选的实施方式，语义关联迁移模块是通过采用如下公式完成第二编码模块、第三编码模块和第四编码模块的不同层级特征之间的语义关联的：
D4＝DConv(ρrow(Prj(E4))(ρcol(Prj(E4))TPrj(E4)))
式中，2≤i≤3；Ei为第i编码模块生成的浅层特征图；Di为与第i编码模块对应的深层特征图；Xi为Ei和Di融合后的特征图；CBR(·)表示依次进行3×3卷积、BN和Relu的操作；Conv(·)表示卷积操作；UP2(·)表示2倍上采样操作；表示add融合操作；Prj(·)为使用1×1卷积的投影函数；ρrow(·)和ρcol(·)依次为行和列的归一化函数；DConv(·)表示深度可分离卷积操作。
作为一种优选的实施方式，语义关联迁移模块是通过采用如下公式完成将深层特征的语义信息迁移至浅层特征中的：
T＝ρrow(Q)(ρcol(K)TV)
D1＝Concat(D2,T)
式中，UP4(·)表示4倍上采样操作；E2、E3和E4依次为第二编码模块、第三编码模块和第四编码模块生成的浅层特征图；D1为与第一编码模块对应的深层特征图；Concat(·)表示Concat融合操作。
作为一种优选的实施方式，空间感知模块是通过采用如下公式完成融合不同层次特征的空间细节和语义信息的：
Fp＝(Max(F1),Mean(F1))
式中，E1为第一编码模块生成的浅层特征图；F2为空间感知模块生成的特征图；Max(·)表示最大池化操作；Mean(·)表示平均池化操作；表示不同卷积提取的空间特征图；BN(·)表示批量归一化操作。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当计算机程序在计算机中执行时，令计算机执行结合图1所描述的方法。
根据再一方面的实施例，还提供一种电子设备，包括存储器和处理器，存储器中存储有可执行代码，处理器执行可执行代码时，实现结合图1的方法。
本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (10)
1.一种公路及其附属物的提取方法，其特征在于，包括：
获取待提取的公路遥感图像；
将待提取的公路遥感图像输入到训练好的遥感提取模型中，得到待提取的公路遥感图像中公路及其附属物的提取结果；其中，所述遥感提取模型是利用标签公路遥感影像对预设的深度学习网络进行训练得到的；
所述深度学习网络包括编码网络和解码网络，所述编码网络包括依次连接的第一编码模块、第二编码模块、第三编码模块和第四编码模块，所述解码网络包括依次连接的语义关联迁移模块、空间感知模块和输出模块；
所述语义关联迁移模块的输入端分别与所述第二编码模块、所述第三编码模块和所述第四编码模块的输出端连接，用于完成所述第二编码模块、所述第三编码模块和所述第四编码模块的不同层级特征之间的语义关联，并将深层特征的语义信息迁移至浅层特征中；
所述空间感知模块的输入端分别与所述第一编码模块和所述语义关联迁移模块的输出端连接，用于融合不同层次特征的空间细节和语义信息；
所述输出模块的输入端与所述空间感知模块的输出端连接，用于输出所述提取结果。
2.根据权利要求1所述的方法，其特征在于，所述语义关联迁移模块是通过采用如下公式完成所述第二编码模块、所述第三编码模块和所述第四编码模块的不同层级特征之间的语义关联的：
D4＝DConv(ρrow(Prj(E4))(ρcol(Prj(E4))TPrj(E4)))
式中，2≤i≤3；Ei为第i编码模块生成的浅层特征图；Di为与第i编码模块对应的深层特征图；Xi为Ei和Di融合后的特征图；CBR(·)表示依次进行3×3卷积、BN和Relu的操作；Conv(·)表示卷积操作；UP2()表示2倍上采样操作；表示add融合操作；Prj(·)为使用1×1卷积的投影函数；ρrow(·)和ρcol(·)依次为行和列的归一化函数；DConv(·)表示深度可分离卷积操作。
3.根据权利要求2所述的方法，其特征在于，所述语义关联迁移模块是通过采用如下公式完成将深层特征的语义信息迁移至浅层特征中的：
T＝ρrow(Q)(ρcol(K)TV)
D1＝Concat(D2,T)
式中，UP4(·)表示4倍上采样操作；E2、E3和E4依次为所述第二编码模块、所述第三编码模块和所述第四编码模块生成的浅层特征图；D1为与所述第一编码模块对应的深层特征图；Concat(·)表示Concat融合操作。
4.根据权利要求3所述的方法，其特征在于，所述空间感知模块是通过采用如下公式完成融合不同层次特征的空间细节和语义信息的：
Fp＝(Max(F1),Mean(F1))
式中，E1为所述第一编码模块生成的浅层特征图；F2为所述空间感知模块生成的特征图；Max(·)表示最大池化操作；Mean(·)表示平均池化操作；Fs j表示不同卷积提取的空间特征图；BN(·)表示批量归一化操作。
5.一种公路及其附属物的提取装置，其特征在于，包括：
获取单元，被配置为获取待提取的公路遥感图像；
提取单元，被配置为将待提取的公路遥感图像输入到训练好的遥感提取模型中，得到待提取的公路遥感图像中公路及其附属物的提取结果；其中，所述遥感提取模型是利用标签公路遥感影像对预设的深度学习网络进行训练得到的；
所述深度学习网络包括编码网络和解码网络，所述编码网络包括依次连接的第一编码模块、第二编码模块、第三编码模块和第四编码模块，所述解码网络包括依次连接的语义关联迁移模块、空间感知模块和输出模块；
所述语义关联迁移模块的输入端分别与所述第二编码模块、所述第三编码模块和所述第四编码模块的输出端连接，用于完成所述第二编码模块、所述第三编码模块和所述第四编码模块的不同层级特征之间的语义关联，并将深层特征的语义信息迁移至浅层特征中；
所述空间感知模块的输入端分别与所述第一编码模块和所述语义关联迁移模块的输出端连接，用于融合不同层次特征的空间细节和语义信息；
所述输出模块的输入端与所述空间感知模块的输出端连接，用于输出所述提取结果。
6.根据权利要求5所述的装置，其特征在于，所述语义关联迁移模块是通过采用如下公式完成所述第二编码模块、所述第三编码模块和所述第四编码模块的不同层级特征之间的语义关联的：
D4＝DConv(ρrow(Prj(E4))(ρcol(Prj(E4))TPrj(E4)))
式中，2≤i≤3；Ei为第i编码模块生成的浅层特征图；Di为与第i编码模块对应的深层特征图；Xi为Ei和Di融合后的特征图；CBR(·)表示依次进行3×3卷积、BN和Relu的操作；Conv(·)表示卷积操作；UP2(·)表示2倍上采样操作；表示add融合操作；Prj(·)为使用1×1卷积的投影函数；ρrow(·)和ρcol(·)依次为行和列的归一化函数；DConv(·)表示深度可分离卷积操作。
7.根据权利要求6所述的装置，其特征在于，所述语义关联迁移模块是通过采用如下公式完成将深层特征的语义信息迁移至浅层特征中的：
T＝ρrow(Q)(ρcol(K)TV)
D1＝Concat(D2,T)
式中，UP4(·)表示4倍上采样操作；E2、E3和E4依次为所述第二编码模块、所述第三编码模块和所述第四编码模块生成的浅层特征图；D1为与所述第一编码模块对应的深层特征图；Concat(·)表示Concat融合操作。
8.根据权利要求7所述的装置，其特征在于，所述空间感知模块是通过采用如下公式完成融合不同层次特征的空间细节和语义信息的：
Fp＝(Max(F1),Mean(F1))
式中，E1为所述第一编码模块生成的浅层特征图；F2为所述空间感知模块生成的特征图；Max(·)表示最大池化操作；Mean(·)表示平均池化操作；表示不同卷积提取的空间特征图；BN(·)表示批量归一化操作。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-4中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311557883.1A CN117593639B (zh) | 2023-11-21 | 2023-11-21 | 公路及其附属物的提取方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311557883.1A CN117593639B (zh) | 2023-11-21 | 2023-11-21 | 公路及其附属物的提取方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117593639A true CN117593639A (zh) | 2024-02-23 |
| CN117593639B CN117593639B (zh) | 2024-05-28 |
Family
ID=89916095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311557883.1A Active CN117593639B (zh) | 2023-11-21 | 2023-11-21 | 公路及其附属物的提取方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117593639B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200234447A1 (en) * | 2019-01-22 | 2020-07-23 | Kabushiki Kaisha Toshiba | Computer vision system and method |
| CN112991354A (zh) * | 2021-03-11 | 2021-06-18 | 东北大学 | 一种基于深度学习的高分辨率遥感影像语义分割方法 |
| CN112991351A (zh) * | 2021-02-23 | 2021-06-18 | 新华三大数据技术有限公司 | 遥感图像语义分割方法、装置及存储介质 |
| CN113515951A (zh) * | 2021-07-19 | 2021-10-19 | 同济大学 | 基于知识增强注意力网络和组级语义的故事描述生成方法 |
| US20220129751A1 (en) * | 2020-10-23 | 2022-04-28 | California Institute Of Technology | Scalable and distributed machine learning framework with unified encoder (sulu) |
| CN115797931A (zh) * | 2023-02-13 | 2023-03-14 | 山东锋士信息技术有限公司 | 一种基于双分支特征融合的遥感图像语义分割方法 |
| CN116052016A (zh) * | 2023-01-14 | 2023-05-02 | 南京信息工程大学 | 基于深度学习的遥感图像云和云影的精细分割检测方法 |
| WO2023070447A1 (zh) * | 2021-10-28 | 2023-05-04 | 京东方科技集团股份有限公司 | 模型训练方法、图像处理方法、计算处理设备及非瞬态计算机可读介质 |
| CN116229461A (zh) * | 2023-01-31 | 2023-06-06 | 西南大学 | 一种基于多尺度细化的室内场景图像实时语义分割方法 |
| CN116310325A (zh) * | 2023-02-23 | 2023-06-23 | 华中师范大学 | 一种从patch到region架构的大幅面遥感影像语义分割方法 |
| CN116778169A (zh) * | 2023-08-08 | 2023-09-19 | 长沙理工大学 | 基于混合特征提取的遥感图像语义分割方法、装置和设备 |
| CN116778318A (zh) * | 2023-05-22 | 2023-09-19 | 北京空间机电研究所 | 一种卷积神经网络遥感影像道路提取模型及方法 |
-
2023
- 2023-11-21 CN CN202311557883.1A patent/CN117593639B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200234447A1 (en) * | 2019-01-22 | 2020-07-23 | Kabushiki Kaisha Toshiba | Computer vision system and method |
| US20220129751A1 (en) * | 2020-10-23 | 2022-04-28 | California Institute Of Technology | Scalable and distributed machine learning framework with unified encoder (sulu) |
| CN112991351A (zh) * | 2021-02-23 | 2021-06-18 | 新华三大数据技术有限公司 | 遥感图像语义分割方法、装置及存储介质 |
| CN112991354A (zh) * | 2021-03-11 | 2021-06-18 | 东北大学 | 一种基于深度学习的高分辨率遥感影像语义分割方法 |
| CN113515951A (zh) * | 2021-07-19 | 2021-10-19 | 同济大学 | 基于知识增强注意力网络和组级语义的故事描述生成方法 |
| WO2023070447A1 (zh) * | 2021-10-28 | 2023-05-04 | 京东方科技集团股份有限公司 | 模型训练方法、图像处理方法、计算处理设备及非瞬态计算机可读介质 |
| CN116052016A (zh) * | 2023-01-14 | 2023-05-02 | 南京信息工程大学 | 基于深度学习的遥感图像云和云影的精细分割检测方法 |
| CN116229461A (zh) * | 2023-01-31 | 2023-06-06 | 西南大学 | 一种基于多尺度细化的室内场景图像实时语义分割方法 |
| CN115797931A (zh) * | 2023-02-13 | 2023-03-14 | 山东锋士信息技术有限公司 | 一种基于双分支特征融合的遥感图像语义分割方法 |
| CN116310325A (zh) * | 2023-02-23 | 2023-06-23 | 华中师范大学 | 一种从patch到region架构的大幅面遥感影像语义分割方法 |
| CN116778318A (zh) * | 2023-05-22 | 2023-09-19 | 北京空间机电研究所 | 一种卷积神经网络遥感影像道路提取模型及方法 |
| CN116778169A (zh) * | 2023-08-08 | 2023-09-19 | 长沙理工大学 | 基于混合特征提取的遥感图像语义分割方法、装置和设备 |
Non-Patent Citations (2)
| Title |
|---|
| YUHAN CHEN 等: ""Shallow-Guided Transformer for Semantic Segmentation of Hyperspectral Remote Sensing Imagery"", 《 REMOTE SENSING 》, vol. 15, no. 13, 30 June 2023 (2023-06-30), pages 1 - 23 * |
| 肖春姣 等: ""深度融合网结合条件随机场的遥感图像语义分割"", 《遥感学报》, no. 03, 25 March 2020 (2020-03-25), pages 254 - 264 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117593639B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113240580B (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
| CN108399362B (zh) | 一种快速行人检测方法及装置 | |
| CN109493346B (zh) | 一种基于多损失的胃癌病理切片图像分割方法和装置 | |
| CN111950453B (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
| CN113255915B (zh) | 基于结构化实例图的知识蒸馏方法、装置、设备和介质 | |
| CN111275057B (zh) | 图像处理方法、装置及设备 | |
| CN111738269B (zh) | 模型训练方法、图像处理方法及装置、设备、存储介质 | |
| CN113449691A (zh) | 一种基于非局部注意力机制的人形识别系统及方法 | |
| CN111652921A (zh) | 一种单目深度预测模型的生成方法及单目深度预测方法 | |
| CN114332094A (zh) | 基于轻量级多尺度信息融合网络的语义分割方法及装置 | |
| CN111160351A (zh) | 基于块推荐网络的快速高分辨率图像分割方法 | |
| CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
| CN112308102A (zh) | 图像相似度计算方法、计算装置及存储介质 | |
| CN116883679B (zh) | 基于深度学习的地物目标提取方法和装置 | |
| CN113554653A (zh) | 基于互信息校准点云数据长尾分布的语义分割方法 | |
| CN116523888B (zh) | 路面裂缝的检测方法、装置、设备及介质 | |
| CN117392488A (zh) | 一种数据处理方法、神经网络及相关设备 | |
| CN117593639B (zh) | 公路及其附属物的提取方法、装置、设备及介质 | |
| CN116452965A (zh) | 一种基于声光融合的水下目标检测识别方法 | |
| CN115760807B (zh) | 一种视网膜眼底图像配准方法及系统 | |
| CN116704324A (zh) | 基于水下图像的目标检测方法、系统、设备以及存储介质 | |
| CN116798041A (zh) | 图像识别方法、装置和电子设备 | |
| CN116630763A (zh) | 一种基于多尺度上下文感知的多聚焦图像融合方法 | |
| CN111428612A (zh) | 行人重识别方法、终端、装置及存储介质 | |
| CN113962332B (zh) | 基于自优化融合反馈的显著目标识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |