CN117372876A - 一种多任务遥感影像道路损毁评估方法及系统 - Google Patents

一种多任务遥感影像道路损毁评估方法及系统 Download PDF

Info

Publication number
CN117372876A
CN117372876A CN202311489762.8A CN202311489762A CN117372876A CN 117372876 A CN117372876 A CN 117372876A CN 202311489762 A CN202311489762 A CN 202311489762A CN 117372876 A CN117372876 A CN 117372876A
Authority
CN
China
Prior art keywords
road
image
scale
temporal
damage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311489762.8A
Other languages
English (en)
Inventor
张闯
陈嘉欣
王薇
李苓苓
罗伟儿
吴铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Disaster Reduction Center Of Ministry Of Emergency Management
Beijing University of Posts and Telecommunications
Original Assignee
National Disaster Reduction Center Of Ministry Of Emergency Management
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Disaster Reduction Center Of Ministry Of Emergency Management, Beijing University of Posts and Telecommunications filed Critical National Disaster Reduction Center Of Ministry Of Emergency Management
Priority to CN202311489762.8A priority Critical patent/CN117372876A/zh
Publication of CN117372876A publication Critical patent/CN117372876A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

一种多任务遥感影像道路损毁评估方法及系统，涉及遥感图像分析领域，该方法包括以下步骤：获取道路损毁双时态图像，并对道路损毁双时态图像进行标注；输入带标注的道路损毁双时态图像，通过多尺度特征提取模块提取多尺度特征，获取多尺度双时态特征图；对多尺度双时态特征图进行时空全局信息建模；通过逐级上采样和密集连接进行特征重建；设置损失函数，将重建后的特征图像分别输入到两个预测头，使用重建特征生成道路变化检测图像，同时使用类嵌入预测道路损毁等级。本发明在道路变化检测的基础上融合道路损毁评估，多任务之间相互促进，实现了更好的道路评估效果；同时本发明能有效提取连续变化的道路区域，准确识别道路变化的细微连续特征。

Description

一种多任务遥感影像道路损毁评估方法及系统
技术领域
本发明涉及遥感图像分析技术领域，具体涉及一种多任务遥感影像道路损毁评估方法及系统。
背景技术
基于遥感影像的道路损毁评估，是建立在遥感领域变化检测任务基础上的，通过对比灾前灾后的影像，找出受损区域，并评估道路损毁等级的任务。
目前，已有的变化检测及损毁评估方法主要集中在建筑物、土地覆盖、森林面积等方面，如公开号为CN115861703A的中国专利提供了一种基于多尺度CNN-Transformer的遥感图像变化检测方法和装置，通过将双时态遥感图像输入多尺度CNN-Transformer编码器，利用多尺度CNN-Transformer编码器对双时态遥感图像进行特征提取得到双时态遥感图像的多尺度全局-局部特征；再利用级联解码器将双时态遥感图像的多尺度全局-局部特征进行逐层融合重构得到变化特征图；最后通过分类器对变化特征图进行逐像素分类，从而得到变化检测结果图。又如公开号为CN115690002A的中国专利提供了一种基于Transformer和密集特征融合的遥感图像变化检测方法及系统，通过使用基于ResNeT18的骨干网络进行初步特征提取，然后将提取到的两个特征图通过语义Tokenize生成两组tokens序列，将序列拼接后输入到Transformer编码器，通过改进的多头注意力，在保证多头多样性的前提下，进行不同头间的交互，帮助网络在基于token的空间对图像的全局信息进行建模，接着将富含上下文信息的tokens进行分割后输入到孪生的Transformer解码器，重新投影回像素空间，得到两个增强后的特征图，通过密集特征融合模块，帮助网络生成变化区域并增强边缘信息。最后，经过特征融合和浅层的卷积网络生成变化结果图。
对变化检测任务而言，现有方法主要针对建筑物、土地覆盖、森林面积等方面，这些地物在地理上呈现出分散、固定的特征，而道路则呈现出连续、曲折的特征，因此现有方法在提取道路的变化区域方面存在一些问题，例如无法有效提取连续的道路变化区域，检测结果常常出现道路不连续或误检的情况，从而无法准确捕捉到道路变化的细粒度和连续性特征。另外，对于道路损毁评估任务而言，现有方法忽视了损毁等级这一重要的语义信息，现存的数据集中缺乏具备损毁等级的语义信息，现有方法也未对道路特征进行充分探索，同时没有针对变化检测和损毁评估这一多任务的研究范式。此外，现有变化检测及损毁评估方法针对道路变化检测存在细节丢失和精度不高的问题，导致损毁评估结果不准确。因此，如何精确提取道路变化和损毁程度的特征是实现道路损毁评估任务的关键。
发明内容
为了精确提取道路变化和损毁程度的特征实现道路损毁评估任务，本发明提供一种多任务遥感影像道路损毁评估方法及系统。本发明将transformer和unet相融合，通过建立一个完整的端到端多任务模型，利用灾前图像和灾后图像，学习丰富的多尺度道路变化和损毁特征，实现道路变化区域的检测和损毁程度的评估，降低道路损毁评估任务的误差。
本发明为解决技术问题所采用的技术方案如下：
本发明的一种多任务遥感影像道路损毁评估系统，包括：
道路图像数据预处理模块，用于对道路损毁双时态图像进行标注，并将标注后的道路损毁双时态图像输入至多尺度特征提取模块；
多尺度特征提取模块，用于对标注后的道路损毁双时态图像进行多尺度特征提取，并将获得的多尺度双时态特征图输入至图像特征空间信息建模模块；
图像特征空间信息建模模块，用于对多尺度双时态特征图进行时空全局信息建模，输出道路损毁等级；
特征图重建模块，用于对时空全局信息建模后的特征图进行重构，实现从特征图到变化图的重构过程，输出道路变化检测图像。
本发明的一种多任务遥感影像道路损毁评估方法，采用上述的一种多任务遥感影像道路损毁评估系统实现，该方法包括以下步骤：
步骤一、获取道路损毁双时态图像，并对道路损毁双时态图像进行标注；
步骤二、输入带标注的道路损毁双时态图像，通过多尺度特征提取模块提取多尺度特征，获取多尺度双时态特征图；
步骤三、在不同尺度上对多尺度双时态特征图进行时空全局信息建模；
步骤四、通过逐级上采样和密集连接进行特征重建；
步骤五、设置损失函数，将重建后的特征图像分别输入到两个预测头，使用重建特征生成道路变化检测图像，同时使用类嵌入预测道路损毁等级。
进一步的，步骤二中，当输入两张单个道路损毁双时态图像对时，通过卷积操作生成四个逐层减半的不同尺度的双时态特征图，尺度较大的双时态特征图包含低级的道路地理位置的变化信息，尺度较小的双时态特征图包含高级的道路损毁程度信息。
进一步的，步骤二中，所述多尺度特征提取模块采用ResNet-18网络、ResNet-50网络或VGGNet网络。
进一步的，步骤三中，利用转换和残差跳跃连接对多尺度双时态特征图的时空全局信息进行建模；所述转换和残差跳跃连接包括转换连接模块和残差连接模块；先将多尺度双时态特征图输入至转换连接模块将其映射为两个长度为L的向量，拼接后进入Transformer模型进行整体建模，充分学习灾害前后地理信息的差异，得到含有丰富上下文信息的单一特征图；同时将多尺度双时态特征图输入至残差连接模块处理后获取保留原有的低级地理特征图；将单一特征图和低级地理特征图进行融合得到完整的特征图像。
进一步的，所述Transformer模型采用DeiT架构或Swin-Transformer架构。
进一步的，步骤四中，利用特征图重建模块实现从特征图到变化图的重构过程，所述特征图重建模块采用密集上采样模块实现。
进一步的，步骤五中，采用Focal loss和Dice loss相结合的方式设置损失函数。
进一步的，步骤五中，两个预测头分别为变化检测预测头和损毁评估预测头，对于所述变化检测预测头，重建后的特征图像直接通过多个卷积层进行上采样并调整输出通道，然后使用softmax和argmax函数来可视化道路的二值变化图，生成道路变化检测图像；对于所述损毁评估预测头，在最大尺度双时态特征图的建模过程中，引入类嵌入，通过Transformer模型中的Encoder模块充分学习损毁特征后，将其拆分并输入到多层感知器中进行道路损毁等级的预测。
本发明的有益效果是：
1、多任务融合：本发明在道路变化检测的基础上，融合道路损毁评估，建立了一个统一的端到端多任务模型，将道路变化检测和道路损毁程度评估这两个任务融合在一起。与此不同的是，现有的相关技术大多专注于单一任务，即只关注道路变化检测或道路损毁评估。本发明首次将道路变化检测和道路损毁评估任务紧密结合，形成一个完整的框架。通过结合道路变化检测和道路损毁评估任务，利用道路变化检测所产生的道路变化信息和道路损毁评估所生成的道路损毁信息相互促进，多任务之间相互促进，实现了更好的道路评估效果，对于现实场景的应用有着更加现实的意义。
具体地说，道路变化检测任务可以提供宝贵的上下文信息和变化信息，有助于精确评估道路损毁的程度；而损毁评估任务则提供关于道路损毁程度的详细信息，有助于提高道路变化检测的准确性。通过将这两个任务结合起来构建一个端到端的多任务模型，能够有效地提高道路损毁评估的准确性和鲁棒性，通过综合考虑道路变化检测和道路损毁评估任务，更全面地理解和评估道路变化情况，为相关领域提供准确的决策支持。这种综合考虑多个任务的方法在现有的道路相关技术中首次提出，并且在道路损毁评估领域具有创新性和独特性。
2、针对损毁评估任务，本发明将道路的损毁程度分为三个类别(无或较小/中等/严重损毁)，这样的分类能够提供对道路损毁程度的定量评估，在模型实际推理阶段，能够输出道路损毁的等级。
3、针对道路变化检测任务，基于深度学习的方法通常采用CNNs(卷积神经网络)和Transformer模型。CNNs通过多层卷积和池化操作逐步提取更高级别的特征表示，形成层次结构，以捕捉视觉和空间关系为主要优势。
Transformer则通过自注意力机制来捕捉输入序列中不同位置间的关系，并具有全局视野，其主要优势在于能够有效地捕捉全局上下文信息以及建模长距离依赖关系。基于这些优势，本发明将CNNs用于初步提取图像特征，以获取多尺度特征。而利用transformer和unet结合进行空间信息建模，则能够在不同尺度特征上得到具有丰富上下文信息的特征。通过将两者结合，本发明能够更好地促进道路损毁评估任务，有助于提高评估效果。
4、另外，对于道路变化检测任务，本发明提出了针对道路地理特征的模块(道路图像数据预处理模块、多尺度特征提取模块、图像特征空间信息建模模块和特征图重建模块)，能够更全面地提取和利用双时态遥感图像的特征，并实现密集的特征融合和上采样过程，同时采用合适的损失函数帮助训练，能够有效提取连续变化的道路区域，准确识别道路变化的细微连续特征，提高道路损毁评估精度，从而更准确地进行道路变化检测和道路损毁评估。
5、本发明引入Transformer和残差连接，能够更好地利用时空全局信息，并且在损失函数设计上采用Focal loss和Dice loss相结合，以更好地适应不均衡的数据集和回归问题，在道路变化检测任务和道路损毁评估任务中具有更强的模型表达能力和更高的准确性。
附图说明
图1为本发明的一种多任务遥感影像道路损毁评估方法的流程图。
图2为本发明的一种多任务遥感影像道路损毁评估系统的结构组成框图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
第一方面，本发明提供一种多任务遥感影像道路损毁评估系统，如图2所示，该系统包括：道路图像数据预处理模块、多尺度特征提取模块、图像特征空间信息建模模块和特征图重建模块；其中，道路图像数据预处理模块主要用于对道路损毁双时态图像进行标注；多尺度特征提取模块(MFE，Multi-scale Feature Extraction module)用于对标注后的道路损毁双时态图像进行多尺度特征提取；图像特征空间信息建模模块用于对上述所获得的多尺度双时态特征图进行时空全局信息建模，输出道路损毁等级；对多尺度双时态特征图进行时空全局信息建模后，利用特征图重建模块通过逐级上采样和密集连接进行特征重建，实现从特征图到变化图的重构过程，输出道路变化检测图像。
第二方面，本发明提供一种多任务遥感影像道路损毁评估方法，如图1所示，首先获取道路损毁双时态图像(包括灾前图像和灾后图像)，并通过道路图像数据预处理模块对道路损毁双时态图像进行标注；然后通过多尺度特征提取模块(MFE，Multi-scale FeatureExtraction module)来获取道路损毁双时态图像的多尺度特征；再通过图像特征空间信息建模模块在不同尺度上对上述所获得的多尺度双时态特征图进行时空全局信息建模；此外，使用特征图重建模块实现从特征图到变化图的重构过程；最后，采用Focal loss和Diceloss相结合的方式设置损失函数，将得到的重建后的特征图像分别输入到两个预测头，使用重建特征生成道路变化检测图像，同时使用类嵌入预测道路损毁等级。
本发明的一种多任务遥感影像道路损毁评估方法，将道路变化检测和道路损毁评估两个任务合并，拓展了道路相关技术的应用场景，并定义了新的技术范式。这种综合任务的方法不仅可以更全面地理解道路变化和损毁的特点，还可以有效地提高道路评估的准确性和效率。同时，本发明建立了端到端多任务模型，充分利用灾前灾后道路变化的多尺度特征，实现道路变化区域的检测和损毁程度的评估。
本发明的一种多任务遥感影像道路损毁评估方法，具体包括以下步骤：
步骤一、获取道路损毁双时态图像，包括灾前图像和灾后图像，并通过道路图像数据预处理模块对道路损毁双时态图像进行标注。
标注时，本发明利用灾前图像定位道路位置，并利用灾后图像检测标注了道路的变化区域，进而通过对比灾前灾后图像的道路损毁特征，将道路损毁情况分为三个类别(无或较小/中等/严重损毁)。具体的，通过对比灾前和灾后的图像，观察分析道路变化的特征：对于无或较小损毁的情况，道路可能仍然保持较好的形态，仅有一些较小的地面受损；中等损毁的情况下，道路可能会出现更明显的破坏，例如路面塌陷、边坡滑坡的损毁等；对于严重损毁的情况，则说明道路遭受了重大破坏，无法通行且需要进行大规模的修复和恢复工作。因此，本发明将道路的损毁程度分为三个类别，无或较小损毁，中等损毁和严重损毁。
步骤二、输入带标注的道路损毁双时态图像，采用多尺度特征提取模块(MFE，Multi-scale Feature Extraction module)获取多尺度双时态特征图。
具体的，多尺度特征提取模块(MFE，Multi-scale Feature Extraction module)可以采用ResNet-18、ResNet-50、VGGNet等网络实现，但不限于此。
当采用ResNet-18网络时，以单个道路损毁双时态图像对为例，对于输入的两张尺寸为w*h(w为图像宽度，h为图像高度)的图像而言，利用ResNet-18网络的前三层和一个普通卷积块，通过卷积操作生成四个逐层减半的不同尺度(w/2*h/2，w/4*h/4，w/8*h/8，w/16*w/16)的双时态特征图，尺度较大的双时态特征图包含低级的道路地理位置信息，尺度较小的双时态特征图包含高级的道路损毁程度信息。
本发明设计从道路损毁双时态图像中提取多尺度特征，这比单一尺度的特征包含更多的不同尺度的地理位置和损毁程度信息，使得模型更全面地理解和处理遥感图像。同时通过多尺度特征提取和多模态特征融合，使模型能够获得包含地理位置和损毁程度信息的多尺度特征，准确捕捉到道路变化的细粒度和连续性特征，从而提高道路分割和分析的准确性和鲁棒性。
步骤三、通过图像特征空间信息建模模块在不同尺度上对上述所获得的多尺度双时态特征图进行时空全局信息建模。
具体的，所说的图像特征空间信息建模模块可采用转换和残差跳跃连接(TRSC，Trans and Res Skip Connection)，在不同尺度上，利用转换和残差跳跃连接(TRSC，Transand Res Skip Connection)对多尺度双时态特征图的时空全局信息进行建模。所说的转换和残差跳跃连接(TRSC，Trans and Res Skip Connection)主要包括：转换连接模块(Trans.Block)和残差连接模块
(Res.Block)；首先将多尺度双时态特征图输入至转换连接模块(Trans.Block)，利用转换连接模块(Trans.Block)将多尺度双时态特征图映射为两个长度为L的向量，拼接后进入Transformer模型进行整体建模，充分学习灾害前后地理信息的差异，得到含有丰富上下文信息的单一特征图；与此同时，将多尺度双时态特征图输入至残差连接模块(Res.Block)，通过残差连接模块(Res.Block)处理后获取可保留原有的低级地理特征图；最后将上述获取的单一特征图和低级地理特征图进行融合得到完整的特征图像。
本发明通过转换连接模块(Trans.Block)和残差连接模块(Res.Block)，以及特征融合的方式，能够充分利用Transformer和残差连接对特征进行整体建模，并保留原有的低级地理特征，并提取灾害前后地理信息的差异，从而提高道路分析的准确性和鲁棒性，这有助于提升模型对灾前和灾后地理信息差异的学习能力。
本发明中，对于特征图的空间信息建模，还可以使用DeiT(Data-efficient imageTransformers)、Swin-Transformer等架构实现。
步骤四、通过逐级上采样和密集连接进行特征重建。
具体的，将上述获取的完整的特征图像输入至特征图重建模块，通过逐级上采样和密集连接的方式进行特征融合，实现从特征图到变化图的重构过程，并允许每个尺度的特征图接收来自其他尺度的特征图，这样的密集上采样方式能够更好地保留特征的复杂性和多样性。所说的特征图重建模块具体可采用密集上采样模块(DCU，Dense CasedUpsample module)。在特征图重建阶段采用了逐级上采样和密集连接方式，这种方式在特征重用、减少梯度消失等方面具有优势，为了达到特征融合的目的，每个尺度的特征图都能够接收来自前面所有尺度的特征图，最终得到重建后的特征图像。
本发明中，对于特征图的重建，还可以采用直接上采样而不相互连接的方式实现。
步骤五、设置损失函数，将得到的重建后的特征图像分别输入到两个预测头，使用重建特征生成道路变化检测图像，同时使用类嵌入预测道路损毁等级。
其中，对于损失函数的设置，由于常用的交叉熵损失函数存在一些问题，首先，它对正负样本的分布不敏感，而对于道路变化检测问题，真实的变化区域和未变化区域的分布通常是不均匀的，导致交叉熵损失无法合理地调整二者的权重比例，从而降低了准确性；其次，交叉熵损失函数没有针对回归问题进行关注，在道路变化检测任务中，IoU是一个关键指标，它直接衡量了预测变化区域与真实变化区域的重叠度，因此对于预测的变化区域进行回归问题分析非常重要。
因此，针对上述问题，本发明采用Focal loss和Dice loss相结合的方式设置损失函数。Focal loss用于解决不均衡数据问题，通过赋予难以分类的样本更高的权重，减少容易分类的样本对总体损失的影响；Dice loss在处理高度不平衡的数据时表现出良好的性能，对于预测和真实掩码之间的微小差异非常敏感。
另外，本发明采用Focal loss和Dice loss相结合的损失函数，针对道路变化检测和道路损毁评估任务的特点进行了优化，相较于简单的逐像素分类，更细致的损失函数设计能够更好地处理不平衡数据集和回归问题，提高了模型在道路变化检测和道路损毁评估方面的性能。
其中，对于两个预测头中的变化检测预测头，重建后的特征图像直接通过多个卷积层进行上采样并调整输出通道，然后使用softmax和argmax函数来可视化道路的二值变化图，从而生成道路变化检测图像。
其中，对于两个预测头中的损毁评估预测头，在最大尺度双时态特征图的建模过程中，引入类嵌入(class embedding)，通过Transformer模型中的Encoder模块充分学习损毁特征后，将其拆分并输入到多层感知器(Multi-Layer Perceptron，MLP)中进行道路损毁等级的预测。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种多任务遥感影像道路损毁评估系统，其特征在于，包括：
道路图像数据预处理模块，用于对道路损毁双时态图像进行标注，并将标注后的道路损毁双时态图像输入至多尺度特征提取模块；
多尺度特征提取模块，用于对标注后的道路损毁双时态图像进行多尺度特征提取，并将获得的多尺度双时态特征图输入至图像特征空间信息建模模块；
图像特征空间信息建模模块，用于对多尺度双时态特征图进行时空全局信息建模，输出道路损毁等级；
特征图重建模块，用于对时空全局信息建模后的特征图进行重构，实现从特征图到变化图的重构过程，输出道路变化检测图像。
2.一种多任务遥感影像道路损毁评估方法，其特征在于，采用权利要求1所述的一种多任务遥感影像道路损毁评估系统实现，该方法包括以下步骤：
步骤一、获取道路损毁双时态图像，并对道路损毁双时态图像进行标注；
步骤二、输入带标注的道路损毁双时态图像，通过多尺度特征提取模块提取多尺度特征，获取多尺度双时态特征图；
步骤三、在不同尺度上对多尺度双时态特征图进行时空全局信息建模；
步骤四、通过逐级上采样和密集连接进行特征重建；
步骤五、设置损失函数，将重建后的特征图像分别输入到两个预测头，使用重建特征生成道路变化检测图像，同时使用类嵌入预测道路损毁等级。
3.根据权利要求2所述的一种多任务遥感影像道路损毁评估方法，其特征在于，步骤二中，当输入两张单个道路损毁双时态图像对时，通过卷积操作生成四个逐层减半的不同尺度的双时态特征图，尺度较大的双时态特征图包含低级的道路地理位置的变化信息，尺度较小的双时态特征图包含高级的道路损毁程度信息。
4.根据权利要求2所述的一种多任务遥感影像道路损毁评估方法，其特征在于，步骤二中，所述多尺度特征提取模块采用ResNet-18网络、ResNet-50网络或VGGNet网络。
5.根据权利要求2所述的一种多任务遥感影像道路损毁评估方法，其特征在于，步骤三中，利用转换和残差跳跃连接对多尺度双时态特征图的时空全局信息进行建模；所述转换和残差跳跃连接包括转换连接模块和残差连接模块；先将多尺度双时态特征图输入至转换连接模块将其映射为两个长度为L的向量，拼接后进入Transformer模型进行整体建模，充分学习灾害前后地理信息的差异，得到含有丰富上下文信息的单一特征图；同时将多尺度双时态特征图输入至残差连接模块处理后获取保留原有的低级地理特征图；将单一特征图和低级地理特征图进行融合得到完整的特征图像。
6.根据权利要求5所述的一种多任务遥感影像道路损毁评估方法，其特征在于，所述Transformer模型采用DeiT架构或Swin-Transformer架构。
7.根据权利要求2所述的一种多任务遥感影像道路损毁评估方法，其特征在于，步骤四中，利用特征图重建模块实现从特征图到变化图的重构过程，所述特征图重建模块采用密集上采样模块实现。
8.根据权利要求2所述的一种多任务遥感影像道路损毁评估方法，其特征在于，步骤五中，采用Focalloss和Dice loss相结合的方式设置损失函数。
9.根据权利要求2所述的一种多任务遥感影像道路损毁评估方法，其特征在于，步骤五中，两个预测头分别为变化检测预测头和损毁评估预测头，对于所述变化检测预测头，重建后的特征图像直接通过多个卷积层进行上采样并调整输出通道，然后使用softmax和argmax函数来可视化道路的二值变化图，生成道路变化检测图像；对于所述损毁评估预测头，在最大尺度双时态特征图的建模过程中，引入类嵌入，通过Transformer模型中的Encoder模块充分学习损毁特征后，将其拆分并输入到多层感知器中进行道路损毁等级的预测。
CN202311489762.8A 2023-11-09 2023-11-09 一种多任务遥感影像道路损毁评估方法及系统 Pending CN117372876A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311489762.8A CN117372876A (zh) 2023-11-09 2023-11-09 一种多任务遥感影像道路损毁评估方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311489762.8A CN117372876A (zh) 2023-11-09 2023-11-09 一种多任务遥感影像道路损毁评估方法及系统

Publications (1)

Publication Number Publication Date
CN117372876A true CN117372876A (zh) 2024-01-09

Family

ID=89404065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311489762.8A Pending CN117372876A (zh) 2023-11-09 2023-11-09 一种多任务遥感影像道路损毁评估方法及系统

Country Status (1)

Country Link
CN (1) CN117372876A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117789042A (zh) * 2024-02-28 2024-03-29 中国地质大学（武汉） 一种道路信息解译方法、系统及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117789042A (zh) * 2024-02-28 2024-03-29 中国地质大学（武汉） 一种道路信息解译方法、系统及存储介质
CN117789042B (zh) * 2024-02-28 2024-05-14 中国地质大学（武汉） 一种道路信息解译方法、系统及存储介质

Similar Documents

Publication Publication Date Title
Song et al. Automated pavement crack damage detection using deep multiscale convolutional features
Varghese et al. ChangeNet: A deep learning architecture for visual change detection
Deng et al. Vision based pixel-level bridge structural damage detection using a link ASPP network
CN112966684A (zh) 一种注意力机制下的协同学习文字识别方法
Chen et al. Changemamba: Remote sensing change detection with spatio-temporal state space model
CN113609896A (zh) 基于对偶相关注意力的对象级遥感变化检测方法及系统
CN112861575A (zh) 一种行人结构化方法、装置、设备和存储介质
CN114841972A (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
Li et al. A review of deep learning methods for pixel-level crack detection
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
Zhuang et al. Illumination and temperature-aware multispectral networks for edge-computing-enabled pedestrian detection
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN113313037A (zh) 一种基于自注意力机制的生成对抗网络视频异常检测方法
CN117372876A (zh) 一种多任务遥感影像道路损毁评估方法及系统
Yang et al. Segmentation of track surface defects based on machine vision and neural networks
CN111723660A (zh) 一种用于长形地面目标检测网络的检测方法
CN114049356A (zh) 一种结构表观裂缝检测方法、装置及系统
CN114898089B (zh) 一种融合高分影像和poi数据的功能区提取与分类方法
Li et al. Learning to holistically detect bridges from large-size vhr remote sensing imagery
Li et al. CNN-Transformer hybrid network for concrete dam crack patrol inspection
Fang et al. Scene change detection by differential aggregation network and class probability-based fusion strategy
Zhao et al. Squnet: An high-performance network for crater detection with dem data
Zhang et al. Automated detection and segmentation of tunnel defects and objects using YOLOv8-CM
Ashraf et al. Efficient Pavement Crack Detection and Classification Using Custom YOLOv7 Model
CN117351409A (zh) 混凝土坝面作业风险智能识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination