CN113255676A - 基于多源数据融合的高分遥感影像语义分割模型及方法 - Google Patents

基于多源数据融合的高分遥感影像语义分割模型及方法 Download PDF

Info

Publication number
CN113255676A
CN113255676A CN202110556336.6A CN202110556336A CN113255676A CN 113255676 A CN113255676 A CN 113255676A CN 202110556336 A CN202110556336 A CN 202110556336A CN 113255676 A CN113255676 A CN 113255676A
Authority
CN
China
Prior art keywords
semantic segmentation
module
feature
remote sensing
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110556336.6A
Other languages
English (en)
Inventor
翁谦
陈浩
林嘉雯
陈鸿立
林智明
吴雨阳
黄志铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202110556336.6A priority Critical patent/CN113255676A/zh
Publication of CN113255676A publication Critical patent/CN113255676A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于多源数据融合的高分遥感影像语义分割模型及方法，其特征在于：基于编码器‑解码器结构，通过并行的双分支孪生网络完成特征提取，使用空间通道注意力模块用于增强模块之间的关系，并使用Dupsampling进行上采样恢复特征。在ISPRS数据集上对提出的模型进行了评估。实验结果表明，MSDFM的性能优于大多数其他相关模型。特别是对于小目标可以有很好的分辨效果，在Vaihingen数据集中对于车辆的识别精度达到93.63%，达到当前最佳的效果。

Description

基于多源数据融合的高分遥感影像语义分割模型及方法
技术领域
本发明属于遥感技术领域，尤其涉及一种基于多源数据融合的高分遥感影像语义分割模型及方法。
背景技术
高分辨率航空图像的语义分割，其目的是将每个像素分配到某一类别，对于此项技术的研究工作已经引起了学术界和工业界的极大关注。更高的空间分辨率不仅带来了更精细的细节，同时带来了更高的精度要求。高分辨率的遥感图像，在土地覆盖检测、城市规划和交通监测方面有显著的应用价值。当前遥感影像的语义分割工作的局限性在于上采样的方法不够精细，导致语义分割的效果一直不能得到很好的提升。此外，当前主流用于遥感领域的语义分割的方法，主要是采用深度学习的方法，但过深的网络架构不仅生成了很多冗余的特征，同时还使很多小目标个体被误判为异常点，从而影响到整体的语义分割的精度。
此外，当前主流的方法并没有很好的结合遥感影像自身特征，跟常规自然图像相比，多了几个光谱通道，例如dsm信息和cir信息并没有被很好的使用，考虑到高分辨率和多光谱数据，直接应用现有模型是不合适的。模型必须重新设计，以处理高分辨率航空图像的特殊性。遥感影像具有空间依赖性，常见的双线性算法和条件随机场算法在准确恢复像素方面能力有限。这就对遥感领域的语义分割技术提出一个挑战，如何构建一个更好的高分遥感影像语义分割模型满足需求。
发明内容
有鉴于此，为了弥补现有技术的空白和不足，本发明的目的在于提供一种基于多源数据融合的高分遥感影像语义分割模型及方法，能够自动抽取出有效特征，并对特征进行细化和组合，最终获得更好的像素级的分割结果，针对于遥感图像中的小目标个体。
考虑到高分辨率航空影像的语义分割在土地覆盖检测、城市规划和交通监测等方面具有重要应用价值。本发明针对多传感器数据(MSD)利用不足和后向上采样方法的问题。提出了一种多源数据融合模型(MSDFM)来利用数字表面模型(DSM)的信息作为一个补充特征来改进语义分割结果。MSDFM基于编码器-解码器结构，通过双分支孪生网络完成特征提取，使用空间-通道注意力模块增强模块之间的关系，使用Dupsampling代替传统的上采样方法，在ISPRS数据集上对提出的模型进行了评估。实验结果表明，MSDFM的性能优于大多数其他相关模型。特别是对于小目标可以有很好的分辨效果，在Vaihingen数据集中对于车辆的识别精度达到93.63%，达到当前最佳的效果。
本发明具体采用以下技术方案：
一种基于多源数据融合的高分遥感影像语义分割模型，其特征在于：基于编码器-解码器结构，通过并行的双分支孪生网络完成特征提取，使用空间通道注意力模块用于增强模块之间的关系，并使用Dupsampling进行上采样恢复特征。
进一步地，通过inception模块将关系增强后的多尺度特征相结合。
进一步地，采用TOP和DSM多数据源通过孪生网络的编码器进行特征提取，并融合完成获得相应特征图。
一种基于多源数据融合的高分遥感影像语义分割模型，其特征在于，包括：
编码器模块：基于Resnet101，将TOP数据和彩色化后的DSM的数据输入并行的孪生网络中，完成特征提取；
特征融合模块：通过将不同阶段提取到的特征图送入空间通道注意力模块，之后利用Dupsampling进行不同倍率的上采样，并利用inception模块进行特征融合；
特征恢复模块：使用跳跃架构将高阶特征与低阶特征结合；
解码器模块：使用DUpsampling以提高语义分割的标签空间中的冗余度，并从低分辨率的特征图中恢复像素级预测，并使用res-module进一步消除冗余特征。
以及，一种基于多源数据融合的高分遥感影像语义分割方法，其特征在于：包括以下步骤：
步骤S1：输入DSM和TOP数据，通过基于resnet101的孪生网络完成特征提取；
步骤S2：将得到的包含上下文信息的特征送入注意力模块，最后通过inception模块将多尺度的特征相融合；
步骤S3：通过跳跃架构将高阶特征与低阶特征结合，产生更可靠的特征图；
步骤S4：通过Dupsamling和res模块细化语义分割的结果。
与现有技术相比，本发明及其优选方案能够自动抽取出有效特征，并对特征进行细化和组合，最终获得像素级的分割结果。实验结果表明，MSDFM的性能优于大多数其他相关模型。特别是对于小目标可以有很好的分辨效果，在Vaihingen数据集中对于车辆的识别精度达到93.63%。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
图1为本发明实施例模型原理示意图。
具体实施方式
为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：
如图1所示，本实施例提供了一种基于多源数据融合的高分遥感影像语义分割模型，具体包括：
一个特征融合模块，通过将不同阶段提取到的特征图送入空间通道注意力模块，之后利用Dupsampling进行不同倍率的上采样利用inception模块进行特征融合
一个特征恢复模块，使用跳跃架构将高阶特征与包含丰富空间信息的低阶特征结合起来，产生更可靠的特征图。
一个解码器模块，使用DUpsampling最大限度地提高了语义分割的标签空间中的冗余度，并从低分辨率的特征图中有效地恢复像素级预测。使用一个简单的res-module来进一步消除多余的特征。获得精细化的像素级分割结果。
在本实施例中，采用TOP和DSM多数据源通过孪生网络的编码器特征提取并融合完成获得相应特征图。通过基于编码-解码器结构，通过双并行的孪生网络结构完成特征提取的工作，通过关系模块、inception模块等，将特征的语义信息与空间信息相结合，Dupsampling上采样恢复特征，获得精细化的语义分割效果。
其通过整体的网络架构实现对小目标类别精细化分类结果。
本实施例还提供了一种基于多源数据融合的高分遥感影像语义分割模型的语义分割方法，具体包括以下步骤：
步骤S1：输入DSM和TOP数据，通过基于resnet101的孪生网络完成特征提取；
步骤S2：将得到的包含上下文信息的特征送入注意力模块，最后通过inception模块将关系增强后的多尺度特征相融合；
步骤S3：通过跳跃架构将高阶特征与包含丰富空间信息的低阶特征结合起来，产生更可靠的特征图；
步骤S4：通过Dupsamling和一个简单的res模块细化语义分割的结果。与现有技术相比，本发明有以下有益效果：本发明提出的系统及方法能够自动抽取出有效特征，并对特征进行抽象和组合，最终获得更好的像素级的分割结果，针对于遥感图像中的小目标个体。
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形
式的基于多源数据融合的高分遥感影像语义分割模型及方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (5)

1.一种基于多源数据融合的高分遥感影像语义分割模型，其特征在于：基于编码器-解码器结构，通过并行的双分支孪生网络完成特征提取，使用空间通道注意力模块用于增强模块之间的关系，并使用Dupsampling进行上采样恢复特征。
2.根据权利要求1所述的基于多源数据融合的高分遥感影像语义分割模型，其特征在于：通过inception模块将关系增强后的多尺度特征相结合。
3.根据权利要求1所述的基于多源数据融合的高分遥感影像语义分割模型，其特征在于：采用TOP和DSM多数据源通过孪生网络的编码器进行特征提取，并融合完成获得相应特征图。
4.一种基于多源数据融合的高分遥感影像语义分割模型，其特征在于，包括：
编码器模块：基于Resnet101，将TOP数据和彩色化后的DSM的数据输入并行的孪生网络中，完成特征提取；
特征融合模块：通过将不同阶段提取到的特征图送入空间通道注意力模块，之后利用Dupsampling进行不同倍率的上采样，并利用inception模块进行特征融合；
特征恢复模块：使用跳跃架构将高阶特征与低阶特征结合；
解码器模块：使用DUpsampling以提高语义分割的标签空间中的冗余度，并从低分辨率的特征图中恢复像素级预测，并使用res-module进一步消除冗余特征。
5.一种基于多源数据融合的高分遥感影像语义分割方法，其特征在于：包括以下步骤：
步骤S1：输入DSM和TOP数据，通过基于resnet101的孪生网络完成特征提取；
步骤S2：将得到的包含上下文信息的特征送入注意力模块，最后通过inception模块将多尺度的特征相融合；
步骤S3：通过跳跃架构将高阶特征与低阶特征结合，产生更可靠的特征图；
步骤S4：通过Dupsamling和res模块细化语义分割的结果。
CN202110556336.6A 2021-05-21 2021-05-21 基于多源数据融合的高分遥感影像语义分割模型及方法 Pending CN113255676A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110556336.6A CN113255676A (zh) 2021-05-21 2021-05-21 基于多源数据融合的高分遥感影像语义分割模型及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110556336.6A CN113255676A (zh) 2021-05-21 2021-05-21 基于多源数据融合的高分遥感影像语义分割模型及方法

Publications (1)

Publication Number Publication Date
CN113255676A true CN113255676A (zh) 2021-08-13

Family

ID=77183573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110556336.6A Pending CN113255676A (zh) 2021-05-21 2021-05-21 基于多源数据融合的高分遥感影像语义分割模型及方法

Country Status (1)

Country Link
CN (1) CN113255676A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658188A (zh) * 2021-08-18 2021-11-16 北京石油化工学院 一种基于改进Unet模型的溶液结晶过程图像语义分割方法
CN113762187A (zh) * 2021-09-14 2021-12-07 中国人民解放军海军航空大学 一种多源遥感图像融合语义分割方法及系统
CN114821069A (zh) * 2022-05-27 2022-07-29 昆明理工大学 融合富尺度特征的双分支网络遥感图像建筑语义分割方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681706A (zh) * 2018-05-15 2018-10-19 哈尔滨工业大学 一种双源遥感数据语义分割方法
CN110197182A (zh) * 2019-06-11 2019-09-03 中国电子科技集团公司第五十四研究所 基于上下文信息和注意力机制的遥感影像语义分割方法
WO2020101448A1 (en) * 2018-08-28 2020-05-22 Samsung Electronics Co., Ltd. Method and apparatus for image segmentation
CN111563508A (zh) * 2020-04-20 2020-08-21 华南理工大学 一种基于空间信息融合的语义分割方法
CN111797703A (zh) * 2020-06-11 2020-10-20 武汉大学 基于鲁棒深度语义分割网络的多源遥感影像分类方法
CN112183360A (zh) * 2020-09-29 2021-01-05 上海交通大学 高分辨率遥感影像的轻量化语义分割方法
CN112580654A (zh) * 2020-12-25 2021-03-30 西南电子技术研究所（中国电子科技集团公司第十研究所） 遥感图像地物语义分割方法
CN112668494A (zh) * 2020-12-31 2021-04-16 西安电子科技大学 基于多尺度特征提取的小样本变化检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681706A (zh) * 2018-05-15 2018-10-19 哈尔滨工业大学 一种双源遥感数据语义分割方法
WO2020101448A1 (en) * 2018-08-28 2020-05-22 Samsung Electronics Co., Ltd. Method and apparatus for image segmentation
CN110197182A (zh) * 2019-06-11 2019-09-03 中国电子科技集团公司第五十四研究所 基于上下文信息和注意力机制的遥感影像语义分割方法
CN111563508A (zh) * 2020-04-20 2020-08-21 华南理工大学 一种基于空间信息融合的语义分割方法
CN111797703A (zh) * 2020-06-11 2020-10-20 武汉大学 基于鲁棒深度语义分割网络的多源遥感影像分类方法
CN112183360A (zh) * 2020-09-29 2021-01-05 上海交通大学 高分辨率遥感影像的轻量化语义分割方法
CN112580654A (zh) * 2020-12-25 2021-03-30 西南电子技术研究所（中国电子科技集团公司第十研究所） 遥感图像地物语义分割方法
CN112668494A (zh) * 2020-12-31 2021-04-16 西安电子科技大学 基于多尺度特征提取的小样本变化检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHI TIAN等: "Decoders Matter for Semantic Segmentation: Data-Dependent Decoding Enables Flexible Feature Aggregation", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
崔昊: "基于深度学习的高分辨率遥感图像海陆分割方法", 《软件导刊》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658188A (zh) * 2021-08-18 2021-11-16 北京石油化工学院 一种基于改进Unet模型的溶液结晶过程图像语义分割方法
CN113762187A (zh) * 2021-09-14 2021-12-07 中国人民解放军海军航空大学 一种多源遥感图像融合语义分割方法及系统
CN113762187B (zh) * 2021-09-14 2023-12-12 中国人民解放军海军航空大学 一种多源遥感图像融合语义分割方法及系统
CN114821069A (zh) * 2022-05-27 2022-07-29 昆明理工大学 融合富尺度特征的双分支网络遥感图像建筑语义分割方法
CN114821069B (zh) * 2022-05-27 2024-04-26 昆明理工大学 融合富尺度特征的双分支网络遥感图像建筑语义分割方法

Similar Documents

Publication Publication Date Title
CN113255676A (zh) 基于多源数据融合的高分遥感影像语义分割模型及方法
Deng et al. FEANet: Feature-enhanced attention network for RGB-thermal real-time semantic segmentation
Zhang et al. Occformer: Dual-path transformer for vision-based 3d semantic occupancy prediction
Zhang et al. C $^{2} $ DFNet: Criss-cross dynamic filter network for rgb-d salient object detection
Yue et al. Dif-fusion: Towards high color fidelity in infrared and visible image fusion with diffusion models
JP2021119506A (ja) ナンバープレート認識方法、ナンバープレート認識モデルの訓練方法及び装置
Zhou et al. CEGFNet: Common extraction and gate fusion network for scene parsing of remote sensing images
Zhao et al. Multi-stage fusion and multi-source attention network for multi-modal remote sensing image segmentation
Xiang et al. Importance-aware semantic segmentation with efficient pyramidal context network for navigational assistant systems
Zhou et al. MMSMCNet: Modal memory sharing and morphological complementary networks for RGB-T urban scene semantic segmentation
Ji et al. Multispectral video semantic segmentation: A benchmark dataset and baseline
Zhou et al. Graph attention guidance network with knowledge distillation for semantic segmentation of remote sensing images
Hou et al. Fe-fusion-vpr: Attention-based multi-scale network architecture for visual place recognition by fusing frames and events
Pham Semantic road segmentation using deep learning
Zhang et al. Object-Centric Masked Image Modeling Based Self-Supervised Pretraining for Remote Sensing Object Detection
Xu et al. Cross-domain car detection model with integrated convolutional block attention mechanism
CN113128461B (zh) 基于人体关键点挖掘全尺度特征的行人重识别性能提升方法
Weng et al. A multisensor data fusion model for semantic segmentation in aerial images
Shen et al. BSH-Det3D: Improving 3D Object Detection with BEV Shape Heatmap
Deevi et al. RGB-X Object Detection via Scene-Specific Fusion Modules
CN103632357A (zh) 一种基于光照分离的图像超分辨率增强方法
CN113191944A (zh) 一种多通道图像内容特征融合风格迁移方法及系统
CN111738255A (zh) 一种基于深度学习的路牌文本检测与识别算法
Luo et al. End-to-End Edge-Guided Multi-Scale Matching Network for Optical Satellite Stereo Image Pairs
Qiu et al. Road Scene Segmentation Based on Multi-scale Attention Mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210813

RJ01 Rejection of invention patent application after publication