CN116894972B - 融合机载相机图像和sar图像的湿地信息分类方法及系统 - Google Patents

融合机载相机图像和sar图像的湿地信息分类方法及系统 Download PDF

Info

Publication number
CN116894972B
CN116894972B CN202310750297.2A CN202310750297A CN116894972B CN 116894972 B CN116894972 B CN 116894972B CN 202310750297 A CN202310750297 A CN 202310750297A CN 116894972 B CN116894972 B CN 116894972B
Authority
CN
China
Prior art keywords
fusion
features
scale
network
sar image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310750297.2A
Other languages
English (en)
Other versions
CN116894972A (zh
Inventor
李冠群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Genyu Muxing Beijing Space Technology Co ltd
Original Assignee
Genyu Muxing Beijing Space Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Genyu Muxing Beijing Space Technology Co ltd filed Critical Genyu Muxing Beijing Space Technology Co ltd
Priority to CN202310750297.2A priority Critical patent/CN116894972B/zh
Publication of CN116894972A publication Critical patent/CN116894972A/zh
Application granted granted Critical
Publication of CN116894972B publication Critical patent/CN116894972B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了融合机载相机图像和SAR图像的湿地信息分类方法及系统，该方法包括：将同一目标区域相对应的机载相机图像和机载SAR图像，输入共享参数的特征提取骨干子网络提取各自的多尺度特征；将提取到各自的多尺度特征，输入全局与局部并重关注的特征融合模块进行多尺度融合，获得融合特征；将所述融合特征作为训练后的分类网络的输入，得到所述目标区域内的湿地信息分类结果。该方法基于深度学习技术，可学习和识别不同图像模态之间的复杂关系从而更准确地识别湿地特征，结合了机载相机图像和SAR图像的优点，通过特征融合提高了信息的丰富性和鲁棒性，并基于分类网络从而实现更精确的湿地信息分类。

Description

融合机载相机图像和SAR图像的湿地信息分类方法及系统
技术领域
本发明涉及遥感图像处理技术领域，更具体的说是涉及一种融合机载相机图像和SAR图像的湿地信息分类方法及系统。
背景技术
湿地是地球上最有价值和最复杂的生态系统之一，提供多种生态系统服务，如水过滤、养分循环和生物多样性保护。由于土地利用变化、农业实践和城市化等人类活动，湿地不断受到威胁，导致湿地退化和丧失。因此，监测和管理湿地至关重要。湿地管理的关键挑战之一是湿地信息的准确分类。湿地信息分类是一项复杂而具有挑战性的任务，尤其是涉及到大面积和偏远地区时。传统上，湿地信息分类是通过地面调查进行的，既费时又费钱。然而，随着遥感技术的进步，使用各种成像传感器从远处对湿地信息进行分类已经成为可能。遥感技术可以从大空间范围内收集数据，检测各种湿地信息，例如浅水域、滩涂、森林植被等。该信息可用于识别湿地类型及其特征，这对于有效的湿地管理至关重要。
机载相机图像和机载合成孔径雷达（Synthetic Aperture Radar，SAR）图像是湿地分类中最常用的两种遥感技术。机载相机图像捕捉湿地特征的高分辨率图像，机载SAR图像可以穿透云层。机载相机和机载SAR图像的集成对于准确的湿地信息分类至关重要。这些图像共同提供了湿地特征的综合观察，可用于湿地分类。传统图像处理技术在处理不同图像模态之间的复杂关系方面存在局限性。而深度学习技术可学习不同图像模态之间的复杂关系，与传统图像处理技术相比具有多项优势。例如，深度学习算法可以处理复杂的图像特征，包括纹理、颜色和形状，而传统的图像处理技术限于更简单的图像特征。深度学习算法也更具适应性和灵活性。因此，有必要基于深度学习技术，开发一种融合机载相机图像和机载SAR图像的湿地信息分类方法。
发明内容
有鉴于此，本发明提供了一种融合机载相机图像和机载SAR图像的湿地信息分类方法，可解决上述传统的图像处理技术限于更简单的图像特征导致湿地信息分类不够准确的问题。
为了实现上述目的，本发明采用如下技术方案：
第一方面，本发明实施例提供一种融合机载相机图像和SAR图像的湿地信息分类方法,包括以下步骤：
S1、将同一目标区域相对应的机载相机图像和机载SAR图像，输入共享参数的特征提取骨干子网络提取各自的多尺度特征；
S2、将提取到各自的多尺度特征，输入全局与局部并重关注的特征融合模块进行多尺度融合，获得融合特征；
S3、将所述融合特征作为分类子网络的输入，得到所述目标区域内的湿地信息分类结果。
在一个实施例中，所述步骤S1具体包括：
将同一目标区域匹配的成对机载相机图像和机载SAR图像/>分别输入至共享参数的特征提取骨干子网络；
所述共享参数的特征提取骨干子网络包含四个阶段，将和/>作为输入，表示如下：
公式（1）
其中，表示共享参数的特征提取骨干子网络；指的是与/>对应的机载相机图像的一系列多尺度特征，分别表示由四个阶段计算获得4倍下采样、8倍下采样、16倍下采样和32倍下采样的特征；/>指的是与/>对应的机载SAR图像的一系列多尺度特征，分别表示由四个阶段计算获得4倍下采样、8倍下采样、16倍下采样和32倍下采样的特征。
在一个实施例中，所述步骤S2具体包括：
将提取到的机载相机图像多尺度特征和机载SAR图像多尺度特征/>，进行通道层面叠加操作后分别输入至侧重全部关注的Swin Transformer Block模型和侧重局部关注的ResNet Block模型，形式表示为：
公式（2）
其中，Concat[∙,∙]表示对两个特征进行通道层面的叠加操作，和/>分别表示一个Swin Transformer Block和ResNet Block，/>和/>分别表示提取到的全局融合特征和局部融合特征；
将和/>进行处理输出融合特征，形式表示为：
公式（3）
其中，和/>分别表示一个Swin Transformer Block和ResNet Block，表示对应元素相加，/>表示该步骤所述全局与局部并重关注的特征融合模块所得到的与输入的相同尺度的机载相机图像特征/>和机载SAR图像特征/>对应的融合特征结果。
在一个实施例中，在机载相机图像多尺度特征和机载SAR图像多尺度特征中，当i=4,8,16,32时，通过使用4个结构相同但各自独享参数的全局与局部并重关注融合模块分别进行/4,/8,/16,/32尺度的特征融合；
根据所述公式（3），将和/>融合为/>，将/>和/>融合为，将/>和/>融合为/>，将/>和/>融合为/>。
在一个实施例中，所述步骤S3中分类网络采用DeepLabV3+网络，进行湿地信息分类表示为：
公式（4）
其中，表示分类子网络，/>表示对应的湿地信息分类结果。
在一个实施例中，由共享参数的特征提取骨干子网络、全局与局部并重关注的特征融合模块及分类子网络，构成整体多尺度特征融合湿地信息分类网络；
所述整体多尺度特征融合湿地信息分类网络的分类训练时的损失函数包括交叉熵损失和联合交集损失，形式表示为：
公式（5）
其中，表示与机载相机图像特征/>和机载SAR图像特征/>对应的湿地信息分类标签，CrossEntropy(·)表示交叉熵计算操作，IoU(·)表示交并比计算操作，和/>分别表示交叉熵损失和联合交集损失，/>则表示整体的损失函数。
第二方面，本发明实施例还提供一种融合机载相机图像和SAR图像的湿地信息分类系统,包括：
提取模块，用于将同一目标区域相对应的机载相机图像和机载SAR图像，输入共享参数的特征提取骨干子网络提取各自的多尺度特征；
融合模块，用于将提取到各自的多尺度特征，输入全局与局部并重关注的特征融合模块进行多尺度融合，获得融合特征；
分类模块，用于将所述融合特征作为分类子网络的输入，得到所述目标区域内的湿地信息分类结果。
第三方面，本发明实施例又提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现如第一方面中任一项所述的一种融合机载相机图像和SAR图像的湿地信息分类方法。
第四方面，本发明实施例再一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在终端上运行时，能够实现如第一方面中任一项所述的一种融合机载相机图像和SAR图像的湿地信息分类方法。
本发明中第二方面至第四方面的描述，可以参考第一方面的详细描述；并且，第二方面至第四方面的描述的有益效果，可以参考第一方面的有益效果分析，此处不再赘述。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种融合机载相机图像和SAR图像的湿地信息分类方法，该方法基于深度学习技术，可学习和识别不同图像模态之间的复杂关系从而更准确地识别湿地特征，从而实现更精确的湿地信息分类；对于机载相机图像和机载SAR图像的特征融合，并重与transformer提供的全局关注和卷积提供的局部关注，从而实现更充分的特征融合；机载相机和机载SAR图像的融合可以全面了解湿地特征，且可以对湿地生态系统进行频繁和一致的监测，这使得能够检测湿地特征的变化，促进及时有效的管理决策。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的融合机载相机图像和SAR图像的湿地信息分类方法流程图。
图2为本发明提供的全局与局部并重关注的特征融合模块的原理图；
图3为本发明提供的融合机载相机图像和SAR图像的湿地信息分类原理图；
图4为本发明提供的融合机载相机图像和SAR图像的湿地信息分类系统框图；
图5为本发明提供的计算机设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
本发明实施例公开了一种融合机载相机图像和SAR图像的湿地信息分类方法，参照图1所示，包括以下步骤：
S1、将同一目标区域相对应的机载相机图像和机载SAR图像，输入共享参数的特征提取骨干子网络提取各自的多尺度特征；
S2、将提取到各自的多尺度特征，输入全局与局部并重关注的特征融合模块进行多尺度融合，获得融合特征；
S3、用于将所述融合特征作为分类子网络的输入，得到所述目标区域内的湿地信息分类结果。
本实施例中，针对同一目标区域通过使用机载相机和SAR图像作为输入，然后通过特征提取网络和特征融合模块进行处理，最后利用分类网络得到湿地信息分类结果。该方法可以提供更精确的结果，因为它结合了机载相机图像和SAR图像的优点，通过特征融合提高了信息的丰富性和鲁棒性。
下面分别对上述各个步骤进行详细的说明：
步骤一：构建共享参数的特征提取骨干子网络并提取多尺度特征；将匹配的成对的机载相机图像和机载SAR图像分别记为和/>，为了提取的特征结构相似性，将和/>分别输入至一个共享参数的特征提取骨干子网络（/>），从而提取各自的多尺度特征。
以Swin-Transformer-Base作为共享参数的特征提取骨干子网络为例，原始Swin-Transformer-Base模型包含四个阶段（Stage 1，Stage2，Stage 3，Stage4），将和分别输入至该子网络，形式化地表示为：
公式（1）
其中，指的是与/>对应的机载相机图像的一系列多尺度特征。具体地/>，/>，/>，/>指的是由特征提取骨干子网络（Stage 1，Stage2，Stage 3，Stage4）计算得到的4倍下采样、8倍下采样、16倍下采样和32倍下采样的特征。换句话说，将/>的图像尺寸（宽和长）记为W×H，，/>，/>，/>的尺寸则分别为/>。类似地， />指的是与/>对应的机载SAR图像的一系列多尺度特征。
步骤二：构建全局与局部并重关注的特征融合模块并进行多尺度融合；在进行后续处理之前，如图2所示，通过主要使用侧重全部关注的Swin Transformer Block和侧重局部关注的ResNet Block，需先构建全局与局部并重关注的特征融合模块，其目的在于将同尺度的机载相机图像特征和机载SAR图像特征进行融合得到该尺度下的融合特征。将待融合的相同尺度的机载相机图像特征和机载SAR图像特征分别记为和/>（i=4,8,16,32），将两者进行通道层面的叠加操作后，分别输入至Swin Transformer Block和ResNet Block，形式化地表示为：
公式（2）
其中，Concat[∙,∙]表示对两个特征进行通道层面的叠加操作，和/>分别表示一个Swin Transformer Block和ResNet Block，/>和/>分别表示提取到的全局融合特征和局部融合特征。
进一步的，和/>将进行处理输出融合后的特征，该过程可形式化地表示为：
公式（3）
其中，和/>分别表示一个Swin Transformer Block和ResNet Block，表示对应元素相加，/>表示该步骤所述全局与局部并重关注的特征融合模块所得到的与输入的相同尺度的机载相机图像特征/>和机载SAR图像特征/>对应的融合特征结果。
比如当i=4,8,16,32时，通过使用4个结构相同但各自独享参数的全局与局部并重关注融合模块分别进行/4,/8,/16,/32尺度的特征融合。具体地，将和/>融合为，将/>和/>融合为/>，将/>和/>融合为/>，将/>和/>融合为/>。
步骤三：利用多尺度特征的融合结果，输入分类子网络，进行湿地信息分类；
在通过步骤二得到多尺度的特征融合结果后，将四个不同尺度的特征融合结果输入至一个分类子网络中，例如DeepLabV3+，进行湿地信息分类。该过程可形式化地表示为：
公式（4）
公式（4）中，表示分类子网络，/>表示对应的湿地信息分类结果。
其中，由共享参数的特征提取骨干子网络、全局与局部并重关注的特征融合模块及分类子网络，构成整体多尺度特征融合湿地信息分类网络；
整体对多尺度特征融合湿地信息分类网络进行训练及测试：
整体多尺度特征融合湿地信息分类网络的分类训练时的损失函数包括交叉熵损失和联合交集损失，形式表示为：
对分类网络，需设计相应的损失函数对整体网络进行湿地信息分类训练。具体地，整体的损失函数包括交叉熵损失和联合交集损失，形式化地表示为：
公式（5）
其中，表示与机载相机图像特征/>和机载SAR图像特征/>对应的湿地信息分类标签，CrossEntropy(·)表示交叉熵计算操作，IoU(·)表示交并比计算操作，和/>分别表示交叉熵损失和联合交集损失，/>则表示整体的损失函数。
进一步的，使用该整体损失函数对整体网络进行训练，随训练过程的持续，整体损失函数计算值逐渐下降并趋于稳定，则可停止训练过程，视为训练过程结束，此时得到训练完毕的湿地信息分类网络，记为。
进一步的，可使用对湿地信息分类进行测试，将用于测试的同一目标区域的机载相机图像和机载SAR图像分别记为/>和/>，测试过程形式化地表示为：
其中，表示最终得到的与用于测试的/>和/>对应的湿地信息分类结果。
最后，通过基于训练后的分类网络，可对任何目标区域内匹配的成对的机载相机图像和机载SAR图像作为输入，输出最终目标区域内的湿地信息分类结果。
在此过程中，对于每一种尺度的特征（如4、8、16、32倍下采样的特征），都使用了一种结构相同但参数独立的全局与局部并重关注的融合模块进行特征融合。这种方法还使用了深度学习网络DeepLabV3+作为分类子络，整体网络并采用交叉熵损失和联合交集损失作为损失函数。此方法在处理高分辨率湿地图像分类时，可以提供更精确的结果，因为它结合了机载相机图像和SAR图像的优点，通过特征融合提高了信息的丰富性和鲁棒性。同时，使用深度学习网络和合适的损失函数，能够更有效地进行学习和优化。
该方法结合了光学图像和SAR图像的优点，提取了图像的多尺度特征，通过全局和局部特征融合提高了湿地信息的识别精度。同时，采用的损失函数也有助于优化网络性能，提高湿地信息的分类准确度。
实施例2：
基于同一发明构思，下面对本发明提供的融合机载相机图像和SAR图像的湿地信息分类系统进行描述，下文描述的分类系统与上文描述的分类方法可相互对应参照。
参照图4所示，一种融合机载相机图像和SAR图像的湿地信息分类系统,包括：
提取模块，用于将同一目标区域相对应的机载相机图像和机载SAR图像，输入共享参数的特征提取骨干子网络提取各自的多尺度特征；
融合模块，用于将提取到各自的多尺度特征，输入全局与局部并重关注的特征融合模块进行多尺度融合，获得融合特征；
分类模块，用于将所述融合特征作为分类子网络的输入，得到所述目标区域内的湿地信息分类结果。
实施例3：
基于同一发明构思，本发明还提供一种计算机设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，能够实现如实施例1中任一项所述的一种基于文本分析模型的辅助文本生成方法。
如图5所示，该电子设备可以包括：处理器(processor)51、通信接口(Communications Interface)52、存储器(memory)53和通信总线540，其中，处理器51，通信接口52，存储器53通过通信总线54完成相互间的通信。处理器51可以调用存储器53中的逻辑指令，以执行一种融合机载相机图像和SAR图像的湿地信息分类方法，该方法包括：
S1、将同一目标区域相对应的机载相机图像和机载SAR图像，输入共享参数的特征提取骨干子网络提取各自的多尺度特征；
S2、将提取到各自的多尺度特征，输入全局与局部并重关注的特征融合模块进行多尺度融合，获得融合特征；
S3、将所述融合特征作为分类子网络的输入，得到所述目标区域内的湿地信息分类结果。
实施例4：
基于同一发明构思，本发明实施例又提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在终端上运行时，能够实现如上述实施例1一种融合机载相机图像和SAR图像的湿地信息分类方法。
计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、寄存器、硬盘、光纤、便携式
紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(Application Specific Integrated Circuit，ASIC)中。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种融合机载相机图像和SAR图像的湿地信息分类方法,其特征在于，包括以下步骤：
S1、将同一目标区域相对应的机载相机图像和机载SAR图像，输入共享参数的特征提取骨干子网络提取各自的多尺度特征；
S2、将提取到各自的多尺度特征，输入全局与局部并重关注的特征融合模块进行多尺度融合，获得融合特征；
S3、将所述融合特征作为分类子网络的输入，得到所述目标区域内的湿地信息分类结果；
其中，所述步骤S1具体包括：
将同一目标区域匹配的成对机载相机图像和机载SAR图像/>分别输入至共享参数的特征提取骨干子网络；
所述共享参数的特征提取骨干子网络包含四个阶段，将和/>作为输入，表示如下：
其中，SubNetfeature_extract表示共享参数的特征提取骨干子网络；指的是与/>对应的机载相机图像的一系列多尺度特征，分别表示由四个阶段计算获得4倍下采样、8倍下采样、16倍下采样和32倍下采样的特征；/>指的是与/>对应的机载SAR图像的一系列多尺度特征，分别表示由四个阶段计算获得4倍下采样、8倍下采样、16倍下采样和32倍下采样的特征；
所述步骤S2具体包括：
将提取到的机载相机图像多尺度特征和机载SAR图像多尺度特征/>进行通道层面叠加操作后分别输入至侧重全部关注的Swin Transformer Block模型和侧重局部关注的ResNet Block模型，形式表示为：
其中，Concat[·,·]表示对两个特征进行通道层面的叠加操作，和/>分别表示一个Swin Transformer Block和ResNet Block，/>和/>分别表示提取到的全局融合特征和局部融合特征；
将和/>进行处理输出融合特征，形式表示为：
其中，和/>分别表示一个Swin Transformer Block和ResNet Block，/>表示对应元素相加，/>表示该步骤所述全局与局部并重关注的特征融合模块所得到的与输入的相同尺度的机载相机图像特征/>和机载SAR图像特征/>对应的融合特征结果。
2.根据权利要求1所述的方法，其特征在于，在机载相机图像多尺度特征和机载SAR图像多尺度特征/>中，当i＝4,8,16,32时，通过使用4个结构相同但各自独享参数的全局与局部并重关注融合模块分别进行/4,/8,/16,/32尺度的特征融合；
根据所述公式(3)，将和/>融合为/>将/>和/>融合为将/>和/>融合为/>将/>和/>融合为/>
3.根据权利要求2所述的方法，其特征在于，所述步骤S3中分类子网络采用DeepLabV3+网络，进行湿地信息分类表示为：
其中，fclass表示分类子网络，Iclass表示对应的湿地信息分类结果。
4.根据权利要求3所述的方法，其特征在于，由共享参数的特征提取骨干子网络、全局与局部并重关注的特征融合模块及分类子网络，构成整体多尺度特征融合湿地信息分类网络；
所述整体多尺度特征融合湿地信息分类网络的分类训练时的损失函数包括交叉熵损失和联合交集损失，形式表示为：
Ltotal＝Lce+Liou＝CrossEntropy(Iclass,Ilabel)+IoU(Iclass,Ilabel) 公式(5)
其中，Ilabel表示与机载相机图像特征和机载SAR图像特征/>对应的湿地信息分类标签，CrossEntropy(·)表示交叉熵计算操作，IoU(·)表示交并比计算操作，Lce和Liou分别表示交叉熵损失和联合交集损失，Ltotal则表示整体的损失函数。
5.一种融合机载相机图像和SAR图像的湿地信息分类系统,其特征在于，包括：
提取模块，用于将同一目标区域相对应的机载相机图像和机载SAR图像，输入共享参数的特征提取骨干子网络提取各自的多尺度特征；
融合模块，用于将提取到各自的多尺度特征，输入全局与局部并重关注的特征融合模块进行多尺度融合，获得融合特征；
分类模块，用于将所述融合特征作为分类子网络的输入，得到所述目标区域内的湿地信息分类结果；
其中，所述提取模块具体用于：
将同一目标区域匹配的成对机载相机图像和机载SAR图像/>分别输入至共享参数的特征提取骨干子网络；
所述共享参数的特征提取骨干子网络包含四个阶段，将和/>作为输入，表示如下：
其中，SubNetfeature_extract表示共享参数的特征提取骨干子网络；指的是与/>对应的机载相机图像的一系列多尺度特征，分别表示由四个阶段计算获得4倍下采样、8倍下采样、16倍下采样和32倍下采样的特征；/>指的是与/>对应的机载SAR图像的一系列多尺度特征，分别表示由四个阶段计算获得4倍下采样、8倍下采样、16倍下采样和32倍下采样的特征；
所述融合模块具体用于：
将提取到的机载相机图像多尺度特征和机载SAR图像多尺度特征/>进行通道层面叠加操作后分别输入至侧重全部关注的Swin Transformer Block模型和侧重局部关注的ResNet Block模型，形式表示为：
其中，Concat[·,·]表示对两个特征进行通道层面的叠加操作，和/>分别表示一个Swin Transformer Block和ResNet Block，/>和/>分别表示提取到的全局融合特征和局部融合特征；
将和/>进行处理输出融合特征，形式表示为：
其中，和/>分别表示一个Swin Transformer Block和ResNet Block，/>表示对应元素相加，/>表示该步骤所述全局与局部并重关注的特征融合模块所得到的与输入的相同尺度的机载相机图像特征/>和机载SAR图像特征/>对应的融合特征结果。
6.一种计算机设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现如权利要求1-4中任一项所述的一种融合机载相机图像和SAR图像的湿地信息分类方法。
7.一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有指令，当指令在终端上运行时，能够实现如权利要求1-4中任一项所述的一种融合机载相机图像和SAR图像的湿地信息分类方法。
CN202310750297.2A 2023-06-25 2023-06-25 融合机载相机图像和sar图像的湿地信息分类方法及系统 Active CN116894972B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310750297.2A CN116894972B (zh) 2023-06-25 2023-06-25 融合机载相机图像和sar图像的湿地信息分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310750297.2A CN116894972B (zh) 2023-06-25 2023-06-25 融合机载相机图像和sar图像的湿地信息分类方法及系统

Publications (2)

Publication Number Publication Date
CN116894972A CN116894972A (zh) 2023-10-17
CN116894972B true CN116894972B (zh) 2024-02-13

Family

ID=88314228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310750297.2A Active CN116894972B (zh) 2023-06-25 2023-06-25 融合机载相机图像和sar图像的湿地信息分类方法及系统

Country Status (1)

Country Link
CN (1) CN116894972B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697475A (zh) * 2019-01-17 2019-04-30 中国地质大学（北京） 一种湿地植被信息分析方法、遥感监测组件及监测方法
CN111898662A (zh) * 2020-07-20 2020-11-06 北京理工大学 滨海湿地深度学习分类方法、装置、设备和存储介质
CN115496939A (zh) * 2022-08-31 2022-12-20 河海大学 一种基于多源遥感数据的湿地信息提取方法
CN115546569A (zh) * 2022-12-05 2022-12-30 鹏城实验室 一种基于注意力机制的数据分类优化方法及相关设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9950700B2 (en) * 2016-03-30 2018-04-24 GM Global Technology Operations LLC Road surface condition detection with multi-scale fusion
EP4135505A1 (en) * 2020-04-17 2023-02-22 Bayer CropScience LP Image monitoring for control of invasive grasses

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697475A (zh) * 2019-01-17 2019-04-30 中国地质大学（北京） 一种湿地植被信息分析方法、遥感监测组件及监测方法
CN111898662A (zh) * 2020-07-20 2020-11-06 北京理工大学 滨海湿地深度学习分类方法、装置、设备和存储介质
CN115496939A (zh) * 2022-08-31 2022-12-20 河海大学 一种基于多源遥感数据的湿地信息提取方法
CN115546569A (zh) * 2022-12-05 2022-12-30 鹏城实验室 一种基于注意力机制的数据分类优化方法及相关设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Land Cover Classification of Huixian Wetland Based on SAR and Optical Image Fusion;Jianming Xiao;《2020 IEEE 3rd International Conference on Information Communication and Signal Processing (ICICSP)》;全文 *
基于卷积神经网络的遥感图像分类研究;李亚飞;董红斌;;智能系统学报(第04期);62-68 *
面向滨海湿地的全色/多光谱影像融合方法与应用分析——以杭州湾(1999～2018年)为例;李佳佳;《遥感技术与应用》;36(第3期);627-63 *

Also Published As

Publication number Publication date
CN116894972A (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
CN109255352B (zh) 目标检测方法、装置及系统
El Amin et al. Convolutional neural network features based change detection in satellite images
Li et al. DeepMitosis: Mitosis detection via deep detection, verification and segmentation networks
Sirmacek et al. Urban-area and building detection using SIFT keypoints and graph theory
Wang et al. Detection and localization of image forgeries using improved mask regional convolutional neural network
CN111145209B (zh) 一种医学图像分割方法、装置、设备及存储介质
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN110516517B (zh) 一种基于多帧图像的目标识别方法、装置及设备
Abdollahi et al. Extraction of road features from UAV images using a novel level set segmentation approach
Wang et al. Semantic segmentation of remote sensing ship image via a convolutional neural networks model
Moustafa et al. Hyperspectral change detection based on modification of UNet neural networks
Masouleh et al. Fusion of deep learning with adaptive bilateral filter for building outline extraction from remote sensing imagery
CN110929685A (zh) 基于混合特征金字塔和混合膨胀卷积的行人检测网络结构
Singh et al. A two-step deep convolution neural network for road extraction from aerial images
CN111067522A (zh) 大脑成瘾结构图谱评估方法及装置
Sofla et al. Road extraction from satellite and aerial image using SE-Unet
CN110334622A (zh) 基于自适应特征金字塔的行人检索方法
Wang et al. Fingerprint pore extraction using U-Net based fully convolutional network
Larabi et al. High-resolution optical remote sensing imagery change detection through deep transfer learning
Chawda et al. Extracting building footprints from satellite images using convolutional neural networks
Deepthi et al. Detection and classification of objects in satellite images using custom CNN
Khoshboresh Masouleh et al. A hybrid deep learning–based model for automatic car extraction from high-resolution airborne imagery
CN110119736B (zh) 车牌位置识别方法、装置及电子设备
Wang et al. Instance segmentation of point cloud captured by RGB-D sensor based on deep learning
Dong et al. A cloud detection method for GaoFen-6 wide field of view imagery based on the spectrum and variance of superpixels

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant