CN117152547A - 基于李群空间特征的遥感场景分类方法及装置 - Google Patents

基于李群空间特征的遥感场景分类方法及装置 Download PDF

Info

Publication number
CN117152547A
CN117152547A CN202311438805.XA CN202311438805A CN117152547A CN 117152547 A CN117152547 A CN 117152547A CN 202311438805 A CN202311438805 A CN 202311438805A CN 117152547 A CN117152547 A CN 117152547A
Authority
CN
China
Prior art keywords
remote sensing
module
feature
weights
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311438805.XA
Other languages
English (en)
Inventor
徐承俊
舒静倩
郭静轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Normal University
Original Assignee
Jiangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Normal University filed Critical Jiangxi Normal University
Priority to CN202311438805.XA priority Critical patent/CN117152547A/zh
Publication of CN117152547A publication Critical patent/CN117152547A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于李群空间特征的遥感场景分类方法及装置，该方法包括：构建遥感影像分类模型，所述遥感影像分类模型至少包括李群特征学习模块、多特征表征模块、权重增强模块以及参数调整模块，所述李群特征学习模块以及多特征表征模块用于增强域不变特征的表征空间能力，所述权重增强模块用于增强关键区域的权重，所述参数调整模块用于动态调整参数；对所述遥感影像分类模型进行训练，以得到预训练好的所述遥感影像分类模型；获取待分类的遥感影像，并将所述待分类的遥感影像输入至预训练好的所述遥感影像分类模型得到最终的分类结果。本发明解决了现有技术中在进行遥感影像场景分类时准确性低的问题。

Description

基于李群空间特征的遥感场景分类方法及装置
技术领域
本发明涉及数据技术领域，特别涉及一种基于李群空间特征的遥感场景分类方法及装置。
背景技术
近年来，随着遥感影像传感器技术的快速发展，高分辨率遥感影像的数据量和空间分辨率都得到了较大的提升。然而，遥感影像传感器的类型、成像和光照条件、拍摄高度和角度等不同导致高分辨率遥感影像存在巨大的分布差异。由于高分辨率遥感影像的分布差异，限制了已经训练好的模型应用于其他新的数据样本的泛化能力。因此，如何提高模型在不同分布数据集下的泛化能力已经成为当前研究的热点问题之一。
为了有效缓解模型泛化能力较弱的问题，学者们提出了跨域场景分类模型。该模型主要通过标签富数据（源域）学习到的知识对标签稀疏数据（目标域）进行场景分类，其中源域和目标域的数据来自不同的分布。域适应方法是跨域场景分类模型中使用最广泛的方法之一，该方法是将不同的场景映射到共同的特征空间，假设源域和目标域共享相同的类别空间但具有不同的数据概率分布（域偏移）。然而，在实际应用场景中，很难找到满足覆盖目标域中所有类别的源域。
但是，由于不同的高度、尺度、季节和多种传感器等因素生成的HRRSI多种多样，现有大部分模型主要是基于有限的特征表征来学习部分域不变特征，这些特征表征很难覆盖不同HRRSI的所有特征。
并且，现有大部分模型很难增强关键区域的权重，容易聚焦背景造成负转移，并且将边际分布和条件分布的重要性视为一样，不区分它们。
因此，现有的模型由于存在上述的缺陷，存在分类准确性低的问题。
发明内容
有鉴于此，本发明的目的在于提供一种基于李群空间特征的遥感场景分类方法及装置，旨在解决现有技术中在进行遥感影像分类时准确性低的问题。
本发明实施例是这样实现的：
一种基于李群空间特征的遥感场景分类方法，所述方法包括：
构建遥感影像分类模型，所述遥感影像分类模型至少包括李群特征学习模块、多特征表征模块、权重增强模块以及参数调整模块，所述李群特征学习模块以及多特征表征模块用于增强域不变特征的表征空间能力，所述权重增强模块用于增强关键区域的权重，所述参数调整模块用于动态调整边际分布和条件分布的平衡参数；
对所述遥感影像分类模型进行训练，以得到预训练好的所述遥感影像分类模型；
获取待分类的遥感影像，并将所述待分类的遥感影像输入至预训练好的所述遥感影像分类模型得到最终的分类结果。
进一步的，上述基于李群空间特征的遥感场景分类方法，其中，所述李群特征学习模块采用预设算法分别提取和学习数据样本的底层、中层以及高层特征。
进一步的，上述基于李群空间特征的遥感场景分类方法，其中，所述李群特征学习模块采用预设算法分别提取和学习数据样本的底层、中层以及高层特征的步骤包括：
将所述数据样本映射到李群流形空间上，利用李群特征学习底层和中层特征；
采用4个并行扩张卷积层，每个并行扩张卷积层后紧跟一个美白和SELU激活函数，学习高层特征。
进一步的，上述基于李群空间特征的遥感场景分类方法，其中，所述多特征表征模块包含4个池化层分支；
第一个分支使用全局平均池化，其他三个分支分别采用池化率为2，5和6池化，得到的不同的特征；
采用1×1的并行扩张卷积将特征图的维度恢复到原来的维度，并采用残差连接方式得到最终的特征表征。
进一步的，上述基于李群空间特征的遥感场景分类方法，其中，所述权重增强模块通过平均池化、两个线性层、SELU和softmax操作，得到动态缩放系数；
使用4个分支分别为1×1的并行扩张卷积，得到4个权重，根据所述4个分支的权重与动态缩放系数得到最终动态权重；
通过3×3的并行扩张卷积得到静态权重，并根据所述最终动态权重确定整体的权重；
将所述整体的权重通过1×1并行扩张卷积，并复制三个副本，在不同的维度上，将其沿着对应的轴旋转90度，得到特征；
依次通过7×7并行扩张卷积层、美白和SELU激活函数，最后，将其沿着对应的轴旋转90度恢复到与原特征图相同的形状得到所述不同维度的权重；
并将所述不同维度的权重进行聚合得到最终的目标权重。
进一步的，上述基于李群空间特征的遥感场景分类方法，其中，所述整体的权重的表达式为：
；
其中，表示静态权重，/>表示4个池化分支当中的动态对齐权重。
进一步的，上述基于李群空间特征的遥感场景分类方法，其中，所述调整模块通过每次迭代更新参数，当训练收敛时，得到的稳定参数值对边际分布和条件分布的权重进行平衡；
其中，动态平衡参数表达式为：
；
其中，表示李群条件最大差异。
本发明的另一个目的在于提供一种基于李群空间特征的遥感场景分类装置，所述装置包括：
构建模块，用于构建遥感影像分类模型，所述遥感影像分类模型至少包括李群特征学习模块、多特征表征模块、权重增强模块以及参数调整模块，所述李群特征学习模块以及多特征表征模块用于增强域不变特征的表征空间能力，所述权重增强模块用于增强关键区域的权重，所述参数调整模块用于动态调整边际分布和条件分布的平衡参数；
训练模块，用于对所述遥感影像分类模型进行训练，以得到预训练好的所述遥感影像分类模型；
分类模块，用于获取待分类的遥感影像，并将所述待分类的遥感影像输入至预训练好的所述遥感影像分类模型得到最终的分类结果。
本发明的另一个目的在于提供一种可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任意一项所述的方法的步骤。
本发明的另一个目的是提供一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法的步骤。
本发明通过提取底层、中层和高层的特征来解决传统模型特征学习不足的问题，并进一步优化了多尺度特征空间表示，有效拓展了域不变特征的空间。设计了不同维度空间的注意力机制，通过模型训练将重点放在了关键区域的部分，抑制了不相关特征。自动调整边际分布和条件分布的参数，大大提高了模型的有效性和鲁棒性，从而极大的提升了训练后的模型的分类准确性。解决了现有技术中在进行遥感影像分类时准确性低的问题。
附图说明
图1为本发明一实施例提供的基于李群空间特征的遥感场景分类的流程图；
图2为本发明第三实施例中基于李群空间特征的遥感场景分类装置的结构框图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
监督模型的性能受大量标记数据样本的制约，而高分辨率遥感影像（HRRSI）的标注成本高、耗时，针对上述问题学者们提出了跨域场景分类模型，该模型可以利用已经学习到的知识对未标记数据样本进行分类。由于源域（训练样本集）和目标域（测试样本集）之间存在较大的分布差异，学者们提出了基于深度学习的域适应模型来减少上述差异。然而，现有的分类方式依然存在以下不足：现有分类模型未充分学习特征信息，造成特征丢失并制约了域不变特征的空间范围；（2）现有分类模型很容易聚焦背景特征信息，造成负转移；（3）现有分类未充分考虑边际分布和条件分布之间的关联关系，手动设置它们之间的权重参数，这样既耗时又可能陷入局部最优。而这些不足均会造成分类不准确的问题。
需要说明的是，在本发明实施例当中，标记样本的源域的表示方式为：
；
其中，表示第i个样本，/>表示对应的类别信息。
非标记样本的目标域的表示方式为：
；
其中，表示第i个未标记样本，/>表示对应的类别信息。
具体的，源域和目标域的类别空间和特征空间是相同的，即，但是它们的边缘分布和条件分布是不相同的，即。
以下将结合具体实施例和附图来详细说明如何提高遥感影像分类准确性的问题。
实施例一
请参阅图1，所示为本发明第一实施例中的基于李群空间特征的遥感场景分类方法，所述方法包括步骤S10~S12。
步骤S10，构建遥感影像分类模型，所述遥感影像分类模型至少包括李群特征学习模块、多特征表征模块、权重增强模块以及参数调整模块，所述李群特征学习模块以及多特征表征模块用于增强域不变特征的表征空间能力，所述权重增强模块用于增强关键区域的权重，所述参数调整模块用于动态调整边际分布和条件分布的平衡参数。
其中，构建一种新的遥感影像分类模型，该模型充分考虑了多特征空间表示，扩展了域不变特征的空间。该模型提出基于动态特征融合对齐的注意力机制，模型中的注意力机制有效的增强了关键区域的权重并抑制了如背景等不相关特征的权重，并实现了动态调整边际分布和条件分布的参数，解决手动设置参数可能导致局部最优的问题。
具体的，遥感影像分类模型包括李群特征学习模块、多特征表征模块、权重增强模块以及参数调整模块，其中，分别对遥感影像分类模型中的各个模块的组成部分以及实现方式进行详细说明。
一、李群特征学习模块
域特征提取功能的实现主要基于李群特征学习和多特征表征两个模块，具体的，将样本映射到李群流形空间上，并提取学习不同层次（如底层、中层和高层）特征和不同尺度特征。
其中，利用预设公式将样本映射到李群流形空间上，并利用利群特征学习底层和中层特征，在本实施例具体实施时，预设公式为：
；
其中，Sij表示数据集中第i个类别的第j个样本，Lij表示在李群流形空间上第i个类别的第j个样本。
进一步的，李群特征学习中包含的底层和中层特征具体表示如下：
；
其中(x，y)表示像素位置；(Y，Cb，Cr)分别表示空间的亮度、色差和饱和度；、/>个分别表示在坐标位置(x，y)一阶梯度和二阶梯度。
以上三个特征是目标对象最基本的特征信息。同一场景包含相似的目标物体，虽然这些目标物体的大小和形状不同，但它们在场景中的位置相似，像素变化率相似。颜色是非常具有辨别性的特征，例如白云，蓝色的海洋和绿色的森林。然而，利用单一颜色特征这是不够的。为了增强特征的鲁棒性和稳定性，选择YCbCr。实验证明，这些特征对场景变换具有较好的鲁棒性和稳定性。
Gabor(x,y)表示场景的灰度图像，可以模拟大脑皮层的单细胞感受野来提取显著特征。LBP(x，y)是指对周围像素进行二值化操作，可以有效地提取地物的纹理特征，对单调的光照变化具有不变性。SIFT(x，y)表示图像中的梯度信息，对亮度、尺度和旋转变化不变性。梯度方向直方图(HOG(x，y))表示图像局部区域的梯度方向直方图的统计特征，具有旋转不变性、尺度不变性和稀疏性。
在高层特征学习方面，采用4个并行扩张卷积模块，每个并行扩张卷积层后紧跟一个美白（SW）和SELU激活函数。其中，并行可扩张卷积相比于传统卷积可以有效拓展感受野并能学习到更具有语义特征的信息，且参数数量较小，美白方法可以有效降低遥感影像中像素的关联度，有利于特征的对齐。
在本发明实施例当中，美白方法至少包含有批量归一化（BN）、批量白花（BW）、实例归一化（IW）以及层归一化（LN），上述操作能够提取更具判别力的特征。采用SELU激活函数避免模型在训练阶段隐藏的梯度消失。
二、多特征表征模块
进一步的，传统模型中通常串联固定大小的卷积，这样得到的特征图感受野较小，遥感影像中关键特征信息可能丢失。为了解决这个问题，多特征表征模块采用multidilation pooling模块，包含4个池化层分支，第一个分支直接使用全局平均池化，其他三个分支分别采用池化率为2，5和6，最后将得到的特征进行连接。为了更有效地提高特征表征能力，进一步探索域不变特征的空间范围。
在本发明实施例当中，采用了1×1的并行扩张卷积；（2）为了更有效的提取域不变特征的范围，采用了三种不同的扩张率（R=1，R=2，R=3）和SW，不同的扩张率可以有效提取特征空间的多样性；（3）采用了SELU激活函数确保模型的非线性映射；（4）通过连接操作将上述得到的特征进行融合，并采用1×1的并行扩张卷积将特征图的维度恢复到原来的维度，并采用了残差连接方式得到最终的表征。
三、权重增强模块
为了有效缓解源域和目标域之间的差异，在两个域找到最佳的平衡点，本发明实施例提出了基于动态特征融合对齐注意力机制，具体的，分别获取动态对齐权重和静态权重，根据动态对齐权重和静态权重确定整体的权重。
具体的，整体的权重的表达式为：
；
其中，表示整体的权重，/>表示静态权重，/>表示动态对齐权重。
其中，动态对齐权重的获取：首先通过平均池化、两个线性层、SELU和操作，该操作主要是为了提取更有效的特征，抑制无用的特征，并最终得到动态缩放系数/>；其中，动态缩放系数的表达式为：
；
其中，表示/>操作，L2和L1分别表示第二个和第一个线性层，S表示SELU激活函数，/>表示average pooling操作。
接着使用4个分支分别为1×1的并行扩张卷积，得到4个权重，而最终动态对齐权重是由4个分支的权重与动态缩放系数得到。
静态权重的获取通过3×3的并行扩张卷积得到的。由此，可得整体的权重为：
。
三维空间注意力机制主要包括高度、宽度和通道三个维度，并实现上述三个维度的交互。将上述得到的结果通过1×1并行扩张卷积得到X，并将它复制三个副本。在第一个高度的维度上，将其沿着H轴旋转90度，得到特征H1，为了得到该维度上的注意力权重，首先通过pooling来保留丰富的特征；具体如下：
；
表示输入特征/>，/>表示average pooling，/>表示max pooling。
接着依次通过7×7并行扩张卷积层、SW和SELU激活函数。最后，将其沿着H轴旋转90度恢复到与原特征图相同的形状。同理可得，在第二个宽度的维度上的操作与第一个操作类似，不同的是沿着W轴旋转90度。在第三个通道的维度上，通过pooling、7×7并行扩张卷积层和SELU激活函数。在得到上述三个维度的权重后进行聚合。从而有效增强了关键区域的权重，使得域不变特征具有更强的适应性和可转移性，进一步增强了模型的鲁棒性。
其中，具体的聚合方式如下：
；
其中，表示美白方法，/>表示SeLU激活函数，/>表示7 × 7的可分离卷积，表示旋转90度。
四、参数调整模块
为了有效解决边际分布和条件分布，本发明实施例提出计算李群最大平均差异和李群条件最大差异，并根据李群最大平均差异和李群条件最大差异得到两个边际分布和条件分布的概率，通过每次迭代更新参数，当训练收敛时，得到的稳定参数值对边际分布和条件分布的权重进行平衡。
为了更好的计算源域和目标域之间的边际分布，本发明实施例对李群最大平均差异的计算进行了改进，具体如下：
；
其中，和/>分别表示源域和目标域的李群内均值。
在实际中，条件分布差异也是不容忽视的，因此，在上述的基础上，我们还需要考虑条件分布差异。由于目标域是没有包含标记数据样本的，直接估计目标域的条件分布是比较困难的。通常的解决办法是采用目标域数据的预测值作为伪标签，实际上，源域和目标域的后验概率是比较难表示的，一般都是通过类条件的充分统计进行近似表示，即/>和/>因此，李群条件最大差异可以表示为：
；
其中，C表示数据样本的种类数量。
通过上述的计算可以得到两个分布的概率，如何设置两个分布的权重是本研究需要解决的一个关键问题。在前期的研究中，我们发现平均搜索和随机设置是常用的方法。尽管上述两种方法在很多模型中得到了广泛的应用，但是此类方法计算效率相对较低，为了解决上述存在的问题，采用动态平衡参数，具体如下：
；
该参数通过每次迭代进行更新，当训练收敛时，可以得到一个相对稳定的参数值。
另外，边际分布和条件分布损失函数如下所示：
；
表示域特征提取器，类别分类器用于确定输入数据是哪个类别，其对应的损失函数表示如下：
；
其中，表示交叉熵损失；
总体目标函数为：
；
其中，表示非负的平衡参数。
步骤S11，对所述遥感影像分类模型进行训练，以得到预训练好的所述遥感影像分类模型。
其中，对遥感影像分类模型进行训练，以得到性能稳定能够进行准确分类的遥感影像分类模型。
步骤S12，获取待分类的遥感影像，并将所述待分类的遥感影像输入至预训练好的所述遥感影像分类模型得到最终的分类结果。
具体的，获取待分类的遥感影像，由于遥感影像分类模型掌握了遥感影像的分类规律，因此，将待分类的遥感影像可以准确的输出最终的分类结果。
综上，本发明上述实施例中的基于李群空间特征的遥感场景分类方法，通过提取底层、中层和高层的特征来解决传统模型特征学习不足的问题，并进一步优化了多尺度特征空间表示，有效拓展了域不变特征的空间。设计了不同维度空间的注意力机制，通过模型训练将重点放在了关键区域的部分，抑制了不相关特征。自动调整边际分布和条件分布的参数，大大提高了模型的有效性和鲁棒性，从而极大的提升了训练后的模型的分类准确性。解决了现有技术中在进行遥感影像分类时准确性低的问题。
实施例二
请参阅图2，所示为本发明第二实施例中提出的基于李群空间特征的遥感场景分类装置，所述装置包括：
构建模块100，用于构建遥感影像分类模型，所述遥感影像分类模型至少包括李群特征学习模块、多特征表征模块、权重增强模块以及参数调整模块，所述李群特征学习模块以及多特征表征模块用于增强域不变特征的表征空间能力，所述权重增强模块用于增强关键区域的权重，所述参数调整模块用于动态调整边际分布和条件分布的平衡参数；
训练模块200，用于对所述遥感影像分类模型进行训练，以得到预训练好的所述遥感影像分类模型；
分类模块300，用于获取待分类的遥感影像，并将所述待分类的遥感影像输入至预训练好的所述遥感影像分类模型得到最终的分类结果。
进一步的，上述基于李群空间特征的遥感场景分类装置，所述李群特征学习模块采用预设算法分别提取和学习数据样本的底层、中层以及高层特征.
进一步的，上述基于李群空间特征的遥感场景分类装置，其中，所述李群特征学习模块采用预设算法分别提取和学习数据样本的底层、中层以及高层特征的步骤包括：
将所述数据样本映射到李群流形空间上，利用李群特征学习底层和中层特征；
采用4个并行扩张卷积层，每个并行扩张卷积层后紧跟一个美白和SELU激活函数，学习高层特征。
进一步的，上述基于李群空间特征的遥感场景分类装置，其中，所述多特征表征模块包含4个池化层分支；
第一个分支使用全局平均池化，其他三个分支分别采用池化率为2，5和6池化，得到的不同的特征；
采用1×1的并行扩张卷积将特征图的维度恢复到原来的维度，并采用残差连接方式得到最终的特征表征。
进一步的，上述基于李群空间特征的遥感场景分类装置，其中，所述权重增强模块通过平均池化、两个线性层、SELU和softmax操作，得到动态缩放系数；
使用4个分支分别为1×1的并行扩张卷积，得到4个权重，根据所述4个分支的权重与动态缩放系数得到最终动态权重；
通过3×3的并行扩张卷积得到静态权重，并根据所述最终动态权重确定整体的权重；
将所述整体的权重通过1×1并行扩张卷积，并复制三个副本，在不同的维度上，将其沿着对应的轴旋转90度，得到特征；
依次通过7×7并行扩张卷积层、美白和SELU激活函数，最后，将其沿着对应的轴旋转90度恢复到与原特征图相同的形状得到所述不同维度的权重；
并将所述不同维度的权重进行聚合得到最终的目标权重。
进一步的，在本发明一些可选的实施例当中，其中，所述整体的权重的表达式为：
；
其中，表示静态权重，/>表示4个池化分支当中的动态对齐权重。
进一步的，上述基于李群空间特征的遥感场景分类装置，其中，所述调整模块通过每次迭代更新参数，当训练收敛时，得到的稳定参数值对边际分布和条件分布的权重进行平衡；
其中，动态平衡参数表达式为：
；
其中，表示李群条件最大差异。
上述各模块被执行时所实现的功能或操作步骤与上述方法实施例大体相同，在此不再赘述。
另外，为了验证本发明实施例在分类效果上的显著的提升，选择了三个公开且具有挑战性的数据集，并选择了其他最先进和具有竞争性模型来评估本发明实施例提出的方法，其中三个数据集分别是UCM、AID和NWPU45。
在实验设置中，我们进行了6个跨域场景分类，具体如下：
UCM → AID, UCM → NWPU, AID → UCM, AID → NWPU, NWPU →UCM, NWPU →AID，其中。→表示从源域到目标域的知识转移。其他的参数设置参照现有设置，所有方法由PyTorch框架实现。
本发明实施例提出的方法与其他方法的实验结果如表1所示。从表1中，本发明实施例提出的方法，有效提高了跨域场景分类的准确度。
表1
从表1中我们发现，我们提出的方法相比于其他方法具有更高的分类精确度。当从数据样本量较少的源域到数据样本量较多的目标域的知识转移时，例如，在UCM到AID的实验中，MRDAN相比于ADA-DDA提高了13.05%，我们的方法相比于MRDAN和ADA-DDA分别提高了0.12%和13.17%。在UCM到NWPU的实验中，ARMAN的准确率达到了68.09%，MRDAN的准确率达到了86.35%，我们的方法达到了87.43%，相比于它们分别提高了19.34%和1.08%。当从样本数据量较多的源域道数据样本量较少的目标域的知识转移时，例如，在NWPU到UCM的实验中，ADA-DDA的准确率达到了90.70%，DATSNET的准确率达到了87.76%，我们的方法是92.13%，相比于它们分别提高了4.37%和1.43%。进一步可得我们提出的方法在平均分类精度上相比于其他方法都有提高。
进一步分析上述实验结果，主要有以下几种原因：
本发明实施例提出的方法提取了更多、更有用的特征，有效地拓展了域不变特征的范围。除了提取了场景的底层、中层和高层特征外，还对之前的方法进行了优化和改进，增大了感受野的同时又降低了特征的维度，从不同的尺度上提取了更有效的特征。
（2）从实验的结果我们发现，当数据样本的数量较少时，目标域的分类准确度也会随着降低。对于场景分类来说，包含大量类别信息的数据样本对模型的性能是至关重要的，但是获取大量包含类别信息的数据样本是一项繁琐、昂贵且耗时的工作，本发明实施例提出的方法在一定程度上减少了负迁移。
（3）本发明实施例提出的基于动态特征融合对齐注意力机制有效的增强了关键区域中的关键特征，抑制了无效特征，并实现了在三维空间上注意力的交互。在前期研究基础上进一步优化和改进，最大限度地挖掘场景中关键特征。
另外，对本发明实施例提出的方法与其他模型的KAPPA系数、参数大小和运行时间等相关情况进行比对，比对结果如图表2所示：
表2
所有的模型都是在相同的实验环境（硬件和软件环境）下进行的。从表2中我们发现我们提出的方法在上述三个方面都取得了较好的成绩。我们以U到A的实验为例，在参数方面，由于我们采用了并行扩张卷积等操作有效降低了模型的参数，相比于MRDAN和AMRAN模型，有效减少了19.25M和9.98M。在KAPPA系数方面，相比于DATSNET和CDAN+E模型，提高了0.2029和0.283。在运行时间方面，相比于BNM和DAAN模型，减少了0.87S X和0.893S。由于模型只需要分类而不需要计算后向梯度，此外，模型中大量采用了李群内均值、并行扩张卷积等操作，有效降低了参数的同时也提高了模型的运行时间
4.消融实验
为了证明我们提出的方法不同模块的有效性，我们构建了以下几种不同的消融实验：（1）未提取底层、中层和高层特征和提取了底层、中层和高层特征的模型比较；（2）未采用多特征空间表示和采用了多特征空间表示的模型比较；（3）未采用注意力机制和采用了注意力机制的模型比较。
由于UCM数据集中的类别和数据样本数量较少，而且UCM数据集和AID数据集之间的分布差异也较大，因此我们还是以UCM → AID为例进行消融实验分析。从中我们发现，未提取底层、中层和高层特征的模型在准确率比较低，主要是因为该模型未充分学习数据样本中的域不变特征。从中我们发现，在前期研究的基础上对方法进行了优化和改进，进一步提取了不同尺度下的特征，使得模型能够有效不同尺度的特征，进一步拓展了域不变特征的范围，且模型采用了并行扩张卷积，有效降低了模型的特征维度并提高了模型的适应性。从中我们发现，使用了注意力机制的模型在准确性上要更具有优势，我们提出的注意力机制充分考虑了三个维度上的权重，并采用了动态的方式对参数进行调整，避免了传统方法可能导致的局部最优的问题。
实施例三
本发明另一方面还提供一种可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述实施例一中所述的方法的步骤。
实施例四
本发明另一方面还提供一种电子设备，所述电子设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例一中所述的方法的步骤。
以上各个实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读存储介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读存储介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于李群空间特征的遥感场景分类方法，其特征在于，所述方法包括：
构建遥感影像分类模型，所述遥感影像分类模型至少包括李群特征学习模块、多特征表征模块、权重增强模块以及参数调整模块，所述李群特征学习模块以及多特征表征模块用于增强域不变特征的表征空间能力，所述权重增强模块用于增强关键区域的权重，所述参数调整模块用于动态调整边际分布和条件分布的平衡参数；
对所述遥感影像分类模型进行训练，以得到预训练好的所述遥感影像分类模型；
获取待分类的遥感影像，并将所述待分类的遥感影像输入至预训练好的所述遥感影像分类模型得到最终的分类结果。
2.根据权利要求1所述的基于李群空间特征的遥感场景分类方法，其特征在于，所述李群特征学习模块采用预设算法分别提取和学习数据样本的底层、中层以及高层特征。
3.根据权利要求2所述的基于李群空间特征的遥感场景分类方法，其特征在于，所述李群特征学习模块采用预设算法分别提取和学习数据样本的底层、中层以及高层特征的步骤包括：
将所述数据样本映射到李群流形空间上，利用李群特征学习底层和中层特征；
采用4个并行扩张卷积层，每个并行扩张卷积层后紧跟一个美白和SELU激活函数，学习高层特征。
4.根据权利要求1所述的基于李群空间特征的遥感场景分类方法，其特征在于，所述多特征表征模块包含4个池化层分支；
第一个分支使用全局平均池化，其他三个分支分别采用池化率为2，5和6池化，得到的不同的特征；
采用1×1的并行扩张卷积将特征图的维度恢复到原来的维度，并采用残差连接方式得到最终的特征表征。
5.根据权利要求1所述的基于李群空间特征的遥感场景分类方法，其特征在于，所述权重增强模块通过平均池化、两个线性层、SELU和softmax操作，得到动态缩放系数；
使用4个分支分别为1×1的并行扩张卷积，得到4个权重，根据所述4个分支的权重与动态缩放系数得到最终动态权重；
通过3×3的并行扩张卷积得到静态权重，并根据所述最终动态权重确定整体的权重；
将所述整体的权重通过1×1并行扩张卷积，并复制三个副本，在不同的维度上，将其沿着对应的轴旋转90度，得到特征；
依次通过7×7并行扩张卷积层、美白和SELU激活函数，最后，将其沿着对应的轴旋转90度恢复到与原特征图相同的形状得到所述不同维度的权重；
并将所述不同维度的权重进行聚合得到最终的目标权重。
6.根据权利要求5所述的基于李群空间特征的遥感场景分类方法，其特征在于，所述整体的权重的表达式为：
；
其中，表示静态权重，/>表示4个池化分支当中的动态对齐权重。
7.根据权利要求1中所述的基于李群空间特征的遥感场景分类方法，其特征在于，所述调整模块通过每次迭代更新参数，当训练收敛时，得到的稳定参数值对边际分布和条件分布的权重进行平衡；
其中，动态平衡参数表达式为：
；
其中，表示李群条件最大差异。
8.一种基于李群空间特征的遥感场景分类装置，其特征在于，所述装置包括：
构建模块，用于构建遥感影像分类模型，所述遥感影像分类模型至少包括李群特征学习模块、多特征表征模块、权重增强模块以及参数调整模块，所述李群特征学习模块以及多特征表征模块用于增强域不变特征的表征空间能力，所述权重增强模块用于增强关键区域的权重，所述参数调整模块用于动态调整边际分布和条件分布的平衡参数；
训练模块，用于对所述遥感影像分类模型进行训练，以得到预训练好的所述遥感影像分类模型；
分类模块，用于获取待分类的遥感影像，并将所述待分类的遥感影像输入至预训练好的所述遥感影像分类模型得到最终的分类结果。
9.一种可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任意一项所述的方法的步骤。
10.一种电子设备，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至7任一所述的方法的步骤。
CN202311438805.XA 2023-11-01 2023-11-01 基于李群空间特征的遥感场景分类方法及装置 Pending CN117152547A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311438805.XA CN117152547A (zh) 2023-11-01 2023-11-01 基于李群空间特征的遥感场景分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311438805.XA CN117152547A (zh) 2023-11-01 2023-11-01 基于李群空间特征的遥感场景分类方法及装置

Publications (1)

Publication Number Publication Date
CN117152547A true CN117152547A (zh) 2023-12-01

Family

ID=88903228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311438805.XA Pending CN117152547A (zh) 2023-11-01 2023-11-01 基于李群空间特征的遥感场景分类方法及装置

Country Status (1)

Country Link
CN (1) CN117152547A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929631A (zh) * 2019-11-19 2020-03-27 武汉大学 一种基于Lie-AdaBoost遥感影像的场景分类方法
CN111026897A (zh) * 2019-11-19 2020-04-17 武汉大学 一种基于Lie-Fisher遥感图像的场景分类方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929631A (zh) * 2019-11-19 2020-03-27 武汉大学 一种基于Lie-AdaBoost遥感影像的场景分类方法
CN111026897A (zh) * 2019-11-19 2020-04-17 武汉大学 一种基于Lie-Fisher遥感图像的场景分类方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHENGJUN XU 等: "Multi-feature Dynamic Fusion Cross-Domain Scene Classification Model Based on Lie Group Space", 《REMOTE SENSING》, vol. 15, no. 19, pages 1 - 14 *
余建军: "复杂场景中多目标视觉跟踪技术研究", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》, vol. 2008, no. 09, 15 September 2008 (2008-09-15), pages 138 - 809 *
李凡长 等: "《李群机器学习》", vol. 1, 中国科学技术大学出版社, pages: 169 - 170 *

Similar Documents

Publication Publication Date Title
Li et al. A closed-form solution to photorealistic image stylization
Chen et al. Single image shadow detection and removal based on feature fusion and multiple dictionary learning
US10102443B1 (en) Hierarchical conditional random field model for labeling and segmenting images
US8660342B2 (en) Method to assess aesthetic quality of photographs
CN109325484B (zh) 基于背景先验显著性的花卉图像分类方法
CN111753828B (zh) 一种基于深度卷积神经网络的自然场景水平文字检测方法
CN110633708A (zh) 一种基于全局模型和局部优化的深度网络显著性检测方法
Wang et al. Object instance detection with pruned Alexnet and extended training data
Woźniak et al. Graphic object feature extraction system based on cuckoo search algorithm
CN112132145B (zh) 一种基于模型扩展卷积神经网络的图像分类方法及系统
CN110853070A (zh) 基于显著性与Grabcut的水下海参图像分割方法
CN107862680B (zh) 一种基于相关滤波器的目标跟踪优化方法
CN110717451B (zh) 一种基于深度学习的药用植物叶部病害图像识别方法
CN113627472A (zh) 基于分层深度学习模型的智慧园林食叶害虫识别方法
Han Improved SLIC imagine segmentation algorithm based on K-means
Tan et al. Rapid fine-grained classification of butterflies based on FCM-KM and mask R-CNN fusion
Kim et al. A shape preserving approach for salient object detection using convolutional neural networks
CN115049841A (zh) 基于深度无监督多步对抗域自适应的高分辨sar图像地物要素提取方法
CN110135435B (zh) 一种基于广度学习系统的显著性检测方法及装置
Wang et al. Pedestrian detection in infrared image based on depth transfer learning
CN108664968B (zh) 一种基于文本选取模型的无监督文本定位方法
CN109241321A (zh) 基于深度领域适应的图像和模型联合分析方法
He et al. A Bayesian local binary pattern texture descriptor
Yuan et al. Explore double-opponency and skin color for saliency detection
CN117152547A (zh) 基于李群空间特征的遥感场景分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination