CN115147719A - 一种基于增强语义表示的遥感影像深度土地利用分类方法 - Google Patents

一种基于增强语义表示的遥感影像深度土地利用分类方法 Download PDF

Info

Publication number
CN115147719A
CN115147719A CN202210716053.8A CN202210716053A CN115147719A CN 115147719 A CN115147719 A CN 115147719A CN 202210716053 A CN202210716053 A CN 202210716053A CN 115147719 A CN115147719 A CN 115147719A
Authority
CN
China
Prior art keywords
semantic information
global
local
dlcn
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210716053.8A
Other languages
English (en)
Inventor
赫晓慧
程淅杰
高亚军
田智慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University
Original Assignee
Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University filed Critical Zhengzhou University
Priority to CN202210716053.8A priority Critical patent/CN115147719A/zh
Publication of CN115147719A publication Critical patent/CN115147719A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

一种基于增强语义表示的遥感影像深度土地利用分类方法，本发明提出了基于多级语义信息的土地覆盖分类框架（LUCN），引入了多层语义信息的深度卷积网络（DLCN）和全局‑局部语义信息集成（GLFM）模块。多层语义信息的深度卷积网络（DLCN）能够捕获多层语义信息的同时消除模糊特征表示，减少歧义特征对分类模型的影响。同时提出了一种类别不平衡修正损失函数，用于改进土地覆盖多类别的分类效果；全局‑局部语义信息集成（GLFM）模块包含不确定性量化和全局‑局部自适应集成，通过利用不确定量化图，能够准确定位于需要特征融合的位置，从而加强影像的不同层次特征描述。

Description

一种基于增强语义表示的遥感影像深度土地利用分类方法
技术领域
本发明涉及遥感影像技术领域，具体涉及一种基于增强语义表示的遥感影像深度土地利用分类方法。
背景技术
土地覆盖（Land Cover, LC）专题图，是表达自然土地类型以及人类开发利用土地状况的专题要素地图，在资源调查、环境监测、生态保护、城市规划、农业生产等领域具有十分重要的作用。由于遥感具有大范围同步观测等优势，已经成为土地制图的主要数据来源，如何基于遥感影像实现土地利用覆盖的自动分类成为研究热点问题。
基于高分辨率遥感影像的土地利用分类技术已广泛用于大尺度范围土地利用调查工作中，相关研究人员通过挖掘空间场景信息来提高分类效果。一种突出的方法是利用DCNNs的分层特征，从而利用多级全局场景线索。例如，在遥感分类的分层网络体系结构中通过跳跃连接捕获多层次全局场景特征。基于这个方向，其他研究人员在中间DCNNs中设计了面向语义特征的卷积层，以促进这种有效的特征。尽管已经获得了各种各样的全局场景信息，但它无法满足细粒度信息的需求。因此将局部语义（即纹理或局部结构）与全局语义特征相结合，以获得精确的结果，最常用的方法是在DCNNs顶部添加随机场。这些协作环境特征不仅保留了全局层面，还包含了局部区域的详细结构信息。然而，土地利用分类的进一步发展仍存在一些问题，如特征冗余，全局和局部信息不足等。因此，如何明确地提供一个合适的策略，以连贯的方式将局部语义与全局语义特征结合起来需要进一步探索。
发明内容
本发明的目的是提出了一种基于增强语义表示的遥感影像深度土地利用分类方法，引入了多层语义信息的深度卷积网络（DLCN）和全局-局部语义信息集成（GLFM）模块，并将两者协同进行。相比于机器学习模型和其他最新的土地覆盖分类模型，本发明提出的基于增强语义特征的遥感影像土地利用分类深度学习方法，精度、时间复杂度和泛化能力均有提升。
本发明的目的是这样实现的：一种基于增强语义表示的遥感影像深度土地利用分类方法，包括以下步骤：
S1、设计LUCN框架：
引入多层语义信息的深度卷积网络（DLCN），所述LUCN框架是基于多级深度神经网络，可以自适应地捕获局部和全局语义信息用于土地覆盖分类，所述LUCN包括多层语义信息的深度卷积网络（DLCN）和全局-局部语义信息集成（GLFM）模块；
S2、利用不确定性量化图提高局部和全局语义信息融合：
基于步骤1中提取到的全局语义信息和局部语义信息，采用不确定量化图作为指导进行局部与全局语义信息的自适应融合，用于提升LUCN的性能；
S3、利用数据集验证和对比模型的方法：
对步骤S1提出的LUCN模型进行比较验证，用于验证所提方法：多级语义信息的土地覆盖分类框架（LUCN）在复杂土地覆盖分类场景下突出性能。
所述步骤S1具体步骤为：
S1.1 LUCN框架：
LUCN框架由两个模块组成：多层语义信息的深度卷积网络（DLCN）和全局-局部语义信息集成（GLFM）模块，DLCN被用作主干架构，通过利用多尺度语义线索来增强特征表示，利用如下的优化函数得到最优分类模型；
Ω={F*，（ξlocal，ξglocal）} （1）
其中F* 是最优的深度卷积网络（DLCN）模型，ξlocal，ξglocal 是获取到的局部和全局语义特征描述，Ω是最终的融合特征。
S1.2多层语义信息的深度卷积网络（DLCN）
多层语义信息的深度卷积网络（DLCN）的作用是有效增强全局语义信息的同时，抑制土地覆盖类别中的模糊特征表示，深度卷积网络（DLCN）包含三个重要模块：基本网络结构、多尺度全局特征融合（MGCF）和多类别损失函数（MultiLoss Function）。基本网络结构用于提取基础的特征描述，如下所示：
Figure DEST_PATH_IMAGE001
（2）
其中i，M指特征图和（l-1）是一层。w，b是核参数和偏置参数，f是卷积层。多尺度全局特征融合（MGCF）目标是保留基于DCNN的土地覆盖分类网络（DLCN）不同层次的多级全局语义特征，引入信息熵作为一种注意力策略，以增强有用的全局场景线索。
Figure DEST_PATH_IMAGE002
其中pk（x）是属于k类的像素x的后验概率。H（yk）表示生成的整个图像的熵图，该值越小，预测分布越可靠。此外，H（yk）明确地表现出结果的不确定性，这可以作为增强全局场景线索的指导。使用H（yk）作为注意力分数，自适应地融合多级全局场景信息。具体来说，假设GL、GM和GH分别代表DLCN中的第一层、中间层和后一层。像素x的最终融合全局场景如下所示：
Figure DEST_PATH_IMAGE003
⊙表示元素乘积运算符，concat表示多级全局场景映射的融合过程。此外，融合的数量取决于具体情况。在我们的框架中，我们选择了第3块、第5块和第6块的输出作为我们的多尺度全局场景。
多类别损失函数考虑到土地覆盖类别严重不平衡对分类结果有巨大的影响，为了更好的利用DLCN的多类学习能力而设计如下损失函数：
Figure DEST_PATH_IMAGE004
Figure DEST_PATH_IMAGE005
该损失函数可以缓解严重类别不平衡情况。，Cij是第i类不确定预测为第j类的权重。λ是用于调整前景和场景之间距离的控制参数。当λ越小时，它就成为权重CE；当λ很大时，但它更关心的是前景之间的错误估计。在我们的例子中，初始λ来自前景样本和场景样本之间的比率。
所述步骤S2具体步骤为：
S2.1全局-局部语义信息集成（GLFM）模块
多层语义信息的深度卷积网络（DLCN）可以自动学习多层次的语义信息，但仅仅依赖DLCN无法捕捉密集和小型地物对象的精细结构，在一些复杂土地覆盖场景下的分类效果并不良好。遥感影像中的局部的空间语义能够显著提高细节捕获能力，全局语义信息有助于分类器更好地消除误分类信息，因此GLFM是为了更好的选择性保留全局-局部语义；全局-局部语义信息集成（GLFM）模块主要包括：特征不确定性量化和全局-局部融合阶段
S2.2 特征不确定性量化
不确定性量化的核心思想是在基于DLCN初始预测的基础上选择不确定像素，进一步结合局部场景，同时保留某些像素的分布。不确定量化图Q定义为：
Figure DEST_PATH_IMAGE006
S2.3全局-局部融合阶段
将DLCN的多层次语义特征与GLFM模块的全局-局部信息进行融合。其中，
Figure DEST_PATH_IMAGE007
是像素m的细化标签，
Figure DEST_PATH_IMAGE008
是在第t次迭代时的最佳细化结果，pm是像素m的后验概率。当在第t次和第（t-1）次迭代足够接近时，迭代停止。
本发明的有益效果是：本发明提出了一种基于增强语义表示的遥感影像深度土地利用分类方法，该LUCN分类框架包括多层语义信息的深度卷积网络（DLCN）和全局-局部语义信息集成（GLFM）模块，并将两者协同进行。相比于机器学习模型和其他最新的土地覆盖分类模型，本发明提出的基于增强场景描述的遥感影像土地利用分类深度学习方法，精度、时间复杂度和泛化能力均有提升。
附图说明
表1为本发明的模型存储和耗费时间需求消融实验；
图1为本发明的多级语义信息的土地覆盖分类框架（LUCN）的体系结构图，由多层语义信息的深度卷积网络（DLCN）和全局-局部语义信息集成（GLFM）模块组成；
图2为本发明的损失函数参数选择阈值；
图3为本发明的不确定信息熵图与误差图位置之间的对应关系；
图4为本发明GID数据集上郊区区域分类的结果；
图5为本发明GID数据集上城市区域分类的结果；
图6为本发明GID数据集上土地覆盖/利用分类的结果；
图7为本发明的多种局部空间参数的F1，kappa和OA结果；
图8为本发明损失函数中超参数
Figure DEST_PATH_IMAGE009
对分类精度的影响；
图9为本发明全局和局部的语义特征迭代的分类精度变化趋势；
图10为本发明的全局-局部语义信息集成（GLFM）模块消融实验可视化图；
图11为本发明的全局-局部语义信息集成（GLFM）模块消融实验可视化图；
图12为本发明的全局-局部语义信息集成（GLFM）模块消融实验可视化图。
具体实施方式
以下结合附图对本发明作进一步说明。
如图1所示，一种基于增强语义表示的遥感影像深度土地利用分类方法，S1 具体步骤如图1 框架图所示：本发明提出的多级语义信息的土地覆盖分类框架（LUCN）由两个模块组成：多层语义信息的深度卷积网络（DLCN）和全局-局部语义信息集成（GLFM）模块。深度卷积网络（DLCN）被用作主干架构，能够利用多尺度语义线索来增强土地覆盖类别的特征表示。
如图2所示，本发明设计了一种新的损失函数来解决严重的土地覆盖分类中的类别不平衡情况。由于土地覆盖场景中存在严重的分类不平衡问题，单独采用交叉熵损失分类任务中效率低下。因为标准交叉熵损失对每个类别都一视同仁，并且训练过程可能由易于分类的类别样本主导。本发明的损失函数从两个方面来处理。首先，在训练过程中采用由深度卷积网络（DLCN）的后验概率计算的熵矩阵C作为权重，以增强从错误中学习的能力。因此，熵矩阵C被用作CE损失的类别权重参数。权重参数通过赋予该类别比其他类别更大的权重来提高不确定性预测的性能。第二，如图2所示，考虑到许多场景通常由具有单个类别组成，因此具有交叉熵损失函数的深度模型很容易与该类别过度匹配。土地覆盖场景通常具有较大的变异性和高度复杂性，加强前景（即水、建筑物和农田）和背景之间的区分具有重要意义。
步骤S2具体步骤和内容如图3中GLFM模块所示，考虑到全局和局部语义息可以提高分类模型的性能，因此设计了全局-局部语义信息集成（GLFM）模块来捕获地物的局部细节结构和全局语义信息。为了减少分类时间，在后验不确定性图的指导下，对多尺度全局语义和局部语义信息进行融合。通过这种方式，土地覆盖分类框架（LUCN）能够在复杂的土地覆盖场景中获得细粒度的分类图。不确定性量化的核心思想是在多层语义信息的深度卷积网络（DLCN）初始预测的基础上选择不确定像素，进一步结合局部场景，同时保留某些像素的分布。在下面，我们将描述设计细节。如多尺度特征融合（MGCF）模块所述，信息熵明确显示了预测结果的不确定性程度。熵图中的位置与误差图相对应。熵值较高的像素表明它们很有可能被错误分类。换句话说，它呈现了结果的不确定性，这需要更多的场景信息来进行准确的分类。
在得到不确定性量化图Q后，需要选择合适的阈值来将像素分类为确定和不确定。图中的星号表示不同LC类别的平均阈值。因此，我们决定使用平均类内置信度作为阈值θ，而不是全局平均置信度：
Figure DEST_PATH_IMAGE010
其中Nintra是类内像素的数量。因此，所选的图F被定义为：
Figure DEST_PATH_IMAGE011
QH(yK) 是从不确定性图Q中选择的像素，F是需要进一步与本地场景结合的像素集。
如图4，5, 6所示，选取土地覆盖分类中应用广泛且最新的分类模型，对本发明提出土地覆盖分类框架（LUCN）的分类框架进行比较验证，证明所提方法在复杂土地覆盖分类场景下突出性能；所选与多级语义信息的土地覆盖分类框架（LUCN）作为比较模型有， SVM、RF、VGG19、FCN8S、UNet、FPN、CGCNN、ABCNet、ResUnet-a。同时为了进一步验证我们的GLFM的有效性，我们通过在每个分类器的末尾添加局部场景模块来增强局部语义特征，如自适应最大投票模型(D-AMVS)和条件随机场模型（CRF）。根据网络特性经验地选择上述初始网络参数，并在GID训练集上微调参数。
多级语义信息的土地覆盖分类框架（LUCN）在土地覆盖分类中实现了最佳效果，其在平均OA和F1中取得了相对满意的性能。这些实验表明了语义特征表示的重要性，因此，所提出的土地覆盖分类框架（LUCN）可以在各种情况下提高LC分类的准确性。
但由于与森林和农田的类间相似性，草甸是最难识别的类别。此外，SVM和RF模型处理复杂景观分类的能力较差。在DCNNs模型中，草地和森林类别被FCN8s和UNet模型严重混淆。此外，ResUnet-a与我们的土地覆盖分类框架（LUCN）结果比较，但在复杂土地覆盖场景中，它的性能大幅下降。
如图7所示，该图显示了本发明的全局-局部语义信息集成（GLFM）模块的网格规模超参数选择，从而证明土地覆盖分类框架（LUCN）的有效性。通过利用测试集上不同规模尺度的局部语义信息，评估结果如图7所示。为了直观地显示对比度，绘制了OA、kappa和F1表现图。如图所示，全局-局部语义信息集成（GLFM）模块在不同的尺度下表现出不同的表现。更具体地说，在7*7量表中获得的OA略高于其他量表。此外，我们观察到，太大的局部规模可能无法检索详细信息，如图7所示；这会导致性能下降。当局部尺度太小时，它无法完全模拟复杂地物对象的局部场景。局部尺度对语义信息有显著影响，但最佳尺度因数据集而异。在本发明中，7*7的范围内获得了令人满意的结果。
如图8所示，显示本发明损失函数中参数λ取不同值的结果。损失函数中使用的参数λ用于控制交叉熵函数和正则化项的权重。消融实验用以确定最佳权重。具体来说，我们选择深度卷积网络（DLCN）作为基本架构，λ的取值从0.0到0.9。不同λ的结果如图9所示。如图所示，在λ=0.3时可获得最佳LC分类结果。在λ=0.3之前，性能往往会提高。从结果来看，当λ发生较大变化时，kappa评分上升缓慢。在这个最高点之后，所有的精度都会下降，但F1是受影响最大的标准。基于这些观察，我们选择λ=0.3作为最佳权重，因为它在OA和F1中具有相对较高的性能。总之，我们为以下所有实验设置λ=0.3。
如图9所示，显示本发明中局部语义信息与全局语义特征之间迭代融合次数的精度变化趋势。利用重复多次的迭代的平均OA和F1，以说明不同的评估标准如何随着迭代次数而发展。更具体地说，初始OA、F1和kappa设定在t=0点。在前三次迭代中，性能大大提高，在t=3之后，性能的提高会减慢。具体来说，与前几次相比，需要更长的时间才能实现同等的改善。随着迭代次数的增加，kappa的改善最为明显，而F1的改善不明显。虽然它能够在最初几次之后获得更好的结果，但计算需求可能会急剧增加。因此，充分考虑计算的要求和精度，本发明中选择t＝3作为迭代时间。如图9展示了F1、OA和Kappa的变化趋势。
Figure DEST_PATH_IMAGE012
表1
如表1所示，本发明进行了计算复杂性分析。本发明使用的硬件配置相同，即NVIDIA GTX 1080Ti。本发明包括两个模块：多层语义信息的深度卷积网络（DLCN）和全局-局部语义信息集成（GLFM）模块。影像中的像素数为N=M⋅N，类别数为C，梯度下降数为epoch。因此，DLCN的计算复杂度为O（epoch⋅N⋅C）。该计算复杂度为O（NlogN），N是影像中的像素总数。融合步骤的复杂度与N成线性关系，即O（N）。因此，GLFM复杂性为O（T⋅（NlogN + N）），T代表迭代次数。此外，其他比较模型的计算复杂度也见表1。我们在图中描述了运行、推理时间和参数。具体而言，CGCNN的参数数量最少，因为它只包含五个融合层。这种轻巧的模型易于训练，但容易误分类相似的类别。相比之下，本发明LUCN需要的训练时间最少，这也表明了LUCN的效率。
如图10、11、12所示，该图旨在证明本发明中GLFM模块有效性。比较的方法是双重自适应多数投票策略（D-AMVS）和条件随机场（CRF）。为了验证不同分类器上的GLFM并使比较更直观，图10、11、12中展示了对应的可视化分类图，如图所示，在不同的DCNNs模型下，所提出的全局-局部语义信息集成（GLFM）模块比其他模型具有更高的精度。更具体地说，使用在GID数据集上，将提出的全局-局部语义信息集成（GLFM）模块与其他局部场景方法进行了比较。在测试集上，全局-局部语义信息集成（GLFM）模块高于条件随机场模型（conditionalrandom field，CRF）获得的分数（分别为+10.67%，+0.159%和+13.0%），并显著高于自适应最大投票模型（D-AMVS）获得的值（分别为+13.6%，+0.229%和+18.67%）。在图11-12中，我们展示了改变预训练模型时不同局部场景模块的结果。结果表明，自适应最大投票模型（D-AMVS）受预定义参数T1和T2（在光谱和空间域中使用的预定义参数）的高度影响，这些参数控制光谱和空间域中的自适应局部尺度（GID数据集上的最佳值为T1=5和T2=600）。此外，他们采用多数投票来确定最终标签，这很容易导致错误分类现象，如图11（e）所示。此外，条件随机场模型的结果趋向于平滑边界，这无法保留细粒度信息，如图12（p）所示。相比之下，我们可以清楚地看到，全局-局部语义信息集成（GLFM）模块不仅保留了局部细节结构，而且在不同的LC情况下具有良好的泛化能力。因此，全局-局部语义信息集成（GLFM）模块比自适应最大投票模型(D-AMVS)和条件随机场CRF获得更好的分类结果。

Claims (3)

1.一种基于增强语义表示的遥感影像深度土地利用分类方法，其特征在于：包括以下步骤：
S1、设计LUCN框架：
引入多级语义信息的土地覆盖分类框架（LUCN），所述LUCN框架是基于多级深度神经网络，自适应地捕获局部语义信息和全局语义信息用于土地覆盖分类，所述LUCN框架包括多层语义信息的深度卷积网络（DLCN）和全局-局部语义信息集成（GLFM）模块；
S2、利用不确定性量化图提高局部和全局语义信息融合：
基于步骤S1中提取到的全局语义信息和局部语义信息，采用不确定量化图作为指导进行局部语义信息与全局语义信息的自适应融合，用于提升LUCN框架的性能；
S3、利用数据集验证和对比模型的方法：
对步骤S1提出的LUCN框架进行比较验证，用于验证所提方法：多级语义信息的土地覆盖分类框架（LUCN）在复杂土地覆盖分类场景下突出性能。
2.根据权利要求书1所述的基于增强语义表示的遥感影像深度土地利用分类方法，其特征在于：所述步骤S1具体步骤为：
S1.1 LUCN框架构建及优化：
LUCN框架由两个模块组成：多层语义信息的深度卷积网络（DLCN）和全局-局部语义信息集成（GLFM）模块，深度卷积网络DLCN被用作主干架构，通过利用多层次语义特征来增强特征表示能力，利用如下的优化函数得到最优分类模型；
Ω={F*，（ξlocal，ξglocal）} （1）
其中F* 是最优的深度卷积网络（DLCN）模型，ξlocal，ξglocal 是获取到的局部和全局语义特征描述，Ω是最终的融合特征；
S1.2多层语义信息的深度卷积网络（DLCN）构建及优化
多层语义信息的深度卷积网络（DLCN）的作用是有效增强类别语义信息的同时，抑制土地覆盖类别中的冗余和模糊特征表示；深度卷积网络（DLCN）包括三个重要模块：基本网络结构、多尺度特征融合（MGCF）和多类别损失函数（MultiLoss Function）；基本网络结构用于提取基础的特征描述，如下所示：
Figure 968698DEST_PATH_IMAGE001
（2）
其中i，M指特征图和（l-1）是一层；w，b是核参数和偏置参数，f是卷积层；多尺度特征融合（MGCF）目标是保留多层语义信息的深度卷积网络（DLCN）中不同层次的多级语义特征，引入信息熵作为一种注意力策略，以增强有用的类别分类线索；
Figure 195280DEST_PATH_IMAGE002
其中pk（x）是属于k类的像素x的后验概率；H（yk）表示生成的整个图像的熵图，该值越小，预测分布越可靠；此外，H（yk）明确地表现出结果的不确定性，作为增强全局场景线索的指导；使用H（yk）作为注意力分数，自适应地融合多级全局场景信息；具体来说，设定GL、GM和GH分别代表DLCN中的第一层、中间层和后一层；像素x的最终融合全局场景如下所示：
Figure 499223DEST_PATH_IMAGE003
⊙表示元素乘积运算符，concat表示多级全局场景映射的融合过程；此外，融合的数量取决于具体情况；在多级语义信息的土地覆盖分类框架（LUCN）中，选择了第3块、第5块和第6块的输出作为我们的多尺度全局场景；
多类别损失函数考虑到土地覆盖类别严重不平衡对分类结果有巨大的影响，为了更好的利用DLCN的多类学习能力而设计如下损失函数：
Figure 102242DEST_PATH_IMAGE004
Figure 808030DEST_PATH_IMAGE005
该损失函数可以缓解严重类别不平衡情况，Cij是第i类不确定预测为第j类的权重；λ是用于调整前景和场景之间距离的控制参数；当λ越小时，它就成为权重CE；当λ很大时，但它更关心的是前景之间的错误估计；在LUCN框架中，初始λ来自前景样本和场景样本之间的比率。
3.根据权利要求书1所述的基于增强语义表示的遥感影像深度土地利用分类方法，其特征在于：所述步骤S2具体步骤为：
S2.1全局-局部语义信息集成（GLFM）模块构建
多层语义信息的深度卷积网络（DLCN）自动学习多层次的语义信息；全局-局部语义信息集成（GLFM）模块包括：特征不确定性量化和全局-局部融合阶段；
S2.2特征不确定性量化的定义
不确定性量化的核心思想是在基于DLCN初始预测的基础上选择不确定像素，进一步结合局部场景，同时保留某些像素的分布；不确定量化图Q定义为：
Figure 205514DEST_PATH_IMAGE006
；
S2.3全局语义信息和局部语义信息一体化
将多层语义信息的深度卷积网络（DLCN）和全局-局部语义信息集成（GLFM）模块的语义信息进行融合；其中，
Figure 996752DEST_PATH_IMAGE007
是像素m的细化标签，
Figure 403463DEST_PATH_IMAGE008
是在第t次迭代时的最佳细化结果，pm是像素m的后验概率；当在第t次和第（t-1）次迭代足够接近时，迭代停止。
CN202210716053.8A 2022-06-23 2022-06-23 一种基于增强语义表示的遥感影像深度土地利用分类方法 Pending CN115147719A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210716053.8A CN115147719A (zh) 2022-06-23 2022-06-23 一种基于增强语义表示的遥感影像深度土地利用分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210716053.8A CN115147719A (zh) 2022-06-23 2022-06-23 一种基于增强语义表示的遥感影像深度土地利用分类方法

Publications (1)

Publication Number Publication Date
CN115147719A true CN115147719A (zh) 2022-10-04

Family

ID=83408787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210716053.8A Pending CN115147719A (zh) 2022-06-23 2022-06-23 一种基于增强语义表示的遥感影像深度土地利用分类方法

Country Status (1)

Country Link
CN (1) CN115147719A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229285A (zh) * 2023-05-06 2023-06-06 深圳大学 融合物联网数据和空间场景的土壤含水量监测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229285A (zh) * 2023-05-06 2023-06-06 深圳大学 融合物联网数据和空间场景的土壤含水量监测方法
CN116229285B (zh) * 2023-05-06 2023-08-04 深圳大学 融合物联网数据和空间场景的土壤含水量监测方法

Similar Documents

Publication Publication Date Title
CN109086437B (zh) 一种融合Faster-RCNN和Wasserstein自编码器的图像检索方法
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
CN113628294A (zh) 一种面向跨模态通信系统的图像重建方法及装置
Xia et al. A deep Siamese postclassification fusion network for semantic change detection
CN113408605A (zh) 基于小样本学习的高光谱图像半监督分类方法
CN113435253B (zh) 一种多源影像联合城区地表覆盖分类方法
CN111340039B (zh) 一种基于特征选择的目标检测方法
Su et al. ACGT-Net: Adaptive cuckoo refinement-based graph transfer network for hyperspectral image classification
Yang et al. SAGN: Semantic-aware graph network for remote sensing scene classification
Cheng et al. Enhanced contextual representation with deep neural networks for land cover classification based on remote sensing images
CN112801059A (zh) 图卷积网络系统和基于图卷积网络系统的3d物体检测方法
CN111062438A (zh) 基于相关学习的图传播的弱监督细粒度图像分类算法
Fan et al. A novel sonar target detection and classification algorithm
Zheng et al. Multi-task convolution operators with object detection for visual tracking
CN115147719A (zh) 一种基于增强语义表示的遥感影像深度土地利用分类方法
Pratiwi et al. Early detection of deforestation through satellite land geospatial images based on CNN architecture
Yu et al. Remote sensing image classification based on RBF neural network based on fuzzy C-means clustering algorithm
CN114549909A (zh) 一种基于自适应阈值的伪标签遥感图像场景分类方法
CN113128564B (zh) 一种基于深度学习的复杂背景下典型目标检测方法及系统
Pang et al. Over-sampling strategy-based class-imbalanced salient object detection and its application in underwater scene
Li et al. Object detection based on semi-supervised domain adaptation for imbalanced domain resources
Lin et al. Semantic understandings for aerial images via multigrained feature grouping
Chen et al. Alfpn: adaptive learning feature pyramid network for small object detection
CN113343953B (zh) 一种用于遥感场景识别的fgr-am方法和系统
Passah et al. A lightweight deep learning model for classification of synthetic aperture radar images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination