CN112766099A - 一种从局部到全局上下文信息提取的高光谱影像分类方法 - Google Patents

一种从局部到全局上下文信息提取的高光谱影像分类方法 Download PDF

Info

Publication number
CN112766099A
CN112766099A CN202110017089.2A CN202110017089A CN112766099A CN 112766099 A CN112766099 A CN 112766099A CN 202110017089 A CN202110017089 A CN 202110017089A CN 112766099 A CN112766099 A CN 112766099A
Authority
CN
China
Prior art keywords
global
context information
local
channel
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110017089.2A
Other languages
English (en)
Other versions
CN112766099B (zh
Inventor
钟燕飞
胡鑫
王心宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110017089.2A priority Critical patent/CN112766099B/zh
Publication of CN112766099A publication Critical patent/CN112766099A/zh
Application granted granted Critical
Publication of CN112766099B publication Critical patent/CN112766099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明针对高光谱影像，公开了一种基于局部到全局注意力机制的上下文信息提取的深度学习高光谱分类方法，主要包括：采用编码和解码的全卷积分类框架，可以同时顾及全局空谱信息，实现快速分类；模仿人类视觉感知机理，在网络的编码器模块设计一种局部到全局上下文信息感知的网络架构，实现顾及上下文信息的高级语义特征提取；在网络的解码器模块，设计一种通道注意力的模块，实现局部‑全局信息的自适应融合。本发明能够适用于海量高维非线性数据结构的高光谱影像精细分类，极大改善了高光谱影像分类结果中错分孤立区域现象，是一种快速精确的地物精细分类方法，可满足高光谱影像实时快速精细分类制图的需求。

Description

一种从局部到全局上下文信息提取的高光谱影像分类方法
技术领域
本发明属于遥感图像处理技术领域，特别涉及一种基于局部到全局注意力机制的上下文信息提取的深度学习高光谱分类方法。
背景技术
分类一直是高光谱遥感影像处理和应用中一项重要研究领域，其丰富的光谱信息可以准确识别地物的属性类别。目前，随着高光谱成像技术的发展，星载、机载、无人机等高光谱观测平台为高光谱地物精细识别提供丰富的数据源。然而，高光谱影像波段间高度相关性、数据呈现高度非线性、同类地物存在“光谱变异”，这使得模型驱动的分类方法在高光谱影像分类中面临严重挑战。
近年来，随着人工智能的蓬勃发展，深度学习理论因具有强大的特征学习和泛化能力，越来越多的学者将其应用在高光谱遥感影像分类领域。目前的深度学习高光谱分类多采用空间块策略，具体为以标记像素为中心，选取三维的空间邻域像素作为网络输入。但是，这种方式仍面临以下问题：(1)只能利用局部的空间信息，会导致分类结果中有错分的孤立区域；(2)最优的空间块大小难以确定，并且其随着影像空间分辨率和地物分布的均质程度来确定。(3)计算成本高，这种方式在预测分类图的时候需要逐像素取空间块进行预测，对于一些比较大的影像需要耗费非常长的时间。
发明内容
本发明针对高光谱影像分类，提出一种局部到全局上下文信息提取的高光谱影像快速分类方法，具有以下三个显著特点。一是采用编码和解码的全卷积分类框架，可以同时顾及全局空谱信息，实现快速分类。其二，模仿人类视觉感知机理，在网络的编码器模块设计一种局部到全局上下文信息感知的网络架构，实现顾及上下文信息的高级语义特征提取。其三，在网络的解码器模块，设计一种通道注意力的模块，实现局部-全局信息的自适应融合。
本发明提供的一种从局部到全局上下文信息提取的高光谱影像分类方法，具体实现步骤如下：
步骤1，对输入影像进行镜像填充；
步骤2，对镜像填充影像进行通道将维；
步骤3，构建高光谱影像分类网络模型，包括以下子步骤；
步骤3.1，使用局部注意力模块进行局部上下文信息提取，获得底层细节特征；
步骤3.2，使用全局注意力模块进行全局上下文信息提取，获得高层语义特征；
步骤3.3，使用通道注意力模块自适应融合底层细节特征和高层语义特征；
步骤3.4，将通道注意力模块最终输出的特征图输入到交叉熵损失函数中，输出Loss值；
步骤3.5，反向传播Loss值更新网络模型参数；
步骤4,将待分类的高光谱影像输入到网络模型中，输出预测分类结果，实现地物类别的精细识别。
进一步的，所述步骤2的实现方式如下，
将镜像填充后的影像X依次经过一个“卷积层-组归一化层-非线性激活层”的网络结构进行通道降维，输出特征图F，其中组归一化考虑高光谱影像光谱连续性。
进一步的，所述步骤3.1的实现方式如下，
步骤3.1.1，设步骤2中通道降维后得到特征图F，将特征图F输入第一个局部上下文信息模块中，提取局部上下文信息感知特征，其输出特征图
Figure BDA0002887317160000021
公式如下：
Figure BDA0002887317160000022
上式中Conv1×1(·)表示1×1卷积；σ(·)表示sigmoid激活函数，输出每个像素的权重；strip(·)表示条带池化操作，对于输入特征图F的一个通道特征x∈Rm×n，具体公式如下：
strip(x)＝Expand(Conv1×1(stripH(x)))+Expand(Conv1×1(stripW(x)))
其中：
Figure BDA0002887317160000031
表示纵向池化操作，
Figure BDA0002887317160000032
表示横向池化操作，Conv1×1表示1×1卷积，其对条带池化输出的特征进行优化；Expand(·)表示扩展操作，使输出的条带特征在各自的方向上进行扩展，使其与输入的特征图x大小一致；最后对扩展的特征进行相加进行融合。
步骤3.1.2，采用步长为2的3×3的卷积对特征图
Figure BDA0002887317160000033
进行特征优化，其目的是增大卷积感受野，降低特征图尺寸，输出特征图
Figure BDA0002887317160000034
步骤3.1.3，将步骤3.1.2输出的特征图
Figure BDA0002887317160000035
输入到第二个局部注意力模块，第二个局部注意力模块特征提取方式与步骤3.1.1相同；然后经过步骤3.1.2进行降采样。通过k个串联的局部注意力模块和步长为2的3×3的卷积依次输出
Figure BDA0002887317160000036
和
Figure BDA0002887317160000037
进一步的，所述步骤3.2的实现方式如下，
全局注意力模块用于对逐层提取的局部注意力特征进行全局上下文信息提取，其输入为最后一个局部注意力模块输出的特征图
Figure BDA0002887317160000038
其经过全局注意力模块输出的特征值Fglobal的步骤包括3部分：
步骤3.2.1全局上下文信息建模。对于输入的特征图
Figure BDA0002887317160000039
其首先采用1个1×1卷积进行特征降维成Rm×n×1，然后将其特征重塑尺寸为Rmn×1×1，随后输入到Softmax分类器中，输出每个像素的上下文信息表征向量Fmodel∈R(mn)×1，随后与重塑特征图
Figure BDA00028873171600000310
逐像素相乘，输出上下文信息建模特征FCM∈Rd×1，具体公式如下所示：
Figure BDA00028873171600000311
其中，x表示特征图
Figure BDA00028873171600000312
上的像素，m,n分别表示特征图的长和宽，i,j表示特征图
Figure BDA0002887317160000041
中像素的序号，Wk表示1×1的卷积。
步骤3.2.2捕获通道间上下文依赖。本专利采用1×1卷积捕捉通道间的上下文依赖关系，具体公式如下：
Fchannel＝Wv2σ(LN((Wv1FCM)))
上式中Wv1和Wv2均表示1×1卷积，LN表示层归一化，σ表示激活函数，本处采用的是ReLU激活函数。
步骤3.2.3上下文信息融合。本专利采用残差连接的方式，将提取的通道上下文信息表征Fchannel与输入特征图
Figure BDA0002887317160000042
相加，其中对于
Figure BDA0002887317160000043
的第i个通道
Figure BDA0002887317160000044
其每个像素均加上Fchannel第i个通道的值Fchannel(i)，最终输出全局上下文信息特征图Fglobal。
进一步的，所述步骤3.3的实现方式如下，
步骤3.3.1将特征图
Figure BDA0002887317160000045
采用双线性插值2倍上采样输出
Figure BDA0002887317160000046
然后将
Figure BDA0002887317160000047
2倍双线性插值的Fglobal串联作为输入特征自适应上下文特征聚合模块的输入，具体公式如下：
Figure BDA0002887317160000048
上式子中，
Figure BDA0002887317160000049
表示对Fglobal进行2倍双线性插值上采样。
步骤3.3.2对输入数据进行通道上下文自适应聚合，具体公式如下：
Figure BDA00028873171600000410
上式中，avgpool(·)表示空间维度平均池化，W1,W2均表示表示1×1卷积，σ1表示ReLU激活函数，σ2表示sigmoid激活函数，其输出不同通道的上下文聚合权重。最后将通道权重与串联特征Fconnect相乘输出最终的自适应上下文聚合特征。
步骤3.3.3将步骤3.3.2输出的特征图
Figure BDA00028873171600000411
进行双线性插值上采样，然后与
Figure BDA00028873171600000412
4倍线性插值的Fglobal串联输入到下一个自适应聚合模块中。通过k个个串联的自适应聚合模块，依次输出
Figure BDA00028873171600000413
进一步的，所述步骤3.4的实现方式如下，
将特征图
Figure BDA0002887317160000051
输入到交叉熵损失函数中，输出loss值，采用反向传播算法更新网络参数fnetwork(·)，其中交叉熵损失函数公式如下：
Figure BDA0002887317160000052
上式中，yik表示特征图
Figure BDA0002887317160000053
中的任一标记像素xi的真实标签，
Figure BDA0002887317160000054
表示像素xi预测的标签向量，N是该影像的类别总数，K是类别数量。
进一步的，所述步骤4的实现方式如下，
将待分类的高光谱影像X1,X2,…Xn输入到网络模型fnetwork(·)，将网络模型输出的特征图采用Softmax分类器输出类别。
本发明方法具有以下显著效果：(1)采用编码和解码的全卷积分类框架，可以同时顾及全局空谱信息，实现快速分类；(2)模仿人类视觉感知机理，在网络的编码器模块设计一种局部到全局上下文信息感知的网络架构，实现顾及上下文信息的高级语义特征提取；在网络的解码器模块，设计一种通道注意力的模块，实现局部-全局信息的自适应融合，有效改善分类结果中的孤立错分区域。
附图说明
图1是本发明实施例1的步骤1中所输入的高光谱影像。
图2是本发明实施例1的步骤3.1中局部注意力模块网络结构图。
图3是本发明实施例1的步骤3.2中全局注意力模块网络结构图。
图4是本发明实施例1的步骤3.3中通道注意力模块网络结构图。
图5是本发明实施例1的步骤4中所输出高光谱影像精细分类结果。
图6是本发明实施例1的流程图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例1：
本发明提供的一种从局部到全局上下文信息提取的高光谱影像分类方法，包括以下步骤：
步骤1，输入一幅待分类影像WHU-Hi-HongHu，如图1所示，将其空间尺寸镜像填充为8的倍数。
步骤2，对镜像填充影像进行通道降维，本步骤进一步包括：
将镜像填充后的影像X依次经过一个“卷积层-组归一化层-非线性激活层”的网络结构进行通道降维，输出特征图F，其中组归一化考虑高光谱影像光谱连续性。
步骤3.使用局部注意力模块进行局部上下文信息提取，如图2所示。本步骤进一步包括：
步骤3.1，设步骤2中通道降维后得到特征图F，将特征图F输入第一个局部上下文信息模块中，提取局部上下文信息感知特征，其输出特征图
Figure BDA0002887317160000061
公式如下：
Figure BDA0002887317160000062
上式中Conv1×1(·)表示1×1卷积；σ(·)表示sigmoid激活函数，输出每个像素的权重；strip(·)表示条带池化操作，对于输入特征图F的一个通道特征x∈Rm×n，具体公式如下：
strip(x)＝Expand(Conv1×1(stripH(x)))+Expand(Conv1×1(stripW(x)))
其中：
Figure BDA0002887317160000063
表示纵向池化操作，
Figure BDA0002887317160000064
表示横向池化操作，Conv1×1表示1×1卷积，其对条带池化输出的特征进行优化；Expand(·)表示扩展操作，使输出的条带特征在各自的方向上进行扩展，使其与输入的特征图x大小一致；最后对扩展的特征进行相加进行融合。
步骤3.2，采用步长为2的3×3的卷积对特征图
Figure BDA0002887317160000065
进行特征优化，其目的是增大卷积感受野，降低特征图尺寸，输出特征图
Figure BDA0002887317160000066
步骤3.3，将步骤3.2输出的特征图
Figure BDA0002887317160000067
输入到第二个局部注意力模块，第二个局部注意力模块特征提取方式与步骤3.1相同；然后经过步骤3.2进行降采样，通过k个串联的局部注意力模块和步长为2的3×3的卷积依次输出
Figure BDA0002887317160000071
和
Figure BDA0002887317160000072
步骤4，使用全局注意力模块进行全局上下文信息提取，如图3所示。本步骤进一步包括：
全局注意力模块用于对逐层提取的局部注意力特征进行全局上下文信息提取，其输入为最后一个局部注意力模块输出的特征图
Figure BDA0002887317160000073
其经过全局注意力模块输出的特征值Fglobal的步骤包括3部分：
步骤4.1，全局上下文信息建模；对于输入的特征图
Figure BDA0002887317160000074
首先采用1个1×1卷积进行特征降维成Rm×n×1，然后将其特征重塑尺寸为Rmn×1×1，随后输入到Softmax分类器中，输出每个像素的上下文信息表征向量Fmodel∈R(mn)×1，随后与重塑特征图
Figure BDA0002887317160000075
逐像素相乘，输出上下文信息建模特征FCM∈Rd×1，具体公式如下所示：
Figure BDA0002887317160000076
其中，x表示特征图
Figure BDA0002887317160000077
上的像素，m,n分别表示特征图的长和宽，i,j表示特征图
Figure BDA0002887317160000078
中像素的序号，Wk表示1×1的卷积，d为维度；
步骤4.2，捕获通道间上下文依赖。本专利采用1×1卷积捕捉通道间的上下文依赖关系，具体公式如下：
Fchannel＝Wv2σ(LN((Wv1FCM)))
上式中Wv1和Wv2均表示1×1卷积，LN表示层归一化，σ表示激活函数，本处采用的是ReLU激活函数。
步骤4.3，上下文信息融合。本专利采用残差连接的方式，将提取的通道上下文信息表征Fchannel与输入特征图
Figure BDA0002887317160000079
相加，其中对于
Figure BDA00028873171600000710
的第i个通道
Figure BDA00028873171600000711
其每个像素均加上Fchannel第i个通道的值Fchannel(i)，最终输出全局上下文信息特征图Fglobal。
步骤5.使用通道注意力模块自适应融合底层细节特征和高层语义特征，如图4所示。本步骤进一步包括：
步骤5.1，将特征图
Figure BDA0002887317160000081
采用双线性插值2倍上采样输出
Figure BDA0002887317160000082
然后将
Figure BDA0002887317160000083
Figure BDA0002887317160000084
2倍双线性插值的Fglobal串联作为输入特征自适应上下文特征聚合模块的输入，具体公式如下：
Figure BDA0002887317160000085
上式子中，
Figure BDA0002887317160000086
表示对Fglobal进行2倍双线性插值上采样。
步骤5.2，对输入数据进行通道上下文自适应聚合，具体公式如下：
Figure BDA0002887317160000087
上式中，avgpool(·)表示空间维度平均池化，W1,W2均表示表示1×1卷积，σ1表示ReLU激活函数，σ2表示sigmoid激活函数，其输出不同通道的上下文聚合权重。最后将通道权重与串联特征Fconnect相乘输出最终的自适应上下文聚合特征。
步骤5.3，将步骤5.2输出的特征图
Figure BDA0002887317160000088
进行双线性插值上采样，然后与
Figure BDA0002887317160000089
4倍线性插值的Fglobal串联输入到下一个自适应聚合模块中，通过k个个串联的自适应聚合模块，依次输出
Figure BDA00028873171600000810
步骤6，反向传播Loss值更新网络模型参数，本步骤进一步包括：
将特征图
Figure BDA00028873171600000811
输入到交叉熵损失函数中，输出loss值，采用反向传播算法更新网络参数fnetwork(·)。其中交叉熵损失函数公式如下：
Figure BDA00028873171600000812
上式中，yik表示特征图
Figure BDA00028873171600000813
中的任一标记像素xi的真实标签，
Figure BDA00028873171600000814
表示像素xi预测的标签向量，N是该影像的类别总数，K是类别数量。
步骤7，待分类的高光谱影像输入到网络模型中，输出预测分类结果，实现地物类别的精细识，识别结果如图5所示。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种从局部到全局上下文信息提取的高光谱影像分类方法，其特征在于，包括如下步骤：
步骤1，对输入影像进行镜像填充；
步骤2，对镜像填充影像进行通道将维；
步骤3，构建高光谱影像分类网络模型，包括以下子步骤；
步骤3.1，使用局部注意力模块进行局部上下文信息提取，获得底层细节特征；
步骤3.2，使用全局注意力模块进行全局上下文信息提取，获得高层语义特征；
步骤3.3，使用通道注意力模块自适应融合底层细节特征和高层语义特征；
步骤3.4，将通道注意力模块最终输出的特征图输入到交叉熵损失函数中，输出Loss值；
步骤3.5，反向传播Loss值更新网络模型参数；
步骤4，将待分类的高光谱影像输入到训练好的网络模型中，输出预测分类结果，实现地物类别的精细识别。
2.如权利要求1所述的一种从局部到全局上下文信息提取的高光谱影像分类方法，其特征在于：所述步骤2的实现方式如下，
将镜像填充后的影像X依次经过一个“卷积层-组归一化层-非线性激活层”的网络结构进行通道降维，输出特征图F，其中组归一化考虑高光谱影像光谱连续性。
3.如权利要求1所述的一种从局部到全局上下文信息提取的高光谱影像分类方法，其特征在于：所述步骤3.1的实现方式如下，
步骤3.1.1，设步骤2中通道降维后得到特征图F，将特征图F输入第一个局部上下文信息模块中，提取局部上下文信息感知特征，其输出特征图
Figure FDA0002887317150000011
公式如下：
Figure FDA0002887317150000012
上式中Conv1×1(·)表示1×1卷积；σ(·)表示sigmoid激活函数，输出每个像素的权重；strip(·)表示条带池化操作，对于输入特征图F的一个通道特征x∈RH×W，具体公式如下：
strip(x)＝Expand(Conv1×1(stripH(x)))+Expand(Conv1×1(stripW(x)))
其中：
Figure FDA0002887317150000021
表示纵向池化操作，
Figure FDA0002887317150000022
表示横向池化操作，Conv1×1表示1×1卷积，其对条带池化输出的特征进行优化；Expand(·)表示扩展操作，使输出的条带特征在各自的方向上进行扩展，使其与输入的特征图x大小一致；最后对扩展的特征进行相加进行融合；
步骤3.1.2，采用步长为2的3×3的卷积对特征图
Figure FDA0002887317150000023
进行特征优化，其目的是增大卷积感受野，降低特征图尺寸，输出特征图
Figure FDA0002887317150000024
步骤3.1.3，将步骤3.1.2输出的特征图
Figure FDA0002887317150000025
输入到第二个局部注意力模块，第二个局部注意力模块特征提取方式与步骤3.1.1相同；然后经过步骤3.1.2进行降采样，通过k个串联的局部注意力模块和步长为2的3×3的卷积依次输出
Figure FDA0002887317150000026
和
Figure FDA0002887317150000027
4.如权利要求3所述的一种从局部到全局上下文信息提取的高光谱影像分类方法，其特征在于：所述步骤3.2的实现方式如下，
全局注意力模块用于对逐层提取的局部注意力特征进行全局上下文信息提取，其输入为最后一个局部注意力模块输出的特征图
Figure FDA0002887317150000028
其经过全局注意力模块输出的特征值Fglobal的步骤包括3部分：
步骤3.2.1，全局上下文信息建模；对于输入的特征图
Figure FDA0002887317150000029
首先采用1个1×1卷积进行特征降维成Rm×n×1，然后将其特征重塑尺寸为Rmn×1×1，随后输入到Softmax分类器中，输出每个像素的上下文信息表征向量Fmodel∈R(mn)×1，随后与重塑特征图
Figure FDA00028873171500000210
逐像素相乘，输出上下文信息建模特征FCM∈Rd×1，具体公式如下所示：
Figure FDA0002887317150000031
其中，x表示特征图
Figure FDA0002887317150000032
上的像素，m,n分别表示特征图的长和宽，i,j表示特征图
Figure FDA0002887317150000033
中像素的序号，Wk表示1×1的卷积；
步骤3.2.2捕获通道间上下文依赖；采用1×1卷积捕捉通道间的上下文依赖关系，具体公式如下：
Fchannel＝Wv2σ(LN((Wv1FCM)))
上式中Wv1和Wv2均表示1×1卷积，LN表示层归一化，σ表示激活函数；
步骤3.2.3上下文信息融合；采用残差连接的方式，将提取的通道上下文信息表征Fchannel与输入特征图
Figure FDA0002887317150000034
相加，其中对于
Figure FDA0002887317150000035
的第i个通道
Figure FDA0002887317150000036
其每个像素均加上Fchannel第i个通道的值Fchannel(i)，最终输出全局上下文信息特征图Fglobal。
5.如权利要求4所述的一种从局部到全局上下文信息提取的高光谱影像分类方法，其特征在于：所述步骤3.3的实现方式如下，
步骤3.3.1，将特征图
Figure FDA0002887317150000037
采用双线性插值2倍上采样输出
Figure FDA0002887317150000038
然后将
Figure FDA0002887317150000039
2倍双线性插值的Fglobal串联作为输入特征自适应上下文特征聚合模块的输入，具体公式如下：
Figure FDA00028873171500000310
上式子中，
Figure FDA00028873171500000311
表示对Fglobal进行2倍双线性插值上采样；
步骤3.3.2，对输入数据进行通道上下文自适应聚合，具体公式如下：
Figure FDA00028873171500000312
上式中，avgpool(·)表示空间维度平均池化，W1,W2均表示1×1卷积，σ1表示ReLU激活函数，σ2表示sigmoid激活函数，其输出不同通道的上下文聚合权重，最后将通道权重与串联特征Fconnect相乘输出最终的自适应上下文聚合特征；
步骤3.3.3，将步骤3.3.2输出的特征图
Figure FDA0002887317150000041
进行双线性插值上采样，然后与
Figure FDA0002887317150000042
4倍线性插值的Fglobal串联输入到下一个自适应聚合模块中，通过k个个串联的自适应聚合模块，依次输出
Figure FDA0002887317150000043
6.如权利要求5所述的一种从局部到全局上下文信息提取的高光谱影像分类方法，其特征在于：所述步骤3.4的实现方式如下，
将特征图
Figure FDA0002887317150000044
输入到交叉熵损失函数中，输出loss值，采用反向传播算法更新网络参数fnetwork(·)，其中交叉熵损失函数公式如下：
Figure FDA0002887317150000045
上式中，yik表示特征图
Figure FDA0002887317150000046
中的任一标记像素xi的真实标签，
Figure FDA0002887317150000047
表示像素xi预测的标签向量，N是该影像的类别总数，K是类别数量；
将待分类的高光谱影像X1,X2,…Xn输入到网络模型fnetwork(·)，将网络模型输出的特征图采用Softmax分类器输出类别。
CN202110017089.2A 2021-01-07 2021-01-07 一种从局部到全局上下文信息提取的高光谱影像分类方法 Active CN112766099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110017089.2A CN112766099B (zh) 2021-01-07 2021-01-07 一种从局部到全局上下文信息提取的高光谱影像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110017089.2A CN112766099B (zh) 2021-01-07 2021-01-07 一种从局部到全局上下文信息提取的高光谱影像分类方法

Publications (2)

Publication Number Publication Date
CN112766099A true CN112766099A (zh) 2021-05-07
CN112766099B CN112766099B (zh) 2022-06-07

Family

ID=75700430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110017089.2A Active CN112766099B (zh) 2021-01-07 2021-01-07 一种从局部到全局上下文信息提取的高光谱影像分类方法

Country Status (1)

Country Link
CN (1) CN112766099B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486981A (zh) * 2021-07-30 2021-10-08 西安电子科技大学 基于多尺度特征注意力融合网络的rgb图像分类方法
CN115860271A (zh) * 2023-02-21 2023-03-28 杭州唛扑网络科技有限公司 艺术设计用方案管理系统及其方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872306A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 医学图像分割方法、装置和存储介质
CN110084159A (zh) * 2019-04-15 2019-08-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法
CN111291759A (zh) * 2020-01-17 2020-06-16 北京三快在线科技有限公司 文字检测方法、装置、电子设备及存储介质
CN111814607A (zh) * 2020-06-24 2020-10-23 中国地质大学（武汉） 一种适用于小样本高光谱影像分类的深度学习模型
US20200364870A1 (en) * 2019-05-14 2020-11-19 University-Industry Cooperation Group Of Kyung Hee University Image segmentation method and apparatus, and computer program thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872306A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 医学图像分割方法、装置和存储介质
CN110084159A (zh) * 2019-04-15 2019-08-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法
US20200364870A1 (en) * 2019-05-14 2020-11-19 University-Industry Cooperation Group Of Kyung Hee University Image segmentation method and apparatus, and computer program thereof
CN111291759A (zh) * 2020-01-17 2020-06-16 北京三快在线科技有限公司 文字检测方法、装置、电子设备及存储介质
CN111814607A (zh) * 2020-06-24 2020-10-23 中国地质大学（武汉） 一种适用于小样本高光谱影像分类的深度学习模型

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HONGWEN DONG等: "PGA-Net:Pyramid Feature Fusion and Global Context Attention Network for Automated Surface Defect Detection", 《IEEE TRANSACTION ON INDUSTRIAL INFORMATICS》 *
兰竹: "基于中高分辨率遥感影像人工地表提取方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486981A (zh) * 2021-07-30 2021-10-08 西安电子科技大学 基于多尺度特征注意力融合网络的rgb图像分类方法
CN113486981B (zh) * 2021-07-30 2023-02-07 西安电子科技大学 基于多尺度特征注意力融合网络的rgb图像分类方法
CN115860271A (zh) * 2023-02-21 2023-03-28 杭州唛扑网络科技有限公司 艺术设计用方案管理系统及其方法

Also Published As

Publication number Publication date
CN112766099B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN110059772B (zh) 基于多尺度解码网络的遥感图像语义分割方法
CN112396607B (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN113469094A (zh) 一种基于多模态遥感数据深度融合的地表覆盖分类方法
CN114202672A (zh) 一种基于注意力机制的小目标检测方法
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN111401436B (zh) 一种融合网络和双通道注意力机制的街景图像分割方法
CN109886066A (zh) 基于多尺度和多层特征融合的快速目标检测方法
CN113902915A (zh) 一种基于低光照复杂道路场景下的语义分割方法及系统
CN112766099B (zh) 一种从局部到全局上下文信息提取的高光谱影像分类方法
CN111582483A (zh) 基于空间和通道联合注意力机制的无监督学习光流估计方法
CN112465718B (zh) 一种基于生成对抗网络的两阶段图像修复方法
CN113269054B (zh) 一种基于时空2d卷积神经网络的航拍视频分析方法
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN112861970B (zh) 一种基于特征融合的细粒度图像分类方法
CN116469100A (zh) 一种基于Transformer的双波段图像语义分割方法
CN111931779A (zh) 一种基于条件可预测参数的图像信息提取与生成方法
CN116486074A (zh) 一种基于局部和全局上下文信息编码的医学图像分割方法
CN110689065A (zh) 一种基于扁平混合卷积神经网络的高光谱图像分类方法
CN114842216A (zh) 一种基于小波变换的室内rgb-d图像语义分割方法
CN115035298A (zh) 基于多维注意力机制的城市街景语义分割增强方法
CN116403103A (zh) 基于四维生成对抗网络的遥感图像分析及蓝藻水华预测方法
CN114782798A (zh) 一种基于注意力融合的水下目标检测方法
CN117576402B (zh) 一种基于深度学习的多尺度聚合Transformer遥感图像语义分割方法
CN114022356A (zh) 基于小波域的河道流量水位遥感图像超分辨率方法与系统
CN116758349A (zh) 基于多尺度超像素节点聚合图卷积残差网络的高光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant