CN113420798A - 基于孪生光谱注意力一致性的高光谱图像分类 - Google Patents
基于孪生光谱注意力一致性的高光谱图像分类 Download PDFInfo
- Publication number
- CN113420798A CN113420798A CN202110641863.7A CN202110641863A CN113420798A CN 113420798 A CN113420798 A CN 113420798A CN 202110641863 A CN202110641863 A CN 202110641863A CN 113420798 A CN113420798 A CN 113420798A
- Authority
- CN
- China
- Prior art keywords
- spectral
- channel
- consistency
- classification
- hyperspectral image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于孪生光谱注意力一致性的高光谱图像分类方法,包括以下步骤:步骤1、数据生成。对从高光谱图像提取的样本数据χ={x1,x2,x3}进行分割操作,分别得到两个空间块大小不同的数据集特征。步骤2、光谱特征细化。对得到的数据集特征送入Dense网络中,将所有高度相关的光谱特征再次细化,获取信息。步骤3、光谱特征增强。通过应用通道注意机制,增强光谱特征,突出关键通道。步骤4、通道一致性正则化。通过对通道一致性假设建模,建立了一种特殊的连接上下分支的纽带。步骤5、将这两个分支的分类损失和信道一致性损失整合到一个统一的网络中,进行端到端训练。将验证集通过训练好的模型,得到最佳训练模型,然后通过测试及得到高光谱图像的分类结果。本发明将光谱注意力一致性模型应用到高光谱图像分类中,并将一致性损失函数应用到高光谱图像的地物分类中,提高了高光图像分类的准确率。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及机器学习和高光谱图像分类技术领域,更具体地,涉及一种基于孪生光谱注意力一致性的高光谱图像分类方法,运用Dense网络、孪生网络、通道注意力模块和通道注意力一致性正则化,其可用于高光谱图像分类。
背景技术
高光谱图像是利用成像光谱仪对某一区域以纳米级的光谱分辨率进行紫外光谱段到红外光谱段的连续成像。作为一种特殊类型的遥感图像,高光谱图像具有丰富的光谱信息,为地物识别创造了良好条件,高光谱图像分类在植被监测、大气环境研究、海洋遥感、城市规划以及其他领域的变化监测等方面具有广泛应用。发展高光谱遥感技术,同时也满足军事和民用对该技术的需求,开展该领域的研究是非常必要而有实际意义的。
近年来,基于深度学习的高光谱分类方法展示了巨大潜力。通过神经网络进行高光谱分类,大大提高了高光谱图像的分类精度。卷积神经网络(CNN)是目前在高光谱图像分类领域应用最多的深度学习网络模型。基于CNN的高光谱图像分类方法主要可以分为三类:基于谱特征的分类方法、基于空间特征的分类方法及基于空谱联合特征的分类方法。
Mou等人在论文“Learning to PayAttention on Spectral Domain:A SpectralAttention Module-Based Convolutional Network for Hyperspectral ImageClassification”中提出光谱注意力模块,使用门控机制,通过选择性的强调信息波段,抑制不太有用的波段,自适应的校准光谱波段。该方法存在不足:只关注了光谱波段信息,忽略了空间信息,无法有效的提取高光谱图像特征,从而无法达到最佳分类效果。
Li等人在论文“Classifification of Hyperspectral Image Based on Double-Branch Dual-Attention Mechanism Network”提出使用两个分支分别应用通道注意模块和空间注意模块来捕获高光谱图像中包含的大量光谱和空间特征,优化提取的特征映射。该方法存在以下不足:经实验证明,所利用的空间注意模块提取的空间信息效果不显著,对分类模型没有起到提升作用,并且,该模型忽略了高光谱图像空间变换下注意力一致性。
发明内容
本发明的目的是针对现有技术的不足,提供一种基于孪生光谱注意力一致性的高光谱图像分类方法,其中,生成不同空间大小的高光谱特征块信息进行光谱特征细化和特征增强,并加入通道一致性正则化连接上下分支,比较两分支之间的区别。利用分类损失和通道结构一致性损失的联合损失共同确定最终的损失函数,从而进行高光谱图像分类。
根据本发明的实施例,提供了一种基于孪生光谱注意力一致性的高光谱图像分类方法,包括以下步骤:步骤1、数据生成。对从高光谱图像提取的样本数据χ={x1,x2,x3}进行分割操作,分别得到两个空间块大小不同的数据集特征。步骤2、光谱特征细化。对得到的数据集特征送入Dense网络中,将所有高度相关的光谱特征再次细化,获取信息。步骤3、光谱特征增强。通过应用通道注意机制,增强光谱特征,突出关键通道。步骤4、通道一致性正则化。通过对通道一致性假设建模,建立了一种特殊的连接上下分支的纽带。步骤5、将这两个分支的分类损失和信道一致性损失整合到一个统一的网络中,进行端到端训练。将验证集通过训练好的模型,得到最佳训练模型,然后通过测试及得到高光谱图像的分类结果。本发明将光谱注意力一致性模型应用到高光谱图像分类中,并将一致性损失函数应用到高光谱图像的地物分类中,提高了高光图像分类的准确率。
由此,本发明的有益效果包括:
(1)基于Dense网络的高光谱图像特征细化,遵循简单的连接规则,自然的整合了图像特征映射的属性、深度监督和多样化的深度,丰富了光谱波段的信息。同时,在实验中,随着参数数量增加, DenseNet倾向于提高准确度的一致性,没有任何性能下降或者过度拟合的迹象,因此,在少量样本的数据集情况下也表现出很好的结果;
(2)基于光谱注意力机制特征增强,可以有效且高效的提取高光谱图像高维的光谱波段信息,解决光谱信息冗余的问题,通过强调光谱波段有用信息,抑制无用信息,自适应的校准光谱波段信息,达到光谱信息利用最大化,从而更准确的获取高光谱图像信息;
(3)通道一致性正则化,将通道注意力一致性应用到高光谱图像的地物分类中,考虑到高光谱图像在空间变换下,通道一致性正则化使网络能够通过强迫上下分支接收同源通道相关性来学习可鉴别的光谱特征的明确方式。
附图说明
图1为根据本发明的实施例的实现基于孪生光谱注意力一致性的高光谱图像分类方法架构示意图;
图2为根据本发明的实施例的基于孪生光谱注意力一致性的高光谱图像分类方法的原理示意图;
图3为根据本发明的实施例的基于孪生光谱注意力一致性的高光谱图像分类方法的流程示意图;
具体实施方式
下面,结合附图对技术方案的实施作进一步的详细描述。
本领域的技术人员能够理解,尽管以下的说明涉及到有关本发明的实施例的很多技术细节,但这仅为用来说明本发明的原理的示例、而不意味着任何限制。本发明能够适用于不同于以下例举的技术细节之外的场合,只要它们不背离本发明的原理和精神即可。
另外,为了避免使本说明书的描述限于冗繁,在本说明书中的描述中,可能对可在现有技术资料中获得的部分技术细节进行了省略、简化、变通等处理,这对于本领域的技术人员来说是可以理解的,并且这不会影响本说明书的公开充分性。
下面结合附图对具体实施方案进行详细描述。
图1为根据本发明的实施例的实现基于孪生光谱注意力一致性的高光谱图像分类方法的架构示意图;图2为根据本发明的实施例的基于孪生光谱注意力一致性的高光谱图像分类方法的原理示意图。如图1和2所示,基于孪生光谱注意力一致性的高光谱图像分类方法,其主要涉及四个功能部分:数据生成部分、光谱特征细化部分、光谱特征增强部分、模型训练和预测分类部分,其中,数据生成部分用于对高光谱图像数据(包括训练集、验证集和测试集)进行预处理,包括图像的清洗、归一化并且利用固定窗口对图像进行分割,为模型生成两个不同大小的数据集。光谱特征细化部分用于对生成的高光谱图像数据进行光谱特征细化,通过DenseNet对丰富的光谱特征进行初步处理,在此过程中,结合孪生网络使上下两个分支具有相同的配置,以及相同的参数和权重。光谱特征增强部分,通过通道注意力模块对光谱特征进行特征增强,强调信息通道,并且运用通道一致性正则化对来自上下两分支的注意力系数做一致性损失。模型训练和预测分类部分,在训练阶段,将生成的两分支训练样本集,同时输入到具有相同配置、参数和权重的DenseNet中,将目标像素及其邻居像素作为输入,经过批处理标准化,以及多个非线性层的深度学习模型学习层次表示,连接前面的卷积层,然后输出的特征输入到通道注意力模块,得到通道注意力系数,通过通道一致性正则化得到一致性损失,再与两分支的分类损失做联合损失,作为训练模型的损失函数。在验证阶段,类似地,将生成的验证集数据输入到训练模型网络中,来监视模型的性能,并且选择最佳的训练模型。在测试阶段,最终的土地覆盖标签是通过平均这两个分支的结果来确定的。然而,信道一致性正则化并没有在测试阶段进行。直接将生成的测试集数据输入到网络中,验证模型的有效性,从而得到高光谱图像分类结果。
具体地,如图3所示,根据本发明的实施例,基于光谱注意力一致性的高光谱图像分类方法包括以下步骤:
步骤S100、对高光谱图像数据进行数据生成,包括数据清洗、数据归一化并且利用固定窗口对图像进行分割,为模型生成两个不同大小块的数据集。其中,数据归一化用于将图像数据统一映射至[0,1] 区间,并利用曲线性方法使数据符合正态分布。图像分割是将预处理的同一张高光谱图像分别分割成不同尺寸大小的立方体块(包括训练集、验证集和测试集);
步骤S200、对生成的高光谱图像数据进行光谱特征细化,包括通过DenseNet对丰富的光谱特征进行初步处理,在此过程中,结合孪生网络使上下两个分支具有相同的配置,以及相同的参数和权重。得到初步细化的光谱特征。
步骤S300、通过通道注意力模块对细化的光谱特征进行特征增强,强调信息通道。得到两个分支的通道注意力系数和强化的光谱特征。
步骤S400、两分支的通道注意力系数通过通道一致性正则化得到一致性损失,再与两分支的分类损失做联合损失,作为训练模型的损失函数。
在训练阶段,使用联合损失函数,定义如下:
L=Lt+Lb+λLc
其中,λ是一个平衡分类损失和通道一致性正则化的超参数。Lt, Lb为分类损失函数,Lc为一致性损失函数,定义如下:
其中,Sk和分别表示原始高光谱图像xk上分支和下分支的最终提取特征,yk表示高光谱图像xk的土地覆盖标签,K表示批次样本数量,L表示土地覆盖标签数量,Γ{yk=l}是指示函数,||·||计算Dk和之间的距离。
为验证本方法,以IndianPines高光谱数据集为例进行分类和测试。IndianPines高光谱数据集是由AVIRIS传感器在印第安纳州西北部的印度松测试现场收集的,由145×145像素和224个光谱反射带组成,波长范围为0.4-2.5×10^(-6)米。此场景是较大场景的子集。印度松树景观包含三分之二的农业和三分之一的森林或其他天然多年生植物。有两条主要的双车道高速公路,一条铁路线,以及一些低密度房屋,其他建筑物和较小的道路。原始数据集共有16个类。每种类别的训练样本数,测试样本数以及总样本数见表1。
表1—IndianPines数据集总样本数、训练、验证、测试样本数量
在上述样本条件下,将本发明的方法基于孪生光谱注意力一致性的高光谱分类方法(SSACC)与SSRN、FDSSC、DBMA、DBDA四种方法进行对比实验,并记录总体分类精度(OA)、平均分类精度(AA)和Kappa系数。实验结果如表2所示。
表2—分类性能对比
在表2中,SSRN是基于3D-CNN和ResNet的高光谱图像分类的方法,FDSSC是基于3D-CNN和DenseNet的高光谱图像分类方法, DBMA是基于3D-CNN、DenseNet和注意力机制的高光谱分类方法, DBDA是基于3D-CNN、DenseNet和光谱注意力、空间注意力的高光谱分类方法。
由表2可以得出,本发明提出的方法具有较好的分类结果,分类效果有不同程度的提升,总体精度与Kappa系数都优于对比方法。
综上所述,本发明的基于孪生光谱注意力一致性的高光谱图像分类方法,该分类方法由两个具有隐式和显式交互作用的分支组成。孪生结构相互作用一定程度上减少了对培训样本数量的需求。信道一致性正则化是显式交互,它是捕获鉴别光谱特征的一个关键。这些方法提高了该网络(SSACC)的分类精度和泛化能力。在参数数量较少的情况下,SSACC能够比最先进的HSI分类方法产生更好的性能。
最后,本领域的技术人员能够理解,对本发明的上述实施例能够做出各种修改、变型、以及替换,其均落入如所附权利要求限定的本发明的保护范围。
Claims (5)
1.一种基于孪生光谱注意力一致性的高光谱图像分类方法,包括以下步骤:
步骤1、数据生成。对从高光谱图像提取的样本数据χ={x1,x2,x3}进行分割操作,分别得到两个空间块大小不同的数据集特征。
步骤2、光谱特征细化。对得到的数据集特征送入Dense网络中,将所有高度相关的光谱特征再次细化,获取信息。
步骤3、光谱特征增强。通过应用通道注意机制,增强光谱特征,突出关键通道。
步骤4、通道一致性正则化。通过对通道一致性假设建模,建立了一种特殊的连接上下分支的纽带。
步骤5、将这两个分支的分类损失和信道一致性损失整合到一个统一的网络中,进行端到端训练。将验证集通过训练好的模型,得到最佳训练模型,然后通过测试及得到高光谱图像的分类结果。
3.根据权利要求1所述的方法,其中,在步骤2中,受Dense网络的启发,光谱Dense块用于初步处理复杂的光谱特征。首先,经过一个卷积核数量为k0的3D卷积层,为了确保原始的空间结构不被改变,我们使用的卷积核为1×1×d,为了减少两个分支的通道数量,进行下采样(1,1,2),上下两个分支得到的特征分别为(p1×p1×c,k0),(p2×p2×c,k0),其中,c=(B-d+1)/2。
然后将得到的特征依次输入m个卷积核为(1×1×d,k1)的光谱密集块,光谱密集块层的设计旨在确保在自动特征学习过程中的最大信息传输,具有直接连接的卷积操作,网络允许将以前的特性传递到所有后续的层,所有的特征得到重用。因此,在经过m个卷积层之后生成的特征分别为(p1×p1×c,k0+mk1),(p2×p2×c,k0+mk1)。
最后,利用一个卷积核为(1×1×c,C)的卷积层生成光谱特征(p1×p1×1,C)和(p2×p2×1,C),其中C为卷积核的个数。
4.根据权利要求1所述的方法,其中,在步骤3中,高光谱图像通过光谱特征细化模块使通道特征得到细化,然而,获取的通道特征对高光谱图像分类的贡献不同,于是,受注意力机制的启发,我们利用注意力一致性,捕获通道之间的相关性,从而自适应的调整波段权重。以上分支为例,首先向光谱注意力模块中输入特征通过重构获得Q∈RC×n,K∈Rn×C,和V∈RC×n其中,n=p1×p1。Q和K之间进行矩阵相乘,获得通道注意力系数D∈RC×C:
E=r(DV)+A
5.根据权利要求1所述的方法,其中,在步骤4和5中,在分类阶段,为了增强隐藏在数据中的非线性内部结构,我们使用批量归一化和非线性层来增强特征E和然后通过全局平均池化层进行挤压,为每一个通道生成一个通道描述符S∈RC,然后发送到具有softmax激活函数的全连接层,以确定最终的类别。我们得到分类损失使用的是交叉熵损失,上下两分支的分类损失如下:
高光谱图像分类方法是将高光谱图像立方体识别为中心像素的标签。因此,同一中心像素的不同视图具有相同的土地覆盖标签,所以我们引入通道一致性正则化提取和判别光谱特征,用于比较光谱特征增强模块中产生的注意力系数D和之间的差异,通道一致性正则化公式为:
最终损失函数不仅注意了正确类别的损失,而且还考虑了通道结构一致性的损失。因此,最终的损失函数被定义为:
L=Lt+Lb+λLc
其中,λ是一个平衡分类损失和通道一致性正则化的超参数。
对于测试,最终的土地覆盖标签是通过平均两个分支的结果来确定的。然而,通道一致性正则化并没有在测试阶段进行。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110641863.7A CN113420798A (zh) | 2021-06-09 | 2021-06-09 | 基于孪生光谱注意力一致性的高光谱图像分类 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110641863.7A CN113420798A (zh) | 2021-06-09 | 2021-06-09 | 基于孪生光谱注意力一致性的高光谱图像分类 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113420798A true CN113420798A (zh) | 2021-09-21 |
Family
ID=77788140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110641863.7A Pending CN113420798A (zh) | 2021-06-09 | 2021-06-09 | 基于孪生光谱注意力一致性的高光谱图像分类 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113420798A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113887645A (zh) * | 2021-10-13 | 2022-01-04 | 西北工业大学 | 一种基于联合注意力孪生网络的遥感图像融合分类方法 |
-
2021
- 2021-06-09 CN CN202110641863.7A patent/CN113420798A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113887645A (zh) * | 2021-10-13 | 2022-01-04 | 西北工业大学 | 一种基于联合注意力孪生网络的遥感图像融合分类方法 |
CN113887645B (zh) * | 2021-10-13 | 2024-02-13 | 西北工业大学 | 一种基于联合注意力孪生网络的遥感图像融合分类方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022160771A1 (zh) | 基于自适应多尺度特征提取模型的高光谱图像分类方法 | |
CN110321963B (zh) | 基于融合多尺度多维空谱特征的高光谱图像分类方法 | |
Li et al. | Automatic organ-level point cloud segmentation of maize shoots by integrating high-throughput data acquisition and deep learning | |
CN103679675B (zh) | 一种面向水质定量遥感应用的遥感影像融合方法 | |
CN111639587B (zh) | 基于多尺度谱空卷积神经网络的高光谱图像分类方法 | |
Liu et al. | Multi-Area Target Attention for Hyperspectral Image Classification | |
Wang et al. | A deep learning framework combining CNN and GRU for improving wheat yield estimates using time series remotely sensed multi-variables | |
Sun et al. | Wheat head counting in the wild by an augmented feature pyramid networks-based convolutional neural network | |
Yang et al. | Fully automated classification method for crops based on spatiotemporal deep-learning fusion technology | |
CN113435254A (zh) | 一种基于哨兵二号影像的耕地深度学习提取方法 | |
CN110647932B (zh) | 一种种植作物结构遥感影像分类方法及装置 | |
Wang et al. | DualSeg: Fusing transformer and CNN structure for image segmentation in complex vineyard environment | |
Deb et al. | LS-Net: A convolutional neural network for leaf segmentation of rosette plants | |
Guo et al. | Dual-concentrated network with morphological features for tree species classification using hyperspectral image | |
Prasher et al. | Analysis of DenseNet201 with SGD optimizer for diagnosis of multiple rice leaf diseases | |
Meng et al. | Fine hyperspectral classification of rice varieties based on attention module 3D-2DCNN | |
CN113420798A (zh) | 基于孪生光谱注意力一致性的高光谱图像分类 | |
Farooque et al. | Red-green-blue to normalized difference vegetation index translation: a robust and inexpensive approach for vegetation monitoring using machine vision and generative adversarial networks | |
Feng et al. | A deep learning framework for crop mapping with reconstructed sentinel-2 time series images | |
Song et al. | Multi-source remote sensing image classification based on two-channel densely connected convolutional networks. | |
Kumawat et al. | Time-variant satellite vegetation classification enabled by hybrid metaheuristic-based adaptive time-weighted dynamic time warping | |
Engstrom et al. | Evaluating the Relationship between Contextual Features Derived from Very High Spatial Resolution Imagery and Urban Attributes: A Case Study in Sri Lanka | |
Xu et al. | Segmentation and counting of wheat spike grains based on deep learning and textural feature | |
Zhang et al. | Apple leaf disease recognition method based on Siamese dilated Inception network with less training samples | |
Cheng et al. | Causal meta-transfer learning for cross-domain few-shot hyperspectral image classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |