CN113111919B - 一种基于深度高分辨率的高光谱图像分类方法 - Google Patents

一种基于深度高分辨率的高光谱图像分类方法 Download PDF

Info

Publication number
CN113111919B
CN113111919B CN202110291562.6A CN202110291562A CN113111919B CN 113111919 B CN113111919 B CN 113111919B CN 202110291562 A CN202110291562 A CN 202110291562A CN 113111919 B CN113111919 B CN 113111919B
Authority
CN
China
Prior art keywords
multiplied
size
feature
resolution
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110291562.6A
Other languages
English (en)
Other versions
CN113111919A (zh
Inventor
郑建炜
刘豪
刘宇
冯宇超
李鹏飞
吴杰
许金山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110291562.6A priority Critical patent/CN113111919B/zh
Publication of CN113111919A publication Critical patent/CN113111919A/zh
Application granted granted Critical
Publication of CN113111919B publication Critical patent/CN113111919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度高分辨率表示学习的高光谱图像分类方法,包括:获取待分类的高光谱图像;利用主成分分析法进行光谱降维;对光谱带中每个像素点取一个固定空间大小的立方体数据,通过一个高分辨率的卷积网络模块,并利用多分辨率网络和多尺度融合来提取特征;采用保持高分辨率表示的方法,从一个高分辨率网络开始,逐步增加高分辨率到低分辨率的子网络,并将多分辨率子网并行链接;采用重复的多尺度融合的方法,对每一个高到低分辨率的表示从其他平行表示反复的接受和融合信息来丰富高分辨率表示,得特征图输出;将特征图输入至全连接网络和Softmax得到预测分类结果。本发明通过一直保持高分辨率表示和重复的多尺度融合,实现了在低训练样本下对高光谱图像的准确分类。

Description

一种基于深度高分辨率的高光谱图像分类方法
技术领域
本发明属于图像处理技术领域,具体涉及基于深度高分辨率的高光谱图像分类方法。
背景技术
高光谱遥感技术是利用高光谱传感器,以连续细分的波段对目标区域同时成像,得到联合空-谱信息的高光谱图像。作为地球观测的重要手段,被广泛应用于精细化农业、环境监测、军事侦测等方面。高光谱图像是一个具有高维度的图像,含有丰富的光谱特征信息和空间特征信息,这不同于自然语言图像。通过将反射目标辐射的光谱波段信息与反映目标二维空间的图像信息整合在一起,能够获得统一的地物信息。然而,高光谱图像的高维特性、波段间高度相关性和光谱混合等特征使得其分类面临巨大挑战。因此,如何高效地提取高光谱图像的光谱和空间信息成为一个亟待解决的问题。
近年来,受视觉系统内在结构的启发,随着深度学习新技术的出现,使得高光谱图像分类得到了突破性的进展,典型方法就是卷积神经网络(Convolutional NeuralNetwork,CNN)。卷积神经网络作为深度学习中的一类重要算法,具有强大的特征学习能力,其结构特点非常适合解决图像领域问题,并在目标检测与追踪、图像分类等领域取得优异的性能。这其中最重要的一点就是高分辨率,当在维持着高分辨率的基础上,逐步的加入和融合低分辨率的信息,从而得到丰富信息特征表示来满足下游的图像分类任务。
发明内容
本发明要克服现有技术的上述缺点,提供基于深度高分辨率特征表示的高光谱图像分类方法,通过深度高分辨率表示模块构建特征提取网络得不同的输出分支,并使用逐级融合相加得到预测特征图,实现了低训练样本下对高光谱图像的准确分类。
为实现上述目的,本发明所采取的技术方案为:
一种基于深度高分辨率表示的高光谱图像分类方法,包括以下步骤:
步骤S1、获取待分类的高光谱图像;
步骤S2、利用主成分分析法对图像进行光谱降维预处理;
步骤S3、对进行处理后的光谱输入到深度高分辨率模块,在维持着原本的高分辨率的基础上,经过信息交互输出包括原尺寸在内的三个不同大小的特征图;
步骤S4、采用从上到下逐级融合相加的方法,融合三个不同大小特征图的空间信息,输出分类预测特征图;
步骤S5、将特征图通过Softmax得到针对待分类的高光谱图像的最终预测分类结果。
作为优选,步骤S2所述利用主成分分析法对高光谱图像进行光谱降维,包括:
S21.令获取的高光谱遥感图像的大小为W×H×L,其中W、H和L分别是图像的宽度、高度和通道数;
S22.重塑高光谱遥感图像至大小为L×N的输入数据X,且N=W×H;
S23.计算输入数据X的协方差矩阵B;
S24.获取输入数据X中最大的k个特征值对应的k个特征向量,并将k个特征向量作为列向量得到投影矩阵P;
S25.建立主成分分析的优化目标函数如下:
minp tr(PTBP),s.t.
其中,I是具L×L大小的单位矩阵,tr(·)和T分别表示矩阵的迹和转置操作;
S26.计算优化目标函数,当计算得到L×k大小的P时,主成分分析输出大小为k×L的降维后的高光谱遥感图像Y,Y=PT×X,则高光谱遥感图像的光谱带尺寸从原始的L减小为k。
作为优选,步骤S3所述的对进行处理后的光谱输入到深度高分辨率模块,在维持着原本的高分辨率的基础上,经过信息交互输出包括原尺寸在内的三个不同大小的特征图,包括:
S31.令模块输入特征图的大小为H×W×K;
S32.通过深度高分辨率特征表示网络得到三个不同尺寸的特征图:尺寸为H×W×C1特征图F1,尺寸为H×W×C2特征图F2,尺寸为H×W×C3特征图F3,其中C1,C2,C3为三个不同分支产生的特征图的通道数。
作为优选,步骤S4所述的采用从上到下逐级融合相加的方法,融合三个不同特征图的空间信息,输出分类预测特征图,包括:
S41.令尺寸为H×W×C1的特征图F1下采样得到与F2相同大小的特征图,然后与原来的F2进行加操作得尺寸为H×W×C2的F12
S42.再令大小为H×W×C2特征图F12下采样得到与F3相同大小的特征图,然后与原来的F12进行加操作得到尺寸为H×W×C3的特征图F。
本发明提供的基于深度高分辨率特征表示的高光谱图像分类方法,利用主成分分析对高光谱图像进行光谱降维,通过深度高分辨率模块构成高分辨特征提取网络,并利用逐步特征融合的方式得到一张具有丰富信息的特征图,充分利用高分辨率和空间特征信息来获得更多的判别特征,显著提高了高光谱图像分类的准确性。
附图说明
图1为本发明的基于深度高分辨率特征表示的高光谱图像分类方法的流程图;
图2为本发明主成分分析处理示意图;
图3为本发明深度高分辨率特征学习模块;
图4为本发明利用不同分支特征融合的方法将三个不同大小的特征图融合获取高分辨率信息的特征图;
图5为本发明利用全卷积和Softmax操作得到最终的预测特征图三层全连接网络对获取的特征向量进行分类的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是在于限制本发明。
其中一个实施例中,提供了一种基于高分辨率特征学习的高光谱图像分类方法,该方法充分利用了高分辨率网络和多尺寸信息交互融合的方法的优点,实现低训练样本下准确分类。
具体的,如图1所示,本实施例中的基于高分辨率特征学习的高光谱图像分类方法,包括以下步骤:
步骤S1、获取待分类的高光谱图像。
为了提高数据处理速度与准确性,首先需要对获取的高光谱图像进行预处理,如图2所示,本实施例中提供的主成分分析预处理方法,具体步骤参见步骤S2。
步骤S2、利用主成分分析法对高光谱图像进行光谱降维。
高维数据包含了过多的冗余信息,使得计算量十分庞大,因此利用主成分分析对高光谱图像进行光谱降维,实现减小光谱带的维度并保留完整的空间信息。
在一实施例中,提供的光谱降维过程如下:
S21.令获取的高光谱遥感图像的大小为W×H×L,其中W、H和L分别是图像的宽度、高度和通道数;
S22.重塑高光谱遥感图像至大小为L×N的输入数据X,且N=W×H;
S23.计算输入数据X的协方差矩阵B;
S24.获取输入数据X中最大的k个特征值对应的k个特征向量,并将k个特征向量作为列向量得到投影矩阵P;
S25.建立主成分分析的优化目标函数如下:
minp tr(PTBP),s.t.
其中,I是具L×L大小的单位矩阵,tr(·)和T分别表示矩阵的迹和转置操作;
S26.计算优化目标函数,当计算得到L×k大小的P时,主成分分析输出大小为k×L的降维后的高光谱遥感图像Y,Y=PT×X,则高光谱遥感图像的光谱带尺寸从原始的L减小为k。
主成分分析法旨在减少光谱维度的情况下保留高光谱遥感图像固有的空间信息。主成分分析通过比较投影空间中数据差异的大小衡量了每个方向的重要性,因此降维后的数据其所含信息量存在差异。所以,数据差异越大,包含的信息量就越大。因此,可以得出如下推论:在主成分分析之后,所含光谱信息量将沿着新生成的光谱带维度按照从大到小重新排列,这将对后续的特征提取过程具有重要影响。
步骤S3、对进行处理后的光谱输入到深度高分辨率模块,在维持着原本的高分辨率的基础上,经过信息交互输出包括原尺寸在内的三个不同大小的特征图,包括:
本实施例中对进行处理后的光谱输入到深度高分辨率模块,在维持着原本的高分辨率的基础上,下采样两次得到两个分支的低分辨率特征图,为了补充通道数减少带来的信息损耗同时让不同分支的信息进行交互得到更丰富特征信息图。
本实施例中深度高分辨率特征表示模块过程如下:
S31.令模块输入特征图的大小为H×W×K;
S32.通过深度高分辨率特征表示网络得到三个不同大小的特征图:大小为H×W×C1特征图F1,大小为H×W×C2特征图F2,大小为H×W×C3特征图F3,其中C1,C2,C3为三个不同分支产生的特征图的通道数。
本实例中,深度高分辨率特征表示模块在整个过程中都保持着高分辨率的表示。该模型分为先后四个阶段,第一阶段下采样到输入图像原有尺寸的1/4。随后,每一个阶段的开始添加从高分辨率通过下采样得到的低分辨率子网,结束前进行重复的多尺度融合,使得每一个分辨率可以重复的从其他分辨率获取信息。最后在第四阶段将所有的并行低分辨率子网的输出上采样到高分辨率子网的尺寸大小,然后通过连接所有的子网的表示获取到具有丰富信息的高分辨率表示。
步骤S4、采用从上到下逐级融合相加的方法,融合三个不同大小特征图的空间信息,输出分类预测特征图,包括:
S41.令尺寸为H×W×C1的特征图F1下采样得到与F2相同大小的特征图,然后与原来的F2进行加操作得尺寸为H×W×C2的F12
S42.再令大小为H×W×C2特征图F12下采样得到与F3相同大小的特征图,然后与原来的F12进行加操作得到尺寸为H×W×C3的特征图F。
步骤S5、将特征图通过Softmax层得到针对待分类的高光谱图像的最终预测分类结果。
本实例中,对于三个不同的特征输出,对于每个输出分支进行升维操作,然后按照分辨率从大到小依次进行下采样,同时从上到下逐级融合相加,最后用一个1x1的全卷积升维。
为得到精准的特征信息,在一实施例中,如图5所示,得到高分辨率特征图后,通过全卷积和Relu得到具有高度丰富信息的特征图,最后使用Softmax输出最终预测分类结果。
本实施例利用主成分分析对高光谱图像进行光谱降维,降低了高光谱输入数据量而加快训练,同时减少频谱带间冗余信息而提高收敛性;并且利用多分支融合网络来补充通道数和从头到尾保持高分辨率来加强语义信息,显著提高了分类的准确性。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (3)

1.一种基于深度高分辨率的高光谱图像分类方法,其特征在于:包括以下步骤:
步骤S1、获取待分类的高光谱图像;
步骤S2、利用主成分分析法对图像进行光谱降维预处理;所述利用主成分分析法对图像进行光谱降维预处理,包括:
S21.令获取的高光谱遥感图像的大小为W×H×L,其中W、H和L分别是图像的宽度、高度和通道数;
S22.重塑高光谱遥感图像至大小为L×N的输入数据X,且N=W×H;
S23.计算输入数据X的协方差矩阵B;
S24.获取输入数据X中最大的k个特征值对应的k个特征向量,并将k个特征向量作为列向量得到投影矩阵P;
S25.建立主成分分析的优化目标函数如下:
minp tr(PTBP),s.t.PTP=I,
其中,I是具L×L大小的单位矩阵,tr(·)和T分别表示矩阵的迹和转置操作;
S26.计算优化目标函数,当计算得到L×k大小的P时,主成分分析输出大小为k×L的降维后的高光谱遥感图像Y,Y=PT×X,则高光谱遥感图像的光谱带尺寸从原始的L减小为k;
步骤S3、对进行处理后的光谱输入到深度高分辨率模块,在维持着原本的高分辨率的基础上,经过信息交互输出包括原尺寸在内的三个不同大小的特征图;所述的对进行处理后的光谱输入到深度高分辨率模块,在维持着原本的高分辨率的基础上,经过信息交互输出包括原尺寸在内的三个不同大小的特征图,包括:
S31.令模块输入特征图的大小为H×W×K,其中H,W为特征图的高度和宽度,K为特征图的通道数;
S32.通过深度高分辨率特征表示网络得到三个不同尺寸的特征图:尺寸为H×W×C1特征图F1,尺寸为H×W×C2特征图F2,尺寸为H×W×C3特征图F3,其中C1,C2,C3为三个不同分支产生的特征图的通道数;
步骤S4、采用从上到下逐级融合相加的方法,融合三个不同大小特征图的空间信息,输出分类预测特征图;
步骤S5、将特征图通过Softmax层得到针对待分类的高光谱图像的最终预测分类结果。
2.如权利要求1所述的一种基于深度高分辨率的高光谱图像分类方法,其特征在于:步骤S4所述的采用从上到下逐级融合相加的方法,融合三个不同特征图的空间信息,输出分类预测特征图,包括:
S41.令尺寸为H×W×C1的特征图F1下采样得到与F2相同大小的特征图,然后与原来的F2进行加操作得尺寸为H×W×C2的F12
S42.再令大小为H×W×C2特征图F12下采样得到与F3相同大小的特征图,然后与原来的F12进行加操作得到尺寸为H×W×C3的特征图F。
3.如权利要求1所述的一种基于深度高分辨率的高光谱图像分类方法,其特征在于:步骤S5所述深度高分辨率网络输出的特征图F,通过全卷积1*1和激活层Relu得到具有高度丰富信息的特征图,最后通过Softmax层输出最终预测分类结果。
CN202110291562.6A 2021-03-18 2021-03-18 一种基于深度高分辨率的高光谱图像分类方法 Active CN113111919B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110291562.6A CN113111919B (zh) 2021-03-18 2021-03-18 一种基于深度高分辨率的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110291562.6A CN113111919B (zh) 2021-03-18 2021-03-18 一种基于深度高分辨率的高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN113111919A CN113111919A (zh) 2021-07-13
CN113111919B true CN113111919B (zh) 2024-05-03

Family

ID=76711866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110291562.6A Active CN113111919B (zh) 2021-03-18 2021-03-18 一种基于深度高分辨率的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN113111919B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744169A (zh) * 2021-09-07 2021-12-03 讯飞智元信息科技有限公司 图像增强方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191736A (zh) * 2020-01-05 2020-05-22 西安电子科技大学 基于深度特征交叉融合的高光谱图像分类方法
CN111310598A (zh) * 2020-01-20 2020-06-19 浙江工业大学 一种基于3维和2维混合卷积的高光谱遥感图像分类方法
CN111783694A (zh) * 2020-07-06 2020-10-16 浙江工业大学 一种基于混合亚像素卷积的高光谱遥感图像分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191736A (zh) * 2020-01-05 2020-05-22 西安电子科技大学 基于深度特征交叉融合的高光谱图像分类方法
CN111310598A (zh) * 2020-01-20 2020-06-19 浙江工业大学 一种基于3维和2维混合卷积的高光谱遥感图像分类方法
CN111783694A (zh) * 2020-07-06 2020-10-16 浙江工业大学 一种基于混合亚像素卷积的高光谱遥感图像分类方法

Also Published As

Publication number Publication date
CN113111919A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN111310598B (zh) 一种基于3维和2维混合卷积的高光谱遥感图像分类方法
CN111160273A (zh) 一种高光谱图像空谱联合分类方法及装置
CN104700100A (zh) 面向高空间分辨率遥感大数据的特征提取方法
CN112381144B (zh) 非欧与欧氏域空谱特征学习的异构深度网络方法
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
Hou et al. Spatial–spectral weighted and regularized tensor sparse correlation filter for object tracking in hyperspectral videos
CN110633640A (zh) 优化PointNet对于复杂场景的识别方法
Li et al. You only train once: Learning a general anomaly enhancement network with random masks for hyperspectral anomaly detection
Mei et al. Lightweight multiresolution feature fusion network for spectral super-resolution
CN113111919B (zh) 一种基于深度高分辨率的高光谱图像分类方法
Sun et al. Siamohot: A lightweight dual siamese network for onboard hyperspectral object tracking via joint spatial-spectral knowledge distillation
Wang et al. Global contextual guided residual attention network for salient object detection
Du et al. Bpr-net: Balancing precision and recall for infrared small target detection
CN115578632A (zh) 基于膨胀卷积的高光谱图像分类方法
Li et al. Incremental learning of infrared vehicle detection method based on SSD
Tan et al. Accurate detection of built-up areas from high-resolution remote sensing imagery using a fully convolutional network
CN115565034A (zh) 基于双流增强网络的红外小目标检测方法
Mu et al. Integration of gradient guidance and edge enhancement into super‐resolution for small object detection in aerial images
Hu et al. Detection of Tea Leaf Blight in Low-Resolution UAV Remote Sensing Images
Lin et al. DBN-based classification of spatial-spectral hyperspectral data
Yang et al. Improving Semantic Segmentation Performance by Jointly Using High Resolution Remote Sensing Image and Ndsm
Kumthekar et al. Redesigning U-Net with dense connection and attention module for satellite based cloud detection
Zhu et al. LRSNet: a high-efficiency lightweight model for object detection in remote sensing
Huang et al. Change detection with cross enhancement of high‐and low‐level change‐related features
Luo et al. A full-scale hierarchical encoder-decoder network with cascading edge-prior for infrared and visible image fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant