CN116563649B - 基于张量映射网络的高光谱图像轻量化分类方法及装置 - Google Patents

基于张量映射网络的高光谱图像轻量化分类方法及装置 Download PDF

Info

Publication number
CN116563649B
CN116563649B CN202310836681.4A CN202310836681A CN116563649B CN 116563649 B CN116563649 B CN 116563649B CN 202310836681 A CN202310836681 A CN 202310836681A CN 116563649 B CN116563649 B CN 116563649B
Authority
CN
China
Prior art keywords
layer
hyperspectral image
hyperspectral
constructing
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310836681.4A
Other languages
English (en)
Other versions
CN116563649A (zh
Inventor
李恒超
林知心
马天宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202310836681.4A priority Critical patent/CN116563649B/zh
Publication of CN116563649A publication Critical patent/CN116563649A/zh
Application granted granted Critical
Publication of CN116563649B publication Critical patent/CN116563649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Remote Sensing (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于张量映射网络的高光谱图像轻量化分类方法及装置，涉及遥感图像处理技术领域，包括获取高光谱图像数据集和待分类的高光谱图像；对高光谱图像数据集和待分类的高光谱图像进行预处理；构建神经网络分类模型，神经网络分类模型先提取初级语义特征，并以初级语义特征提取局部空谱特征和全局光谱特征，然后以局部空谱特征和全局光谱特征做出高光谱图像分类的神经网络模型；根据高光谱图像数据集训练神经网络分类模型，得到分类模型；根据分类模型对高光谱图像进行分类，得到分类结果。本发明通过初级语义特征提取局部空谱特征和全局光谱特征，并整合局部空谱特征和全局光谱特征，在有限的计算和存储资源下完成更高效准确的分类。

Description

基于张量映射网络的高光谱图像轻量化分类方法及装置
技术领域
本发明涉及遥感图像处理技术领域，具体而言，涉及基于张量映射网络的高光谱图像分类、装置、设备及可读存储介质。
背景技术
高光谱图像具有波段数目多、光谱分辨率高、信息量丰富、“图谱合一”等特点，在目标检测和精确分类中占据得天独厚的优势。目前，高光谱图像分类作为高光谱图像处理的关键步骤之一。
其中高光谱图像分类一般采用深度学习模型进行学习分类，然而，较多的训练参数和较高的计算复杂度导致性能优异的高光谱图像分类模型难以实际部署在计算和存储资源受限的机载或星载载荷中。故，现在亟需一种轻量化高光谱图像分类方法。
发明内容
本发明的目的在于提供一种基于张量映射网络的高光谱图像分类、装置、设备及可读存储介质，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
第一方面，本申请提供了一种基于张量映射网络的高光谱图像分类方法，包括：获取高光谱图像数据集和待分类的高光谱图像，所述高光谱图像数据集包括至少两个原始的高光谱图像和每个高光谱图像对应的类别；对高光谱图像数据集和待分类的高光谱图像进行预处理，并更新高光谱图像数据集和待分类的高光谱图像为预处理后的数据；构建神经网络分类模型，所述神经网络分类模型先提取初级语义特征，并以初级语义特征提取局部空谱特征和全局光谱特征，然后以局部空谱特征和全局光谱特征做出高光谱图像分类的神经网络模型；根据高光谱图像数据集训练神经网络分类模型，得到分类模型；根据所述分类模型对待分类的高光谱图像进行分类，得到分类结果。
第二方面，本申请还提供了一种基于张量映射网络的高光谱图像轻量化分类装置，包括：获取单元，用于获取高光谱图像数据集和待分类的高光谱图像，所述高光谱图像数据集包括至少两个原始的高光谱图像和每个高光谱图像对应的类别；预处理单元，用于对高光谱图像数据集和待分类的高光谱图像进行预处理，并更新高光谱图像数据集和待分类的高光谱图像为预处理后的数据；模型构建单元，用于构建神经网络分类模型，所述神经网络分类模型为依次提取高光谱图像中初级语义特征、局部空谱特征和全局光谱特征并以此做出高光谱图像分类的神经网络模型；模型训练单元，用于根据高光谱图像数据集训练神经网络分类模型，得到分类模型；图像分类单元，用于根据所述分类模型对待分类的高光谱图像进行分类，得到分类结果。
本发明的有益效果为：
1、本发明通过初级语义特征提取局部空谱特征和全局光谱特征，并整合局部空谱特征和全局光谱特征，能够在有限的计算和存储资源下完成更高效准确的高光谱图像分类；
2、本发明通过三因子张量映射卷积单元和四因子张量映射卷积单元使用原始卷积核经过全连接张量网络分解得到的三/四个具有全连接结构的小尺寸卷积核作为参数，有效减小了标准三维卷积层的计算量和参数量，同时提高了单元的表达能力；
3、本发明通过的三维双分支模块利用通道分割操作减少了特征图的通道数，同时，双分支结构共享同一组权重参数，降低了高光谱图像局部空谱特征提取过程的复杂度。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的基于张量映射网络的高光谱图像分类流程示意图；
图2为本发明实施例中所述的模型架构处理流程示意图；
图3为本发明实施例中所述的基于张量映射网络的高光谱图像分类装置结构示意图；
图中标记：1、获取单元；2、预处理单元；21、归一化处理单元；22、截取数据块单元；3、模型构建单元；31、第一构造单元；32、第二构造单元；321、第六构造单元；322、第七构造单元；323、第八构造单元；33、第三构造单元；34、第四构造单元；35、第五构造单元；4、模型训练单元；41、批次划分单元；42、函数构建单元；43、参数更新单元；5、图像分类单元。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1：
本实施例提供了一种基于张量映射网络的高光谱图像分类方法。
参见图1，图中示出了本方法包括步骤S100、步骤S200、步骤S300、步骤S400和步骤S500。
S100、获取高光谱图像数据集和待分类的高光谱图像，高光谱图像数据集包括至少两个原始的高光谱图像和每个高光谱图像对应的类别。
需要说明的是在本申请中可以从公开网站获取高光谱图像数据集，以此达到获得对神经网络分类模型的历史数据。
S200、对高光谱图像数据集和待分类的高光谱图像进行预处理，并更新高光谱图像数据集和待分类的高光谱图像为预处理后的数据。
S300、构建神经网络分类模型，神经网络分类模型先提取初级语义特征，并以初级语义特征提取局部空谱特征和全局光谱特征，然后以局部空谱特征和全局光谱特征做出高光谱图像分类的神经网络模型。
S400、根据高光谱图像数据集训练神经网络分类模型，得到分类模型。
需要说明的是，在本步骤进行神经网络分类模型训练的过程是将高光谱图像数据集中每个中类别选取5%出来作为训练集进行训练，其余样本均用于测试集。
S500、根据分类模型对待分类的高光谱图像进行分类，得到分类结果。
在本实施例中通过上述初级语义特征提取局部空谱特征和全局光谱特征，并整合局部空谱特征全局光谱特征，能够在有限的计算和存储资源下完成更高效准确的高光谱图像分类。
具体而言，在一些具体的实施例中步骤S200中包括步骤S210和步骤S220。
S210、对高光谱图像数据集进行归一化处理，得到归一化处理后的高光谱图像数据集，其中，归一化处理后的高光谱图像数据集中每个高光谱图像的每个像素点的取值范围在[0,1]之间。
S220、根据预设的采样窗口，逐个对所有目标高光谱图像的每个像素点为中心进行数据块截取，得到高光谱图像对应的至少两个高光谱图像数据块，其中，目标高光谱图像为归一化处理后的高光谱图像数据集中任意一个高光谱图像。
需要说明的是，在本申请中预设的采样窗口的尺寸为9×9的大小。通过上述方式对数据进行处理，首先归一化的数据有利于进行数据运算，同时采用9×9的数据采样能有效的减少特征起始数据量。
进一步地，在本申请中步骤S300中还包括步骤S310、步骤S320、步骤S330、步骤S340和步骤S350以完成对高光谱图像的分类。
S310、构建三维卷积层。
S320、构建三维双分支模块，三维双分支模块包括至少一个由一个三维层和一个三因子张量映射卷积层组成提取单元以提取高光谱图像的局部空谱特征，三维双分支模块的输入信息为三维卷积层的输出信息。
S330、特征拼接层，特征拼接层用于将三维双分支模块的输入信息和三维卷积层的输出信息进行特征拼接。
S340、构建全局光谱信息学习层，全局光谱信息学习层包括四因子张量映射卷积层用于提取高光谱图像的全局光谱信息，四因子张量映射卷积层的输入信息为特征拼接层的特征拼接结果。
需要说明的是，在本申请中四因子张量映射卷积单元的数学表达式为：
其中，表示空间卷积核，/>表示光谱卷积核，/>为输入通道卷积核，/>是输出通道卷积核，为四因子张量映射卷积单元中全连接张量网络分解的秩，/>是输入数据/>的第/>个元素。/>和/>分别表示卷积核的高度和长度；和/>是输入和输出通道数，/>，/>和/>为输入数据的高度、宽度和长度；/>，/>和/>表示输出数据的高度、宽度以及长度，r1,2为R1,2的索引坐标，r1,4为R1,4的索引坐标，r2,3为R2,3的索引坐标，r2,4为R2,4的索引坐标，r3,4为R3,4的索引坐标。其中，关于秩的确认方式为现有技术张量化内容，本申请不再赘述。
同时，还需要说明的是本申请的四因子张量映射卷积单元后面还建立一个BN层和一个ReLU非线性激活函数层。
S350、依次构建全局平均池化层、全连接层和Softmax层，全局光谱信息学习层输出信息依次经过全局平均池化层和全连接层，最后通过Softmax层生成分类结果。
在本实施例中通过三因子张量映射卷积单元和四因子张量映射卷积单元使用原始卷积核经过全连接张量网络分解得到的三/四个具有全连接结构的小尺寸卷积核作为参数，有效减小了标准三维卷积层的计算量和参数量，同时提高了单元的表达能力。
同时，进一步地在本申请中还提供一种三维双分支模块构建方式或者时三维双分支模块的构架。
具体而言，在本申请中步骤S320中包括步骤S321、
S321、构建通道分割层，通道分割层将输入数据沿通道维度分割，得到两个子数据，两个子数据的通道维度相等。
S322、构建两个分支单元，每个分支单元依次包括一个三维层和一个三因子张量映射卷积层以提取高光谱图像的局部空谱特征，两个分支单元的权重共享设置，两个分支单元的输入信息分别为一个子数据。
其中需要说明的是，在本申请中三因子张量映射卷积单元的数学表达式为：
其中，为三因子张量映射卷积单元的输入数据，/>为输出数据，/>表示空谱卷积核，/>为输入通道卷积核，/>是输出通道卷积核/>和/>分别表示卷积核的高度和长度；/>和/>是输入和输出通道数，/>，和/>为输入数据的高度、宽度和长度；/>，/>和/>表示输出数据的高度、宽度以及长度，/>为三因子张量映射卷积单元中全连接张量网络分解的秩，r1,2为R1,2的索引坐标，r1,4为R1,4的索引坐标，r2,3为R2,3的索引坐标，r2,4为R2,4的索引坐标，r3,4为R3,4的索引坐标。/>是输入数据/>的第/>个元素，括号内为数据中元素的索引坐标。
需要说明的是，在本申请的三维层和三因子张量映射卷积单元后均需依次构建一个归一化层和非线性激活函数层。
S323、构建通道拼接层，通道拼接层将两个分支单元提取得到局部空谱特征通道维度拼接。
本申通过的三维双分支模块利用通道分割操作减少了特征图的通道数，同时，三维双分支模块共享同一组权重参数，降低了高光谱图像局部空谱特征提取过程的复杂度。
同时在步骤S400中还包括步骤S410、步骤S420和步骤S430。
S410、对高光谱图像数据集进行批次划分，得到不同批次的训练数据；
S420、构建交叉熵损失函数；
S430、利用所有批次的训练数据训练神经网络分类模型，并在每个训练神经网络分类模型后，利用交叉熵损失函数计算神经网络分类模型的损失值，并使用Adam优化器对神经网络分类模型的参数进行更新，直到损失值收敛。
其中需要说明的是，在本申请中通过对高光谱图像数据集划分测试集和训练集为现有技术本申请不再赘述，本申请通过上述步骤实现得到轻量级高光谱图像分类模型，再将测试集数据输入至训练好的分类模型进行推理，得到最终的分类结果。
本发明的效果可以通过以下实验进一步说明：
本实施例即图2示出的模型架构在一个公开的高光谱数据集（Indian Pines数据库）上进行，采用平均分类精度、总体分类精度、Kappa系数、参数量和浮点运算数作为评价指标。如表1所示，本发明与对比模型相比，在模型参数量和浮点运算数上有明显的下降，同时具有更高分类性能。
实验结果表明，本发明设计的三因子张量映射卷积单元和四因子张量映射卷积单元利用三/四个具有全连接结构的小尺寸卷积核近似原始卷积核，在降低标准卷积层复杂度的同时提高了单元的表达能力，同时，三维残差双分支模块使用通道分割操作减少特征通道数，并采用权重共享的双分支结构，进一步降低了本发明的时间和空间复杂度，因此，本发明具有出色的分类性能和极低的复杂度。
模型 LiteDenseNet LiteDepthwiseNet 本发明
平均分类精度（%） 95.97 95.95 96.51
总体分类精度（%） 95.89 96.67 96.93
Kappa系数（%） 94.95 95.38 96.02
参数量（k） 852.31 51.62 3.76
浮点运算数（M） 171.81 49.00 17.87
表1 不同算法在Indian Pines 数据集下对比结果（5%训练样本）。
实施例2：
如图3所示，本实施例提供了一种基于张量映射网络的高光谱图像分类装置，装置包括：
获取单元1，用于获取高光谱图像数据集和待分类的高光谱图像，高光谱图像数据集包括至少两个原始的高光谱图像和每个高光谱图像对应的类别。
预处理单元2，用于对高光谱图像数据集和待分类的高光谱图像进行预处理，并更新高光谱图像数据集和待分类的高光谱图像为预处理后的数据。
模型构建单元3，用于构建神经网络分类模型，神经网络分类模型为依次提取高光谱图像中初级语义特征、局部空谱特征和全局光谱特征并以此做出高光谱图像分类的神经网络模型。
模型训练单元4，用于根据高光谱图像数据集训练神经网络分类模型，得到分类模型。
图像分类单元5，用于根据分类模型对待分类的高光谱图像进行分类，得到分类结果。
在一些具体的实施例中，预处理单元2，包括：
归一化处理单元21，用于对高光谱图像数据集进行归一化处理，得到归一化处理后的高光谱图像数据集，其中，归一化处理后的高光谱图像数据集中每个高光谱图像的每个像素点的取值范围在[0,1]之间。
截取数据块单元22，用于根据预设的采样窗口，逐个对所有目标高光谱图像的每个像素点为中心进行数据块截取，得到高光谱图像对应的至少两个高光谱图像数据块，其中，目标高光谱图像为归一化处理后的高光谱图像数据集中任意一个高光谱图像。
在一些具体的实施例中，模型构建单元3，包括：
第一构造单元31，用于构建三维卷积层。
第二构造单元32，用于构建三维双分支模块，三维双分支模块包括至少一个由一个三维层和一个三因子张量映射卷积层组成提取单元以提取高光谱图像的局部空谱特征，三维双分支模块的输入信息为三维卷积层的输出信息。
第三构造单元33，用于特征拼接层，特征拼接层用于将三维双分支模块的输入信息和三维卷积层的输出信息进行特征拼接。
第四构造单元34，用于构建全局光谱信息学习层，全局光谱信息学习层包括四因子张量映射卷积层用于提取高光谱图像的全局光谱信息，四因子张量映射卷积层的输入信息为特征拼接层的特征拼接结果。
第五构造单元35，用于依次构建全局平均池化层、全连接层和Softmax层，全局光谱信息学习层输出信息依次经过全局平均池化层和全连接层，最后通过Softmax层生成分类结果。
在一些具体的实施例中，第二构造单元32，包括：
第六构造单元321，用于构建通道分割层，通道分割层将输入数据沿通道维度分割，得到两个子数据，两个子数据的通道维度相等。
第七构造单元322，用于构建两个分支单元，每个分支单元依次包括一个三维层和一个三因子张量映射卷积层以提取高光谱图像的局部空谱特征，两个分支单元的权重共享设置，两个分支单元的输入信息分别为一个子数据。
第八构造单元323，用于构建通道拼接层，通道拼接层将两个分支单元提取得到局部空谱特征通道维度拼接。
在一些具体的实施例中，模型训练单元4，包括：
批次划分单元41，用于对高光谱图像数据集进行批次划分，得到不同批次的训练数据。
函数构建单元42，用于构建交叉熵损失函数。
参数更新单元43，用于利用所有批次的训练数据训练神经网络分类模型，并在每个训练神经网络分类模型后，利用交叉熵损失函数计算神经网络分类模型的损失值，并使用Adam优化器对神经网络分类模型的参数进行更新。
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于张量映射网络的高光谱图像分类方法，其特征在于，包括：
获取高光谱图像数据集和待分类的高光谱图像，所述高光谱图像数据集包括至少两个原始的高光谱图像和每个高光谱图像对应的类别；
对高光谱图像数据集和待分类的高光谱图像进行预处理，并更新高光谱图像数据集和待分类的高光谱图像为预处理后的数据；
构建神经网络分类模型，所述神经网络分类模型先提取初级语义特征，并以初级语义特征提取局部空谱特征和全局光谱特征，然后以局部空谱特征和全局光谱特征做出高光谱图像分类的神经网络模型；
根据高光谱图像数据集训练神经网络分类模型，得到分类模型；
根据所述分类模型对待分类的高光谱图像进行分类，得到分类结果；
其中,所述构建神经网络分类模型，包括：
构建三维卷积层；
构建三维双分支模块，所述三维双分支模块包括至少一个由一个三维点卷积层和一个三因子张量映射卷积层组成提取单元以提取高光谱图像的局部空谱特征，所述三维双分支模块的输入信息为三维卷积层的输出信息；
特征拼接层，所述特征拼接层用于将三维双分支模块的输入信息和三维卷积层的输出信息进行特征拼接；
构建全局光谱信息学习层，所述全局光谱信息学习层包括四因子张量映射卷积层用于提取高光谱图像的全局光谱信息，所述四因子张量映射卷积层的输入信息为特征拼接层的特征拼接结果；
依次构建全局平均池化层、全连接层和Softmax层，所述全局光谱信息学习层输出信息依次经过全局平均池化层和全连接层，最后通过Softmax层生成分类结果；
其中，所述构建三维双分支模块，包括：
构建通道分割层，所述通道分割层将输入数据沿通道维度分割，得到两个子数据，两个子数据的通道维度相等；
构建两个分支单元，每个所述分支单元依次包括一个三维点卷积层和一个三因子张量映射卷积层以提取高光谱图像的局部空谱特征，两个分支单元的权重共享设置，两个所述分支单元的输入信息分别为一个子数据；
构建通道拼接层，所述通道拼接层将两个所述分支单元提取得到局部空谱特征通道维度拼接。
2.根据权利要求1所述的基于张量映射网络的高光谱图像分类方法，其特征在于,所述对高光谱图像数据集和待分类的高光谱图像进行预处理,包括：
对高光谱图像数据集进行归一化处理，得到归一化处理后的高光谱图像数据集；
根据预设的采样窗口，逐个对所有目标高光谱图像的每个像素点为中心进行数据块截取，得到高光谱图像对应的至少两个高光谱图像数据块，其中，目标高光谱图像为归一化处理后的高光谱图像数据集中任意一个高光谱图像。
3.根据权利要求1所述的基于张量映射网络的高光谱图像分类方法，其特征在于,所述构建两个分支单元，还包括：
在三维层和三因子张量映射卷积单元后依次构建一个归一化层和非线性激活函数层。
4.根据权利要求1所述的基于张量映射网络的高光谱图像分类方法，其特征在于,所述构建全局光谱信息学习层，包括：
在四因子张量映射卷积层后依次构建一个归一化层和非线性激活函数层。
5.根据权利要求1所述的基于张量映射网络的高光谱图像分类方法，其特征在于,根据高光谱图像数据集训练神经网络分类模型，得到分类模型，包括：
对高光谱图像数据集进行批次划分，得到不同批次的训练数据；
构建交叉熵损失函数；
利用所有批次的训练数据训练所述神经网络分类模型，并在每个训练神经网络分类模型后，利用交叉熵损失函数计算神经网络分类模型的损失值，并使用Adam优化器对神经网络分类模型的参数进行更新。
6.一种基于张量映射网络的高光谱图像轻量化分类装置，其特征在于，包括：
获取单元，用于获取高光谱图像数据集和待分类的高光谱图像，所述高光谱图像数据集包括至少两个原始的高光谱图像和每个高光谱图像对应的类别；
预处理单元，用于对高光谱图像数据集和待分类的高光谱图像进行预处理，并更新高光谱图像数据集和待分类的高光谱图像为预处理后的数据；
模型构建单元，用于构建神经网络分类模型，所述神经网络分类模型为依次提取高光谱图像中初级语义特征、局部空谱特征和全局光谱特征并以此做出高光谱图像分类的神经网络模型；
模型训练单元，用于根据高光谱图像数据集训练神经网络分类模型，得到分类模型；
图像分类单元，用于根据所述分类模型对待分类的高光谱图像进行分类，得到分类结果；
其中，模型构建单元，包括：
第一构造单元，用于构建三维卷积层；
第二构造单元，用于构建三维双分支模块，三维双分支模块包括至少一个由一个三维层和一个三因子张量映射卷积层组成提取单元以提取高光谱图像的局部空谱特征，三维双分支模块的输入信息为三维卷积层的输出信息；
第三构造单元，用于特征拼接层，特征拼接层用于将三维双分支模块的输入信息和三维卷积层的输出信息进行特征拼接；
第四构造单元，用于构建全局光谱信息学习层，全局光谱信息学习层包括四因子张量映射卷积层用于提取高光谱图像的全局光谱信息，四因子张量映射卷积层的输入信息为特征拼接层的特征拼接结果；
第五构造单元，用于依次构建全局平均池化层、全连接层和Softmax层，全局光谱信息学习层输出信息依次经过全局平均池化层和全连接层，最后通过Softmax层生成分类结果；
其中，第二构造单元，包括：
第六构造单元，用于构建通道分割层，通道分割层将输入数据沿通道维度分割，得到两个子数据，两个子数据的通道维度相等；
第七构造单元，用于构建两个分支单元，每个分支单元依次包括一个三维层和一个三因子张量映射卷积层以提取高光谱图像的局部空谱特征，两个分支单元的权重共享设置，两个分支单元的输入信息分别为一个子数据；
第八构造单元，用于构建通道拼接层，通道拼接层将两个分支单元提取得到局部空谱特征通道维度拼接。
7.根据权利要求6所述的基于张量映射网络的高光谱图像轻量化分类装置，其特征在于，所述预处理单元，包括：
归一化处理单元，用于对高光谱图像数据集进行归一化处理，得到归一化处理后的高光谱图像数据集；
截取数据块单元，用于根据预设的采样窗口，逐个对所有目标高光谱图像的每个像素点为中心进行数据块截取，得到高光谱图像对应的至少两个高光谱图像数据块，其中，目标高光谱图像为归一化处理后的高光谱图像数据集中任意一个高光谱图像。
8.根据权利要求6所述的基于张量映射网络的高光谱图像轻量化分类装置，其特征在于，所述模型训练单元，包括：
批次划分单元，用于对高光谱图像数据集进行批次划分，得到不同批次的训练数据；
函数构建单元，用于构建交叉熵损失函数；
参数更新单元，用于利用所有批次的训练数据训练所述神经网络分类模型，并在每个训练神经网络分类模型后，利用交叉熵损失函数计算神经网络分类模型的损失值，并使用Adam优化器对神经网络分类模型的参数进行更新。
CN202310836681.4A 2023-07-10 2023-07-10 基于张量映射网络的高光谱图像轻量化分类方法及装置 Active CN116563649B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310836681.4A CN116563649B (zh) 2023-07-10 2023-07-10 基于张量映射网络的高光谱图像轻量化分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310836681.4A CN116563649B (zh) 2023-07-10 2023-07-10 基于张量映射网络的高光谱图像轻量化分类方法及装置

Publications (2)

Publication Number Publication Date
CN116563649A CN116563649A (zh) 2023-08-08
CN116563649B true CN116563649B (zh) 2023-09-08

Family

ID=87495141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310836681.4A Active CN116563649B (zh) 2023-07-10 2023-07-10 基于张量映射网络的高光谱图像轻量化分类方法及装置

Country Status (1)

Country Link
CN (1) CN116563649B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274725B (zh) * 2023-11-23 2024-04-12 西南交通大学 基于张量ConvLSTM的高光谱图像分类方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084159A (zh) * 2019-04-15 2019-08-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法
CN110490083A (zh) * 2019-07-23 2019-11-22 苏州国科视清医疗科技有限公司 一种基于快速人眼语义分割网络的瞳孔精确检测方法
CN111027634A (zh) * 2019-12-16 2020-04-17 中山大学 一种基于类激活映射图引导的正则化方法及系统
CN112116065A (zh) * 2020-08-14 2020-12-22 西安电子科技大学 一种rgb图像光谱重建方法、系统、存储介质及应用
CN113505822A (zh) * 2021-06-30 2021-10-15 中国矿业大学 基于表面肌电信号的多尺度信息融合上肢动作分类方法
CN113793261A (zh) * 2021-08-05 2021-12-14 西安理工大学 一种基于3d注意力机制全通道融合网络的光谱重建方法
CN114821321A (zh) * 2022-04-27 2022-07-29 浙江工业大学 一种基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法
CN114863132A (zh) * 2022-05-31 2022-08-05 中国科学技术大学 图像空域信息的建模与捕捉方法、系统、设备及存储介质
CN114898157A (zh) * 2022-05-23 2022-08-12 河南大学 用于高光谱图像分类的全局学习装置及方法
CN114926742A (zh) * 2022-06-17 2022-08-19 南通大学 一种基于二阶注意力机制的回环检测及优化方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200097818A1 (en) * 2018-09-26 2020-03-26 Xinlin LI Method and system for training binary quantized weight and activation function for deep neural networks
CN111860612B (zh) * 2020-06-29 2021-09-03 西南电子技术研究所（中国电子科技集团公司第十研究所） 无监督高光谱图像隐低秩投影学习特征提取方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084159A (zh) * 2019-04-15 2019-08-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法
CN110490083A (zh) * 2019-07-23 2019-11-22 苏州国科视清医疗科技有限公司 一种基于快速人眼语义分割网络的瞳孔精确检测方法
CN111027634A (zh) * 2019-12-16 2020-04-17 中山大学 一种基于类激活映射图引导的正则化方法及系统
CN112116065A (zh) * 2020-08-14 2020-12-22 西安电子科技大学 一种rgb图像光谱重建方法、系统、存储介质及应用
CN113505822A (zh) * 2021-06-30 2021-10-15 中国矿业大学 基于表面肌电信号的多尺度信息融合上肢动作分类方法
CN113793261A (zh) * 2021-08-05 2021-12-14 西安理工大学 一种基于3d注意力机制全通道融合网络的光谱重建方法
CN114821321A (zh) * 2022-04-27 2022-07-29 浙江工业大学 一种基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法
CN114898157A (zh) * 2022-05-23 2022-08-12 河南大学 用于高光谱图像分类的全局学习装置及方法
CN114863132A (zh) * 2022-05-31 2022-08-05 中国科学技术大学 图像空域信息的建模与捕捉方法、系统、设备及存储介质
CN114926742A (zh) * 2022-06-17 2022-08-19 南通大学 一种基于二阶注意力机制的回环检测及优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于快速双分支密集连接网络和双注意力机制的高光谱图像分类;杨国亮等;《激光与光电子学进展》;第59卷(第8期);61-72 *

Also Published As

Publication number Publication date
CN116563649A (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN105740894B (zh) 一种高光谱遥感图像的语义标注方法
CN111612017B (zh) 一种基于信息增强的目标检测方法
CN114092832B (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN109766858A (zh) 结合双边滤波的三维卷积神经网络高光谱影像分类方法
CN111666900B (zh) 基于多源遥感影像的土地覆盖分类图的获取方法和装置
CN109190511B (zh) 基于局部与结构约束低秩表示的高光谱分类方法
CN116563649B (zh) 基于张量映射网络的高光谱图像轻量化分类方法及装置
CN114821164A (zh) 基于孪生网络的高光谱图像分类方法
CN112785441B (zh) 数据处理方法、装置、终端设备及存储介质
CN113936214B (zh) 一种基于融合空天遥感影像的岩溶湿地植被群落分类方法
CN108734199A (zh) 基于分段深度特征及低秩表示的高光谱图像鲁棒分类方法
CN109034213B (zh) 基于相关熵原则的高光谱图像分类方法和系统
Wang et al. Urban building extraction from high-resolution remote sensing imagery based on multi-scale recurrent conditional generative adversarial network
Hosseiny et al. A hyperspectral anomaly detection framework based on segmentation and convolutional neural network algorithms
Chiu et al. Estate price prediction system based on temporal and spatial features and lightweight deep learning model
Tuyet et al. Content based medical image retrieval based on salient regions combined with deep learning
CN107680081B (zh) 基于卷积神经网络的高光谱图像解混方法
Zhang et al. Unsupervised GRNN flood mapping approach combined with uncertainty analysis using bi-temporal Sentinel-2 MSI imageries
CN113066037A (zh) 基于图注意力机制的多光谱与全色图像融合方法及系统
CN112800851B (zh) 基于全卷积神经元网络的水体轮廓自动提取方法及系统
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
Guo et al. Fully convolutional DenseNet with adversarial training for semantic segmentation of high-resolution remote sensing images
CN104008383B (zh) 基于流形学习线性化的高光谱图像特征提取方法
CN109886315A (zh) 一种基于核保持的图像相似性度量方法
CN116503399B (zh) 基于yolo-afps的绝缘子污闪检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant