CN113435265A - 高光谱图像分类方法、装置、电子设备及存储介质 - Google Patents

高光谱图像分类方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113435265A
CN113435265A CN202110641552.0A CN202110641552A CN113435265A CN 113435265 A CN113435265 A CN 113435265A CN 202110641552 A CN202110641552 A CN 202110641552A CN 113435265 A CN113435265 A CN 113435265A
Authority
CN
China
Prior art keywords
spatial
tensor
pixel
spectral
hyperspectral image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110641552.0A
Other languages
English (en)
Other versions
CN113435265B (zh
Inventor
李岩山
唐浩劲
谢维信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202110641552.0A priority Critical patent/CN113435265B/zh
Publication of CN113435265A publication Critical patent/CN113435265A/zh
Priority to PCT/CN2021/138813 priority patent/WO2022257407A1/zh
Application granted granted Critical
Publication of CN113435265B publication Critical patent/CN113435265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种高光谱图像分类方法、装置、电子设备及存储介质,通过提取到的高光谱图像的像元建立对应的三阶局部空谱张量,利用类张量分解算法对该三阶局部空谱张量进行分解,得到像元光谱分量和像元空间分量,利用卷积网络分别对像元光谱分量和像元空间分量卷积,提取到对应的光谱特征矢量和空间特征矢量,并对光谱特征矢量和空间特征矢量进行级联,得到高光谱图像的空谱特征,基于空谱特征对高光谱图像进行分类。通过上述方法的实施,采用了类张量分解算法对高光谱图像进行了空间和光谱两个维度的特征分析,有效地去除了高光谱图像的像元中存在的冗余信息,提高了后续空谱特征提取的效率,从而提升了对高光谱图像的分类准确率。

Description

高光谱图像分类方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种高光谱图像分类方法、装置、电子设备及存储介质。
背景技术
高光谱图像不仅包含了反映地物形态特征的空间结构信息,而且包含了反映地物类别属性和状态属性的光谱结构信息,由于其具有上述的特性,使得其在农业科学、地球科学以及军事等领域得到了广泛的应用。然而,由于高光谱图像的拍摄区域复杂以及野外测绘的危险性,获取大量的高光谱图像标记样本需要耗费许多的人力和物资,而标记样本的不足则使得现有的深度学习算法在高光谱图像上的应用受到了很大的限制。
针对上述的问题,采用了小样本学习算法可以在一定程度上提升了应用,但是现有的小样本学习算法在高光谱图像中的应用,都是简单地直接提取高光谱像元的三维局部邻域上的空谱特征,缺乏对像元原始的空间和光谱维度上的表达进行分析和预处理的数学模型,导致提取的像元中存在较多的冗余信息,使得最后的分类准确率较低。
发明内容
本发明的主要目的在于解决现有技术中对高光谱图像的分类精准率较低的技术问题。
本发明第一方面提供了一种高光谱图像分类方法,所述高光谱图像分类方法包括:
提取高光谱图像的高光谱像元,并建立所述高光谱像元的三阶局部空谱张量;
基于预设的类张量分解算法,对所述三阶局部空谱张量进行类张量分解,得到像元光谱分量和像元空间分量;
利用卷积网络分别对所述像元光谱分量和像元空间分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量和表示空间信息的空间特征矢量,并对各像元的空间特征矢量和光谱特征矢量进行级联,得到所述高光谱图像的空谱特征;
根据所述空谱特征对所述高光谱图像进行分类。
可选的,在本发明第一方面的第一种实现方式中,所述建立所述高光谱像元的三阶局部空谱张量包括:
提取所述高光谱像元的空间信息和光谱域信息;
利用张量数据模型,基于所述空间信息和光谱域信息对所述高光谱像元进行数学建模,得到三阶局部空谱张量。
可选的,在本发明第一方面的第二种实现方式中,所述基于预设的类张量分解算法,对所述三阶局部空谱张量进行类张量分解,得到像元光谱分量和像元空间分量包括:
利用张量的类模n乘法,对所述三阶局部空谱张量进行张量的分解,得到至少两个一维局部张量和至少两个二维局部张量;
利用张量的联合概率分布函数,根据所述至少两个一维局部张量和至少两个二维局部张量分别计算出像元光谱分量和像元空间分量。
可选的,在本发明第一方面的第三种实现方式中,所述利用张量的联合概率分布函数,根据所述至少两个一维局部张量和至少两个二维局部张量分别计算出像元光谱分量和像元空间分量包括:
确定所述至少两个一维局部张量中的一维局部中心空谱张量以及所述至少两个一维局部张量中的一维局部邻域空谱张量;
基于张量的联合概率分布函数,计算所述一维局部中心空谱张量和所述一维局部邻域空谱张量的第一联合概率分布值;
利用均值法计算所述第一联合概率分布值的平均值,并基于所述平均值确定像元光谱分量;
确定所述至少两个二维局部张量中的二维局部中心空谱张量以及所述至少两个二维局部张量中的二维局部邻域空谱张量;
基于张量的联合概率分布函数,计算所述二维局部中心空谱张量和所述二维局部邻域空谱张量的第二联合概率分布值;
利用均值法计算所述第二联合概率分布值的平均值,并基于所述平均值确定像元空间分量。
可选的,在本发明第一方面的第四种实现方式中,所述利用卷积网络分别对所述像元光谱分量和像元空间分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量和表示空间信息的空间特征矢量,并对各像元的空间特征矢量和光谱特征矢量进行级联,得到所述高光谱图像的空谱特征包括:
利用一维卷积网络对所述像元光谱分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量;
利用二维卷积网络对所述像元空间分量进行卷积计算,提取表示空间信息的空间特征矢量;
对所述光谱特征矢量和所述空间特征矢量息进行级联,得到所述高光谱图像的空谱特征。
可选的,在本发明第一方面的第五种实现方式中,对所述光谱特征矢量和所述空间特征矢量进行级联的计算公式为:
Figure BDA0003108042690000031
其中,σ(·)为一维卷积网络的函数式,ψ(·)为二维卷积的函数式,⊕表示级联。
可选的,在本发明第一方面的第六种实现方式中,所述根据所述空谱特征对所述高光谱图像进行分类包括:
根据所述空谱特征确定对应的分类小样本度量空间,并计算出所述分类小样本度量空间的分类距离度量;
根据所述分类距离度量对所述高光谱图像进行分类。
本发明第二方面提供了一种高光谱图像分类装置,所述高光谱图像分类装置包括:
建立模块,用于提取高光谱图像的高光谱像元,并建立所述高光谱像元的三阶局部空谱张量;
分解模块,用于基于预设的类张量分解算法,对所述三阶局部空谱张量进行类张量分解,得到像元光谱分量和像元空间分量;
级联模块,用于利用卷积网络分别对所述像元光谱分量和像元空间分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量和表示空间信息的空间特征矢量,并对各像元的空间特征矢量和光谱特征矢量进行级联,得到所述高光谱图像的空谱特征;
分类模块,用于根据所述空谱特征对所述高光谱图像进行分类。
可选的,在本发明第二方面的第一种实现方式中,所述建立模块包括:
提取单元,用于提取所述高光谱像元的空间信息和光谱域信息;
建模单元,用于利用张量数据模型,基于所述空间信息和光谱域信息对所述高光谱像元进行数学建模,得到三阶局部空谱张量。
可选的,在本发明第二方面的第二种实现方式中,所述分解模块包括:
分解单元,用于利用张量的类模n乘法,对所述三阶局部空谱张量进行张量的分解,得到至少两个一维局部张量和至少两个二维局部张量;
计算单元,用于利用张量的联合概率分布函数,根据所述至少两个一维局部张量和至少两个二维局部张量分别计算出像元光谱分量和像元空间分量。
可选的,在本发明第二方面的第三种实现方式中,所述计算单元具体用于:
确定所述至少两个一维局部张量中的一维局部中心空谱张量以及所述至少两个一维局部张量中的一维局部邻域空谱张量;
基于张量的联合概率分布函数,计算所述一维局部中心空谱张量和所述一维局部邻域空谱张量的第一联合概率分布值;
利用均值法计算所述第一联合概率分布值的平均值,并基于所述平均值确定像元光谱分量;
确定所述至少两个二维局部张量中的二维局部中心空谱张量以及所述至少两个二维局部张量中的二维局部邻域空谱张量;
基于张量的联合概率分布函数,计算所述二维局部中心空谱张量和所述二维局部邻域空谱张量的第二联合概率分布值;
利用均值法计算所述第二联合概率分布值的平均值,并基于所述平均值确定像元空间分量。
可选的,在本发明第二方面的第四种实现方式中,所述级联模块包括:
卷积单元,用于利用一维卷积网络对所述像元光谱分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量;以及利用二维卷积网络对所述像元空间分量进行卷积计算,提取表示空间信息的空间特征矢量;
级联单元,用于对所述光谱特征矢量和所述空间特征矢量进行级联,得到所述高光谱图像的空谱特征。
可选的,在本发明第二方面的第五种实现方式中,对所述光谱特征矢量和所述空间特征矢量进行级联的计算公式为:
Figure BDA0003108042690000051
其中,σ(·)为一维卷积网络的函数式,ψ(·)为二维卷积的函数式,⊕表示级联。
可选的,在本发明第二方面的第六种实现方式中,所述分类模块包括:
距离计算单元,用于根据所述空谱特征确定对应的分类小样本度量空间,并计算出所述分类小样本度量空间的分类距离度量;
分类单元,用于根据所述分类距离度量对所述高光谱图像进行分类。
本发明第三方面提供了一种电子设备,包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述第一方面提供的高光谱图像分类方法中的各个步骤。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面提供的高光谱图像分类方法中的各个步骤。
本发明的技术方案中,通过提取高光谱图像的高光谱像元,并建立高光谱像元的三阶局部空谱张量,基于预设的类张量分解算法,对三阶局部空谱张量进行类张量分解,得到像元光谱分量和像元空间分量,利用卷积网络分别对像元光谱分量和像元空间分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量和表示空间信息的空间特征矢量,并对各像元的光谱特征矢量和空间特征矢量进行级联,得到高光谱图像的空谱特征,根据空谱特征对高光谱图像进行分类。由于上述对高光谱图像的像元的三维局部空谱张量进行类张量分解,有效地去除了像元中存在的冗余信息,提高了后续空谱特征提取的效率,同时也保证了提取到的空谱特征的准确度,增加了对像元的空间信息和光谱信息两个维度的分析和预处理,更准确地对高光谱图像进行特征分析,从而进一步提升了基于空谱特征对高光谱图像进行分类的准确率。
附图说明
图1为本发明实施例中高光谱图像分类方法的整体框架图;
图2为本发明实施例中高光谱图像分类方法的第一个实施例示意图;
图3为本发明实施例中高光谱图像分类方法的第二个实施例示意图;
图4为本发明实施例中高光谱图像分类装置的一个实施例示意图;
图5为本发明实施例中高光谱图像分类装置的另一个实施例示意图;
图6为本发明实施例中电子设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种新的基于类张量分解的高光谱图像分类方案,该方案是通过借鉴张量分解的原理,来实现对像元的三维局部空谱张量的类张量分解,以得到能够更为有效表示像元空间信息的二维局部张量和像元光谱信息的一维局部张量,作为后续进行特征表达的基础,从而有效提升高光谱图像小样本分类准确率。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本实施例中,高光谱图像可以表示为H(x,y,λ),其中,(x,y)是空间坐标,λ是光谱坐标(也可以理解为是波段数),可见,波段数为λ的高光谱像元为H(x,y),令其在第i个波段上的光谱值为Hi(x,y),光谱矢量为
Figure BDA0003108042690000081
则高光谱像元H(x,y)可表示为
Figure BDA0003108042690000082
接着,定义x和y是高光谱像元局部空谱邻域的空间域大小,Λ是高光谱像元局部空谱邻域的光谱域大小,则可用三阶局部空谱张量T∈RX×Y×λ表示H(x,y)。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1和2,本发明实施例中高光谱图像分类方法的第一个实施例包括:
101、提取高光谱图像的高光谱像元,并建立高光谱像元的三阶局部空谱张量;
该步骤中,该高光谱图像具体是通过高光谱成像仪拍摄得到,由于高光谱成像仪在拍摄时是存在成像间隔的,而高光谱图像可以理解为是通过多个间隔拍摄的成像合成的图像,对此,在提取高光谱像元时,具体是基于成像时的间隔来逐一提取,由于成像时的相邻波段之间的图像相关性较高,因此,提取后得到的高光谱像元还包括对高光谱像元进行排序,得到高光谱像元的序列,然后基于序列进行张量的建立,得到三阶局部空谱张量。
在实际应用中,由于高光谱图像具有波段间相关性强,数据量大的特点,导致其图像本身存在有信息冗余,为了减少提取到的像元存在的冗余信息,这里可以选择采用张量数学模型来构建三维局部空谱张量,该张量数学作为一个强有力的数学工具,通常被用作对高维几何数据进行建模表示,采用统一的张量数学模型能充分反映高维数据(即是高光谱图像)的结构特性。为了能够对高光谱像元原始的空谱特征信息表达进行有效的分析。
具体的,在建立高光谱图像的三阶局部空谱张量时,通过提取所述高光谱像元的空间信息和光谱域信息;利用张量数据模型,基于所述空间信息和光谱域信息对所述高光谱像元进行数学建模,得到三阶局部空谱张量。
在实际应用中,通过利用张量的模n乘法可实现张量的分解,因此可认为张量的模n乘法是一个数据降维的过程,当J<In时,其计算方法如下:
Figure BDA0003108042690000091
其中×n表示的是张量的模n乘法,
Figure BDA0003108042690000092
Figure BDA0003108042690000093
分别表示张量
Figure BDA0003108042690000094
和矩阵
Figure BDA0003108042690000095
的元素。由上式可知,张量TN和矩阵L相乘的结果是一个模值大小为I1×I2×…×In-1×J×In+1×…×IN的张量。
102、基于预设的类张量分解算法,对三阶局部空谱张量进行类张量分解,得到像元光谱分量和像元空间分量;
该步骤中,利用类张量分解算法将通过模n算法建立的三阶局部空谱张量从空间维度和光谱维度进行分解,得到像元光谱分量和像元空间分量。
在实际应用中,在分解得到像元光谱分量和像元空间分量之前,还包括利用预设的类张量分解算法将三阶局部空谱张量分解为多个一维局部张量和多个二维局部张量,然后对多个一维局部张量分析得到像元光谱分量,对多个二维局部张量分析得到像元空间分量。
在实际应用中,高光谱像元H(x,y)基于上述步骤101中的表达式表示为三阶局部空谱张量T时,根据上述的公式(1)的建模原理,该步骤102具体在对三阶局部空谱张量T进行类张量分解时,基于公式(1)进行变化,得到如下公式:
Figure BDA0003108042690000096
其中,TS表示T在光谱维上的主分量,即T的光谱分量,TL表示T在空间维上的主分量,即T的空间分量,
Figure BDA0003108042690000097
表示张量的类模n乘法。
基于上述公式(2)采用类模n乘法对公式(1)中得到的一维局部张量计算出光谱维度上的主分量,得到像元光谱分量,以及对公式(1)中得到的二维局部张量计算出空间维度上的主分量,得到像元空间分量。
103、利用卷积网络分别对像元光谱分量和像元空间分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量和表示空间信息的空间特征矢量,并对各像元的空间特征矢量和光谱特征矢量进行级联,得到高光谱图像的空谱特征;
在本实施例中,在对像元光谱分量和像元空间分量进行卷积时,主要是采用一维卷积神经网络1D-CNN对像元光谱分量进行卷积计算,得到光谱特征矢量,以及采用二维卷积神经网络2D-CNN对像元空间分量进行卷积计算,得到空间特征矢量,然后将像元光谱分量的光谱特征矢量和像元空间分量的空间特征矢量进行级联计算,得到高光谱图像对应的空谱特征。
在实际应用中,具体通过以下定义的函数来实现级联计算,定义fφ(·)为空谱特征提取网络的嵌入函数,则可表示为如下:
Figure BDA0003108042690000101
其中,σ(·)表示一维卷积嵌入函数,ψ(·)表示二维卷积嵌入函数,
Figure BDA0003108042690000102
表示级联。
104、根据空谱特征对高光谱图像进行分类。
在该步骤中,在对高光谱图像进行分类时,具体是根据所述空谱特征确定对应的分类小样本度量空间,并计算出所述分类小样本度量空间的分类距离度量;根据所述分类距离度量对所述高光谱图像进行分类。在实际应用中,通过将级联计算得到的空谱特征嵌入到小样本度量空间中,并计算空谱特征与小样本度量空间的距离,例如欧式距离、马氏距离等,基于计算到的距离实现对高光图谱进行分类。
本发明实施例中,在高光谱图像的特性的基础上,对高光谱图像的像元的三维局部空谱张量进行类张量分解,以得到能够更为有效表示空间信息的二维局部张量和光谱信息的一维局部张量,基于增加了两个维度的张量来对高光谱图像进行分裂,从而大大提升了高光谱图像分类的实际准确率。
请参阅图1和3,本发明实施例中高光谱图像分类方法的第二个实施例包括:
201、提取高光谱图像的高光谱像元,并建立高光谱像元的三阶局部空谱张量;
该步骤中,在建立三阶局部空谱张量时,具体利用张量数学的张量的模n乘法来进行张量的建立,该张量的模n乘法指的是张量TN和矩阵L相乘的结果,其结果是一个张量,模的消息大小为I1×I2×…×In-1×J×In+1×…×IN,在实际应用中,张量的模n乘法可以理解为是一个数据降维的过程,当J<In时,其计算公式为:
Figure BDA0003108042690000111
其中×n表示的是张量的模n乘法,
Figure BDA0003108042690000112
Figure BDA0003108042690000113
分别表示张量
Figure BDA0003108042690000114
和矩阵
Figure BDA0003108042690000115
的元素。
202、利用张量的类模n乘法,对三阶局部空谱张量进行张量的分解,得到至少两个一维局部张量和至少两个二维局部张量;
在本实施例中,这里的类张量分解算法具体是张量的类模n乘法,基于上诉公式(1)实现对三阶局部空谱张量进行分解,得到像元光谱分量和像元空间分量,具体表达式为:
Figure BDA0003108042690000116
其中,TS表示T在光谱维上的主分量,即T的光谱分量,TL表示T在空间维上的主分量,即T的空间分量,
Figure BDA0003108042690000117
表示张量的类模n乘法。
203、利用张量的联合概率分布函数,根据至少两个一维局部张量和至少两个二维局部张量分别计算出像元光谱分量和像元空间分量;
该步骤中,主要是通过分析光谱像元的光谱维度和空间维度中的张量元素值的联合概率分布来实现对像元光谱分量和像元空间分量的提取。
在实际应用中,对于像元光谱分量的提取过程具体如下:
设像元光谱分量TS是由P个一维局部张量所组成,定义VS为像元光谱分量中TS张量元素值的联合概率分布,具体的,首先确定所述至少两个一维局部张量中的一维局部中心空谱张量以及所述至少两个一维局部张量中的一维局部邻域空谱张量;基于张量的联合概率分布函数,计算所述一维局部中心空谱张量和所述一维局部邻域空谱张量的第一联合概率分布值;利用均值法计算所述第一联合概率分布值的平均值,并基于所述平均值确定像元光谱分量;其表达式为:
VS=vs(Sc,S1,S2,…SP-1),
其中,Sk(k=1,…P)表示TS中的一维局部邻域空谱张量,SC表示TS中的一维局部中心空谱张量,vs(·)表示光谱分量中张量元素值的联合概率分布函数。TS中张量元素值的联合概率分布的主要信息都存在于TS的邻域联合概率分布中,因此像元光谱分量VS的表达式可近似表示为:
VS≈vs(Sc)vs(S1,S2…SP-1)
≈vs(S1,S2…SP-1),
由于联合概率分布函数的求解复杂,为了能够进一步简化TS的表达,本文基于均值法求解TS的一维局部均值张量表达TS’,TS’的表达如下:
Figure BDA0003108042690000121
该公上式得到一维局部均值张量表达TS’可以有效表达TS中所存在的局部光谱信息。
同理,设像元空间分量TL是由J个二维局部张量所组成,定义VL为像元空间分量中张量元素值的联合概率分布,具体的,首先确定所述至少两个二维局部张量中的二维局部中心空谱张量以及所述至少两个二维局部张量中的二维局部邻域空谱张量;基于张量的联合概率分布函数,计算所述二维局部中心空谱张量和所述二维局部邻域空谱张量的第二联合概率分布值;利用均值法计算所述第二联合概率分布值的平均值,并基于所述平均值确定像元空间分量。
其近似表达如下所示:
VL=vl(Lc,L1,L2…LJ-1)
≈vl(Lc)vl(L1,L2…LJ-1)
≈vl(L1,L2…LJ-1);
同样地,基于均值法求解TL的二维局部均值张量表达TL’,TL’的表达如下:
Figure BDA0003108042690000131
由该公式得到二维局部均值张量表达TL’可以有效表达TL中所存在的局部空间信息。
204、利用一维卷积网络对像元光谱分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量;
该步骤中,这里的一维卷积网络具体采用一维卷积嵌入函数σ(·),利用该函数对像元光谱分量进行卷积计算,以提取出对应的光谱特征矢量,在实际应用中,基于一维卷积嵌入函数σ(·)确定光谱特征矢量的卷积模型,将得到的像元光谱分量输入至卷积模型中进行分切,得到多个光谱特征信息,基于多个光谱特征信息得到像元光谱分量的光谱特征矢量。
205、利用二维卷积网络对像元空间分量进行卷积计算,提取表示空间信息的空间特征矢量;
同理,采用与提取光谱特征矢量相同的卷积原理对像元空间分量进行卷积计算,得到空间特征矢量,具体是采用二维卷积嵌入函数ψ(·)得到的卷积模型来处理。
在实际应用中,在卷积计算光谱特征矢量和空间特征矢量时,具体是采用一维局部张量和二维局部张量的均值来计算。
206、对光谱特征矢量和空间特征矢量进行级联,得到高光谱图像的空谱特征;
在提取到光谱特征矢量和空间特征矢量后,利用级联的方式计算出对应的空谱特征,其计算公式如下:
Figure BDA0003108042690000132
其中,fφ(·)表示空谱特征的嵌入函数,σ(·)表示一维卷积嵌入函数,ψ(·)表示二维卷积嵌入函数,⊕表示级联。
207、根据空谱特征对高光谱图像进行分类。
该步骤中,在得到了空谱特征后,基于空谱特征进行分类时,包括基于空谱特征计算其与预先确定好的分类的小样本之间的距离度量,基于距离度量来对高光谱图像进行分类。
在实际应用中,在计算出距离度量后还包括,利用softmax回归函数对距离度量符合条件的小样本进行回归计算已验证分类结果的准确度,基于计算的准确度确定是否需要重新进行空谱特征的卷积,直到验证通过,输出分类结果。
本发明实施例中,通过对高光谱图像的三阶局部空谱张量进行类张量分解,得到了能够更为有效地表达像元空间信息的二维局部张量和像元光谱信息的一维局部张量,有效地去除了像元中所存在的冗余信息,便于后续提取空谱特征的提取,提升了提取的特征信息的准确度,从而提升了对高光谱图像分类准确率。
上面对本发明实施例中高光谱图像分类方法进行了描述,下面对本发明实施例中高光谱图像分类装置进行描述,请参阅图4,本发明实施例中高光谱图像分类装置一个实施例包括:
建立模块401,用于提取高光谱图像的高光谱像元,并建立所述高光谱像元的三阶局部空谱张量;
分解模块402,用于基于预设的类张量分解算法,对所述三阶局部空谱张量进行类张量分解,得到像元光谱分量和像元空间分量;
级联模块403,用于利用卷积网络分别对所述像元光谱分量和像元空间分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量和表示空间信息的空间特征矢量,并对各像元的空间特征矢量和光谱特征矢量进行级联,得到所述高光谱图像的空谱特征;
分类模块404,用于根据所述空谱特征对所述高光谱图像进行分类。
本实施例提供的装置实现了对像元的三维局部空谱张量的类张量分解,以得到能够更为有效表示像元空间信息的二维局部张量和像元光谱信息的一维局部张量,作为后续进行特征表达的基础,从而有效提升高光谱图像小样本分类准确率。
进一步地,请参阅图5,图5为高光谱图像分类装置各个模块的细化示意图,所述建立模块401包括:
提取单元4011,用于提取所述高光谱像元的空间信息和光谱域信息;
建模单元4012,用于利用张量数据模型,基于所述空间信息和光谱域信息对所述高光谱像元进行数学建模,得到三阶局部空谱张量。
在本实施例的一些实施例中,所述分解模块402包括:
分解单元4021,用于利用张量的类模n乘法,对所述三阶局部空谱张量进行张量的分解,得到至少两个一维局部张量和至少两个二维局部张量;
计算单元4022,用于利用张量的联合概率分布函数,根据所述至少两个一维局部张量和至少两个二维局部张量分别计算出像元光谱分量和像元空间分量。
在本实施例的一些实施例中,所述计算单元4022具体用于:
确定所述至少两个一维局部张量中的一维局部中心空谱张量以及所述至少两个一维局部张量中的一维局部邻域空谱张量;
基于张量的联合概率分布函数,计算所述一维局部中心空谱张量和所述一维局部邻域空谱张量的第一联合概率分布值;
利用均值法计算所述第一联合概率分布值的平均值,并基于所述平均值确定像元光谱分量;
确定所述至少两个二维局部张量中的二维局部中心空谱张量以及所述至少两个二维局部张量中的二维局部邻域空谱张量;
基于张量的联合概率分布函数,计算所述二维局部中心空谱张量和所述二维局部邻域空谱张量的第二联合概率分布值;
利用均值法计算所述第二联合概率分布值的平均值,并基于所述平均值确定像元空间分量。
在本实施例的一些实施例中,所述级联模块403包括:
卷积单元4031,用于利用一维卷积网络对所述像元光谱分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量;以及利用二维卷积网络对所述像元空间分量进行卷积计算,提取表示空间信息的空间特征矢量;
级联单元4032,用于对所述光谱特征矢量和所述空间特征矢量进行级联,得到所述高光谱图像的空谱特征。
在本实施例的一些实施例中,对所述光谱特征矢量和所述空间特征矢量进行级联的计算公式为:
fφ(TS′,TL′)=σ(TS′)⊕ψ(TL′),
其中,σ(·)为一维卷积网络的函数式,ψ(·)为二维卷积的函数式,⊕表示级联。
在本实施例的一些实施例中,所述分类模块404包括:
距离计算单元4041,用于根据所述空谱特征确定对应的分类小样本度量空间,并计算出所述分类小样本度量空间的分类距离度量;
分类单元4042,用于根据所述分类距离度量对所述高光谱图像进行分类。
本发明实施例中,通过提取高光谱图像的高光谱像元,并建立高光谱像元的三阶局部空谱张量,基于预设的类张量分解算法,对三阶局部空谱张量进行类张量分解,得到像元光谱分量和像元空间分量,利用卷积网络分别对像元光谱分量和像元空间分量进行卷积计算,提取对应的空间特征矢量和光谱特征矢量,并对各像元的光谱特征矢量和空间特征矢量进行级联,得到高光谱图像的空谱特征,根据空谱特征对高光谱图像进行分类。由于上述对高光谱图像的像元的三维局部空谱张量进行类张量分解,有效地去除了像元中存在的冗余信息,提高了后续空谱特征提取的效率,同时也保证了提取到的空谱特征的准确度,增加了对像元的空间信息和光谱信息两个维度的分析和预处理,更准确地对高光谱图像进行特征分析,从而进一步提升了基于空谱特征信息对高光谱图像进行分类的准确率。
上面图4和图5从模块化功能实体的角度对本发明实施例中的高光谱图像分类装置进行详细描述,下面从硬件处理的角度对本发明实施例中高光谱图像分类设备进行详细描述。
图6是本发明实施例提供了一种电子设备的结构示意图,该电子设备600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessingunits,CPU)610(例如,一个或一个以上处理器)和存储器620,一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中,存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对电子设备600中的一系列指令操作。更进一步地,处理器610可以设置为与存储介质630通信,在电子设备600上执行存储介质630中的一系列指令操作。在实际应用中,该应用程序633可以被分割成建立模块401、分解模块402、级联模块403和分类模块404(虚拟装置中的模块)的功能。
电子设备600还可以包括一个或一个以上电源640,一个或一个以上有线或无线网络接口650,一个或一个以上输入输出接口660,和/或,一个或一个以上操作系统631,例如WindowsServe,MacOSX,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图6示出的电子设备结构还可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令或计算机程序,当所述指令或计算机程序被运行时,使得计算机执行上述实施例提供的高光谱图像分类方法的各个步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统或装置、单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-onlymemory,ROM)、随机存取存储器(randomaccessmemory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种高光谱图像分类方法,其特征在于,所述高光谱图像分类方法包括:
提取高光谱图像的高光谱像元,并建立所述高光谱像元的三阶局部空谱张量;
基于预设的类张量分解算法,对所述三阶局部空谱张量进行类张量分解,得到像元光谱分量和像元空间分量;
利用卷积网络分别对所述像元光谱分量和像元空间分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量和表示空间信息的空间特征矢量,并对各像元的空间特征矢量和光谱特征矢量进行级联,得到所述高光谱图像的空谱特征;
根据所述空谱特征对所述高光谱图像进行分类。
2.根据权利要求1所述的高光谱图像分类方法,其特征在于,所述建立所述高光谱像元的三阶局部空谱张量包括:
提取所述高光谱像元的空间信息和光谱域信息;
利用张量数据模型,基于所述空间信息和光谱域信息对所述高光谱像元进行数学建模,得到三阶局部空谱张量。
3.根据权利要求1所述的高光谱图像分类方法,其特征在于,所述基于预设的类张量分解算法,对所述三阶局部空谱张量进行类张量分解,得到像元光谱分量和像元空间分量包括:
利用张量的类模n乘法,对所述三阶局部空谱张量进行张量的分解,得到至少两个一维局部张量和至少两个二维局部张量;
利用张量的联合概率分布函数,根据所述至少两个一维局部张量和至少两个二维局部张量分别计算出像元光谱分量和像元空间分量。
4.根据权利要求3所述的高光谱图像分类方法,其特征在于,所述利用张量的联合概率分布函数,根据所述至少两个一维局部张量和至少两个二维局部张量分别计算出像元光谱分量和像元空间分量包括:
确定所述至少两个一维局部张量中的一维局部中心空谱张量以及所述至少两个一维局部张量中的一维局部邻域空谱张量;
基于张量的联合概率分布函数,计算所述一维局部中心空谱张量和所述一维局部邻域空谱张量的第一联合概率分布值;
利用均值法计算所述第一联合概率分布值的平均值,并基于所述平均值确定像元光谱分量;
确定所述至少两个二维局部张量中的二维局部中心空谱张量以及所述至少两个二维局部张量中的二维局部邻域空谱张量;
基于张量的联合概率分布函数,计算所述二维局部中心空谱张量和所述二维局部邻域空谱张量的第二联合概率分布值;
利用均值法计算所述第二联合概率分布值的平均值,并基于所述平均值确定像元空间分量。
5.根据权利要求4所述的高光谱图像分类算法,其特征在于,所述利用卷积网络分别对所述像元光谱分量和像元空间分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量和表示空间信息的空间特征矢量,并对各像元的光谱特征矢量和空间特征矢量进行级联,得到所述高光谱图像的空谱特征包括:
利用一维卷积网络对所述像元光谱分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量;
利用二维卷积网络对所述像元空间分量进行卷积计算,提取表示空间信息的空间特征矢量;
对所述光谱特征矢量和所述空间特征矢量进行级联,得到所述高光谱图像的空谱特征。
6.根据权利要求5所述的高光谱图像分类算法,其特征在于,对所述光谱特征矢量和所述空间特征矢量进行级联的计算公式为:
Figure FDA0003108042680000031
其中,σ(·)为一维卷积网络的函数式,ψ(·)为二维卷积的函数式,
Figure FDA0003108042680000032
表示级联。
7.根据权利要求1所述的高光谱图像分类算法,其特征在于,所述根据所述空谱特征对所述高光谱图像进行分类包括:
根据所述空谱特征确定对应的分类小样本度量空间,并计算出所述分类小样本度量空间的分类距离度量;
根据所述分类距离度量对所述高光谱图像进行分类。
8.一种高光谱图像分类装置,其特征在于,所述高光谱图像分类装置包括:
建立模块,用于提取高光谱图像的高光谱像元,并建立所述高光谱像元的三阶局部空谱张量;
分解模块,用于基于预设的类张量分解算法,对所述三阶局部空谱张量进行类张量分解,得到像元光谱分量和像元空间分量;
级联模块,用于利用卷积网络分别对所述像元光谱分量和像元空间分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量和表示空间信息的空间特征矢量,并对各像元的空间特征矢量和光谱特征矢量进行级联,得到所述高光谱图像的空谱特征;
分类模块,用于根据所述空谱特征对所述高光谱图像进行分类。
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的高光谱图像分类方法中的各个步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中人一项所述的高光谱图像分类方法中的各个步骤。
CN202110641552.0A 2021-06-09 2021-06-09 高光谱图像分类方法、装置、电子设备及存储介质 Active CN113435265B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110641552.0A CN113435265B (zh) 2021-06-09 2021-06-09 高光谱图像分类方法、装置、电子设备及存储介质
PCT/CN2021/138813 WO2022257407A1 (zh) 2021-06-09 2021-12-16 高光谱图像分类方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110641552.0A CN113435265B (zh) 2021-06-09 2021-06-09 高光谱图像分类方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113435265A true CN113435265A (zh) 2021-09-24
CN113435265B CN113435265B (zh) 2024-07-09

Family

ID=77755393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110641552.0A Active CN113435265B (zh) 2021-06-09 2021-06-09 高光谱图像分类方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN113435265B (zh)
WO (1) WO2022257407A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022257407A1 (zh) * 2021-06-09 2022-12-15 深圳大学 高光谱图像分类方法、装置、电子设备及存储介质
CN116051896A (zh) * 2023-01-28 2023-05-02 西南交通大学 一种轻量化混合张量神经网络的高光谱图像分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798348A (zh) * 2017-10-27 2018-03-13 广东省智能制造研究所 基于邻域信息深度学习的高光谱图像分类方法
CN109034274A (zh) * 2018-08-30 2018-12-18 深圳大学 提升高光谱图像分类精度的方法、装置、设备及存储介质
WO2020042070A1 (zh) * 2018-08-30 2020-03-05 深圳大学 提升高光谱图像分类精度的方法、装置、设备及存储介质
CN111160273A (zh) * 2019-12-31 2020-05-15 北京云智空间科技有限公司 一种高光谱图像空谱联合分类方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023065B (zh) * 2016-05-13 2019-02-19 中国矿业大学 一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法
WO2018081929A1 (zh) * 2016-11-01 2018-05-11 深圳大学 一种高光谱遥感图像特征提取和分类方法及其系统
CN111192193B (zh) * 2019-11-26 2022-02-01 西安电子科技大学 一种基于1维-2维卷积神经网络高光谱单图超分辨方法
CN113435265B (zh) * 2021-06-09 2024-07-09 深圳大学 高光谱图像分类方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798348A (zh) * 2017-10-27 2018-03-13 广东省智能制造研究所 基于邻域信息深度学习的高光谱图像分类方法
CN109034274A (zh) * 2018-08-30 2018-12-18 深圳大学 提升高光谱图像分类精度的方法、装置、设备及存储介质
WO2020042070A1 (zh) * 2018-08-30 2020-03-05 深圳大学 提升高光谱图像分类精度的方法、装置、设备及存储介质
CN111160273A (zh) * 2019-12-31 2020-05-15 北京云智空间科技有限公司 一种高光谱图像空谱联合分类方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
薛志祥;余旭初;谭熊;魏祥坡;: "融合光谱-空间多特征的高光谱影像张量特征提取", 计算机工程, no. 03, pages 238 - 245 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022257407A1 (zh) * 2021-06-09 2022-12-15 深圳大学 高光谱图像分类方法、装置、电子设备及存储介质
CN116051896A (zh) * 2023-01-28 2023-05-02 西南交通大学 一种轻量化混合张量神经网络的高光谱图像分类方法

Also Published As

Publication number Publication date
CN113435265B (zh) 2024-07-09
WO2022257407A1 (zh) 2022-12-15

Similar Documents

Publication Publication Date Title
Jia et al. Gabor feature-based collaborative representation for hyperspectral imagery classification
Du et al. Spatial and spectral unmixing using the beta compositional model
Yuan et al. Factorization-based texture segmentation
CN111680556B (zh) 交通卡口车辆类型的识别方法、装置、设备及存储介质
CN113728335A (zh) 用于3d图像的分类和可视化的方法和系统
IL249566A (en) Orthonormal system and method are optimized to reduce the dimensions of spectral figures
CN103632155B (zh) 基于慢特征分析的遥感影像变化检测方法
Lyzinski et al. Spectral clustering for divide-and-conquer graph matching
CN104952050A (zh) 基于区域分割的高光谱图像自适应解混方法
CN113420640B (zh) 红树林高光谱图像分类方法、装置、电子设备及存储介质
CN113435265B (zh) 高光谱图像分类方法、装置、电子设备及存储介质
Kerola et al. Spectral graph skeletons for 3D action recognition
CN110992273B (zh) 一种自相似性约束的高光谱影像解混方法
CN111160273A (zh) 一种高光谱图像空谱联合分类方法及装置
EP3449462B1 (en) Mesh denoising
Li et al. PENNI: Pruned kernel sharing for efficient CNN inference
CN111242228B (zh) 高光谱图像分类方法、装置、设备及存储介质
Islam et al. Feature reduction based on segmented principal component analysis for hyperspectral images classification
Mohtashamian et al. Automated plant species identification using leaf shape-based classification techniques: a case study on Iranian Maples
Singh et al. A Pre-processing framework for spectral classification of hyperspectral images
CN109034274B (zh) 提升高光谱图像分类精度的方法、装置、设备及存储介质
Zhan et al. Multi-Scale Feature Reconstruction and Inter-Class Attention Weighting for Land Cover Classification
Masoumi et al. Global spectral graph wavelet signature for surface analysis of carpal bones
Gigie et al. Joint coupled transform learning framework for multimodal image super-resolution
Su et al. A new spectral–spatial jointed hyperspectral image classification approach based on fractal dimension analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant