CN113435265A - 高光谱图像分类方法、装置、电子设备及存储介质 - Google Patents
高光谱图像分类方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113435265A CN113435265A CN202110641552.0A CN202110641552A CN113435265A CN 113435265 A CN113435265 A CN 113435265A CN 202110641552 A CN202110641552 A CN 202110641552A CN 113435265 A CN113435265 A CN 113435265A
- Authority
- CN
- China
- Prior art keywords
- spatial
- tensor
- pixel
- spectral
- hyperspectral image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000003595 spectral effect Effects 0.000 claims abstract description 149
- 238000001228 spectrum Methods 0.000 claims abstract description 132
- 239000013598 vector Substances 0.000 claims abstract description 86
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 47
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims description 34
- 238000005315 distribution function Methods 0.000 claims description 19
- 238000005259 measurement Methods 0.000 claims description 19
- 238000012935 Averaging Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013499 data model Methods 0.000 claims description 5
- 238000007635 classification algorithm Methods 0.000 claims 3
- 238000000605 extraction Methods 0.000 abstract description 9
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000013178 mathematical model Methods 0.000 description 3
- 239000004615 ingredient Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种高光谱图像分类方法、装置、电子设备及存储介质,通过提取到的高光谱图像的像元建立对应的三阶局部空谱张量,利用类张量分解算法对该三阶局部空谱张量进行分解,得到像元光谱分量和像元空间分量,利用卷积网络分别对像元光谱分量和像元空间分量卷积,提取到对应的光谱特征矢量和空间特征矢量,并对光谱特征矢量和空间特征矢量进行级联,得到高光谱图像的空谱特征,基于空谱特征对高光谱图像进行分类。通过上述方法的实施,采用了类张量分解算法对高光谱图像进行了空间和光谱两个维度的特征分析,有效地去除了高光谱图像的像元中存在的冗余信息,提高了后续空谱特征提取的效率,从而提升了对高光谱图像的分类准确率。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种高光谱图像分类方法、装置、电子设备及存储介质。
背景技术
高光谱图像不仅包含了反映地物形态特征的空间结构信息,而且包含了反映地物类别属性和状态属性的光谱结构信息,由于其具有上述的特性,使得其在农业科学、地球科学以及军事等领域得到了广泛的应用。然而,由于高光谱图像的拍摄区域复杂以及野外测绘的危险性,获取大量的高光谱图像标记样本需要耗费许多的人力和物资,而标记样本的不足则使得现有的深度学习算法在高光谱图像上的应用受到了很大的限制。
针对上述的问题,采用了小样本学习算法可以在一定程度上提升了应用,但是现有的小样本学习算法在高光谱图像中的应用,都是简单地直接提取高光谱像元的三维局部邻域上的空谱特征,缺乏对像元原始的空间和光谱维度上的表达进行分析和预处理的数学模型,导致提取的像元中存在较多的冗余信息,使得最后的分类准确率较低。
发明内容
本发明的主要目的在于解决现有技术中对高光谱图像的分类精准率较低的技术问题。
本发明第一方面提供了一种高光谱图像分类方法,所述高光谱图像分类方法包括:
提取高光谱图像的高光谱像元,并建立所述高光谱像元的三阶局部空谱张量;
基于预设的类张量分解算法,对所述三阶局部空谱张量进行类张量分解,得到像元光谱分量和像元空间分量;
利用卷积网络分别对所述像元光谱分量和像元空间分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量和表示空间信息的空间特征矢量,并对各像元的空间特征矢量和光谱特征矢量进行级联,得到所述高光谱图像的空谱特征;
根据所述空谱特征对所述高光谱图像进行分类。
可选的,在本发明第一方面的第一种实现方式中,所述建立所述高光谱像元的三阶局部空谱张量包括:
提取所述高光谱像元的空间信息和光谱域信息;
利用张量数据模型,基于所述空间信息和光谱域信息对所述高光谱像元进行数学建模,得到三阶局部空谱张量。
可选的,在本发明第一方面的第二种实现方式中,所述基于预设的类张量分解算法,对所述三阶局部空谱张量进行类张量分解,得到像元光谱分量和像元空间分量包括:
利用张量的类模n乘法,对所述三阶局部空谱张量进行张量的分解,得到至少两个一维局部张量和至少两个二维局部张量;
利用张量的联合概率分布函数,根据所述至少两个一维局部张量和至少两个二维局部张量分别计算出像元光谱分量和像元空间分量。
可选的,在本发明第一方面的第三种实现方式中,所述利用张量的联合概率分布函数,根据所述至少两个一维局部张量和至少两个二维局部张量分别计算出像元光谱分量和像元空间分量包括:
确定所述至少两个一维局部张量中的一维局部中心空谱张量以及所述至少两个一维局部张量中的一维局部邻域空谱张量;
基于张量的联合概率分布函数,计算所述一维局部中心空谱张量和所述一维局部邻域空谱张量的第一联合概率分布值;
利用均值法计算所述第一联合概率分布值的平均值,并基于所述平均值确定像元光谱分量;
确定所述至少两个二维局部张量中的二维局部中心空谱张量以及所述至少两个二维局部张量中的二维局部邻域空谱张量;
基于张量的联合概率分布函数,计算所述二维局部中心空谱张量和所述二维局部邻域空谱张量的第二联合概率分布值;
利用均值法计算所述第二联合概率分布值的平均值,并基于所述平均值确定像元空间分量。
可选的,在本发明第一方面的第四种实现方式中,所述利用卷积网络分别对所述像元光谱分量和像元空间分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量和表示空间信息的空间特征矢量,并对各像元的空间特征矢量和光谱特征矢量进行级联,得到所述高光谱图像的空谱特征包括:
利用一维卷积网络对所述像元光谱分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量;
利用二维卷积网络对所述像元空间分量进行卷积计算,提取表示空间信息的空间特征矢量;
对所述光谱特征矢量和所述空间特征矢量息进行级联,得到所述高光谱图像的空谱特征。
可选的,在本发明第一方面的第五种实现方式中,对所述光谱特征矢量和所述空间特征矢量进行级联的计算公式为:
其中,σ(·)为一维卷积网络的函数式,ψ(·)为二维卷积的函数式,⊕表示级联。
可选的,在本发明第一方面的第六种实现方式中,所述根据所述空谱特征对所述高光谱图像进行分类包括:
根据所述空谱特征确定对应的分类小样本度量空间,并计算出所述分类小样本度量空间的分类距离度量;
根据所述分类距离度量对所述高光谱图像进行分类。
本发明第二方面提供了一种高光谱图像分类装置,所述高光谱图像分类装置包括:
建立模块,用于提取高光谱图像的高光谱像元,并建立所述高光谱像元的三阶局部空谱张量;
分解模块,用于基于预设的类张量分解算法,对所述三阶局部空谱张量进行类张量分解,得到像元光谱分量和像元空间分量;
级联模块,用于利用卷积网络分别对所述像元光谱分量和像元空间分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量和表示空间信息的空间特征矢量,并对各像元的空间特征矢量和光谱特征矢量进行级联,得到所述高光谱图像的空谱特征;
分类模块,用于根据所述空谱特征对所述高光谱图像进行分类。
可选的,在本发明第二方面的第一种实现方式中,所述建立模块包括:
提取单元,用于提取所述高光谱像元的空间信息和光谱域信息;
建模单元,用于利用张量数据模型,基于所述空间信息和光谱域信息对所述高光谱像元进行数学建模,得到三阶局部空谱张量。
可选的,在本发明第二方面的第二种实现方式中,所述分解模块包括:
分解单元,用于利用张量的类模n乘法,对所述三阶局部空谱张量进行张量的分解,得到至少两个一维局部张量和至少两个二维局部张量;
计算单元,用于利用张量的联合概率分布函数,根据所述至少两个一维局部张量和至少两个二维局部张量分别计算出像元光谱分量和像元空间分量。
可选的,在本发明第二方面的第三种实现方式中,所述计算单元具体用于:
确定所述至少两个一维局部张量中的一维局部中心空谱张量以及所述至少两个一维局部张量中的一维局部邻域空谱张量;
基于张量的联合概率分布函数,计算所述一维局部中心空谱张量和所述一维局部邻域空谱张量的第一联合概率分布值;
利用均值法计算所述第一联合概率分布值的平均值,并基于所述平均值确定像元光谱分量;
确定所述至少两个二维局部张量中的二维局部中心空谱张量以及所述至少两个二维局部张量中的二维局部邻域空谱张量;
基于张量的联合概率分布函数,计算所述二维局部中心空谱张量和所述二维局部邻域空谱张量的第二联合概率分布值;
利用均值法计算所述第二联合概率分布值的平均值,并基于所述平均值确定像元空间分量。
可选的,在本发明第二方面的第四种实现方式中,所述级联模块包括:
卷积单元,用于利用一维卷积网络对所述像元光谱分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量;以及利用二维卷积网络对所述像元空间分量进行卷积计算,提取表示空间信息的空间特征矢量;
级联单元,用于对所述光谱特征矢量和所述空间特征矢量进行级联,得到所述高光谱图像的空谱特征。
可选的,在本发明第二方面的第五种实现方式中,对所述光谱特征矢量和所述空间特征矢量进行级联的计算公式为:
其中,σ(·)为一维卷积网络的函数式,ψ(·)为二维卷积的函数式,⊕表示级联。
可选的,在本发明第二方面的第六种实现方式中,所述分类模块包括:
距离计算单元,用于根据所述空谱特征确定对应的分类小样本度量空间,并计算出所述分类小样本度量空间的分类距离度量;
分类单元,用于根据所述分类距离度量对所述高光谱图像进行分类。
本发明第三方面提供了一种电子设备,包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述第一方面提供的高光谱图像分类方法中的各个步骤。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面提供的高光谱图像分类方法中的各个步骤。
本发明的技术方案中,通过提取高光谱图像的高光谱像元,并建立高光谱像元的三阶局部空谱张量,基于预设的类张量分解算法,对三阶局部空谱张量进行类张量分解,得到像元光谱分量和像元空间分量,利用卷积网络分别对像元光谱分量和像元空间分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量和表示空间信息的空间特征矢量,并对各像元的光谱特征矢量和空间特征矢量进行级联,得到高光谱图像的空谱特征,根据空谱特征对高光谱图像进行分类。由于上述对高光谱图像的像元的三维局部空谱张量进行类张量分解,有效地去除了像元中存在的冗余信息,提高了后续空谱特征提取的效率,同时也保证了提取到的空谱特征的准确度,增加了对像元的空间信息和光谱信息两个维度的分析和预处理,更准确地对高光谱图像进行特征分析,从而进一步提升了基于空谱特征对高光谱图像进行分类的准确率。
附图说明
图1为本发明实施例中高光谱图像分类方法的整体框架图;
图2为本发明实施例中高光谱图像分类方法的第一个实施例示意图;
图3为本发明实施例中高光谱图像分类方法的第二个实施例示意图;
图4为本发明实施例中高光谱图像分类装置的一个实施例示意图;
图5为本发明实施例中高光谱图像分类装置的另一个实施例示意图;
图6为本发明实施例中电子设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种新的基于类张量分解的高光谱图像分类方案,该方案是通过借鉴张量分解的原理,来实现对像元的三维局部空谱张量的类张量分解,以得到能够更为有效表示像元空间信息的二维局部张量和像元光谱信息的一维局部张量,作为后续进行特征表达的基础,从而有效提升高光谱图像小样本分类准确率。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本实施例中,高光谱图像可以表示为H(x,y,λ),其中,(x,y)是空间坐标,λ是光谱坐标(也可以理解为是波段数),可见,波段数为λ的高光谱像元为H(x,y),令其在第i个波段上的光谱值为Hi(x,y),光谱矢量为则高光谱像元H(x,y)可表示为接着,定义x和y是高光谱像元局部空谱邻域的空间域大小,Λ是高光谱像元局部空谱邻域的光谱域大小,则可用三阶局部空谱张量T∈RX×Y×λ表示H(x,y)。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1和2,本发明实施例中高光谱图像分类方法的第一个实施例包括:
101、提取高光谱图像的高光谱像元,并建立高光谱像元的三阶局部空谱张量;
该步骤中,该高光谱图像具体是通过高光谱成像仪拍摄得到,由于高光谱成像仪在拍摄时是存在成像间隔的,而高光谱图像可以理解为是通过多个间隔拍摄的成像合成的图像,对此,在提取高光谱像元时,具体是基于成像时的间隔来逐一提取,由于成像时的相邻波段之间的图像相关性较高,因此,提取后得到的高光谱像元还包括对高光谱像元进行排序,得到高光谱像元的序列,然后基于序列进行张量的建立,得到三阶局部空谱张量。
在实际应用中,由于高光谱图像具有波段间相关性强,数据量大的特点,导致其图像本身存在有信息冗余,为了减少提取到的像元存在的冗余信息,这里可以选择采用张量数学模型来构建三维局部空谱张量,该张量数学作为一个强有力的数学工具,通常被用作对高维几何数据进行建模表示,采用统一的张量数学模型能充分反映高维数据(即是高光谱图像)的结构特性。为了能够对高光谱像元原始的空谱特征信息表达进行有效的分析。
具体的,在建立高光谱图像的三阶局部空谱张量时,通过提取所述高光谱像元的空间信息和光谱域信息;利用张量数据模型,基于所述空间信息和光谱域信息对所述高光谱像元进行数学建模,得到三阶局部空谱张量。
在实际应用中,通过利用张量的模n乘法可实现张量的分解,因此可认为张量的模n乘法是一个数据降维的过程,当J<In时,其计算方法如下:
102、基于预设的类张量分解算法,对三阶局部空谱张量进行类张量分解,得到像元光谱分量和像元空间分量;
该步骤中,利用类张量分解算法将通过模n算法建立的三阶局部空谱张量从空间维度和光谱维度进行分解,得到像元光谱分量和像元空间分量。
在实际应用中,在分解得到像元光谱分量和像元空间分量之前,还包括利用预设的类张量分解算法将三阶局部空谱张量分解为多个一维局部张量和多个二维局部张量,然后对多个一维局部张量分析得到像元光谱分量,对多个二维局部张量分析得到像元空间分量。
在实际应用中,高光谱像元H(x,y)基于上述步骤101中的表达式表示为三阶局部空谱张量T时,根据上述的公式(1)的建模原理,该步骤102具体在对三阶局部空谱张量T进行类张量分解时,基于公式(1)进行变化,得到如下公式:
基于上述公式(2)采用类模n乘法对公式(1)中得到的一维局部张量计算出光谱维度上的主分量,得到像元光谱分量,以及对公式(1)中得到的二维局部张量计算出空间维度上的主分量,得到像元空间分量。
103、利用卷积网络分别对像元光谱分量和像元空间分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量和表示空间信息的空间特征矢量,并对各像元的空间特征矢量和光谱特征矢量进行级联,得到高光谱图像的空谱特征;
在本实施例中,在对像元光谱分量和像元空间分量进行卷积时,主要是采用一维卷积神经网络1D-CNN对像元光谱分量进行卷积计算,得到光谱特征矢量,以及采用二维卷积神经网络2D-CNN对像元空间分量进行卷积计算,得到空间特征矢量,然后将像元光谱分量的光谱特征矢量和像元空间分量的空间特征矢量进行级联计算,得到高光谱图像对应的空谱特征。
在实际应用中,具体通过以下定义的函数来实现级联计算,定义fφ(·)为空谱特征提取网络的嵌入函数,则可表示为如下:
104、根据空谱特征对高光谱图像进行分类。
在该步骤中,在对高光谱图像进行分类时,具体是根据所述空谱特征确定对应的分类小样本度量空间,并计算出所述分类小样本度量空间的分类距离度量;根据所述分类距离度量对所述高光谱图像进行分类。在实际应用中,通过将级联计算得到的空谱特征嵌入到小样本度量空间中,并计算空谱特征与小样本度量空间的距离,例如欧式距离、马氏距离等,基于计算到的距离实现对高光图谱进行分类。
本发明实施例中,在高光谱图像的特性的基础上,对高光谱图像的像元的三维局部空谱张量进行类张量分解,以得到能够更为有效表示空间信息的二维局部张量和光谱信息的一维局部张量,基于增加了两个维度的张量来对高光谱图像进行分裂,从而大大提升了高光谱图像分类的实际准确率。
请参阅图1和3,本发明实施例中高光谱图像分类方法的第二个实施例包括:
201、提取高光谱图像的高光谱像元,并建立高光谱像元的三阶局部空谱张量;
该步骤中,在建立三阶局部空谱张量时,具体利用张量数学的张量的模n乘法来进行张量的建立,该张量的模n乘法指的是张量TN和矩阵L相乘的结果,其结果是一个张量,模的消息大小为I1×I2×…×In-1×J×In+1×…×IN,在实际应用中,张量的模n乘法可以理解为是一个数据降维的过程,当J<In时,其计算公式为:其中×n表示的是张量的模n乘法,和分别表示张量和矩阵的元素。
202、利用张量的类模n乘法,对三阶局部空谱张量进行张量的分解,得到至少两个一维局部张量和至少两个二维局部张量;
在本实施例中,这里的类张量分解算法具体是张量的类模n乘法,基于上诉公式(1)实现对三阶局部空谱张量进行分解,得到像元光谱分量和像元空间分量,具体表达式为:其中,TS表示T在光谱维上的主分量,即T的光谱分量,TL表示T在空间维上的主分量,即T的空间分量,表示张量的类模n乘法。
203、利用张量的联合概率分布函数,根据至少两个一维局部张量和至少两个二维局部张量分别计算出像元光谱分量和像元空间分量;
该步骤中,主要是通过分析光谱像元的光谱维度和空间维度中的张量元素值的联合概率分布来实现对像元光谱分量和像元空间分量的提取。
在实际应用中,对于像元光谱分量的提取过程具体如下:
设像元光谱分量TS是由P个一维局部张量所组成,定义VS为像元光谱分量中TS张量元素值的联合概率分布,具体的,首先确定所述至少两个一维局部张量中的一维局部中心空谱张量以及所述至少两个一维局部张量中的一维局部邻域空谱张量;基于张量的联合概率分布函数,计算所述一维局部中心空谱张量和所述一维局部邻域空谱张量的第一联合概率分布值;利用均值法计算所述第一联合概率分布值的平均值,并基于所述平均值确定像元光谱分量;其表达式为:
VS=vs(Sc,S1,S2,…SP-1),
其中,Sk(k=1,…P)表示TS中的一维局部邻域空谱张量,SC表示TS中的一维局部中心空谱张量,vs(·)表示光谱分量中张量元素值的联合概率分布函数。TS中张量元素值的联合概率分布的主要信息都存在于TS的邻域联合概率分布中,因此像元光谱分量VS的表达式可近似表示为:
VS≈vs(Sc)vs(S1,S2…SP-1)
≈vs(S1,S2…SP-1),
由于联合概率分布函数的求解复杂,为了能够进一步简化TS的表达,本文基于均值法求解TS的一维局部均值张量表达TS’,TS’的表达如下:
同理,设像元空间分量TL是由J个二维局部张量所组成,定义VL为像元空间分量中张量元素值的联合概率分布,具体的,首先确定所述至少两个二维局部张量中的二维局部中心空谱张量以及所述至少两个二维局部张量中的二维局部邻域空谱张量;基于张量的联合概率分布函数,计算所述二维局部中心空谱张量和所述二维局部邻域空谱张量的第二联合概率分布值;利用均值法计算所述第二联合概率分布值的平均值,并基于所述平均值确定像元空间分量。
其近似表达如下所示:
VL=vl(Lc,L1,L2…LJ-1)
≈vl(Lc)vl(L1,L2…LJ-1)
≈vl(L1,L2…LJ-1);
同样地,基于均值法求解TL的二维局部均值张量表达TL’,TL’的表达如下:
204、利用一维卷积网络对像元光谱分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量;
该步骤中,这里的一维卷积网络具体采用一维卷积嵌入函数σ(·),利用该函数对像元光谱分量进行卷积计算,以提取出对应的光谱特征矢量,在实际应用中,基于一维卷积嵌入函数σ(·)确定光谱特征矢量的卷积模型,将得到的像元光谱分量输入至卷积模型中进行分切,得到多个光谱特征信息,基于多个光谱特征信息得到像元光谱分量的光谱特征矢量。
205、利用二维卷积网络对像元空间分量进行卷积计算,提取表示空间信息的空间特征矢量;
同理,采用与提取光谱特征矢量相同的卷积原理对像元空间分量进行卷积计算,得到空间特征矢量,具体是采用二维卷积嵌入函数ψ(·)得到的卷积模型来处理。
在实际应用中,在卷积计算光谱特征矢量和空间特征矢量时,具体是采用一维局部张量和二维局部张量的均值来计算。
206、对光谱特征矢量和空间特征矢量进行级联,得到高光谱图像的空谱特征;
在提取到光谱特征矢量和空间特征矢量后,利用级联的方式计算出对应的空谱特征,其计算公式如下:
207、根据空谱特征对高光谱图像进行分类。
该步骤中,在得到了空谱特征后,基于空谱特征进行分类时,包括基于空谱特征计算其与预先确定好的分类的小样本之间的距离度量,基于距离度量来对高光谱图像进行分类。
在实际应用中,在计算出距离度量后还包括,利用softmax回归函数对距离度量符合条件的小样本进行回归计算已验证分类结果的准确度,基于计算的准确度确定是否需要重新进行空谱特征的卷积,直到验证通过,输出分类结果。
本发明实施例中,通过对高光谱图像的三阶局部空谱张量进行类张量分解,得到了能够更为有效地表达像元空间信息的二维局部张量和像元光谱信息的一维局部张量,有效地去除了像元中所存在的冗余信息,便于后续提取空谱特征的提取,提升了提取的特征信息的准确度,从而提升了对高光谱图像分类准确率。
上面对本发明实施例中高光谱图像分类方法进行了描述,下面对本发明实施例中高光谱图像分类装置进行描述,请参阅图4,本发明实施例中高光谱图像分类装置一个实施例包括:
建立模块401,用于提取高光谱图像的高光谱像元,并建立所述高光谱像元的三阶局部空谱张量;
分解模块402,用于基于预设的类张量分解算法,对所述三阶局部空谱张量进行类张量分解,得到像元光谱分量和像元空间分量;
级联模块403,用于利用卷积网络分别对所述像元光谱分量和像元空间分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量和表示空间信息的空间特征矢量,并对各像元的空间特征矢量和光谱特征矢量进行级联,得到所述高光谱图像的空谱特征;
分类模块404,用于根据所述空谱特征对所述高光谱图像进行分类。
本实施例提供的装置实现了对像元的三维局部空谱张量的类张量分解,以得到能够更为有效表示像元空间信息的二维局部张量和像元光谱信息的一维局部张量,作为后续进行特征表达的基础,从而有效提升高光谱图像小样本分类准确率。
进一步地,请参阅图5,图5为高光谱图像分类装置各个模块的细化示意图,所述建立模块401包括:
提取单元4011,用于提取所述高光谱像元的空间信息和光谱域信息;
建模单元4012,用于利用张量数据模型,基于所述空间信息和光谱域信息对所述高光谱像元进行数学建模,得到三阶局部空谱张量。
在本实施例的一些实施例中,所述分解模块402包括:
分解单元4021,用于利用张量的类模n乘法,对所述三阶局部空谱张量进行张量的分解,得到至少两个一维局部张量和至少两个二维局部张量;
计算单元4022,用于利用张量的联合概率分布函数,根据所述至少两个一维局部张量和至少两个二维局部张量分别计算出像元光谱分量和像元空间分量。
在本实施例的一些实施例中,所述计算单元4022具体用于:
确定所述至少两个一维局部张量中的一维局部中心空谱张量以及所述至少两个一维局部张量中的一维局部邻域空谱张量;
基于张量的联合概率分布函数,计算所述一维局部中心空谱张量和所述一维局部邻域空谱张量的第一联合概率分布值;
利用均值法计算所述第一联合概率分布值的平均值,并基于所述平均值确定像元光谱分量;
确定所述至少两个二维局部张量中的二维局部中心空谱张量以及所述至少两个二维局部张量中的二维局部邻域空谱张量;
基于张量的联合概率分布函数,计算所述二维局部中心空谱张量和所述二维局部邻域空谱张量的第二联合概率分布值;
利用均值法计算所述第二联合概率分布值的平均值,并基于所述平均值确定像元空间分量。
在本实施例的一些实施例中,所述级联模块403包括:
卷积单元4031,用于利用一维卷积网络对所述像元光谱分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量;以及利用二维卷积网络对所述像元空间分量进行卷积计算,提取表示空间信息的空间特征矢量;
级联单元4032,用于对所述光谱特征矢量和所述空间特征矢量进行级联,得到所述高光谱图像的空谱特征。
在本实施例的一些实施例中,对所述光谱特征矢量和所述空间特征矢量进行级联的计算公式为:
fφ(TS′,TL′)=σ(TS′)⊕ψ(TL′),
其中,σ(·)为一维卷积网络的函数式,ψ(·)为二维卷积的函数式,⊕表示级联。
在本实施例的一些实施例中,所述分类模块404包括:
距离计算单元4041,用于根据所述空谱特征确定对应的分类小样本度量空间,并计算出所述分类小样本度量空间的分类距离度量;
分类单元4042,用于根据所述分类距离度量对所述高光谱图像进行分类。
本发明实施例中,通过提取高光谱图像的高光谱像元,并建立高光谱像元的三阶局部空谱张量,基于预设的类张量分解算法,对三阶局部空谱张量进行类张量分解,得到像元光谱分量和像元空间分量,利用卷积网络分别对像元光谱分量和像元空间分量进行卷积计算,提取对应的空间特征矢量和光谱特征矢量,并对各像元的光谱特征矢量和空间特征矢量进行级联,得到高光谱图像的空谱特征,根据空谱特征对高光谱图像进行分类。由于上述对高光谱图像的像元的三维局部空谱张量进行类张量分解,有效地去除了像元中存在的冗余信息,提高了后续空谱特征提取的效率,同时也保证了提取到的空谱特征的准确度,增加了对像元的空间信息和光谱信息两个维度的分析和预处理,更准确地对高光谱图像进行特征分析,从而进一步提升了基于空谱特征信息对高光谱图像进行分类的准确率。
上面图4和图5从模块化功能实体的角度对本发明实施例中的高光谱图像分类装置进行详细描述,下面从硬件处理的角度对本发明实施例中高光谱图像分类设备进行详细描述。
图6是本发明实施例提供了一种电子设备的结构示意图,该电子设备600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessingunits,CPU)610(例如,一个或一个以上处理器)和存储器620,一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中,存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对电子设备600中的一系列指令操作。更进一步地,处理器610可以设置为与存储介质630通信,在电子设备600上执行存储介质630中的一系列指令操作。在实际应用中,该应用程序633可以被分割成建立模块401、分解模块402、级联模块403和分类模块404(虚拟装置中的模块)的功能。
电子设备600还可以包括一个或一个以上电源640,一个或一个以上有线或无线网络接口650,一个或一个以上输入输出接口660,和/或,一个或一个以上操作系统631,例如WindowsServe,MacOSX,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图6示出的电子设备结构还可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令或计算机程序,当所述指令或计算机程序被运行时,使得计算机执行上述实施例提供的高光谱图像分类方法的各个步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统或装置、单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-onlymemory,ROM)、随机存取存储器(randomaccessmemory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种高光谱图像分类方法,其特征在于,所述高光谱图像分类方法包括:
提取高光谱图像的高光谱像元,并建立所述高光谱像元的三阶局部空谱张量;
基于预设的类张量分解算法,对所述三阶局部空谱张量进行类张量分解,得到像元光谱分量和像元空间分量;
利用卷积网络分别对所述像元光谱分量和像元空间分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量和表示空间信息的空间特征矢量,并对各像元的空间特征矢量和光谱特征矢量进行级联,得到所述高光谱图像的空谱特征;
根据所述空谱特征对所述高光谱图像进行分类。
2.根据权利要求1所述的高光谱图像分类方法,其特征在于,所述建立所述高光谱像元的三阶局部空谱张量包括:
提取所述高光谱像元的空间信息和光谱域信息;
利用张量数据模型,基于所述空间信息和光谱域信息对所述高光谱像元进行数学建模,得到三阶局部空谱张量。
3.根据权利要求1所述的高光谱图像分类方法,其特征在于,所述基于预设的类张量分解算法,对所述三阶局部空谱张量进行类张量分解,得到像元光谱分量和像元空间分量包括:
利用张量的类模n乘法,对所述三阶局部空谱张量进行张量的分解,得到至少两个一维局部张量和至少两个二维局部张量;
利用张量的联合概率分布函数,根据所述至少两个一维局部张量和至少两个二维局部张量分别计算出像元光谱分量和像元空间分量。
4.根据权利要求3所述的高光谱图像分类方法,其特征在于,所述利用张量的联合概率分布函数,根据所述至少两个一维局部张量和至少两个二维局部张量分别计算出像元光谱分量和像元空间分量包括:
确定所述至少两个一维局部张量中的一维局部中心空谱张量以及所述至少两个一维局部张量中的一维局部邻域空谱张量;
基于张量的联合概率分布函数,计算所述一维局部中心空谱张量和所述一维局部邻域空谱张量的第一联合概率分布值;
利用均值法计算所述第一联合概率分布值的平均值,并基于所述平均值确定像元光谱分量;
确定所述至少两个二维局部张量中的二维局部中心空谱张量以及所述至少两个二维局部张量中的二维局部邻域空谱张量;
基于张量的联合概率分布函数,计算所述二维局部中心空谱张量和所述二维局部邻域空谱张量的第二联合概率分布值;
利用均值法计算所述第二联合概率分布值的平均值,并基于所述平均值确定像元空间分量。
5.根据权利要求4所述的高光谱图像分类算法,其特征在于,所述利用卷积网络分别对所述像元光谱分量和像元空间分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量和表示空间信息的空间特征矢量,并对各像元的光谱特征矢量和空间特征矢量进行级联,得到所述高光谱图像的空谱特征包括:
利用一维卷积网络对所述像元光谱分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量;
利用二维卷积网络对所述像元空间分量进行卷积计算,提取表示空间信息的空间特征矢量;
对所述光谱特征矢量和所述空间特征矢量进行级联,得到所述高光谱图像的空谱特征。
7.根据权利要求1所述的高光谱图像分类算法,其特征在于,所述根据所述空谱特征对所述高光谱图像进行分类包括:
根据所述空谱特征确定对应的分类小样本度量空间,并计算出所述分类小样本度量空间的分类距离度量;
根据所述分类距离度量对所述高光谱图像进行分类。
8.一种高光谱图像分类装置,其特征在于,所述高光谱图像分类装置包括:
建立模块,用于提取高光谱图像的高光谱像元,并建立所述高光谱像元的三阶局部空谱张量;
分解模块,用于基于预设的类张量分解算法,对所述三阶局部空谱张量进行类张量分解,得到像元光谱分量和像元空间分量;
级联模块,用于利用卷积网络分别对所述像元光谱分量和像元空间分量进行卷积计算,提取得到表示光谱信息的光谱特征矢量和表示空间信息的空间特征矢量,并对各像元的空间特征矢量和光谱特征矢量进行级联,得到所述高光谱图像的空谱特征;
分类模块,用于根据所述空谱特征对所述高光谱图像进行分类。
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的高光谱图像分类方法中的各个步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中人一项所述的高光谱图像分类方法中的各个步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110641552.0A CN113435265B (zh) | 2021-06-09 | 2021-06-09 | 高光谱图像分类方法、装置、电子设备及存储介质 |
PCT/CN2021/138813 WO2022257407A1 (zh) | 2021-06-09 | 2021-12-16 | 高光谱图像分类方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110641552.0A CN113435265B (zh) | 2021-06-09 | 2021-06-09 | 高光谱图像分类方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113435265A true CN113435265A (zh) | 2021-09-24 |
CN113435265B CN113435265B (zh) | 2024-07-09 |
Family
ID=77755393
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110641552.0A Active CN113435265B (zh) | 2021-06-09 | 2021-06-09 | 高光谱图像分类方法、装置、电子设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113435265B (zh) |
WO (1) | WO2022257407A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022257407A1 (zh) * | 2021-06-09 | 2022-12-15 | 深圳大学 | 高光谱图像分类方法、装置、电子设备及存储介质 |
CN116051896A (zh) * | 2023-01-28 | 2023-05-02 | 西南交通大学 | 一种轻量化混合张量神经网络的高光谱图像分类方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107798348A (zh) * | 2017-10-27 | 2018-03-13 | 广东省智能制造研究所 | 基于邻域信息深度学习的高光谱图像分类方法 |
CN109034274A (zh) * | 2018-08-30 | 2018-12-18 | 深圳大学 | 提升高光谱图像分类精度的方法、装置、设备及存储介质 |
WO2020042070A1 (zh) * | 2018-08-30 | 2020-03-05 | 深圳大学 | 提升高光谱图像分类精度的方法、装置、设备及存储介质 |
CN111160273A (zh) * | 2019-12-31 | 2020-05-15 | 北京云智空间科技有限公司 | 一种高光谱图像空谱联合分类方法及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106023065B (zh) * | 2016-05-13 | 2019-02-19 | 中国矿业大学 | 一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法 |
WO2018081929A1 (zh) * | 2016-11-01 | 2018-05-11 | 深圳大学 | 一种高光谱遥感图像特征提取和分类方法及其系统 |
CN111192193B (zh) * | 2019-11-26 | 2022-02-01 | 西安电子科技大学 | 一种基于1维-2维卷积神经网络高光谱单图超分辨方法 |
CN113435265B (zh) * | 2021-06-09 | 2024-07-09 | 深圳大学 | 高光谱图像分类方法、装置、电子设备及存储介质 |
-
2021
- 2021-06-09 CN CN202110641552.0A patent/CN113435265B/zh active Active
- 2021-12-16 WO PCT/CN2021/138813 patent/WO2022257407A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107798348A (zh) * | 2017-10-27 | 2018-03-13 | 广东省智能制造研究所 | 基于邻域信息深度学习的高光谱图像分类方法 |
CN109034274A (zh) * | 2018-08-30 | 2018-12-18 | 深圳大学 | 提升高光谱图像分类精度的方法、装置、设备及存储介质 |
WO2020042070A1 (zh) * | 2018-08-30 | 2020-03-05 | 深圳大学 | 提升高光谱图像分类精度的方法、装置、设备及存储介质 |
CN111160273A (zh) * | 2019-12-31 | 2020-05-15 | 北京云智空间科技有限公司 | 一种高光谱图像空谱联合分类方法及装置 |
Non-Patent Citations (1)
Title |
---|
薛志祥;余旭初;谭熊;魏祥坡;: "融合光谱-空间多特征的高光谱影像张量特征提取", 计算机工程, no. 03, pages 238 - 245 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022257407A1 (zh) * | 2021-06-09 | 2022-12-15 | 深圳大学 | 高光谱图像分类方法、装置、电子设备及存储介质 |
CN116051896A (zh) * | 2023-01-28 | 2023-05-02 | 西南交通大学 | 一种轻量化混合张量神经网络的高光谱图像分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113435265B (zh) | 2024-07-09 |
WO2022257407A1 (zh) | 2022-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jia et al. | Gabor feature-based collaborative representation for hyperspectral imagery classification | |
Du et al. | Spatial and spectral unmixing using the beta compositional model | |
Yuan et al. | Factorization-based texture segmentation | |
CN111680556B (zh) | 交通卡口车辆类型的识别方法、装置、设备及存储介质 | |
CN113728335A (zh) | 用于3d图像的分类和可视化的方法和系统 | |
IL249566A (en) | Orthonormal system and method are optimized to reduce the dimensions of spectral figures | |
CN103632155B (zh) | 基于慢特征分析的遥感影像变化检测方法 | |
Lyzinski et al. | Spectral clustering for divide-and-conquer graph matching | |
CN104952050A (zh) | 基于区域分割的高光谱图像自适应解混方法 | |
CN113420640B (zh) | 红树林高光谱图像分类方法、装置、电子设备及存储介质 | |
CN113435265B (zh) | 高光谱图像分类方法、装置、电子设备及存储介质 | |
Kerola et al. | Spectral graph skeletons for 3D action recognition | |
CN110992273B (zh) | 一种自相似性约束的高光谱影像解混方法 | |
CN111160273A (zh) | 一种高光谱图像空谱联合分类方法及装置 | |
EP3449462B1 (en) | Mesh denoising | |
Li et al. | PENNI: Pruned kernel sharing for efficient CNN inference | |
CN111242228B (zh) | 高光谱图像分类方法、装置、设备及存储介质 | |
Islam et al. | Feature reduction based on segmented principal component analysis for hyperspectral images classification | |
Mohtashamian et al. | Automated plant species identification using leaf shape-based classification techniques: a case study on Iranian Maples | |
Singh et al. | A Pre-processing framework for spectral classification of hyperspectral images | |
CN109034274B (zh) | 提升高光谱图像分类精度的方法、装置、设备及存储介质 | |
Zhan et al. | Multi-Scale Feature Reconstruction and Inter-Class Attention Weighting for Land Cover Classification | |
Masoumi et al. | Global spectral graph wavelet signature for surface analysis of carpal bones | |
Gigie et al. | Joint coupled transform learning framework for multimodal image super-resolution | |
Su et al. | A new spectral–spatial jointed hyperspectral image classification approach based on fractal dimension analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |