CN117292274B - 基于深度语义字典零次学习的高光谱湿地图像分类方法 - Google Patents
基于深度语义字典零次学习的高光谱湿地图像分类方法 Download PDFInfo
- Publication number
- CN117292274B CN117292274B CN202311563846.1A CN202311563846A CN117292274B CN 117292274 B CN117292274 B CN 117292274B CN 202311563846 A CN202311563846 A CN 202311563846A CN 117292274 B CN117292274 B CN 117292274B
- Authority
- CN
- China
- Prior art keywords
- tensor
- semantic
- hyperspectral
- features
- dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000006870 function Effects 0.000 claims abstract description 28
- 230000009467 reduction Effects 0.000 claims abstract description 21
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 7
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000001228 spectrum Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 8
- 239000002775 capsule Substances 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 9
- 230000004913 activation Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于深度语义字典零次学习的高光谱湿地图像分类方法,涉及图像分类领域,包括以下步骤:收集高光谱遥感图像,使用鲁棒非负张量分解模型获得降维后的张量特征;使用降维后的张量特征进行对抗训练,得到扩充的图像张量特征和语义特征;构建深度语义字典学习模型,将扩充的图像张量特征和语义特征映射到同一特征空间得到语义特征字典;优化其目标函数,获得语义字典张量和语义嵌入张量,计算未知高光谱遥感图像的语义张量表示;确定未知高光谱遥感图像的类别,本方法解决了高光谱数据在标签信息缺失情况下无监督分类性能差的问题。
Description
技术领域
本发明涉及图像分类领域,特别是涉及基于深度语义字典零次学习的高光谱湿地图像分类方法。
背景技术
高光谱遥感图像(HSI)是由高光谱成像光谱仪获取包含地物特征信息的几十数百个连续的光谱波段堆叠而成,覆盖了从可见光谱、近红外、中红外到远红外的光谱范围。高光谱图像分类技术是指根据高光谱图像数据中不同地物具有不同的光谱信息,对其中每个像元所代表的地物进行类别属性的确定和标注。HSI不仅包含丰富的光谱信息,而且具有良好的空间特性,呈现图谱合一的特征,对分离/鉴别不同的地物目标提供了良好的数据基础。因此,过去几十年中HSI已经被广泛地应用于农业管理、环境监测、地质勘探、军事侦察等领域,且在大多数这些应用中,HSI分类发挥了重要作用。近年来,随着一系列对地观测卫星如高分一号、二号、六号、七号等的发射成功,为我国的科研与应用提供了大量有价值的遥感数据,其中包括海洋、农业、林业、湿地、草原、城市等高光谱遥感图像,为高光谱图像分类技术的研究与应用提供了良好契机。
鉴于湿地环境复杂,其相应的遥感图像数据标记样本难度较大,经常会出现样本获取不足、类标记不全等问题,从而导致基于遥感图像的湿地植被分类精度不高,难以推广到实际应用中。虽然主动学习、对抗生成网络等方法能够通过样本扩充解决小样本问题,但是对于未标记类的样本分类也是无能为力。与此同时,高光谱图像也存在维度高、信息冗余大、噪声干扰多等问题,相关完善的高光谱图像特征分类技术仍然缺乏,致使采集到的数据信息得不到充分挖掘,这也成为制约高光谱遥感技术推广应用的瓶颈。随着高光谱图像特征分类技术应用的日益广泛,如何快速、准确地获取低维度、少噪声、高判别性的特征及实现无/少标签数据分类,是高光谱遥感技术亟需解决的核心问题。
发明内容
针对现有技术中的上述不足,本发明提供的基于深度语义字典零次学习的高光谱湿地图像分类方法解决了高光谱数据在标签信息完全/部分缺失情况下监督分类技术不可用、无监督分类性能差的问题。
为了达到上述发明目的,本发明采用的技术方案为:基于深度语义字典零次学习的高光谱湿地图像分类方法,包括以下步骤:
S1、收集高光谱遥感图像,使用鲁棒非负张量分解模型将高光谱遥感图像转换为张量表示并降维,得到降维后的张量特征;
S2、构建特征生成模型,使用降维后的张量特征对特征生成模型进行对抗训练,得到扩充的图像张量特征和语义特征;
S3、构建深度语义字典学习模型,使用深度语义字典学习模型将扩充的图像张量特征和语义特征映射到同一特征空间进行特征的融合,生成融合语义与光谱信息的特征作为语义特征字典;
S4、构建并优化语义特征字典的目标函数,获得语义字典张量和语义嵌入张量,通过语义字典张量和语义嵌入张量计算未知高光谱遥感图像的语义张量表示;
S5、通过语义张量表示确定未知高光谱遥感图像的类别,完成分类。
进一步地:所述步骤S1中,鲁棒非负张量分解模型的表达式为:
其中,min 表示最小化优化方向,rank(.)表示低秩约束,L为低秩张量,S为稀疏张量,N为非结构噪声,和/>均为权重参数,/>表示1范数约束,/>表示F范数约束,X为多高光谱图像的张量表示,/>为系数矩阵分量,/>为核张量,R表示矩阵分量的数量,I i为输入张量x的i模维度,/>表示核张量维度,/>、/>和/>均表示张量与矩阵分量之间作乘,下标1、2、3分别表示不同的矩阵分量。
进一步地:所述步骤S1中,对多高光谱图像的张量表示进行降维的公式为:
其中,为降维后的张量特征,/>为投影矩阵,p为降维后的维度。
进一步地:所述步骤S2包括以下分步骤:
S21、构建特征生成模型,整理未标记类的高光谱遥感图像,并根据未标记类的高光谱遥感图像生成描述场景的语义特征;
S22、将描述场景的语义特征作为条件输入到特征生成模型中,并使用降维后的张量特征进行对抗训练,得到扩充的图像张量特征和语义特征。
进一步地:所述步骤S21中所述的特征生成模型基于胶囊网络理论构建,其包括一个真假鉴别器、一个源判别器和若干生成器;所述特征生成模型使用动态路由协议令数据信息以张量形式在深层网络中的神经元之间传递,其表达式为:
其中,为预测张量,/>为深层网络中前一层的输入张量,/>为仿射变换矩阵,/>为深层网络中后一层的输入张量,/>为耦合系数。
进一步地:所述特征生成模型的目标函数为:
其中,L G为特征生成模型的损失函数,表示对真实样本真假判断的期望运算,/>表示生成样本真假判断的期望运算,/>表示对生成样本来源自哪个生成器判断的期望运算,K为生成器数量,/>表示源判别器判断样本X来自生成器G k的概率,表示鉴别器对样本X真假判断的概率,/>为超参数。
进一步地:所述步骤S4中语义特征字典的目标函数的表达式为:
其中,L C为语义特征字典的损失函数,A为张量表示系数,为平衡参数,T为语义字典张量,F为语义嵌入张量。
进一步地:所述步骤S4中计算未知高光谱遥感图像的语义张量的公式为:
其中,a u为未知高光谱遥感图像的语义张量表示,为未知高光谱遥感图像的张量特征,/>为预设参数。
本发明的有益效果为:本发明将以跨模态数据的联合特征学习为核心,针对湿地生态系统存在环境复杂、噪声干扰多、现场探测难度大、样本获取不足、种类标记不全等问题,从样本类别缺失以及小样本角度出发,提出基于零次学习的深度语义字典学习分类方法,在提取低维度、少噪声、高判别性的特征的同时,尝试构建一条涵盖语义特征和视觉特征空间的平滑路径,来覆盖无标记的数据,以获取不同数据、不同语义的跨模态联合表示,结合无标签样本的语义信息,实现无/少标签数据有效分类,解决了高光谱数据在标签信息完全/部分缺失情况下监督分类技术不可用、无监督分类性能差的问题。
附图说明
图1为基于深度语义字典零次学习的高光谱湿地图像分类方法流程图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
如图1所示,在本发明的一个实施例中,提供基于深度语义字典零次学习的高光谱湿地图像分类方法,包括以下步骤:
S1、收集高光谱遥感图像,使用鲁棒非负张量分解模型将高光谱遥感图像转换为张量表示并降维,得到降维后的张量特征;
S2、构建特征生成模型,使用降维后的张量特征对特征生成模型进行对抗训练,得到扩充的图像张量特征和语义特征;
S3、构建深度语义字典学习模型,使用深度语义字典学习模型将扩充的图像张量特征和语义特征映射到同一特征空间进行特征的融合,生成融合语义与光谱信息的特征作为语义特征字典;
S4、构建并优化语义特征字典的目标函数,获得语义字典张量和语义嵌入张量,通过语义字典张量和语义嵌入张量计算未知高光谱遥感图像的语义张量表示;
S5、通过语义张量表示确定未知高光谱遥感图像的类别,完成分类。
在本实施例中,步骤S1中收集的高光谱遥感图像包括有类别标签的图像数据和缺失类别标签的图像数据;
在本实施例中,所述步骤S1中,鲁棒非负张量分解模型的表达式为:
其中,min 表示最小化优化方向,rank(.)表示低秩约束,L为低秩张量,S为稀疏张量,N为非结构噪声,和/>均为权重参数,/>表示1范数约束,/>表示F范数(Frobenius范数)约束,X为多高光谱图像的张量表示,/>为系数矩阵分量,是不同维度上的因子矩阵,这些矩阵通常被认为是不同维度上的主成分,/>为核张量,它的元素代表不同因子矩阵之间相互作用的水平,通过张量低秩近似重构,实现张量数据噪声抑制;R表示矩阵分量的数量,I i为输入张量x的i模维度,/>表示核张量维度,/>、/>和/>均表示张量与矩阵分量之间作乘,下标1、2、3分别表示不同的矩阵分量。
用张量表示复杂高维数据时不需要改变数据的初始形式,不会破坏数据的内在空间结构,可以最大程度保持数据的内在信息。高光谱遥感图像具有丰富的光谱和空间结构信息,利用张量结构能有效地保留光谱连续性和空间相关性信息,同时挖掘数据的内部联系;
考虑到张量秩最小化是一个非凸优化问题,通过松弛策略将模型转化为凸优化问题后,再采用增广Lagrange乘子法或者其它优化理论求解,基于此,为消除高光谱遥感图像数据中噪声和信息冗余对检测性能的影响,并充分利用数据在深层结构下的辨别性,结合非负张量Tucker分解,通过张量分别将高光谱湿地图像中的噪声剔除,得到干净的高光谱湿地图像数据。
在本实施例中,所述步骤S1中,对多高光谱图像的张量表示进行降维的公式为:
其中,为降维后的张量特征,/>为投影矩阵,p为降维后的维度,该参数根据数据集自定义。
在本实施例中,所述步骤S2包括以下分步骤:
S21、构建特征生成模型,整理未标记类的高光谱遥感图像,并根据未标记类的高光谱遥感图像生成描述场景的语义特征;
所述描述场景的语义特征如:干燥/湿润的草地,干净/污染的水,植被颜色/形状规则;
S22、将描述场景的语义特征作为条件输入到特征生成模型中,并使用降维后的张量特征进行对抗训练,得到扩充的图像张量特征和语义特征。
在本实施例中,所述步骤S21中所述的特征生成模型基于胶囊网络理论构建,其包括一个真假鉴别器、一个源判别器和若干生成器;胶囊网络能够处理张量形式的数据,能够充分利用分解获取的低秩张量特征,并使用动态路由协议令数据信息以张量形式在深层网络中的神经元之间传递,使得网络具备强大的拟合能力和表达能力,从而解决多模态联合表示学习下特征动态对齐的问题;
所述特征生成模型使用动态路由协议令数据信息以张量形式在深层网络中的神经元之间传递,其表达式为:
其中,为预测张量,/>为深层网络中前一层的输入张量,/>是对降维后的张量特征/>进行张量输入构造产生的,/>为仿射变换矩阵,/>为深层网络中后一层的输入张量,/>为耦合系数。
在本实施例中,所述特征生成模型的目标函数为:
其中,L G为特征生成模型的损失函数,表示对真实样本真假判断的期望运算,/>表示生成样本真假判断的期望运算,/>表示对生成样本来源自哪个生成器判断的期望运算,K为生成器数量,/>表示源判别器判断样本X来自生成器G k的概率,表示鉴别器对样本X真假判断的概率,/>为超参数。
目标函数中,前两项通过多个生成器和鉴别器之间的博弈使得生成样本的混合分布逼近原样本分布。第三项代表了生成器和源判别器之间的博弈,通过最大化源判别器的信息熵来鼓励每个生成器与其他生成器之间存在模式差异,提高生成特征多样性,进一步避免模式崩溃问题。
在本实施例中,所述步骤S4中语义特征字典的目标函数的表达式为:
其中,L C为语义特征字典的损失函数,A为张量表示系数,为平衡参数,T为语义字典张量,F为语义嵌入张量,
在本实施例中,所述步骤S4中计算未知高光谱遥感图像的语义张量的公式为:
其中,a u为未知高光谱遥感图像的语义张量表示,为未知高光谱遥感图像的张量特征,/>为预设参数。
在本实施例中,利用分步迭代策略来分别对语义词典和语义嵌入进行优化学习,从而优化目标函数且提高算法收敛性,最终学习全部种类样本的语义字典张量和语义嵌入张量。对高光谱数据中未知类别样本分类时则,将未知样本的文本描述通过语义嵌入张量转化为语义特征,进而与语义特征字典进行级联,最后通过语义张量表示从而确定未知样本的类别。
在本发明的一个实施例中,由于,随着网络层数的增加,非凸的目标函数越来越复杂,局部最小值点成倍增长,利用有限数据训练的深层网络,易产生过拟合和梯度消失现象,限制了深度学习算法用于实际应用为了消除步骤S2中的特征生成模型会随着层数加深而产生消除梯度消失和退化问题的影响,并将各层表示为学习残差函数,通过在原始层中附加一个恒等层H(x),将原始优化问题转化为从残差f(x)的角度考虑的优化问题,从而解决了梯度消失和退化问题,并使得其前馈式/反向传播算法能够非常顺利进行,极大程度上会优化了深层网络模型,使整个网络具备强大的拟合能力和表达能力;
同时,通过加强网络对于输入扰动的稳定进而提升网络的泛化能力和抗扰性,即指在输入发生轻微扰动变化时,输出不会产生较大的差异,其表达式为:
其中,M为f(x)的Lipschitz常数,其最小值为Lipschitz连续条件,即当M越小则其对输入扰动越不敏感,泛化能力越好,非线性的引入是借助非线性激活函数。
本实施例中采用ReLU非线性激活函数,输入扰动发生在x的较小邻域中,对于单层神经网络(未经激活函数)有以下关系:
其中,表示x在小邻域范围内的扰动(或微小变化)值,/>为该层的权重矩阵,为该层的偏置,/>是其相应的谱范数,而通常深度网络中采用L2正则项约束来满足Lipschitz条件来提高模型的泛化性能,而简单通过柯西不等式公式则可得到Frobenius范数是一个更粗糙的条件,由上述公式可知更准确的范数则为谱范数。因此,这里我们使用了谱标准化限制了网络中的权重矩阵谱归一化,在不引入任何超参数调节的条件下就限制了Lipschitz常数,阻止了参数幅度和异常梯度的增大,从而提高模型泛化能力使其能够满足应用于实际的需求。
Claims (8)
1.基于深度语义字典零次学习的高光谱湿地图像分类方法,其特征在于,包括以下步骤:
S1、收集高光谱遥感图像,使用鲁棒非负张量分解模型将高光谱遥感图像转换为张量表示并降维,得到降维后的张量特征;
S2、构建特征生成模型,使用降维后的张量特征对特征生成模型进行对抗训练,得到扩充的图像张量特征和语义特征;
S3、构建深度语义字典学习模型,使用深度语义字典学习模型将扩充的图像张量特征和语义特征映射到同一特征空间进行特征的融合,生成融合语义与光谱信息的特征作为语义特征字典;
S4、构建并优化语义特征字典的目标函数,获得语义字典张量和语义嵌入张量,通过语义字典张量和语义嵌入张量计算未知高光谱遥感图像的语义张量表示;
S5、通过语义张量表示确定未知高光谱遥感图像的类别,完成分类。
2.根据权利要求1所述的基于深度语义字典零次学习的高光谱湿地图像分类方法,其特征在于,所述步骤S1中,鲁棒非负张量分解模型的表达式为:
其中,min 表示最小化优化方向,rank(.)表示低秩约束,L为低秩张量,S为稀疏张量,N为非结构噪声,和/>均为权重参数,/>表示1范数约束,/>表示F范数约束,X为多高光谱图像的张量表示,/>为系数矩阵分量,/>为核张量,R表示矩阵分量的数量,I i为输入张量x的i模维度,/>表示核张量维度,/>、/>和/>均表示张量与矩阵分量之间作乘,下标1、2、3分别表示不同的矩阵分量。
3.根据权利要求2所述的基于深度语义字典零次学习的高光谱湿地图像分类方法,其特征在于,所述步骤S1中,对多高光谱图像的张量表示进行降维的公式为:
其中,为降维后的张量特征,/>为投影矩阵,p为降维后的维度。
4.根据权利要求1所述的基于深度语义字典零次学习的高光谱湿地图像分类方法,其特征在于,所述步骤S2包括以下分步骤:
S21、构建特征生成模型,整理未标记类的高光谱遥感图像,并根据未标记类的高光谱遥感图像生成描述场景的语义特征;
S22、将描述场景的语义特征作为条件输入到特征生成模型中,并使用降维后的张量特征进行对抗训练,得到扩充的图像张量特征和语义特征。
5.根据权利要求4所述的基于深度语义字典零次学习的高光谱湿地图像分类方法,其特征在于,所述步骤S21中所述的特征生成模型基于胶囊网络理论构建,其包括一个真假鉴别器、一个源判别器和若干生成器;所述特征生成模型使用动态路由协议令数据信息以张量形式在特征生成模型中的神经元之间传递,其表达式为:
其中,为预测张量,/>为深层网络中前一层的输入张量,/>为仿射变换矩阵,/>为深层网络中后一层的输入张量,/>为耦合系数。
6.根据权利要求4所述的基于深度语义字典零次学习的高光谱湿地图像分类方法,其特征在于,所述特征生成模型的目标函数为:
其中,L G为特征生成模型的损失函数,表示对真实样本真假判断的期望运算,表示生成样本真假判断的期望运算,/>表示对生成样本来源自哪个生成器判断的期望运算,K为生成器数量,/>表示源判别器判断样本X来自生成器G k的概率,表示鉴别器对样本 X 真假判断的概率,/>为超参数。
7.根据权利要求6所述的基于深度语义字典零次学习的高光谱湿地图像分类方法,其特征在于,所述步骤S4中语义特征字典的目标函数的表达式为:
其中,L C为语义特征字典的损失函数,A为张量表示系数,为平衡参数,T为语义字典张量,F为语义嵌入张量。
8.根据权利要求7所述的基于深度语义字典零次学习的高光谱湿地图像分类方法,其特征在于,所述步骤S4中计算未知高光谱遥感图像的语义张量的公式为:
其中,a u为未知高光谱遥感图像的语义张量表示,为未知高光谱遥感图像的张量特征,/>为预设参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311563846.1A CN117292274B (zh) | 2023-11-22 | 2023-11-22 | 基于深度语义字典零次学习的高光谱湿地图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311563846.1A CN117292274B (zh) | 2023-11-22 | 2023-11-22 | 基于深度语义字典零次学习的高光谱湿地图像分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117292274A CN117292274A (zh) | 2023-12-26 |
CN117292274B true CN117292274B (zh) | 2024-01-30 |
Family
ID=89248320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311563846.1A Active CN117292274B (zh) | 2023-11-22 | 2023-11-22 | 基于深度语义字典零次学习的高光谱湿地图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117292274B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117876890B (zh) * | 2024-03-11 | 2024-05-07 | 成都信息工程大学 | 一种基于多级特征融合的多源遥感图像分类方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016007563A1 (en) * | 2014-07-07 | 2016-01-14 | Symphony Teleca Corporation | Remote Embedded Device Update Platform Apparatuses, Methods and Systems |
CN108846384A (zh) * | 2018-07-09 | 2018-11-20 | 北京邮电大学 | 融合视频感知的多任务协同识别方法及系统 |
CN111368691A (zh) * | 2020-02-28 | 2020-07-03 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 无监督高光谱遥感图像空谱特征提取方法 |
CN111428758A (zh) * | 2020-03-06 | 2020-07-17 | 重庆邮电大学 | 一种改进的基于无监督表征学习的遥感图像场景分类方法 |
CN112949698A (zh) * | 2021-02-08 | 2021-06-11 | 西北工业大学 | 一种非局部低秩张量相似性约束的高光谱解混方法 |
CN113705526A (zh) * | 2021-09-07 | 2021-11-26 | 安徽大学 | 一种高光谱遥感影像分类方法 |
CN116094977A (zh) * | 2022-11-16 | 2023-05-09 | 南京信息工程大学 | 基于时间感知面向特征优化的服务Qos预测的深度学习方法 |
CN116644205A (zh) * | 2023-07-27 | 2023-08-25 | 北京元图科技发展有限公司 | 一种地理信息数据处理系统及方法 |
CN117036904A (zh) * | 2023-08-09 | 2023-11-10 | 河南科技学院 | 注意力引导的半监督玉米高光谱图像数据扩充方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9811765B2 (en) * | 2016-01-13 | 2017-11-07 | Adobe Systems Incorporated | Image captioning with weak supervision |
-
2023
- 2023-11-22 CN CN202311563846.1A patent/CN117292274B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016007563A1 (en) * | 2014-07-07 | 2016-01-14 | Symphony Teleca Corporation | Remote Embedded Device Update Platform Apparatuses, Methods and Systems |
CN108846384A (zh) * | 2018-07-09 | 2018-11-20 | 北京邮电大学 | 融合视频感知的多任务协同识别方法及系统 |
CN111368691A (zh) * | 2020-02-28 | 2020-07-03 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 无监督高光谱遥感图像空谱特征提取方法 |
CN111428758A (zh) * | 2020-03-06 | 2020-07-17 | 重庆邮电大学 | 一种改进的基于无监督表征学习的遥感图像场景分类方法 |
CN112949698A (zh) * | 2021-02-08 | 2021-06-11 | 西北工业大学 | 一种非局部低秩张量相似性约束的高光谱解混方法 |
CN113705526A (zh) * | 2021-09-07 | 2021-11-26 | 安徽大学 | 一种高光谱遥感影像分类方法 |
CN116094977A (zh) * | 2022-11-16 | 2023-05-09 | 南京信息工程大学 | 基于时间感知面向特征优化的服务Qos预测的深度学习方法 |
CN116644205A (zh) * | 2023-07-27 | 2023-08-25 | 北京元图科技发展有限公司 | 一种地理信息数据处理系统及方法 |
CN117036904A (zh) * | 2023-08-09 | 2023-11-10 | 河南科技学院 | 注意力引导的半监督玉米高光谱图像数据扩充方法 |
Non-Patent Citations (4)
Title |
---|
Image Processing and Machine Learning for Hyperspectral Unmixing: An Overview and the HySUPP Python Package;Behnood Rasti 等;《JOURNAL OF LATE X CLASS FILES》;第14卷(第8期);1-29 * |
Integrative Few-Shot Classification and Segmentation for Landslide Detection;DAT TRAN-ANH 等;《IEEE Access》;第10卷;120200-120212 * |
低秩约束核非负张量分解在高光谱解混中的应用;刘雪松 等;《铜陵学院学报 》(第5期);99-103 * |
基于视觉先验模型的极化SAR图像分类研究;陈超;《中国优秀硕士学位论文全文数据库信息科技辑》(第11期);I136-666 * |
Also Published As
Publication number | Publication date |
---|---|
CN117292274A (zh) | 2023-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111368896B (zh) | 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法 | |
Tuia et al. | Multiclass feature learning for hyperspectral image classification: Sparse and hierarchical solutions | |
Dong et al. | Abundance matrix correlation analysis network based on hierarchical multihead self-cross-hybrid attention for hyperspectral change detection | |
CN107145836B (zh) | 基于栈式边界辨别自编码器的高光谱图像分类方法 | |
CN117292274B (zh) | 基于深度语义字典零次学习的高光谱湿地图像分类方法 | |
Huang et al. | Semisupervised sparse subspace clustering method with a joint sparsity constraint for hyperspectral remote sensing images | |
WO2024087639A1 (zh) | 基于内容理解的遥感影像推荐方法 | |
CN114937173A (zh) | 一种基于动态图卷积网络的高光谱图像快速分类方法 | |
Qi et al. | Global-local three-dimensional convolutional transformer network for hyperspectral image classification | |
Xi et al. | Dgssc: A deep generative spectral-spatial classifier for imbalanced hyperspectral imagery | |
Zhang et al. | Local information interaction transformer for hyperspectral and LiDAR data classification | |
CN115248876A (zh) | 基于内容理解的遥感影像统筹推荐方法 | |
CN111680579A (zh) | 一种自适应权重多视角度量学习的遥感图像分类方法 | |
Gao et al. | Self-balancing dictionary learning for relaxed collaborative representation of hyperspectral image classification | |
Ye et al. | An unsupervised SAR and optical image fusion network based on structure-texture decomposition | |
Lu et al. | Hyperspectral image classification based on multilevel joint feature extraction network | |
Srivastava et al. | Feature-Based Image Retrieval (FBIR) system for satellite image quality assessment using big data analytical technique | |
CN116863247A (zh) | 一种融合全局和局部信息的多模态遥感数据分类方法 | |
Chaudhuri et al. | Attention-driven cross-modal remote sensing image retrieval | |
CN116912550A (zh) | 一种基于地物依赖关系的异构卷积网络遥感影像土地利用并行分类方法 | |
CN116257648A (zh) | 基于噪声网络和图像预处理的图像检索防御方法及系统 | |
Huo et al. | Memory-augmented Autoencoder with Adaptive Reconstruction and Sample Attribution Mining for Hyperspectral Anomaly Detection | |
Shulei et al. | Semantic understanding based on multi-feature kernel sparse representation and decision rules for mangrove growth | |
Ma et al. | Hyperspectral image classification based on capsule network | |
Miranda et al. | Land Cover Classification through Ontology Approach from Sentinel-2 Satellite Imagery. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |