CN117115553B - 一种基于掩膜谱空特征预测的高光谱遥感图像分类方法 - Google Patents
一种基于掩膜谱空特征预测的高光谱遥感图像分类方法 Download PDFInfo
- Publication number
- CN117115553B CN117115553B CN202311180213.2A CN202311180213A CN117115553B CN 117115553 B CN117115553 B CN 117115553B CN 202311180213 A CN202311180213 A CN 202311180213A CN 117115553 B CN117115553 B CN 117115553B
- Authority
- CN
- China
- Prior art keywords
- sequence
- spatial
- spectral
- mask
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003595 spectral effect Effects 0.000 title claims abstract description 203
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000013507 mapping Methods 0.000 claims abstract description 34
- 238000001228 spectrum Methods 0.000 claims description 106
- 230000006870 function Effects 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 27
- 239000013598 vector Substances 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000001172 regenerating effect Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 239000003550 marker Substances 0.000 claims description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 abstract description 3
- 230000002776 aggregation Effects 0.000 abstract description 3
- 238000004220 aggregation Methods 0.000 abstract description 3
- 230000002860 competitive effect Effects 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 7
- 244000068988 Glycine max Species 0.000 description 5
- 235000010469 Glycine max Nutrition 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 240000008042 Zea mays Species 0.000 description 4
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 4
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 4
- 235000005822 corn Nutrition 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 244000025254 Cannabis sativa Species 0.000 description 2
- 241000985610 Forpus Species 0.000 description 2
- 239000010426 asphalt Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 244000075850 Avena orientalis Species 0.000 description 1
- 235000007319 Avena orientalis Nutrition 0.000 description 1
- 240000004658 Medicago sativa Species 0.000 description 1
- 235000017587 Medicago sativa ssp. sativa Nutrition 0.000 description 1
- 240000005160 Parkia speciosa Species 0.000 description 1
- 235000017333 Parkia speciosa Nutrition 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，首先将高光谱遥感图像分别沿光谱维度和空间维度提取光谱序列和空间序列，接着对光谱序列和空间序列分别进行线性映射并生成光谱嵌入序列和空间嵌入序列，再分别生成光谱掩膜序列和空间掩膜序列；本发明实现了通过预测高光谱遥感图像中掩盖的谱空区域的手工特征来获得一个训练完备Transformer的功能，且该Transformer经过微调后取得了具有竞争力的分类性能，充分考虑了光谱域和空间域之间的相关性，与此同时通过使用自适应聚合方法融合分别从光谱和空间特征得出的两个分类结果能比较光谱和空间结果的不确定性以揭示相关性，从而指导如何融合这两个结果，适合被广泛推广和使用。
Description
技术领域
本发明涉及图像分类技术领域，具体涉及一种基于掩膜谱空特征预测的高光谱遥感图像分类方法。
背景技术
高光谱传感器可以捕获数百个波段并覆盖特定地面物体的几乎整个电磁频谱，生成的高光谱遥感图像为地面物体提供了丰富的光谱信息，使得识别这些物体成为可能；高光谱遥感图像分类任务旨在为每个高光谱像素分配预定义的语义标签。得益于这项任务，高光谱遥感图像被广泛应用于矿物勘探、精准农业和环境监测等各个领域。
目前，深度学习已经成功应用于高光谱遥感图像分类等遥感领域；近期流行的卷积神经网络和自注意力机制都能用于高光谱遥感图像分类，并且取得了比传统方法更好的分类性能，但这些方法仍然使用卷积层进行特征提取，而卷积层的局部连接特点使得模型无法提取高光谱遥感图像中的长距离依赖关系；因此，需要设计一种基于掩膜谱空特征预测的高光谱遥感图像分类方法。
发明内容
本发明的目的是克服现有技术的不足，为更好的有效解决目前高光谱遥感图像分类中存在的问题，提供了一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，其实现了通过预测高光谱遥感图像中掩盖的谱空区域的手工特征来获得一个训练完备Transformer的功能，且该Transformer经过微调后取得了具有竞争力的分类性能，充分考虑了光谱域和空间域之间的相关性。
为了达到上述目的，本发明所采用的技术方案是：
一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，包括以下步骤，
步骤(A)，将高光谱遥感图像分别沿光谱维度和空间维度提取光谱序列和空间序列；
步骤(B)，对光谱序列和空间序列分别进行线性映射并生成光谱嵌入序列和空间嵌入序列，再分别生成光谱掩膜序列和空间掩膜序列；
步骤(C)，构建基于Transformer的编码器，并将光谱掩膜序列和空间掩膜序列分别输入基于Transformer的编码器，获得包含长距离依赖关系的光谱特征序列和空间特征序列；
步骤(D)，对光谱特征序列和空间特征序列分别进行处理并得到光谱解码特征序列和空间解码特征序列，再分别输入基于Transformer的解码器，得到掩膜区域的第一光谱分类结果和第一空间分类结果；
步骤(E)，对高光谱遥感图像分别采用主成分和局部二进制模式进行处理，并获得主成分特征和局部二值模式特征；
步骤(F)，将主成分特征和局部二值模式特征分别作为光谱分支和空间分支的真实值，再基于第一光谱分类结果和第一空间分类结果组建预训练阶段的损失函数；
步骤(G)，根据预训练阶段的损失函数对基于Transformer的编码器进行微调，并得到第二光谱分类结果和第二空间分类结果；
步骤(H)，基于第二光谱分类结果和第二空间分类结果组建微调阶段的损失函数；
步骤(I)，由微调阶段的损失函数分别得到光谱域指标和空间域指标，并使用不确定度对比融合光谱域指标和空间域指标，得到最终分类结果，完成高光谱遥感图像分类作业。
前述的一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，步骤(A)，将高光谱遥感图像分别沿光谱维度和空间维度提取光谱序列和空间序列，具体步骤如下，
步骤(A1)，设以目标像素点x为中心的高光谱遥感图像立方块为其中Q×Q为空间尺寸，B为光谱波段个数；
步骤(A2)，沿光谱维度和空间维度提取光谱序列和空间序列，其中光谱序列Sc和空间序列Sa分别如公式(1)和公式(2)所示，
其中，为光谱序列Sc中的任意一个光谱元素，为空间序列Sa中的任意一个空间元素。
前述的一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，步骤(B)，对光谱序列和空间序列分别进行线性映射并生成光谱嵌入序列和空间嵌入序列，再分别生成光谱掩膜序列和空间掩膜序列，具体步骤如下，
步骤(B1)，对光谱序列Sc进行线性映射并生成光谱嵌入序列，再生成光谱掩膜序列，具体步骤如下，
步骤(B11)，对光谱序列Sc进行线性映射并生成光谱嵌入序列，具体是对对光谱序列Sc中的每个元素进行线性映射并生成光谱嵌入序列Ec，
其中，为权重矩阵，为位置向量并用于位置编码，且位置向量由计算而得，如公式(4)所示，
步骤(B12)，由光谱嵌入序列生成光谱掩膜序列，其中光谱掩膜序列Mc如公式(5)所示，
其中，0代表有掩膜遮盖，1代表没有掩膜遮盖；
步骤(B2)，对空间序列Sa进行线性映射并生成空间嵌入序列，再生成空间掩膜序列，具体步骤如下，
步骤(B21)，对空间序列Sa进行线性映射并生成空间嵌入序列，具体是对空间序列Sa中的每个元素进行线性映射并生成空间嵌入序列Ea，如公式(6)所示，
其中，为权重矩阵，为位置向量并用于位置编码，且位置向量由计算而得，如公式(7)所示，
步骤(B22)，由空间嵌入序列Ea生成空间掩膜序列，其中空间掩膜序列Ma如公式(8)所示，
其中，0代表有掩膜遮盖，1代表没有掩膜遮盖。
前述的一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，步骤(C)，构建基于Transformer的编码器，并将光谱掩膜序列和空间掩膜序列分别输入基于Transformer的编码器，获得包含长距离依赖关系的光谱特征序列和空间特征序列，具体步骤如下，
步骤(C1)，构建基于Transformer的编码器，其中基于Transformer的编码器的每一层都由层标准化LN、多头自注意力MSA和多层感知机MLP构成，且基于Transformer的编码器的第k层的输出Ok定义如公式(9)和公式(10)所示，
步骤(C1)，将光谱掩膜序列输入基于Transformer的编码器，获得包含长距离依赖关系的光谱特征序列，其中所述基于Transformer的编码器第一层输入序列O0等于E′c，其中E′c是使用光谱掩膜序列Mc处理光谱嵌入序列Ec之后的结果，且具体处理过程是遍历光谱掩膜序列Mc，若遇到0值，则将光谱嵌入序列Ec中对应位置的元素被删除，所述基于Transformer的编码器最后一层输出Oc为空间特征序列，如公式(11)所示，
其中，
步骤(C2)，将空间掩膜序列输入基于Transformer的编码器，获得包含长距离依赖关系的空间序列特征，其中所述基于Transformer的编码器第一层输入序列O0等于E′a，是使用空间掩膜序列Ma处理空间嵌入序列Ea之后的结果，且具体处理过程是遍历空间掩膜序列Ma，若遇到0值，则将空间嵌入序列Ea中对应位置的元素被删除，所述基于Transformer的编码器最后一层输出Oa为空间特征序列，如公式(12)所示，
其中，
前述的一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，步骤(D)，对光谱特征序列和空间特征序列分别进行处理并得到光谱解码特征序列和空间解码特征序列，再分别输入基于Transformer的解码器，得到掩膜区域的第一光谱分类结果和第一空间分类结果，具体步骤如下，
步骤(D1)，对光谱特征序列进行处理并得到光谱解码特征序列，再将光谱解码特征序列输入基于Transformer的解码器，得到掩膜区域的第一光谱分类结果，具体步骤如下，
步骤(D11)，将可训练标志插入到掩膜位置，并将光谱特征序列Oc的长度恢复成B，且空间特征序列Oc经过线性映射和位置编码后能转换成光谱解码特征序列Dc，如公式(13)所示；
其中，为权重矩阵，为位置向量，且由公式(4)求得；
步骤(D12)，将光谱解码特征序列Dc输入到基于Transformer的解码器，得到掩膜区域的手工特征，其中基于Transformer的解码器与基于Transformer的编码器结构相同，且掩膜区域的第一光谱分类结果能从基于Transformer的解码器输出序列中得到，再将输出序列中的元素串联，得到掩膜区域的第一光谱分类结果
步骤(D2)，对空间特征序列进行处理并得到空间解码特征序列，再将空间解码特征序列输入基于Transformer的解码器，得到掩膜区域的第一空间分类结果，具体步骤如下，
步骤(D21)，将可训练标志插入到掩膜位置，并将空间特征序列Oa的长度恢复成B，且空间特征序列Oa经过线性映射和位置编码后能转换成空间解码特征序列Da，如公式(14)所示，
其中，为权重矩阵，为位置向量，且由公式(7)求得；
步骤(D22)，将空间解码特征序列Da输入到基于Transformer的解码器，得到掩膜区域的手工特征，其中基于Transformer的解码器与基于Transformer的编码器结构相同，且掩膜区域的第一空间分类结果能从基于Transformer的解码器输出序列中得到，再将输出序列中的元素串联，得到掩膜区域的第一空间分类结果
前述的一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，步骤(E)，对高光谱遥感图像分别采用主成分和局部二进制模式进行处理，并获得主成分特征和局部二值模式特征，具体步骤如下，
步骤(E1)，对高光谱遥感图像采用主成分进行处理，并获得主成分特征；
步骤(E11)，将高光谱遥感图像立方块X的维度重塑为Q2×B，再将重塑后的X作为Q2个B维的样本集，接着计算样本集中的所有样本每个维度的均值μ(X)和方差δ(X)，并对X进行标准化，即X＝(X-μ(X))/δ(X)，再计算协方差矩阵Cov(X)如公式(15)所示，
Cov(X)＝XXT/Q2 (15)；
步骤(E12)，计算Cov(X)的特征值和特征向量，将特征值按照从大到小排序，并将对应顺序的特征向量组成矩阵，取前3行构成的变换矩阵使用Ts对X进行变换，得到X的前三个主成分经过重塑得到维度为Q×Q×3的主成分特征
步骤(E2)，对高光谱遥感图像采用局部二进制模式进行处理，并获得局部二值模式特征，其中局部二进制模式是通过比较每个像素与其相邻像素来描述空间纹理，且局部二进制模式具有旋转不变性，具体步骤如下，
步骤(E21)，设标记区域的目标像素点为x，并将邻域像素点个数P设为8，再将圆形邻域的半径R设为1，这样能获取到八个邻域像素点{xi|0≤i≤7}，再使用符号函数fs将每一个邻域像素点和x比较，如公式(16)所示，
其中，在圆形二值模式中黑色和白色圆圈分别代表符号函数fs输出的0和1；
步骤(E22)，对每一个二值模式V将圆形邻域旋转八次，角度分别为{(45n)°|1≤n≤8}，产生八个局部二值特征值，再将这八个值中的最小值作为二值模式V的索引，这样也就将具有相同索引的二值模式分类成同一种旋转不变的二值模式；
步骤(E23)，引入空间转换缩减二值模式数量，其中空间转换T如公式(17)所示，
步骤(E24)，基于空间转换T，定义局部二值模式特征如公式(18)所示，
前述的一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，步骤(F)，将主成分特征和局部二值模式特征分别作为光谱分支和空间分支的真实值，再基于第一光谱分类结果和第一空间分类结果组建预训练阶段的损失函数，具体步骤如下，
步骤(F1)，将主成分特征作为光谱分支的真实值，其中光谱分支用于预测所有光谱波段的主成分，并将主成分特征Gc的维度重塑为Q2×3，再作为光谱分支的真实值；
步骤(F2)，将局部二值模式特征作为空间分支的真实值，其中空间分支用于预测掩膜区域的局部二值模式特征，具体步骤如下，
步骤(F21)，将局部二值模式特征的维度重塑为Q2×B，再分割成一个序列
步骤(F22)，使用空间掩膜序列Ma对局部二值模式特征Ga进行掩膜遮盖，并将序列所有元素串联成一个二维矩阵再将这个二维矩阵作为空间分支的真实值；
步骤(F3)，基于第一光谱分类结果和第一空间分类结果组建预训练阶段的损失函数如公式(19)所示，
loss＝∑[(FaW1-G′a)2+(F′cW2-Gc)2] (19)
其中，和都是权重矩阵，F′c是Fc的转置。
前述的一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，步骤(G)，根据预训练阶段的损失函数对基于Transformer的编码器进行微调，并得到第二光谱分类结果和第二空间分类结果，具体步骤如下，
步骤(G1)，提取目标像素点x的光谱序列Sc和空间序列Sa，再将光谱掩膜序列和空间掩膜序列末尾增加一个分类标志CLS；
步骤(G2)，经过线性映射和位置编码，得到光谱嵌入序列Hc和空间嵌入序列Ha分别如公式(20)和公式(21)所示，
步骤(G3)，将光谱嵌入序列Hc和空间嵌入序列Ha输入到基于Transformer的编码器中经过公式(9)和公式(10)得到相应光谱特征序列和相应空间特征序列，其中基于Transformer的编码器的最后一个MLP的隐节点个数设置为地面物体的类别个数K，且相应光谱掩膜序列和相应空间掩膜序列的最后一个分类标志元素需要输入到最后一个MLP中，得到第二光谱分类结果和第二空间分类结果
前述的一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，步骤(H)，基于第二光谱分类结果和第二空间分类结果组建微调阶段的损失函数，其中微调阶段的损失函数如公式(22)所示，
前述的一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，步骤(I)，由微调阶段的损失函数分别得到光谱域指标和空间域指标，并使用不确定度对比融合光谱域指标和空间域指标，得到最终分类结果，完成高光谱遥感图像分类作业，其中不确定度使用信息熵衡量光谱域指标和空间域指标的不确定度，具体步骤如下，
步骤(I1)，由微调阶段的损失函数分别得到光谱域指标uc和空间域指标ua，分别如公式(23)和公式(24)所示，
其中，光谱域指标uc和空间域指标ua的值越大，则对应域的分类结果确定性更高；
步骤(I2)，设阀值为σ，并将光谱域指标uc和空间域指标ua与阀值σ对比，具体步骤如下，
步骤(I21)，若光谱域指标uc和空间域指标ua都小于阀值σ，则将最终分类结果定义为
步骤(I22)，若光谱域指标uc同时大于阀值σ和空间域指标ua或空间域指标ua同时大于阀值σ和光谱域指标uc，则选取光谱域指标uc和空间域指标ua指标值交大的作为最终分类结果。
本发明的有益效果是：本发明的一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，首先将高光谱遥感图像分别沿光谱维度和空间维度提取光谱序列和空间序列，接着对光谱序列和空间序列分别进行线性映射并生成光谱嵌入序列和空间嵌入序列，再分别生成光谱掩膜序列和空间掩膜序列，随后构建基于Transformer的编码器，并将光谱掩膜序列和空间掩膜序列分别输入基于Transformer的编码器，获得包含长距离依赖关系的光谱特征序列和空间特征序列，然后对光谱特征序列和空间特征序列分别进行处理并得到光谱解码特征序列和空间解码特征序列，再分别输入基于Transformer的解码器，得到掩膜区域的第一光谱分类结果和第一空间分类结果，紧接着对高光谱遥感图像分别采用主成分和局部二进制模式进行处理，并获得主成分特征和局部二值模式特征，再将主成分特征和局部二值模式特征分别作为光谱分支和空间分支的真实值，随后基于第一光谱分类结果和第一空间分类结果组建预训练阶段的损失函数，再根据预训练阶段的损失函数对基于Transformer的编码器进行微调，并得到第二光谱分类结果和第二空间分类结果，最后基于第二光谱分类结果和第二空间分类结果组建微调阶段的损失函数，再由微调阶段的损失函数分别得到光谱域指标和空间域指标，并使用不确定度对比融合光谱域指标和空间域指标，得到最终分类结果，完成高光谱遥感图像分类作业；有效的实现了该方法具有通过预测高光谱遥感图像中掩盖的谱空区域的手工特征来获得一个训练完备Transformer的功能，且该Transformer经过微调后取得了具有竞争力的分类性能，充分考虑了光谱域和空间域之间的相关性，与此同时通过使用自适应聚合方法融合分别从光谱和空间特征得出的两个分类结果能比较光谱和空间结果的不确定性以揭示相关性，从而指导如何融合这两个结果，通过与三个公共数据集Indian Pines、Houston2013和Pavia University上的几种最先进的分类方法进行了比较表明，该分类方法能在有限的训练样本下取得最佳性能。
附图说明
图1是本发明的整体流程图；
图2是本发明的整体原理示意图；
图3是本发明的局部二值模式特征示意图；
图4是本发明的实施例中的IP数据集的分类结果图；
图5是本发明的实施例中的HU数据集的分类结果图；
图6是本发明的实施例中的PUS数据集的分类结果图。
具体实施方式
下面将结合说明书附图，对本发明作进一步的说明。
如图1和图2所示，本发明的一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，包括以下步骤，
步骤(A)，将高光谱遥感图像分别沿光谱维度和空间维度提取光谱序列和空间序列，具体步骤如下，
步骤(A1)，设以目标像素点x为中心的高光谱遥感图像立方块为其中Q×Q为空间尺寸，B为光谱波段个数；
步骤(A2)，沿光谱维度和空间维度提取光谱序列和空间序列，其中光谱序列Sc和空间序列Sa分别如公式(1)和公式(2)所示，
其中，为光谱序列Sc中的任意一个光谱元素，为空间序列Sa中的任意一个空间元素。
步骤(B)，对光谱序列和空间序列分别进行线性映射并生成光谱嵌入序列和空间嵌入序列，再分别生成光谱掩膜序列和空间掩膜序列，具体步骤如下，
步骤(B1)，对光谱序列Sc进行线性映射并生成光谱嵌入序列，再生成光谱掩膜序列，具体步骤如下，
步骤(B11)，对光谱序列Sc进行线性映射并生成光谱嵌入序列，具体是对对光谱序列Sc中的每个元素进行线性映射并生成光谱嵌入序列Ec，
其中，为权重矩阵，为位置向量并用于位置编码，且位置向量由计算而得，如公式(4)所示，
步骤(B12)，由光谱嵌入序列生成光谱掩膜序列，其中光谱掩膜序列Mc如公式(5)所示，
其中，0代表有掩膜遮盖，1代表没有掩膜遮盖；
步骤(B2)，对空间序列Sa进行线性映射并生成空间嵌入序列，再生成空间掩膜序列，具体步骤如下，
步骤(B21)，对空间序列Sa进行线性映射并生成空间嵌入序列，具体是对空间序列Sa中的每个元素进行线性映射并生成空间嵌入序列Ea，如公式(6)所示，
其中，为权重矩阵，为位置向量并用于位置编码，且位置向量由计算而得，如公式(7)所示，
步骤(B22)，由空间嵌入序列Ea生成空间掩膜序列，其中空间掩膜序列Ma如公式(8)所示，
其中，0代表有掩膜遮盖，1代表没有掩膜遮盖。
步骤(C)，构建基于Transformer的编码器，并将光谱掩膜序列和空间掩膜序列分别输入基于Transformer的编码器，获得包含长距离依赖关系的光谱特征序列和空间特征序列，具体步骤如下，
步骤(C1)，构建基于Transformer的编码器，其中基于Transformer的编码器的每一层都由层标准化LN、多头自注意力MSA和多层感知机MLP构成，且基于Transformer的编码器的第k层的输出Ok定义如公式(9)和公式(10)所示，
步骤(C1)，将光谱掩膜序列输入基于Transformer的编码器，获得包含长距离依赖关系的光谱特征序列，其中所述基于Transformer的编码器第一层输入序列O0等于E′c，其中E′c是使用光谱掩膜序列Mc处理光谱嵌入序列Ec之后的结果，且具体处理过程是遍历光谱掩膜序列Mc，若遇到0值，则将光谱嵌入序列Ec中对应位置的元素被删除，所述基于Transformer的编码器最后一层输出Oc为空间特征序列，如公式(11)所示，
其中，
步骤(C2)，将空间掩膜序列输入基于Transformer的编码器，获得包含长距离依赖关系的空间序列特征，其中所述基于Transformer的编码器第一层输入序列O0等于E′a，是使用空间掩膜序列Ma处理空间嵌入序列Ea之后的结果，且具体处理过程是遍历空间掩膜序列Ma，若遇到0值，则将空间嵌入序列Ea中对应位置的元素被删除，所述基于Transformer的编码器最后一层输出Oa为空间特征序列，如公式(12)所示，
其中，
步骤(D)，对光谱特征序列和空间特征序列分别进行处理并得到光谱解码特征序列和空间解码特征序列，再分别输入基于Transformer的解码器，得到掩膜区域的第一光谱分类结果和第一空间分类结果，具体步骤如下，
步骤(D1)，对光谱特征序列进行处理并得到光谱解码特征序列，再将光谱解码特征序列输入基于Transformer的解码器，得到掩膜区域的第一光谱分类结果，具体步骤如下，
步骤(D11)，将可训练标志插入到掩膜位置，并将光谱特征序列Oc的长度恢复成B，且空间特征序列Oc经过线性映射和位置编码后能转换成光谱解码特征序列Dc，如公式(13)所示；
其中，为权重矩阵，为位置向量，且由公式(4)求得；
步骤(D12)，将光谱解码特征序列Dc输入到基于Transformer的解码器，得到掩膜区域的手工特征，其中基于Transformer的解码器与基于Transformer的编码器结构相同，且掩膜区域的第一光谱分类结果能从基于Transformer的解码器输出序列中得到，再将输出序列中的元素串联，得到掩膜区域的第一光谱分类结果
步骤(D2)，对空间特征序列进行处理并得到空间解码特征序列，再将空间解码特征序列输入基于Transformer的解码器，得到掩膜区域的第一空间分类结果，具体步骤如下，
步骤(D21)，将可训练标志插入到掩膜位置，并将空间特征序列Oa的长度恢复成B，且空间特征序列Oa经过线性映射和位置编码后能转换成空间解码特征序列Da，如公式(14)所示，
其中，为权重矩阵，为位置向量，且由公式(7)求得；
步骤(D22)，将空间解码特征序列Da输入到基于Transformer的解码器，得到掩膜区域的手工特征，其中基于Transformer的解码器与基于Transformer的编码器结构相同，且掩膜区域的第一空间分类结果能从基于Transformer的解码器输出序列中得到，再将输出序列中的元素串联，得到掩膜区域的第一空间分类结果
如图3所示，步骤(E)，对高光谱遥感图像分别采用主成分和局部二进制模式进行处理，并获得主成分特征和局部二值模式特征，具体步骤如下，
步骤(E1)，对高光谱遥感图像采用主成分进行处理，并获得主成分特征；
步骤(E11)，将高光谱遥感图像立方块X的维度重塑为Q2×B，再将重塑后的X作为Q2个B维的样本集，接着计算样本集中的所有样本每个维度的均值μ(X)和方差δ(X)，并对X进行标准化，即X＝(X-μ(X))/δ(X)，再计算协方差矩阵Cov(X)如公式(15)所示，
Cov(X)＝XXT/Q2 (15)；
步骤(E12)，计算Cov(X)的特征值和特征向量，将特征值按照从大到小排序，并将对应顺序的特征向量组成矩阵，取前3行构成的变换矩阵使用Ts对X进行变换，得到X的前三个主成分经过重塑得到维度为Q×Q×3的主成分特征
步骤(E2)，对高光谱遥感图像采用局部二进制模式进行处理，并获得局部二值模式特征，其中局部二进制模式是通过比较每个像素与其相邻像素来描述空间纹理，且局部二进制模式具有旋转不变性，具体步骤如下，
步骤(E21)，设标记区域的目标像素点为x，并将邻域像素点个数P设为8，再将圆形邻域的半径R设为1，这样能获取到八个邻域像素点{xi|0≤i≤7}，再使用符号函数fs将每一个邻域像素点和x比较，如公式(16)所示，
其中，在圆形二值模式中黑色和白色圆圈分别代表符号函数fs输出的0和1；
步骤(E22)，对每一个二值模式V将圆形邻域旋转八次，角度分别为{(45n)°|1≤n≤8}，产生八个局部二值特征值，再将这八个值中的最小值作为二值模式V的索引，这样也就将具有相同索引的二值模式分类成同一种旋转不变的二值模式；
步骤(E23)，引入空间转换缩减二值模式数量，其中空间转换T如公式(17)所示，
步骤(E24)，基于空间转换T，定义局部二值模式特征如公式(18)所示，
步骤(F)，将主成分特征和局部二值模式特征分别作为光谱分支和空间分支的真实值，再基于第一光谱分类结果和第一空间分类结果组建预训练阶段的损失函数，具体步骤如下，
步骤(F1)，将主成分特征作为光谱分支的真实值，其中光谱分支用于预测所有光谱波段的主成分，并将主成分特征Gc的维度重塑为Q2×3，再作为光谱分支的真实值；
步骤(F2)，将局部二值模式特征作为空间分支的真实值，其中空间分支用于预测掩膜区域的局部二值模式特征，具体步骤如下，
步骤(F21)，将局部二值模式特征的维度重塑为Q2×B，再分割成一个序列
步骤(F22)，使用空间掩膜序列Ma对局部二值模式特征Ga进行掩膜遮盖，并将序列所有元素串联成一个二维矩阵再将这个二维矩阵作为空间分支的真实值；
步骤(F3)，基于第一光谱分类结果和第一空间分类结果组建预训练阶段的损失函数如公式(19)所示，
loss＝∑[(FaW1-G′a)2+(F′cW2-Gc)2] (19)
其中，和都是权重矩阵，F′c是Fc的转置。
步骤(G)，根据预训练阶段的损失函数对基于Transformer的编码器进行微调，并得到第二光谱分类结果和第二空间分类结果，具体步骤如下，
步骤(G1)，提取目标像素点x的光谱序列Sc和空间序列Sa，再将光谱掩膜序列和空间掩膜序列末尾增加一个分类标志CLS；
步骤(G2)，经过线性映射和位置编码，得到光谱嵌入序列Hc和空间嵌入序列Ha分别如公式(20)和公式(21)所示，
步骤(G3)，将光谱嵌入序列Hc和空间嵌入序列Ha输入到基于Transformer的编码器中经过公式(9)和公式(10)得到相应光谱特征序列和相应空间特征序列，其中基于Transformer的编码器的最后一个MLP的隐节点个数设置为地面物体的类别个数K，且相应光谱掩膜序列和相应空间掩膜序列的最后一个分类标志元素需要输入到最后一个MLP中，得到第二光谱分类结果和第二空间分类结果
步骤(H)，基于第二光谱分类结果和第二空间分类结果组建微调阶段的损失函数，其中微调阶段的损失函数如公式(22)所示，
步骤(I)，由微调阶段的损失函数分别得到光谱域指标和空间域指标，并使用不确定度对比融合光谱域指标和空间域指标，得到最终分类结果，完成高光谱遥感图像分类作业，其中不确定度使用信息熵衡量光谱域指标和空间域指标的不确定度，具体步骤如下，
步骤(I1)，由微调阶段的损失函数分别得到光谱域指标uc和空间域指标ua，分别如公式(23)和公式(24)所示，
其中，光谱域指标uc和空间域指标ua的值越大，则对应域的分类结果确定性更高；
步骤(I2)，设阀值为σ，并将光谱域指标uc和空间域指标ua与阀值σ对比，具体步骤如下，
步骤(I21)，若光谱域指标uc和空间域指标ua都小于阀值σ，则将最终分类结果定义为
步骤(I22)，若光谱域指标uc同时大于阀值σ和空间域指标ua或空间域指标ua同时大于阀值σ和光谱域指标uc，则选取光谱域指标uc和空间域指标ua指标值交大的作为最终分类结果。
为了更好的阐述本发明的使用效果，下面介绍本发明的一个具体实施例。
(1)数据集。
Indian Pines(IP)：这个高光谱遥感图像由Airborne Visible/InfraredImaging Spectrometer传感器在1992年获得。它基本覆盖了美国印第安纳州西北部的普渡大学的农田。这个图像的空间尺寸为145×145，分辨率为20m。将20个噪声和吸水波段去除之后，该图像的220个波段缩减到200个波段。这个场景中的地面物体被分类为16种。所有标记的像素点个数为10366。训练和测试的样本数具体如表1所示。
表1 IP数据集的训练和测试样本数量
| Class | Name | Training | Testing |
| 1 | Corn Notill | 50 | 1384 |
| 2 | Corn Mintill | 50 | 784 |
| 3 | Corn | 50 | 184 |
| 4 | Grass Pasture | 50 | 447 |
| 5 | Grass Trees | 50 | 697 |
| 6 | Hay Windrowed | 50 | 439 |
| 7 | Soybean Notill | 50 | 918 |
| 8 | Soybean Mintill | 50 | 2418 |
| 9 | Soybean Clean | 50 | 564 |
| 10 | Wheat | 50 | 162 |
| 11 | Woods | 50 | 1244 |
| 12 | Buildings Grass Trees Drives | 50 | 330 |
| 13 | Stone Steel Towers | 50 | 45 |
| 14 | Alfalfa | 15 | 39 |
| 15 | Grass Pasture Mowed | 15 | 11 |
| 16 | Oats | 15 | 5 |
| Total | 695 | 9671 |
Houston2013(HU)：这个数据集记录了由Innovation,Technology,Research,Excellence,and Service Compact Airborne Spectrographic Imager-1500传感器采集的休斯顿大学的场景。生成的高光谱遥感图像包含349×1905像素点，以及覆盖364-1046nm波长的144个光谱波段。这里，图像中的云已经提前消除。总共有15类地面物体出现在该高光谱遥感图像中。训练样本和测试样本具体见表2。
表2 HU数据集的训练和测试样本数量
Pavia University(PUS)：Reflective Optics System Imaging Spectrometer传感器拍摄了帕维亚大学的场景，生成对应的高光谱遥感图像。这张高光谱遥感图像的空间分辨率为1.3m，并且包含610×340个像素点。这个数据集总共包含43923个标注像素点，它们都属于9种地面物体之一。该数据包含了103个光谱波段。训练和测试样本的具体配置如表3所示。
表3 PUS数据集的训练和测试样本数量
| Class | Name | Training | Testing |
| 1 | Asphalt | 548 | 6304 |
| 2 | Meadows | 540 | 18146 |
| 3 | Gravel | 392 | 1815 |
| 4 | Trees | 524 | 2912 |
| 5 | Metal Sheets | 265 | 1113 |
| 6 | Bare Soil | 532 | 4572 |
| 7 | Bitumen | 375 | 981 |
| 8 | Bricks | 514 | 3364 |
| 9 | Shadows | 231 | 795 |
| Total | 3921 | 40002 |
(2)实现过程。
本发明所提MSSFP分类方法由PyTorch在一台CPU为英特尔i7-10700和GPU为英伟达GeForce RTX 3090的工作站上实现。针对预训练和微调阶段，本实施例都使用Adam算法用于训练网络，且批量样本大小为64。具体而言，预训练和微调阶段的学习率分别设置为1e-3和5e-8。此外，预训练阶段，每次经过1/10的训练周期，就将学习率乘以0.9。预训练和微调阶段的训练周期分别设置为300和400。传统Transformer是一个编码-解码结构的网络，本发明所提MSSFP仅使用Transformer的编码器。所有的对比方法都根据作者提供的开源代码复现，得到分类结果。为了更好地评估分类方法的性能，我们使用三个指标，包括总体准确率(Overall accuracy,OA)，平均准确率(Average accuracy，AA)，以及Kappa系数。
(3)与现有方法的对比
为了验证本发明所提MSSFP的有效性，我们将它和8个现有的分类方法进行对比。这些方法包括RF、SVM、3-D CNN、RNN、SSTN、ViT、SF以及MAEST。这些方法的分类精度如表4所示。
表4 IP数据集上不同分类方法的分类精度
从表中可以看出，RF和SVM这两种传统方法的分类性能最差。虽然RNN和ViT都是基于深度学习的方法，但是他们的分类性能和SVM差不多。这主要是因为他们只使用高光谱向量作为输入，忽略了空间信息。此外，ViT取得的分类精度略低于RNN，可能是因为ViT包含更多的参数。与RNN相比，3-D CNN将OA，AA，Kappa分别提升了2.79％，6.16％，以及3.31％。3-DCNN能取得这样的提升主要归功于它使用高光谱立方块作为输入，而立方块包含了丰富的空间信息。但是，3-D CNN的三个指标仍然不如SSTN、SF以及MAEST，因为它只考虑了固定邻域内的局部关系。通过引入Transformer、SSTN、SF以及MAEST能够缓解这个问题。在基于Transformer的方法中，MAEST在三个指标上都取得了最好的性能。
综上所述，由于Transformer参数量大且训练样本少，很难训练Transformer至最佳状态。为了解决这个问题，MAEST设计了一个掩膜-预测任务，利用无监督学习的方式来预训练Transformer。至于本发明所提MSSFP，它显著地提升了分类性能。具体而言，与MAEST相比，本发明所提MSSFP将OA从79.90％提升到82.79％，将AA从88.49％提升到88.90％，以及将Kappa从77.08％提升到80.39％。猜测本发明所提MSSFP比MAEST性能好的原因有两个。一方面，MAEST直接预测掩膜区域的原始像素值，容易导致混淆问题。为了解决这个问题，本发明所提MSSFP决定预测掩膜区域的手工特征，为了更好地捕获全局统计特征。另一方面，本发明所提MSSFP使用自适应融合决策来自适应地融合光谱和空间分类结果。但是MAEST直接从一个输入序列中提取特征，而这个序列将光谱和空间信息掺杂在一起，忽略了它们之间的相关性。所有方法的分类结果图如图4所示。以标记区域为例，所有对比方法都无法区分corn notill、soybean notill以及soybean mintill，而本发明所提MSSFP可以。
对于HU和PUS数据集，可以从表5和表6得到相似的结论。
表5 HU数据集上不同分类方法的分类精度
表6 PUS数据集上不同分类方法的分类精度
由表5和表6可以看出，MAEST取得了第二好的分类性能。与MAEST相比，本发明所提MSSFP能够更进一步地将HU数据集上的OA，AA，以及Kappa提升2.54％，3.21％，以及2.77％。对于PUS数据集，本发明所提MSSFP进一步将OA，AA，以及Kappa提升了1.02％，1.34％，以及1.25％。这两个数据集上的分类结果图如图5和图6所示。类似地，本发明所提MSSFP能够区分不同的地面物体，生成一个更令人满意的结果。
综上所述，本发明的一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，实现了通过预测高光谱遥感图像中掩盖的谱空区域的手工特征来获得一个训练完备Transformer的功能，且该Transformer经过微调后取得了具有竞争力的分类性能，充分考虑了光谱域和空间域之间的相关性，与此同时通过使用自适应聚合方法融合分别从光谱和空间特征得出的两个分类结果能比较光谱和空间结果的不确定性以揭示相关性，从而指导如何融合这两个结果，通过与三个公共数据集Indian Pines、Houston2013和PaviaUniversity上的几种最先进的分类方法进行了比较表明，该分类方法能在有限的训练样本下取得最佳性能。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，其特征在于：包括以下步骤，
步骤(A)，将高光谱遥感图像分别沿光谱维度和空间维度提取光谱序列和空间序列；
步骤(B)，对光谱序列和空间序列分别进行线性映射并生成光谱嵌入序列和空间嵌入序列，再分别生成光谱掩膜序列和空间掩膜序列；
步骤(C)，构建基于Transformer的编码器，并将光谱掩膜序列和空间掩膜序列分别输入基于Transformer的编码器，获得包含长距离依赖关系的光谱特征序列和空间特征序列；
步骤(D)，对光谱特征序列和空间特征序列分别进行处理并得到光谱解码特征序列和空间解码特征序列，再分别输入基于Transformer的解码器，得到掩膜区域的第一光谱分类结果和第一空间分类结果；
步骤(E)，对高光谱遥感图像分别采用主成分和局部二进制模式进行处理，并获得主成分特征和局部二值模式特征；
步骤(F)，将主成分特征和局部二值模式特征分别作为光谱分支和空间分支的真实值，再基于第一光谱分类结果和第一空间分类结果组建预训练阶段的损失函数；
步骤(G)，根据预训练阶段的损失函数对基于Transformer的编码器进行微调，并得到第二光谱分类结果和第二空间分类结果；
步骤(H)，基于第二光谱分类结果和第二空间分类结果组建微调阶段的损失函数；
步骤(I)，由微调阶段的损失函数分别得到光谱域指标和空间域指标，并使用不确定度对比融合光谱域指标和空间域指标，得到最终分类结果，完成高光谱遥感图像分类作业。
2.根据权利要求1所述的一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，其特征在于：步骤(A)，将高光谱遥感图像分别沿光谱维度和空间维度提取光谱序列和空间序列，具体步骤如下，
步骤(A1)，设以目标像素点x为中心的高光谱遥感图像立方块为其中Q×Q为空间尺寸，B为光谱波段个数；
步骤(A2)，沿光谱维度和空间维度提取光谱序列和空间序列，其中光谱序列Sc和空间序列Sa分别如公式(1)和公式(2)所示，
其中，为光谱序列Sc中的任意一个光谱元素，为空间序列Sa中的任意一个空间元素。
3.根据权利要求2所述的一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，其特征在于：步骤(B)，对光谱序列和空间序列分别进行线性映射并生成光谱嵌入序列和空间嵌入序列，再分别生成光谱掩膜序列和空间掩膜序列，具体步骤如下，
步骤(B1)，对光谱序列Sc进行线性映射并生成光谱嵌入序列，再生成光谱掩膜序列，具体步骤如下，
步骤(B11)，对光谱序列Sc进行线性映射并生成光谱嵌入序列，具体是对对光谱序列Sc中的每个元素进行线性映射并生成光谱嵌入序列Ec，
其中，为权重矩阵，为位置向量并用于位置编码，且位置向量由计算而得，如公式(4)所示，
步骤(B12)，由光谱嵌入序列生成光谱掩膜序列，其中光谱掩膜序列Mc如公式(5)所示，
其中，0代表有掩膜遮盖，1代表没有掩膜遮盖；
步骤(B2)，对空间序列Sa进行线性映射并生成空间嵌入序列，再生成空间掩膜序列，具体步骤如下，
步骤(B21)，对空间序列Sa进行线性映射并生成空间嵌入序列，具体是对空间序列Sa中的每个元素进行线性映射并生成空间嵌入序列Ea，如公式(6)所示，
其中，为权重矩阵，为位置向量并用于位置编码，且位置向量由计算而得，如公式(7)所示，
步骤(B22)，由空间嵌入序列Ea生成空间掩膜序列，其中空间掩膜序列Ma如公式(8)所示，
其中，0代表有掩膜遮盖，1代表没有掩膜遮盖。
4.根据权利要求3所述的一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，其特征在于：步骤(C)，构建基于Transformer的编码器，并将光谱掩膜序列和空间掩膜序列分别输入基于Transformer的编码器，获得包含长距离依赖关系的光谱特征序列和空间特征序列，具体步骤如下，
步骤(C1)，构建基于Transformer的编码器，其中基于Transformer的编码器的每一层都由层标准化LN、多头自注意力MSA和多层感知机MLP构成，且基于Transformer的编码器的第k层的输出Ok定义如公式(9)和公式(10)所示，
步骤(C1)，将光谱掩膜序列输入基于Transformer的编码器，获得包含长距离依赖关系的光谱特征序列，其中所述基于Transformer的编码器第一层输入序列O0等于E′c，其中E′c是使用光谱掩膜序列Mc处理光谱嵌入序列Ec之后的结果，且具体处理过程是遍历光谱掩膜序列Mc，若遇到0值，则将光谱嵌入序列Ec中对应位置的元素被删除，所述基于Transformer的编码器最后一层输出Oc为空间特征序列，如公式(11)所示，
其中，
步骤(C2)，将空间掩膜序列输入基于Transformer的编码器，获得包含长距离依赖关系的空间序列特征，其中所述基于Transformer的编码器第一层输入序列O0等于E′a，是使用空间掩膜序列Ma处理空间嵌入序列Ea之后的结果，且具体处理过程是遍历空间掩膜序列Ma，若遇到0值，则将空间嵌入序列Ea中对应位置的元素被删除，所述基于Transformer的编码器最后一层输出Oa为空间特征序列，如公式(12)所示，
其中，
5.根据权利要求4所述的一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，其特征在于：步骤(D)，对光谱特征序列和空间特征序列分别进行处理并得到光谱解码特征序列和空间解码特征序列，再分别输入基于Transformer的解码器，得到掩膜区域的第一光谱分类结果和第一空间分类结果，具体步骤如下，
步骤(D1)，对光谱特征序列进行处理并得到光谱解码特征序列，再将光谱解码特征序列输入基于Transformer的解码器，得到掩膜区域的第一光谱分类结果，具体步骤如下，
步骤(D11)，将可训练标志插入到掩膜位置，并将光谱特征序列Oc的长度恢复成B，且空间特征序列Oc经过线性映射和位置编码后能转换成光谱解码特征序列Dc，如公式(13)所示；
其中，为权重矩阵，为位置向量，且由公式(4)求得；
步骤(D12)，将光谱解码特征序列Dc输入到基于Transformer的解码器，得到掩膜区域的手工特征，其中基于Transformer的解码器与基于Transformer的编码器结构相同，且掩膜区域的第一光谱分类结果能从基于Transformer的解码器输出序列中得到，再将输出序列中的元素串联，得到掩膜区域的第一光谱分类结果
步骤(D2)，对空间特征序列进行处理并得到空间解码特征序列，再将空间解码特征序列输入基于Transformer的解码器，得到掩膜区域的第一空间分类结果，具体步骤如下，
步骤(D21)，将可训练标志插入到掩膜位置，并将空间特征序列Oa的长度恢复成B，且空间特征序列Oa经过线性映射和位置编码后能转换成空间解码特征序列Da，如公式(14)所示，
其中，为权重矩阵，为位置向量，且由公式(7)求得；
步骤(D22)，将空间解码特征序列Da输入到基于Transformer的解码器，得到掩膜区域的手工特征，其中基于Transformer的解码器与基于Transformer的编码器结构相同，且掩膜区域的第一空间分类结果能从基于Transformer的解码器输出序列中得到，再将输出序列中的元素串联，得到掩膜区域的第一空间分类结果
6.根据权利要求5所述的一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，其特征在于：步骤(E)，对高光谱遥感图像分别采用主成分和局部二进制模式进行处理，并获得主成分特征和局部二值模式特征，具体步骤如下，
步骤(E1)，对高光谱遥感图像采用主成分进行处理，并获得主成分特征；
步骤(E11)，将高光谱遥感图像立方块X的维度重塑为Q2×B，再将重塑后的X作为Q2个B维的样本集，接着计算样本集中的所有样本每个维度的均值μ(X)和方差δ(X)，并对X进行标准化，即X＝(X-μ(X))/δ(X)，再计算协方差矩阵Cov(X)如公式(15)所示，
Cov(X)＝XXT/Q2 (15)；
步骤(E12)，计算Cov(X)的特征值和特征向量，将特征值按照从大到小排序，并将对应顺序的特征向量组成矩阵，取前3行构成的变换矩阵使用Ts对X进行变换，得到X的前三个主成分经过重塑得到维度为Q×Q×3的主成分特征
步骤(E2)，对高光谱遥感图像采用局部二进制模式进行处理，并获得局部二值模式特征，其中局部二进制模式是通过比较每个像素与其相邻像素来描述空间纹理，且局部二进制模式具有旋转不变性，具体步骤如下，
步骤(E21)，设标记区域的目标像素点为x，并将邻域像素点个数P设为8，再将圆形邻域的半径R设为1，这样能获取到八个邻域像素点{xi|0≤i≤7}，再使用符号函数fs将每一个邻域像素点和x比较，如公式(16)所示，
其中，在圆形二值模式中黑色和白色圆圈分别代表符号函数fs输出的0和1；
步骤(E22)，对每一个二值模式V将圆形邻域旋转八次，角度分别为{(45n)°|1≤n≤8}，产生八个局部二值特征值，再将这八个值中的最小值作为二值模式V的索引，这样也就将具有相同索引的二值模式分类成同一种旋转不变的二值模式；
步骤(E23)，引入空间转换缩减二值模式数量，其中空间转换T如公式(17)所示，
步骤(E24)，基于空间转换T，定义局部二值模式特征如公式(18)所示，
7.根据权利要求6所述的一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，其特征在于：步骤(F)，将主成分特征和局部二值模式特征分别作为光谱分支和空间分支的真实值，再基于第一光谱分类结果和第一空间分类结果组建预训练阶段的损失函数，具体步骤如下，
步骤(F1)，将主成分特征作为光谱分支的真实值，其中光谱分支用于预测所有光谱波段的主成分，并将主成分特征Gc的维度重塑为Q2×3，再作为光谱分支的真实值；
步骤(F2)，将局部二值模式特征作为空间分支的真实值，其中空间分支用于预测掩膜区域的局部二值模式特征，具体步骤如下，
步骤(F21)，将局部二值模式特征的维度重塑为Q2×B，再分割成一个序列
步骤(F22)，使用空间掩膜序列Ma对局部二值模式特征Ga进行掩膜遮盖，并将序列所有元素串联成一个二维矩阵再将这个二维矩阵作为空间分支的真实值；
步骤(F3)，基于第一光谱分类结果和第一空间分类结果组建预训练阶段的损失函数如公式(19)所示，
loss＝∑[(FaW1-G′a)2+(F′cW2-Gc)2] (19)
其中，和都是权重矩阵，F′c是Fc的转置。
8.根据权利要求7所述的一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，其特征在于：步骤(G)，根据预训练阶段的损失函数对基于Transformer的编码器进行微调，并得到第二光谱分类结果和第二空间分类结果，具体步骤如下，
步骤(G1)，提取目标像素点x的光谱序列Sc和空间序列Sa，再将光谱掩膜序列和空间掩膜序列末尾增加一个分类标志CLS；
步骤(G2)，经过线性映射和位置编码，得到光谱嵌入序列Hc和空间嵌入序列Ha分别如公式(20)和公式(21)所示，
步骤(G3)，将光谱嵌入序列Hc和空间嵌入序列Ha输入到基于Transformer的编码器中经过公式(9)和公式(10)得到相应光谱特征序列和相应空间特征序列，其中基于Transformer的编码器的最后一个MLP的隐节点个数设置为地面物体的类别个数K，且相应光谱掩膜序列和相应空间掩膜序列的最后一个分类标志元素需要输入到最后一个MLP中，得到第二光谱分类结果和第二空间分类结果
9.根据权利要求8所述的一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，其特征在于：步骤(H)，基于第二光谱分类结果和第二空间分类结果组建微调阶段的损失函数，其中微调阶段的损失函数如公式(22)所示，
10.根据权利要求9所述的一种基于掩膜谱空特征预测的高光谱遥感图像分类方法，其特征在于：步骤(I)，由微调阶段的损失函数分别得到光谱域指标和空间域指标，并使用不确定度对比融合光谱域指标和空间域指标，得到最终分类结果，完成高光谱遥感图像分类作业，其中不确定度使用信息熵衡量光谱域指标和空间域指标的不确定度，具体步骤如下，
步骤(I1)，由微调阶段的损失函数分别得到光谱域指标uc和空间域指标ua，分别如公式(23)和公式(24)所示，
其中，光谱域指标uc和空间域指标ua的值越大，则对应域的分类结果确定性更高；
步骤(I2)，设阀值为σ，并将光谱域指标uc和空间域指标ua与阀值σ对比，具体步骤如下，
步骤(I21)，若光谱域指标uc和空间域指标ua都小于阀值σ，则将最终分类结果定义为
步骤(I22)，若光谱域指标uc同时大于阀值σ和空间域指标ua或空间域指标ua同时大于阀值σ和光谱域指标uc，则选取光谱域指标uc和空间域指标ua指标值交大的作为最终分类结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311180213.2A CN117115553B (zh) | 2023-09-13 | 2023-09-13 | 一种基于掩膜谱空特征预测的高光谱遥感图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311180213.2A CN117115553B (zh) | 2023-09-13 | 2023-09-13 | 一种基于掩膜谱空特征预测的高光谱遥感图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117115553A CN117115553A (zh) | 2023-11-24 |
| CN117115553B true CN117115553B (zh) | 2024-01-30 |
Family
ID=88809107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311180213.2A Active CN117115553B (zh) | 2023-09-13 | 2023-09-13 | 一种基于掩膜谱空特征预测的高光谱遥感图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115553B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3091381A1 (fr) * | 2018-12-19 | 2020-07-03 | Lysia | Dispositif de détection hyperspectrale |
| CN112308152A (zh) * | 2020-11-03 | 2021-02-02 | 西安电子科技大学 | 基于光谱分割与同质区域检测的高光谱图像地物分类方法 |
| CN115565071A (zh) * | 2022-10-26 | 2023-01-03 | 深圳大学 | 高光谱图像Transformer网络训练及分类方法 |
| WO2023125456A1 (zh) * | 2021-12-28 | 2023-07-06 | 苏州大学 | 基于多层次变分自动编码器的高光谱图像特征提取方法 |
-
2023
- 2023-09-13 CN CN202311180213.2A patent/CN117115553B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3091381A1 (fr) * | 2018-12-19 | 2020-07-03 | Lysia | Dispositif de détection hyperspectrale |
| CN112308152A (zh) * | 2020-11-03 | 2021-02-02 | 西安电子科技大学 | 基于光谱分割与同质区域检测的高光谱图像地物分类方法 |
| WO2023125456A1 (zh) * | 2021-12-28 | 2023-07-06 | 苏州大学 | 基于多层次变分自动编码器的高光谱图像特征提取方法 |
| CN115565071A (zh) * | 2022-10-26 | 2023-01-03 | 深圳大学 | 高光谱图像Transformer网络训练及分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 联合纹理和光谱特征的高光谱图像分类方法;余健;;韩山师范学院学报(第06期);24-32 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117115553A (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110321963B (zh) | 基于融合多尺度多维空谱特征的高光谱图像分类方法 | |
| CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
| CN112101271B (zh) | 一种高光谱遥感影像分类方法及装置 | |
| CN110008948B (zh) | 基于变分自编码网络的高光谱图像目标检测方法 | |
| CN113095409B (zh) | 基于注意力机制和权值共享的高光谱图像分类方法 | |
| Ibanez et al. | Masked auto-encoding spectral–spatial transformer for hyperspectral image classification | |
| Liu et al. | Deep multiview union learning network for multisource image classification | |
| CN110298235B (zh) | 基于流形约束自编码网络的高光谱异常检测方法及系统 | |
| CN111814685B (zh) | 基于双支路卷积自编码器的高光谱图像分类方法 | |
| CN111639587B (zh) | 基于多尺度谱空卷积神经网络的高光谱图像分类方法 | |
| CN109359623A (zh) | 基于深度联合分布适配网络的高光谱图像迁移分类方法 | |
| CN109858557B (zh) | 一种新的高光谱图像数据半监督分类方法 | |
| Dong et al. | Joint contextual representation model-informed interpretable network with dictionary aligning for hyperspectral and LiDAR classification | |
| CN115082780B (zh) | 基于增量式差异学习网络的多源异质影像变化检测方法 | |
| Jia et al. | Bipartite graph attention autoencoders for unsupervised change detection using vhr remote sensing images | |
| CN113052130B (zh) | 基于深度残差网络和边缘保护滤波的高光谱影像分类方法 | |
| CN116129280B (zh) | 一种遥感影像雪检测的方法 | |
| CN109460788B (zh) | 基于低秩-稀疏信息组合网络的高光谱图像分类方法 | |
| CN117115553B (zh) | 一种基于掩膜谱空特征预测的高光谱遥感图像分类方法 | |
| CN117115675A (zh) | 一种跨时相轻量化空谱特征融合高光谱变化检测方法、系统、设备及介质 | |
| CN117011595A (zh) | 基于近似nmr模型的高光谱图像特征提取方法 | |
| Li et al. | Change detection in synthetic aperture radar images based on log-mean operator and stacked auto-encoder | |
| CN116342517A (zh) | 基于光谱-时间Transformer的高光谱图像变化检测方法及装置 | |
| Yang et al. | 3D convolutional neural network for hyperspectral image classification using generative adversarial network | |
| Chiu et al. | Evaluation of incorporating texture into wetland mapping from multispectral images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |