CN116597204A - 基于Transformer网络的草地多时相高光谱分类方法 - Google Patents
基于Transformer网络的草地多时相高光谱分类方法 Download PDFInfo
- Publication number
- CN116597204A CN116597204A CN202310538945.8A CN202310538945A CN116597204A CN 116597204 A CN116597204 A CN 116597204A CN 202310538945 A CN202310538945 A CN 202310538945A CN 116597204 A CN116597204 A CN 116597204A
- Authority
- CN
- China
- Prior art keywords
- hyperspectral
- grassland
- classification
- temporal
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000003595 spectral effect Effects 0.000 claims abstract description 26
- 238000013145 classification model Methods 0.000 claims abstract description 22
- 238000001228 spectrum Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000000701 chemical imaging Methods 0.000 claims abstract description 5
- 230000010365 information processing Effects 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 18
- 230000012010 growth Effects 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 230000009286 beneficial effect Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 9
- 238000012544 monitoring process Methods 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 abstract description 6
- 241000894007 species Species 0.000 description 26
- 244000025254 Cannabis sativa Species 0.000 description 19
- 238000012549 training Methods 0.000 description 16
- 238000013527 convolutional neural network Methods 0.000 description 13
- 238000007637 random forest analysis Methods 0.000 description 13
- 241000196324 Embryophyta Species 0.000 description 11
- 238000012360 testing method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000003058 natural language processing Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000003066 decision tree Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000003698 anagen phase Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000035800 maturation Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000002679 ablation Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000001556 precipitation Methods 0.000 description 3
- 238000000985 reflectance spectrum Methods 0.000 description 3
- 238000004579 scanning voltage microscopy Methods 0.000 description 3
- 241001148728 Calamagrostis epigeios Species 0.000 description 2
- 241000744304 Elymus Species 0.000 description 2
- 241000219823 Medicago Species 0.000 description 2
- 241001210452 Medicago ruthenica Species 0.000 description 2
- 240000004658 Medicago sativa Species 0.000 description 2
- 235000010624 Medicago sativa Nutrition 0.000 description 2
- 235000017587 Medicago sativa ssp. sativa Nutrition 0.000 description 2
- 235000018328 Medicago sativa subsp x varia Nutrition 0.000 description 2
- 241001508791 Medicago sativa subsp. x varia Species 0.000 description 2
- 241001520027 Molinia caerulea Species 0.000 description 2
- 241000209504 Poaceae Species 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000010239 partial least squares discriminant analysis Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241000209200 Bromus Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000508734 Hordeum brevisubulatum Species 0.000 description 1
- 235000017335 Hordeum vulgare subsp spontaneum Nutrition 0.000 description 1
- 241001299819 Hordeum vulgare subsp. spontaneum Species 0.000 description 1
- 241000219830 Onobrychis Species 0.000 description 1
- 240000001417 Vigna umbellata Species 0.000 description 1
- 235000011453 Vigna umbellata Nutrition 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000000819 phase cycle Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Abstract
本发明属于光谱数据分类技术领域，公开了一种基于Transformer网络的草地多时相高光谱分类方法，利用高光谱成像系统采集多时相草地样本数据，构建具有分层架构的基于Transformer网络的草地多时相高光谱分类模型；利用多头自注意力编码器块对添加有位置编码的草地多时相高光谱数据进行特征提取和光谱波段信息处理；利用基于Transformer网络的草地多时相高光谱分类模型生成多分辨率表示，得到分类结果。本发明采用高光谱成像技术与Transformer深度网络结合的分类方式能够准确的识别多时相草地的成分，为草地的监测管理提供了一种无损、有效的检测方法。
Description
技术领域
本发明属于光谱数据分类技术领域，尤其涉及一种基于Transformer网络的草地多时相高光谱分类方法。
背景技术
目前，在过去十年中，草地监测已从实地调查转为基于遥感的方法，但效率有限，识别精度有待提高。多时相高光谱包含草种光谱特征和生长季相差异信息，该数据显示出草地分类的巨大潜力，但最常用的分析方法，如随机森林和支持向量机，需要人工特征工程，而深度学习方法能够直接提取这些特征。Transformer网络在自然语言处理(NLP)和计算机视觉(CV)中显示出强大的处理能力，特别是对长程序列特征。
纵观历史，草地是维持陆地生态环境的重要自然屏障，也是畜牧业生产的基础。近年来，草地退化是世界各国面临的一个突出问题。动态监测草地分布对于控制草种和加强草地智能管理至关重要。这些过程往往需要通过人工收集样本和研究植被随时间的变化来进行现场评估，由于草地面积大和人力限制，这是低效的。多时相分析是一种有价值的技术，用于监测从土地利用和土地覆盖到作物分类再到入侵树种检测等其他随着时间动态变化方面。它主要由Landsat和MODIS的卫星数据及其长期运行驱动。多时相高光谱数据是精准农业、水文地质、城市规划和环境监测的一种很有前途的工具，已在上述领域得到广泛应用。因此，开展多时相高光谱数据的草地分类对于评估生态损失、预测产量和改善牧民在畜牧业生产中的草地监管至关重要。
高光谱图像(Hyperspectral imagery,HSI)具有数百个连续的光谱波段，与传统的多光谱图像相比，它能够实现更详细的测量。HSI中的每个像素都具有丰富的光谱信息，这为区分物体开辟了广泛的可能性。世界各地已经使用HSI技术进行了许多草地分类研究。多时相高光谱数据是指具有时间序列的HSI，可以监测生长季节或年份之间植被的演变。
在植被检测方面，现有技术1公开用于热带雨林入侵物种测绘的多时相高光谱混合分析和特征选择，并评估了多时相多端元光谱混合分析(MESMA)的潜力，Kappa为0.78。现有技术2公开农业和草地混合区域的多时相高光谱数据的异常检测，并对生物物理参数进行了直方图分类。现有技术3公开了用于山地植物群落测绘的多时相遥感图像，实现了随机森林和支持向量机分类器，F1分数范围在76–90％。草地分类而言，现有技术4建立了偏最小二乘判别分析(Partial Least Squares Discriminant Analysis,PLSDA)模型来判别属于不同草地演替阶段的植被，总体分类准确率为85％。现有技术5使用随机森林算法(RandomForest)识别了两种不同生长阶段的草：Molinia caerulea和Calamagrostis epigejos。对于Molinia caerulea，F1的最高中位数为0.89，而Calamagrostis epigejos则为0.73。目前，基于多时相高光谱的草原分类研究相对匮乏。
上述方法广泛使用了具有不同分辨率的高光谱传感器，这些传感器提供了不同程度的细节，但在试图识别草种时没有产生合适的精度。该领域分类方法的发展主要涉及使用随机森林(random forest,RF)等机器学习，特征提取依赖于人类专家的领域知识和工程经验。随着时间的推移，卷积神经网络(convolution neural networks,CNN)在HSI分类任务中表现出了突出地位，但它不能充分挖掘光谱特征的序列属性，阻碍了进一步的性能提升。最近，提出了一种新颖的Transformer网络深度学习机制，用于从时间序列数据的角度解决分类任务。
Transformer网络因其在自然语言处理(natural language processing,NLP)、计算机视觉(computer vision,CV)和其他学科中的优异表现而受到高度关注。Transformer被证明在高光谱分类任务中是有效的，因为它在捕捉长期依赖性方面具有突出的能力。现有技术6公开了基于Transformer的HSI分类的空谱双分支序列网络，获得了99.82％的最高分类精度。现有技术7公开了用于HSI分类的卷积Transformer混合器，总体分类精度提高了0.31-0.75％。现有技术8公开了用于HSI分类的transformer模型，并依赖于自注意力机制，该方法的平均准确率超过98.95％。现有技术9公开了高光谱图像transformer(hyperspectral image transformer,HiT)分类网络，并表明了HiT优于最先进的基于CNN的方法。Transformer网络在高光谱分类中显示出强大的处理能力，特别是对长程序列特征。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有技术缺少对草地多时相的研究；
(2)现有技术草地分类精度不高，时间和内存复杂性较高；
(3)Transformer广泛应用于高光谱分类中，但其网络的位置部分与草地多时相序列场景存在不适配的问题。
发明内容
针对现有技术存在的问题，本发明提供了一种基于Transformer网络的草地多时相高光谱分类方法。
本发明是这样实现的，一种基于Transformer网络的草地多时相高光谱分类方法，所述基于Transformer网络的草地多时相高光谱分类方法包括：
利用高光谱成像系统采集多时相草地样本数据，构建具有分层架构的基于Transformer网络的草地多时相高光谱分类模型；
利用多头自注意力编码器块对添加有位置编码的草地多时相高光谱数据进行特征提取和光谱波段信息处理；利用基于Transformer网络的草地多时相高光谱分类模型生成多分辨率表示，得到分类结果。
进一步，所述基于Transformer网络的草地多时相高光谱分类方法包括以下步骤：
步骤一，使用波长范围为400--1000nm的高光谱成像仪，从不同时期和不同生长阶段的草地样本中收集不同物种的多时相高光谱数据；
步骤二，基于所述多时相高光谱数据构建具有分层架构的基于Transformer网络的草地多时相高光谱分类模型；
步骤三，利用所述基于Transformer网络的草地多时相高光谱分类模型生成对草地高光谱时间序列分类有益的多分辨率表示；
步骤四，利用草地多时相高光谱分类模型对多时相高光谱草地的特征图进行n维位置编码，同时从光谱中注入序列信息，并利用光谱注意和多头自注意力提取特征信息；输出分类标签。
进一步，所述基于Transformer网络的草地多时相高光谱分类模型包括：
输入嵌入层，添加有位置编码；用于输入多时相高光谱数据；所述位置编码用于进行多时相高光谱数据建模；同时用于进行transformer的位置部分对时间序列场景的自适应；
多头自注意力编码器块，包括归一化层、多头自注意力模型以及前馈神经网络层；用于进行高光谱数据的特征提取和光谱波段信息的远程相关性处理；
分类层，用于输出类别标签。
进一步，所述分类层包括：全局平均池化层、多层感知机MLP以及Softmax层；
所述多层感知机MLP，由两个全连接层、RELU激活函数以及Dropout层组成；
所述Softmax，用于确定多时相高光谱草地的分类；
多头自注意力层以及前馈神经网络层中设置有Dropout层。
进一步，所述利用所述基于Transformer网络的草地多时相高光谱分类模型生成对草地高光谱时间序列分类有益的多分辨率表示包括：利用添加有位置编码的输入嵌入层进行多时相高光谱数据的建模，生成对草地高光谱时间序列分类有益的多分辨率表示。
进一步，所述利用光谱注意和多头自注意力提取特征信息包括：
利用多头自注意力模型在通道维度对特征进行分组，每个头为一组，并对每个组分别进行空间注意，再合并计算特征信息，如下：
MultiHeadSelfAttn(Q,K,V)＝Concat(head1,head2,…,headn)W°；
其中，n表示多头自注意力机制中头的数量，Concat表示将每个头部进行连接；W°表示线性变换矩阵；所述头由查询Q、键K、值V构成；headi＝SelfAttn(QWi Q,KWi K,VWi V)＝AiV；Wi Q,Wi K,Wi V分别表示第i个头的映射矩阵对应的查询、键和值；Dk表示向量K的维数。
进一步，所述基于Transformer网络的草地多时相高光谱分类方法还包括：
利用分类精度和混淆矩阵定量评估所述基于Transformer网络的草地多时相高光谱分类模型的精度：
其中，TP表示真阳性；TN表示真阴性；FP表示假阳性；FN表示假阴性。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于Transformer网络的草地多时相高光谱分类方法的步骤。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于Transformer网络的草地多时相高光谱分类方法的步骤。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述基于Transformer网络的草地多时相高光谱分类方法。
结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：
第一、本发明将位置编码添加到草地多时相高光谱数据中，解决了Transformer的位置部分与时间序列场景的适配问题。
本发明采用多头自注意力编码器块实现高光谱数据的特征提取和光谱波段信息的远程相关性处理。
本发明分层结构的MHCgT生成了有利于草地高光谱时间序列分类的多分辨率表示。并且编码器块是直接连接的，有效降低了时间和内存的复杂性。
本发明基于Transformer网络的草地多时相高光谱分类(multi-temporalhyperspectral classification of grassland using Transformer,MHCgT)评估将HSI的时间序列与Transformer中的自动特征选择技术相结合用于草种检测的潜力。本发明多时相分析提供了一种结合植物物候学的方法，特征选择技术实现了自动识别对应物种的最佳时间和主光谱特征集，以优化对象之间的可分性，潜在地提高了物种分类的准确性。本发明提供了一种改进的基于Transformer的特征选择方法，在覆盖中国北部内蒙古草原地区的HSI的时间序列上测试光谱注意力块。最终目标是改进这种复杂草地生态中的物种分类，作为其他草地区域使用的模式方法。
MHCgT消融研究和与最先进方法的对比实验结果表明，本发明对草地多时相高光谱的识别精度较高(98.51％)，优于现有的5种方法。此外，每类物种的平均分类准确率都在95％以上，且8月成熟期比6月生长期更易区分。总之，所提出的MHCgT框架有望准确识别多时相高光谱物种，并在可持续草地和物种多样性评估中具有一定的应用潜力。
多组交叉对比实验结果进一步验证了MHCgT的鲁棒性和可解释性。结果表明，MHCgT获得了较好的识别效果，准确率高达98.51％，优于CNN、LSTM-RNN、SVM、RF、DT五种现有方法。特别是每类物种的平均分类准确率均在95％以上，且普遍8月成熟期比6月生长期更易识别。
第二，本发明采用高光谱成像技术与Transformer深度网络结合的分类方式能够准确的识别多时相草地的成分，包括草地群落的生长阶段和成熟阶段以及多年间分类，为草地的监测管理提供了一种无损、有效的检测方法。
第三，本发明的技术方案转化后的预期收益和商业价值为：
草地多时相高光谱的分类能反映草地随着时间动态变化的现状，对草情监测具有重要意义。本发明通过对多年的处于不同生长阶段的草地进行研究，提高了草地多时相高光谱的分类精度，同时结果表明处于成熟期的草地比生长阶段的草地更容易辨别，对动态监测牧草的长势、病虫害、估产等更有效。多时相高光谱技术能周期性观测和宏观获取草地信息，节省了大量的人力成本，提高了效率，从而进一步加强我国草地大数据化管理。
附图说明
图1是本发明实施例提供的基于Transformer网络的草地多时相高光谱分类方法原理图；
图2是本发明实施例提供的基于Transformer网络的草地多时相高光谱分类方法流程图；
图3是本发明实施例提供的编码器块结构示意图；
图4是本发明实施例提供的紫花苜蓿多时相高光谱数据图；
图5是本发明实施例提供的扁蓿豆多时相高光谱数据图；
图6是本发明实施例提供的加拿大披碱草多时相高光谱数据图；
图7是本发明实施例提供的野大麦多时相高光谱数据图；
图8是本发明实施例提供的杂花苜蓿多时相高光谱数据图；
图9是本发明实施例提供的红豆草多时相高光谱数据图；
图10是本发明实施例提供的缘毛雀麦多时相高光谱数据图；
图11是本发明实施例提供的202006的MHCgT网络中epoch与精度、损耗之间的关系图；
图12是本发明实施例提供的202008的MHCgT网络中epoch与精度、损耗之间的关系图；
图13是本发明实施例提供的202106的MHCgT网络中epoch与精度、损耗之间的关系图；
图14是本发明实施例提供的202108的MHCgT网络中epoch与精度、损耗之间的关系图；
图15是本发明实施例提供的7个物种分类的混淆矩阵图；
图16是本发明实施例提供的202006的MHCgT网络的草地多时相高光谱的混淆矩阵图(测试集10％)；
图17是本发明实施例提供的202008的MHCgT网络的草地多时相高光谱的混淆矩阵图(测试集10％)；
图18是本发明实施例提供的202106的MHCgT网络的草地多时相高光谱的混淆矩阵图(测试集10％)；
图19是本发明实施例提供的202108的MHCgT网络的草地多时相高光谱的混淆矩阵图(测试集10％)。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供的基于Transformer网络的草地多时相高光谱分类方法包括以下步骤：
S101，使用波长范围为400--1000nm的高光谱成像仪，从不同时期和不同生长阶段的草地样本中收集不同物种的多时相高光谱数据；
S102，基于所述多时相高光谱数据构建具有分层架构的基于Transformer网络的草地多时相高光谱分类模型；
S103，利用所述基于Transformer网络的草地多时相高光谱分类模型生成对草地高光谱时间序列分类有益的多分辨率表示；
S104，利用草地多时相高光谱分类模型对多时相高光谱草地的特征图进行n维位置编码，同时从光谱中注入序列信息，并利用光谱注意和多头自注意力提取特征信息；输出分类标签。
如图2所示，本发明实施例提供的基于Transformer网络的草地多时相高光谱分类方法具体包括：
1材料和方法
1.1研究区域
研究地点位于中国北方的内蒙古自治区，地处纬度较高、地域辽阔，地貌以蒙古高原为主。该地区气候特点为温带大陆性季风气候，四季变化明显，年降水量100-500mm。该地区依托畜牧业的地理、资源和特殊经济优势，形成了以草地为主的民族地区特色。据内蒙古区域网统计，全区草地面积78.8万平方公里，占全区土地总面积的66.8％，在中国排名第一。实验区植被以典型草地植物为主，草种丰富，主要选择建设性物种和代表性植物进行研究，丰富相关分类技术，并为其他草种提供参考。
1.2框架
本发明采用多时相高光谱数据，测试改进的基于Transformer深度学习网络在北方草地个体物种识别中的性能，特别关注亚洲牧草。任务分为四个子任务：
(i)采集野外草地的多时相高光谱数据，
(ii)提取多时相草地的光谱特征，
(iii)利用这些数据以构建MHCgT网络，
(iv)优化网络，迭代精度评估。
1.3数据获取
高光谱成像仪(PTU-D48E，China)扫描草地样本。成像仪的光谱波长范围为400–1000nm，共有125个波段。将Andor-Luca探测器的曝光时间设置为10ms，平台移动长度为35°，光谱分辨率为4.8nm。
高光谱可识别单个物种的特定特征，但需要适当的数据收集期。相关研究表明，夏末秋初的效果最好，因为在这一时期，植物物种在颜色和形态上具有典型的特征。因此，在本实验中，分别于2020年和2021的6月底和8月初采集草地的多时相高光谱图像。7个典型草种，从不同角度共设置了84个样品区。在7个物种中，每个类别在每个时期收集了600条光谱曲线，排除了一些与实际实验分布不均匀和不具代表性的光谱数据，最终获得了16800个有效光谱数据(表1)。
表1多时相高光谱草地样本物种信息。
1.4基于对象的分类
本发明提出了一种基于Transformer网络的草地多时相高光谱分类模型(MHCgT)，实现了Transformer结构在多时相高谱分类场景中的应用。在此基础上，分析和解释了MHCgT中使用的网络、多头自注意力机制(multi-head self-attention)、编码器块(encoder block)和分类层(classification layer)的功能和重要性。MHCgT的详细架构如图1所示，包括模型设计和架构方面的三个贡献：
1.将位置编码添加到草地多时相高光谱数据中，以解决Transformer的位置部分与时间序列场景的适配问题。
2.采用多头自注意力编码器块实现高光谱数据的特征提取和光谱波段信息的远程相关性处理。
3.分层结构的MHCgT生成了有利于草地高光谱时间序列分类的多分辨率表示。并且编码器块是直接连接的，有效降低了时间和内存的复杂性。
1.4.1位置编码
基于自注意力机制的Transformer网络主要用于解决NLP领域的任务，表现良好。最近，Transformer模型在CV，即视觉变换器(vision transformer,ViT)中的应用，在图像分类方面取得了优异的效果，并在一定程度上超过了最先进的CNN模型。Transformer对长序列数据显示出强大的建模能力，因此迁移向多时相高光谱分类领域。
与NLP或ViT不同，Transformer应用在多时相高光谱中具有时间序列的重要特征。有效构建季节性或周期性时间依赖模型仍然是一个挑战。因此，模型设计方面，在多时相高光谱数据的输入嵌入中添加了位置编码(positional encoding)，以实现常规transformer的位置部分对时间序列场景的自适应。
草原多时相高光谱数据集由多变量序列信息组成。时间序列数据集被定义为形状张量(N,S,M)，其中，N是数据集中的样本数量，S是所有变量中的最大时间步长，M是每个时间步长中处理的变量数。当M为1时，是一个单一变量的时间序列数据集。MHCgT利用在输入嵌入中添加的位置编码来对序列信息建模。位置嵌入是一个固定值。对于多时相高光谱草地的特征图，它实现了n维位置编码方法，并改变形状以满足模型的输入。这种编码包含光谱中特定位置信息的维度向量，并通过注入光谱的序列信息来增强模型的输入。
1.4.2多头自注意力
Transformer将注意力机制作为编码-解码器的核心构建模型。注意力机制自动根据需要有选择性的集中关注特定信息，已广泛应用于NLP、图像分类等领域。自注意力机制改进了注意力机制，可以更好地捕获数据相关性。在本发明中，利用自注意力的变体，即多头自注意力(multi-head self-attention)模块来提取特征。多头自注意力机制是MHCgT具有良好全局建模能力的关键，其可以让模型处理来自不同子空间的各种信息。
多头自注意力模型在通道维度对特征进行分组，每个头为一组，并对每个组分别进行空间注意，最后再合并计算最终输出。表达如下：
MultiHeadSelfAttn(Q,K,V)＝Concat(head1,head2,…,headn)W° (1)
其中，n代表多头自注意力机制中头的数量，Concat将每个头部连接起来，以实现多头部自注意力计算。W°表示线性变换矩阵。头的基础是缩放点积注意力机制，其由查询(Query,Q)、键(Key,K)、值(Value,V)构成。首先，计算K和Q的点积，形成点积矩阵并进行归一化。通过Softmax层获取注意力权重得分矩阵。然后，乘V实现自我关注。具体计算过程如下：
headi＝SelfAttn(QWi Q,KWi K,VWi V)＝AiV (2)
其中，Wi Q,Wi K,Wi V分别表示第i个头的映射矩阵对应的查询、键和值。Dk代表向量K的维数。
1.4.3编码器块
网络的核心过程涉及具有多头自注意力的编码器块(encoder block)，成功地处理了多时相高光谱图像数据的光谱带信息的长距离依赖性。进一步，建立了一个前馈神经网络(feed forward neural network)，将注意力层输出的光谱特征序列通过该网络，以提高模型的非线性。前馈部分的结构包含两个卷积层，并嵌入了RELU激活函数。本发明中的编码器块主要包括层归一化(layer normalization,LN)、多头自注意力机制(multi-headself-attention mechanism)和前馈部分(feed forward part)，如图3所示。值得注意的是MHCgT由多个编码器块组成，一起有效地挖掘了多时相高光谱的全局依赖性特征。
1.4.4分类层
本发明的模型具有端到端的网络结构，以多时相谱域数据为输入，以类别标签为输出。草地分类由多层感知机(multilayer perceptron,MLP)完成。MLP是MHCgT网络的最终层结构，由两个全连接层和RELU激活功能组成。最后，使用Softmax得到多时相高光谱草地的分类。此外，在整个编码器块过程之后连接全局平均池化操作，并将Dropout层引入到自注意力层、前馈神经网络层和MLP中，以防止深度模型过拟合。
1.5精度评估
分类精度(accuracy)和混淆矩阵(confusion matrix)用于定量评估模型的性能。准确性意味着模型能够正确预测样本量与样本总数的比率。通常，精度与模型效果成正比。该指标由真阳性(true positive,TP)、真阴性(true negative,TN)、假阳性(falsepositive,FP)和假阴性(false negative,FN)计算方式如下。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
1草地多时相高光谱数据
选择高光谱图像的样本感兴趣区域(ROI)，获得的平均反射率光谱波段范围为400–1000nm。每个样本选择具有代表性的ROI。该数据库包含在2020年和2021的6月(生长期)和8月(成熟期)的7个物种，分别为202006、202008、202106、202108，共16800个光谱数据。图4至图10显示了关于7类草的28个样本的多时相高光谱数据。
2分类结果
MHCgT网络的实施细节是在Keras框架上。分析了MHCgT各超参数的相互作用，并通过多次控制实验获得了最佳设置，共有74768个参数。表2中，num heads表示注意头的数量，ff dim表示Transformer中前馈网络中的隐藏层大小。采用了Adam优化器，学习率(learning rate,lr)为1e-3，批量大小为125。当参数设置为这样时，基于transformer的方法可以获得较出色结果。将这四个时相数据集上的epochs设置为20(图11至图14所示)。此外，增加了EarlyStoping机制，patience为10。
表2 MHCgT网络的参数信息。
| Parameter | Setting | Parameter | Setting |
| Num heads | 8 | Lr | 1e-3 |
| Ff dim | 64 | Beta 1 | 0.9 |
| Num transformer blocks | 4 | Beta 2 | 0.98 |
| Mlp units | 125 | Epsilon | 1e-9 |
| Mlp dropout | 0.4 | Batch size | 125 |
| Dropout | 0.25 | Epochs | 20 |
每次实验中，训练次数设置为20，在训练过程中，输出验证集上准确率最高的模型，若准确率一致，则输出损失最小的模型。每次迭代保存最佳模型。从图11至图14整体来看，测试集的精度略高于训练集，Loss则相反，这表明MHCgT在训练集中表现良好，具有一定的泛化能力。图15显示了当MHCgT用于草地多时相高光谱分类时的最佳结果的混淆矩阵。表3是不同时期单个物种的鉴定结果。
表3利用MHCgT网络对草原地多时相高光谱的分类精度(％)。
3消融研究
由于基于transformer的方法需要大量的训练样本，因此对训练样本的百分比进行了消融研究。利用Stratified ShuffleSpli交叉验证器提供训练/测试索引，实现数据拆分。Stratified ShuffleSplit交叉验证器目标是StratifiedKFold和ShuffleSplit的合并，它返回分层随机折叠，保留每个类别中样本的概率。样本是随机无序的，并且分裂迭代的次数设置为10。在四时相高光谱数据集上进行了广泛的实验，以10％的间隔将训练样本从10％改变到90％，运行MHCgT五次。表4报告了所提出的MHCgT实现精度的平均结果。
表4不同训练比例的分类结果。
此外，对MHCgT与当下5种方法进行了比较分析，即卷积神经网络(convolutionalneural network,CNN)、长短期记忆递归神经网络(recurrent neural network with longshort-term memory,LSTM-RNN)、随机森林(random forest,RF)、支持向量机(supportvector machine,SVM)和决策树(decision tree,DT)(表5)。测试集的比例为10％，每个类别中随机选择的样本数量为1680个，epochs为20，批量为125。最终结果是5次实验的均值，实验结果保留两位小数。
表5对比当前5种方法对草到分类的多时相高光谱进行的实验评估，突出了所提出的MHCgT网络的有效性。
| Method | MHCgT | CNN | LSTM-RNN | SVM | RF | DT |
| Accuracy(％) | 97.92 | 85.36 | 91.50 | 84.29 | 82.56 | 71.69 |
4.讨论
4.1多时相高光谱分析
多时相高光谱数据包含数百个光谱带和丰富的时相信息。在本发明中，应用125个原始光谱波段和关于两年内两个生长阶段的4个时间序列信息来实现高效的草地分类，并探索最佳识别期。对于数据集，首先，这些草类的光谱特征遵循相似的趋势，具有一定的类间相似性。其次，基于这16800个样本，每个类别涵盖了不同的反射率。这意味着这些草种具有高标准偏差，导致它们之间有很大的重叠，也就是说，所有的光谱均有交织。第三，各物种的平均反射率光谱曲线在多个阶段存在差异，在相同位置下反射率的峰/谷值不同。分析数据采集的单个年份和演替阶段的影响，由于不同年份之间的天气、降水和土壤湿度等环境条件，很难看到分类结果的一般规律。每一个分析的演替阶段都以独特的植被生长周期为特征。物种在生长季和成熟季的颜色和形态元素不同，这进一步增加了类内差异性，并显著影响了区分个体群落的能力。图4至图10中，草地样本在演替阶段的不同平均反射率光谱表明，多时相高光谱分类是可行的。
根据所分析物种的生长阶段，比较不同时相的高光谱数据，提出MHCgT深度学习网络以实现单数据集和多数据集检测，进而指出相应物种识别的最佳时间(表3，图16，图17，图18，图19)。具体而言，Medicago sativa，Medicago ruthenica，Medicago varia和Bromusciliatus在8月成熟期的分类准确率高于6月生长期，其中Medicago sativa和Medicagovaria在8月最高可达到1。Elymus CanadensisJune和Hordeum brevisubulatum在6月生长期比8月成熟期较易辨别。Onobrychis viciaefolia在6月和8月的准确度相同，但2020年高于2021年，这可能是受不同年份间的气候和降水等环境因素的影响。最突出的是7个物种的平均分类准确率均在95％以上，且整体草地多时相高光谱分类准确率最高达到98.51％(图15)。
4.2分类方法
表4研究了训练样本对MHCgT性能的影响。结果表明，随着训练样本数量从10％到90％的变化，分类准确率逐渐提高。当训练样本从10％增加到50％时，精度提升明显。这表明训练样本的数量也会影响所提出的MHCgT的性能。当训练样本从60％变化到90％，特别是在80％-90％时，精度和损失趋于稳定，这证明了MHCgT的稳定性。总体而言，MHCgT在训练和测试中具有良好的适应性，而个体差异对模型在受试者之间的迁移能力的影响有限。
在对比实验中，MHCgT分别比较了在高光谱分类中表现较好的CNN、擅长序列数据处理的LSTM-RNN以及广泛应用于植被检测的SVM、RF、DT(表5)。基于Transformer的MHCgT利用多头自注意力模块提取特征，该机制克服了具有固定序列属性的LSTM-RNN的相关问题，实现了多时相数据的并行计算，捕获长序列特征的能力超过了CNN。该模块极大地促进了多时相高光谱数据模型和分类精度的发展。MHCgT和LSTM-RNN的架构优于CNN，这与现有技术类似。由于谱序列维度强大的学习能力，MHCgT比CNN产生更好的结果。例如，在多时相高光谱数据集上，准确率分别为97.92％和85.36％。这一结果与最近发表的现有技术一致。与SVM、RF和DT相比，MHCgT的准确性增加了13.63％至26.23％。此外，在先前关于植被监测识别的研究中，植物群落的类型、类别的数量、应用的算法和传感器的光谱范围同样值得关注(表6)。MHCgT的平均准确度(97.92％)与其他作者获得的结果相当。现有技术中RF和SVM的准确率在95％以上，这可能是由于山地森林和非森林植物群落之间的特征存在显著差异，较易区分。另一个值得注意的方面是辨别的类别数量。增加物种类别有助于混淆类别之间的光谱差异并降低准确性。由于传感器不同，相同类别和算法产生的结果也存在差异。因此，在植被分类方面，传感器的型号、物种类别丰富度和算法的选择均对结果产生不可忽略的影响。
对比分析MHCgT和5个当前算法在草地多时相高光谱上获得的结果，并将其与其他作者的研究进行比较，应认为是MHCgT获得令人满意的表现(表5，表6)。这个模型的核心部件是位置编码和多头自注意力机制，分别增强了模型输入适配性和特征提取的能力。该模型学习从数据中自动提取最重要的特征，以便在其他特征中进行辨别。由多个编码器块组成，最终在完全连接的网络中导出。MHCgT的网络架构分层，编码器间直接连接，无需预处理步骤，是一个端到端的轻量级深度网络。本发明通过构建MHCgT模型，概述了多时相辐射参考高光谱数据的两种用途，即多年分类和多生长期检测，并充分证明了MHCgT的可行性。同时，使用不同数量的训练集使MHCgT高效工作，进一步提高了网络的适应性，使其具有更好的自学习和自调整能力。
表6将获得的结果与文献中报道的结果比较
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于Transformer网络的草地多时相高光谱分类方法，其特征在于，包括：
利用高光谱成像系统采集多时相草地样本数据，构建具有分层架构的基于Transformer网络的草地多时相高光谱分类模型；
利用多头自注意力编码器块对添加有位置编码的草地多时相高光谱数据进行特征提取和光谱波段信息处理；利用基于Transformer网络的草地多时相高光谱分类模型生成多分辨率表示，得到分类结果。
2.如权利要求1所述基于Transformer网络的草地多时相高光谱分类方法，其特征在于，所述基于Transformer网络的草地多时相高光谱分类方法包括以下步骤：
步骤一，使用波长范围为400--1000nm的高光谱成像仪，从不同时期和不同生长阶段的草地样本中收集不同物种的多时相高光谱数据；
步骤二，基于所述多时相高光谱数据构建具有分层架构的基于Transformer网络的草地多时相高光谱分类模型；
步骤三，利用所述基于Transformer网络的草地多时相高光谱分类模型生成对草地高光谱时间序列分类有益的多分辨率表示；
步骤四，利用草地多时相高光谱分类模型对多时相高光谱草地的特征图进行n维位置编码，同时从光谱中注入序列信息，并利用光谱注意和多头自注意力提取特征信息；输出分类标签。
3.如权利要求2所述基于Transformer网络的草地多时相高光谱分类方法，其特征在于，所述基于Transformer网络的草地多时相高光谱分类模型包括：
输入嵌入层，添加有位置编码；用于输入多时相高光谱数据；所述位置编码用于进行多时相高光谱数据建模；同时用于进行transformer的位置部分对时间序列场景的自适应；
多头自注意力编码器块，包括归一化层、多头自注意力模型以及前馈神经网络层；用于进行高光谱数据的特征提取和光谱波段信息的远程相关性处理；
分类层，用于输出类别标签。
4.如权利要求3所述基于Transformer网络的草地多时相高光谱分类方法，其特征在于，所述分类层包括：全局平均池化层、多层感知机MLP以及Softmax层；
所述多层感知机MLP，由两个全连接层、RELU激活函数以及Dropout层组成；
所述Softmax，用于确定多时相高光谱草地的分类；
多头自注意力层以及前馈神经网络层中设置有Dropout层。
5.如权利要求2所述基于Transformer网络的草地多时相高光谱分类方法，其特征在于，所述利用所述基于Transformer网络的草地多时相高光谱分类模型生成对草地高光谱时间序列分类有益的多分辨率表示包括：利用添加有位置编码的输入嵌入层进行多时相高光谱数据的建模，生成对草地高光谱时间序列分类有益的多分辨率表示。
6.如权利要求2所述基于Transformer网络的草地多时相高光谱分类方法，其特征在于，所述利用光谱注意和多头自注意力提取特征信息包括：
利用多头自注意力模型在通道维度对特征进行分组，每个头为一组，并对每个组分别进行空间注意，再合并计算特征信息，如下：
MultiHeadSelfAttn(Q,K,V)＝Concat(head1,head2,,headn)W°；
其中，n表示多头自注意力机制中头的数量，Concat表示将每个头部进行连接；W表示线性变换矩阵；所述头由查询Q、键K、值V构成；headi＝SelfAttn(QWi Q,KWi K,VWi V)＝AiV；Wi Q,Wi K,Wi V分别表示第i个头的映射矩阵对应的查询、键和值；Dk表示向量K的维数。
7.如权利要求2所述基于Transformer网络的草地多时相高光谱分类方法，其特征在于，所述基于Transformer网络的草地多时相高光谱分类方法还包括：
利用分类精度和混淆矩阵定量评估所述基于Transformer网络的草地多时相高光谱分类模型的精度：
其中，TP表示真阳性；TN表示真阴性；FP表示假阳性；FN表示假阴性。
8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-7任意一项所述基于Transformer网络的草地多时相高光谱分类方法的步骤。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-7任意一项所述基于Transformer网络的草地多时相高光谱分类方法的步骤。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求1-7任意一项所述基于Transformer网络的草地多时相高光谱分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310538945.8A CN116597204A (zh) | 2023-05-12 | 2023-05-12 | 基于Transformer网络的草地多时相高光谱分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310538945.8A CN116597204A (zh) | 2023-05-12 | 2023-05-12 | 基于Transformer网络的草地多时相高光谱分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116597204A true CN116597204A (zh) | 2023-08-15 |
Family
ID=87605699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310538945.8A Pending CN116597204A (zh) | 2023-05-12 | 2023-05-12 | 基于Transformer网络的草地多时相高光谱分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116597204A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117253122A (zh) * | 2023-11-17 | 2023-12-19 | 云南大学 | 玉米种子近似品种筛选方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115131313A (zh) * | 2022-06-27 | 2022-09-30 | 浙江大学 | 基于Transformer的高光谱图像变化检测方法及装置 |
| CN115272766A (zh) * | 2022-08-01 | 2022-11-01 | 西安交通大学 | 一种基于混合傅立叶算子Transformer网络的高光谱图像分类方法 |
| CN115908907A (zh) * | 2022-11-11 | 2023-04-04 | 复旦大学 | 一种高光谱遥感图像分类方法及系统 |
| US20230260279A1 (en) * | 2020-10-07 | 2023-08-17 | Wuhan University | Hyperspectral remote sensing image classification method based on self-attention context network |
-
2023
- 2023-05-12 CN CN202310538945.8A patent/CN116597204A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230260279A1 (en) * | 2020-10-07 | 2023-08-17 | Wuhan University | Hyperspectral remote sensing image classification method based on self-attention context network |
| CN115131313A (zh) * | 2022-06-27 | 2022-09-30 | 浙江大学 | 基于Transformer的高光谱图像变化检测方法及装置 |
| CN115272766A (zh) * | 2022-08-01 | 2022-11-01 | 西安交通大学 | 一种基于混合傅立叶算子Transformer网络的高光谱图像分类方法 |
| CN115908907A (zh) * | 2022-11-11 | 2023-04-04 | 复旦大学 | 一种高光谱遥感图像分类方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| ASHISH VASWANI: "Attention Is All You Need", NIPS, 31 December 2017 (2017-12-31), pages 1 - 15, XP002796972 * |
| ASHISH VASWANI: "Attention Is All You Need", NIPS\'17, 31 December 2017 (2017-12-31), pages 6000 * |
| ZHENGTAO LI: "A CNN-Transformer Hybrid Approach for CropClassification Using Multitemporal Multisensor Images", IEEE, vol. 13, 31 December 2020 (2020-12-31), pages 847 - 858, XP011778595, DOI: 10.1109/JSTARS.2020.2971763 * |
| 黄霞: "基于深度学习的高分辨率遥感图像变化检测方法", 中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑), no. 1, 31 January 2023 (2023-01-31), pages 028 - 484 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117253122A (zh) * | 2023-11-17 | 2023-12-19 | 云南大学 | 玉米种子近似品种筛选方法、装置、设备及存储介质 |
| CN117253122B (zh) * | 2023-11-17 | 2024-01-23 | 云南大学 | 玉米种子近似品种筛选方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhong et al. | Deep learning based multi-temporal crop classification | |
| Zhang et al. | Three-dimensional convolutional neural network model for tree species classification using airborne hyperspectral images | |
| Xu et al. | Towards interpreting multi-temporal deep learning models in crop mapping | |
| Iqbal et al. | Gray level co-occurrence matrix (GLCM) texture based crop classification using low altitude remote sensing platforms | |
| CN110287944B (zh) | 基于深度学习的多光谱遥感影像的农作物虫害监测方法 | |
| Wang et al. | Spectral prediction of Phytophthora infestans infection on tomatoes using artificial neural network (ANN) | |
| Li et al. | Rubber tree distribution mapping in Northeast Thailand | |
| Rußwurm et al. | Breizhcrops: A satellite time series dataset for crop type identification | |
| dos Santos Luciano et al. | Empirical model for forecasting sugarcane yield on a local scale in Brazil using Landsat imagery and random forest algorithm | |
| CN111898503B (zh) | 基于云覆盖遥感影像和深度学习的作物识别方法和系统 | |
| CN111598045A (zh) | 一种基于对象图谱和混合光谱的遥感耕地变化检测方法 | |
| Tan et al. | Expert systems in oil palm precision agriculture: A decade systematic review | |
| Li et al. | Temporal attention networks for multitemporal multisensor crop classification | |
| CN116597204A (zh) | 基于Transformer网络的草地多时相高光谱分类方法 | |
| CN113657158A (zh) | 基于Google Earth Engine的大尺度大豆种植区域提取算法 | |
| Wang et al. | Cross-phenological-region crop mapping framework using Sentinel-2 time series Imagery: A new perspective for winter crops in China | |
| Meng et al. | Fine hyperspectral classification of rice varieties based on attention module 3D-2DCNN | |
| Tang et al. | Tree-level almond yield estimation from high resolution aerial imagery with convolutional neural network | |
| Zaji et al. | A survey on deep learning applications in wheat phenotyping | |
| López-Granados et al. | Classifying irrigated crops as affected by phenological stage using discriminant analysis and neural networks | |
| Shahi et al. | Peanut yield prediction with UAV multispectral imagery using a cooperative machine learning approach | |
| Kumawat et al. | Time-Variant Satellite Vegetation Classification Enabled by Hybrid Metaheuristic-Based Adaptive Time-Weighted Dynamic Time Warping | |
| CN115828181A (zh) | 基于深度学习算法的马铃薯病害种类识别方法 | |
| Gabrovska-Evstatieva et al. | Overview of methods and technologies used for smart management of pastures and meadows | |
| Elfri et al. | Determining paddy crop health from aerial image using machine learning approach: A Brunei Darussalam based study |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |