CN116863341B - 基于时间序列卫星遥感影像的作物分类和识别方法和系统 - Google Patents
基于时间序列卫星遥感影像的作物分类和识别方法和系统 Download PDFInfo
- Publication number
- CN116863341B CN116863341B CN202311070751.6A CN202311070751A CN116863341B CN 116863341 B CN116863341 B CN 116863341B CN 202311070751 A CN202311070751 A CN 202311070751A CN 116863341 B CN116863341 B CN 116863341B
- Authority
- CN
- China
- Prior art keywords
- output
- time
- information
- remote sensing
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000012010 growth Effects 0.000 claims abstract description 26
- 230000007246 mechanism Effects 0.000 claims abstract description 22
- 238000013136 deep learning model Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000001228 spectrum Methods 0.000 claims abstract description 12
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 10
- 238000002310 reflectometry Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 45
- 210000002569 neuron Anatomy 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 230000002779 inactivation Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 210000004027 cell Anatomy 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000011835 investigation Methods 0.000 claims description 6
- 238000011160 research Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000002441 reversible effect Effects 0.000 claims description 5
- 230000007704 transition Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 244000068988 Glycine max Species 0.000 claims description 4
- 235000010469 Glycine max Nutrition 0.000 claims description 4
- 240000008042 Zea mays Species 0.000 claims description 4
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 claims description 4
- 235000002017 Zea mays subsp mays Nutrition 0.000 claims description 4
- 235000005822 corn Nutrition 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 235000010716 Vigna mungo Nutrition 0.000 claims description 3
- 240000001417 Vigna umbellata Species 0.000 claims description 3
- 235000011453 Vigna umbellata Nutrition 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000005855 radiation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 125000004122 cyclic group Chemical group 0.000 abstract description 6
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012271 agricultural production Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000003698 anagen phase Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007773 growth pattern Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Neurology (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于时间序列卫星遥感影像的作物分类和识别方法和系统，从遥感影像中提取反射率和光谱指数时间序列曲线作为作物识别的特征；构建作物分类深度学习模型进行训练，利用门控循环单元提取作物的时间序列特征，利用注意力机制捕捉作物识别的关键生长期，利用双向结构充分利用作物生长周期的时间序列信息；保存训练过程中得到的最优模型，将最优模型用于时间序列卫星遥感影像的作物分类和识别。本发明利用循环神经网络对时间序列遥感影像进行作物分类，结合注意力机制和双向结构进行关键特征的提取，充分利用了作物整个生长周期的时序信息，能够区分不同作物独特的生长模式，提高了作物分类的准确率。
Description
技术领域
本发明涉及农业遥感技术、图形数据处理技术领域，尤其涉及一种基于时间序列卫星遥感影像的作物分类和识别方法和系统。
背景技术
作物分布是一个地区或农业单元种植结构和种植模式的空间表现，它是一个描述特定地区不同作物种植面积和种植位置的统计指标。它可以帮助我们更好地了解农业生产和资源分配情况，促进农业生产和管理的精细化和高效化。准确地获取作物的空间分布和面积是作物长势监测和估产的前提，可以帮助各国清楚地了解农作物的数量和质量，这对维持国民经济传统的作物种植面积估算是通过作物生长季节的实地调查，需要耗费大量的时间和人力物力。在数据收集和数据处理中容易受人的主观因素的影响，进而产生较大的误差。
遥感技术的快速发展为高效准确的进行大范围的农作物识别提供了可能。随着遥感卫星研发的进程加快，多种多样的不同时间空间分辨率的遥感数据被用于区域尺度的农作物提取。从时间维度，用于作物分类的遥感方法可分为单时相和多时相。多时相能够充分利用作物整个生长周期的规律和遥感响应特征，利用多种时序反射率或光谱指数并进行农作物制图。当种植结构复杂时，多时相方法能够揭示不同作物生长周期的光谱差异，从而准确区分不同类型的农作物。因此，多时相方法已经广泛的应用于农作物识别和农业监测。
多时相法可以对农作物的生长进行长期、连续的监测，能够在不同时间点对农作物的生长情况进行比较，以达到区分不同的农作物的目的。许多将时间序列用于农作物提取的研究使用了光谱相似法或机器学习方法，如光谱角制图（SAM）、随机森林(RF)、支持向量机(SVM)等。光谱相似法多采用距离或角度来计算未知像元与参考像元的相似度。机器学习方法不考虑时间序列之间的依赖关系，将单时相影像作为独立特征输入到分类器中，完成农作物的分类。然而无论是光谱相似法还是机器学习方法都没有考虑到遥感时间序列的自相关性，不利于区分光谱相似的农作物。
近些年来，由于其强大的特征提取能力和稳健性，深度学习已经被广泛应用于遥感影像分类。目前，有多种不同的深度学习模型被应用于农作物制图，取得了准确的结果。用于作物提取的主流深度学习模型可分为两类：卷积神经网络和递归神经网络。卷积神经网络能够很好的提取影像的空间纹理特征，适用于超高分辨率的单时相影像作物识别。然而，亚米级的高分辨率卫星往往有着较小的幅宽和较长的重访周期，不适用于大区域的农作物识别。其次在实际的农作物测绘中，获取田间样本时通常使用手持式 GPS 对农作物类别进行点标记，然而卷积神经网络需要大量的空间标记样本。空间标记的样本的获得需要更复杂的采样方式和更多的人力、时间，这大大限制了卷积神经网络在实际农作物分类中的应用。
发明内容
为了解决上述技术所存在的不足之处，本发明提供了一种基于时间序列卫星遥感影像的作物分类和识别方法和系统。
为了解决以上技术问题，本发明采用的技术方案是：
一种基于时间序列卫星遥感影像的作物分类和识别方法，包括以下步骤：
步骤 1：下载哨兵2号卫星影像，对遥感数据进行预处理；
步骤 2：利用目视解译，结合实地调研结果制作遥感影像对应的类别标签；
步骤 3：通过时间合成、线性插值和SG滤波对时间序列影像进行重建；
步骤 4：从遥感影像中提取反射率和光谱指数作为作物识别的特征；
步骤 5：构建作物分类深度学习模型进行训练，利用门控循环单元提取作物的时间序列特征，利用注意力机制捕捉作物识别的关键生长期，利用双向结构充分利用作物生长周期的时间序列信息；
构建深度学习模型的具体步骤如下：
步骤501：构建输入层，输入数据的维度为：（批大小，序列长度，特征数量）；
步骤502：添加一个正向门控循环单元层，神经元数量设置为128，并设置以序列形式返回输出；
重置门r t 决定了上一时间步的状态信息被带入到当前时间步中的量；重置门的输出由上一时间步的输出H t-1 和当前时间步的输入X t 经过Sigmoid函数得到；输出的范围在0和1之间，它的值越大说明前一时间步的状态信息传递到后一时间步越多；0表示完全丢弃信息，1表示完全保留信息，计算如式所示：
其中r t 表示重置门的输出，表示Sigmoid激活函数，W r 表示重置门的权重，H t-1 表示上一时间步的输出，X t 表示当前时间步的输入，b r 表示重置门的偏置；
更新门z t 通过阈值决定历史信息和新信息的传输比例；更新门的值由上一时间步的输出H t-1 和当前时间步的输入X t 经过Sigmoid函数得到[0,1]范围的门控阈值；它通过将阈值分离成z t 和1-z t 两部分实现新信息的输入和历史信息的遗忘功能，计算如式所示：
其中z t 表示重置门的输出,W z 表示重置门的权重，b z 表示更新门的偏置；
候选记忆由两部分组成；一部分是通过重置门阈值信号决定的过往状态信息H t ,，另一部分是当前输入信息X t ；当门控值r t =0时，表示完全遗弃过往信息，则/>只包含当前信息；其计算如式所示：
其中表示候选记忆，/>表示候选记忆的权重；
最终输出由更新门控制，一部分是决定从上一时刻隐藏状态H t 遗忘信息的程度，另一部分是决定当前候选记忆加入到输出的程度；二者的控制系数分别由1-zt,和zt,控制，这意味着二者处于平衡转换的状态；其计算如式所示：
步骤503：添加一个反向门控循环单元层，神经元数量设置为128，并设置以序列形式返回输出；
步骤504：添加注意力机制层，神经元数量设置为64，注意力机制层最终输出如下：
第一步：获取每一个时间步的输出得到H
其中表示所有时间步的输出组成的矩阵，/>表示每一个时间步的输出；
第二步：通过计算与查询向量的相似度得到每一个时间步的得分
其中表示查询向量，/>代表可训练的权重矩阵；
第三步：通过Softmax函数对得分向量进行归一化得到注意力权重
第四步：最后，我们对每一个时间步进行加权求和，得到最终输出；
步骤505：添加失活层，神经元失活比例设置为0.4；
步骤506：添加全连接层，神经元数量设置为4，激活函数选择Softmax函数；
步骤507：编译模型，优化器为Adam，选择交叉熵函数作为损失函数；
步骤 6：保存训练过程中得到的最优模型，将最优模型用于时间序列卫星遥感影像的作物分类和识别。
所述的基于时间序列卫星遥感影像的作物分类和识别方法，所述步骤1中，哨兵2号卫星数据包含分辨率为10米的可见光波段：蓝、绿、红波段，四个分辨率为20米的红边波段，一个分辨率为10米的近红外波段，两个分辨率为20米的中红外波段，
所述的基于时间序列卫星遥感影像的作物分类和识别方法，所述步骤1包括：
步骤101：对哨兵2号影像进行辐射定标、大气校正、正射校正、去云；
步骤102：使用最近邻方法将所有波段重采样至10米分辨率；
步骤103：进行影像镶嵌，对镶嵌后的哨兵2号遥感影像进行裁剪，提取所需要的研究区域。
所述的基于时间序列卫星遥感影像的作物分类和识别方法，所述步骤2中以农作物玉米、水稻和大豆为研究对象进行关键性分析，对其他类别的土地类型不再进行细分。
所述的基于时间序列卫星遥感影像的作物分类和识别方法，所述步骤3包括：
步骤301：对全年的哨兵2号影像进行10天中值合成；
步骤302：使用窗口大小为9的线性插值对无效像元进行填充，具体为利用无效像元前后最近日期的有效像元对无效像元进行插值；
步骤303：使用窗口大小为2，多项式次数为3的SG滤波对时间序列影像进行平滑和降噪。
所述的基于时间序列卫星遥感影像的作物分类和识别方法，所述步骤4中从多光谱影像中提取反射率和光谱指数。
基于任一所述作物分类和识别方法的作物分类和识别系统，包括以下模块：
遥感数据预处理模块：下载哨兵2号卫星影像，对遥感数据进行预处理；
标签模块：利用目视解译，结合实地调研结果制作遥感影像对应的类别标签；
影像重建模块：通过时间合成、线性插值和SG滤波对时间序列影像进行重建；
作物识别特征提取模块：从遥感影像中提取反射率和光谱指数作为作物识别的特征；
模型构建模块：构建作物分类深度学习模型进行训练，利用门控循环单元提取作物的时间序列特征，利用注意力机制捕捉作物识别的关键生长期，利用双向结构充分利用作物生长周期的时间序列信息；
构建深度学习模型的具体步骤如下：
步骤501：构建输入层，输入数据的维度为：（批大小，序列长度，特征数量）；
步骤502：添加一个正向门控循环单元层，神经元数量设置为128，并设置以序列形式返回输出；
重置门r t 决定了上一时间步的状态信息被带入到当前时间步中的量；重置门的输出由上一时间步的输出H t-1 和当前时间步的输入X t 经过Sigmoid函数得到；输出的范围在0和1之间，它的值越大说明前一时间步的状态信息传递到后一时间步越多；0表示完全丢弃信息，1表示完全保留信息，计算如式所示：
其中r t 表示重置门的输出，表示Sigmoid激活函数，W r 表示重置门的权重，H t-1 表示上一时间步的输出，X t 表示当前时间步的输入，b r 表示重置门的偏置；
更新门z t 通过阈值决定历史信息和新信息的传输比例；更新门的值由上一时间步的输出H t-1 和当前时间步的输入X t 经过Sigmoid函数得到[0,1]范围的门控阈值；它通过将阈值分离成z t 和1-z t 两部分实现新信息的输入和历史信息的遗忘功能，计算如式所示：
其中z t 表示重置门的输出,W z 表示重置门的权重，b z 表示更新门的偏置；
候选记忆由两部分组成；一部分是通过重置门阈值信号决定的过往状态信息H t ,，另一部分是当前输入信息X t ；当门控值r t =0时，表示完全遗弃过往信息，则/>只包含当前信息；其计算如式所示：
其中表示候选记忆，/>表示候选记忆的权重；
最终输出由更新门控制，一部分是决定从上一时刻隐藏状态H t 遗忘信息的程度，另一部分是决定当前候选记忆加入到输出的程度；二者的控制系数分别由1-zt,和zt,控制，这意味着二者处于平衡转换的状态；其计算如式所示：
步骤503：添加一个反向门控循环单元层，神经元数量设置为128，并设置以序列形式返回输出；
步骤504：添加注意力机制层，神经元数量设置为64，注意力机制层最终输出如下：
第一步：获取每一个时间步的输出得到H
其中表示所有时间步的输出组成的矩阵，/>表示每一个时间步的输出；
第二步：通过计算与查询向量的相似度得到每一个时间步的得分
其中表示查询向量，/>代表可训练的权重矩阵；
第三步：通过Softmax函数对得分向量进行归一化得到注意力权重
第四步：最后，我们对每一个时间步进行加权求和，得到最终输出；
步骤505：添加失活层，神经元失活比例设置为0.4；
步骤506：添加全连接层，神经元数量设置为4，激活函数选择Softmax函数；
步骤507：编译模型，优化器为Adam，选择交叉熵函数作为损失函数；
作物分类和识别模块：保存训练过程中得到的最优模型，将最优模型用于时间序列卫星遥感影像的作物分类和识别。
本发明构建了一个基于注意力机制的双向循环门控单元神经网络模型。利用双向循环门控单元对作物生长的时间序列进行建模以捕捉不同作物独特的生长模式；同时耦合注意力机制，使模型能够聚焦于区分不同作物的关键生长阶段，准确地对玉米、水稻和大豆进行了分类。
本发明的具体优势如下：
该方法通过循环门控单元对作物生长的时间序列进行建模，以捕捉不同作物独特的生长模式，从而提高了模型的准确率和识别效率；
该方法通过双向结构，使得作物生长的时间序列信息的利用更加充分，从而进一步提高了模型的准确率；
该方法使用了时间维的注意力机制，使得模型能够聚焦于区分不同作物的关键生长阶段，从而提高了作物分类的准确率。
附图说明
图1为门控循环单元内部结构。
图2为本发明的实施流程图。
图3为本发明的哨兵2号卫星遥感影像预处理的流程图。
图4为本发明的深度学习模型的框架结构图。
图5为本发明的实施案例的部分分类效果展示。
实施方式
以下结合具体实施例，对本发明进行详细说明。
参考图1-2，一种基于时间序列卫星遥感影像的作物分类和识别方法，本发明的方法包含以下步骤：
步骤1：下载哨兵2号卫星影像，哨兵2号卫星数据包含分辨率为10米的可见光波段：蓝、绿、红波段，四个分辨率为20米的红边波段，一个分辨率为10米的近红外波段，两个分辨率为20米的中红外波段，对下载的遥感数据进行预处理操作，图3为哨兵2号卫星遥感影像预处理的流程图，具体步骤如下：
步骤101：对哨兵2号影像进行辐射定标、大气校正、正射校正、去云；
步骤102：使用最近邻方法将所有波段重采样至10米分辨率；
步骤103：进行影像镶嵌，对镶嵌后的哨兵2号遥感影像进行裁剪，提取所需要的研究区域；
步骤2：利用目视解译，结合实地调研结果制作遥感影像对应的类别标签，以农作物玉米、水稻和大豆为研究对象进行关键性分析，对其他类别的土地类型不再进行细分：
步骤3：通过时间合成、线性插值和SG滤波对时间序列影像进行重建；
步骤301：对全年的哨兵2号影像进行10天中值合成；
步骤302：使用窗口大小为9的线性插值对无效像元进行填充，具体为利用无效像元前后最近日期的有效像元对无效像元进行插值；
步骤303：使用窗口大小为2，多项式次数为3的SG(Savitzky-Golay)滤波对时间序列影像进行平滑和降噪；
步骤4：根据作物类别样本点的经纬度提取出哨兵2号影像对应的反射率和光谱指数；
步骤5：构建作物分类深度学习模型进行训练，40%的数据作训练集，10%的数据作验证机，50%的数据作测试集，图4展示了深度学习模型的框架结构，其中X t 代表不同时间步输入的反射率和光谱指数，GRU代表循环门控单元，h代表不同时间步GRU的输出，具体步骤如下：
步骤 501：构建输入层，输入数据的维度为（批大小，序列长度，特征数量）；
步骤 502：添加一个正向门控循环单元层，神经元数量设置为128，并设置以序列形式返回输出，门控循环单元的结构如图1所示：
重置门r t 决定了上一时间步的状态信息被带入到当前时间步中的量。重置门的输出由上一时间步的输出H t-1 和当前时间步的输入X t 经过Sigmoid函数得到。输出的范围在0和1之间，它的值越大说明前一时间步的状态信息传递到后一时间步越多。0表示完全丢弃信息，1表示完全保留信息，计算如式所示：
其中r t 表示重置门的输出，表示Sigmoid激活函数，W r 表示重置门的权重，H t-1 表示上一时间步的输出，X t 表示当前时间步的输入，b r 表示重置门的偏置。
更新门z t 通过阈值决定历史信息和新信息的传输比例。更新门的值由上一时间步的输出H t-1 和当前时间步的输入X t 经过Sigmoid函数得到[0,1]范围的门控阈值。它通过将阈值分离成z t 和1-z t 两部分实现新信息的输入和历史信息的遗忘功能，计算如式所示：
其中z t 表示重置门的输出,W z 表示重置门的权重，b z 表示更新门的偏置。
候选记忆由两部分组成。一部分是通过重置门阈值信号决定的过往状态信息H t ,，另一部分是当前输入信息X t 。当门控值r t =0时，表示完全遗弃过往信息，则/>只包含当前信息。其计算如式所示：
其中表示候选记忆，/>表示候选记忆的权重。
最终输出由更新门控制，一部分是决定从上一时刻隐藏状态H t 遗忘信息的程度，另一部分是决定当前候选记忆加入到输出的程度。二者的控制系数分别由1-zt,和zt,控制，这意味着二者处于平衡转换的状态。其计算如式所示：
步骤 503：添加一个反向门控循环单元层，神经元数量设置为128并，设置以序列形式返回输出；
步骤 504：添加注意力机制层，神经元数量设置为64，注意力机制层最终输出如下：
第一步：获取每一个时间步的输出得到H
其中表示所有时间步的输出组成的矩阵，/>表示每一个时间步的输出；
第二步：通过计算与查询向量的相似度得到每一个时间步的得分
其中表示查询向量，/>代表可训练的权重矩阵；
第三步：通过Softmax函数对得分向量进行归一化得到注意力权重
第四步：最后，我们对每一个时间步进行加权求和，得到最终输出；
步骤 505：添加失活（Dropout）层，神经元失活比例设置为0.4；
步骤 506：添加全连接层，神经元数量设置为3，激活函数选择Softmax函数。
步骤 507：编译模型，优化器为Adam，选择交叉熵函数作为损失函数。
步骤6：保存训练过程中得到的最优模型，将最优模型用于时间序列卫星遥感影像的作物分类和识别。
图5展示了部分预处理完成的哨兵2号卫星遥感影像和本发明所提出的模型的分类结果，表明了本发明能够较好的提取不同类别的农作物进行识别，从而有效地完成了分类任务。本发明与现有的算法作对比，表1展示了现有模型以及本发明提出的模型的实验结果，准确率是指分类正确的预测数与总预测数的比值，Kappa系数是衡量模型预测结果和实际分类结果是否一致，PA是指每一类的生产者精度，UA是指每一类的用户精度，F1兼顾了分类模型的生产者精度和用户精度，是二者的调和平均，Macro-F1是指所有类别F1分数的算术平均值。从表1中可以看出本发明所提出的模型具有高效准确的特性，准确率、Kappa和Macro-F1都达到了最优值0.9804、0.9714和0.9788。
表1
本发明具有以下有益效果：提供了一种以时间序列卫星遥感影像为数据源，基于注意力机制的双向循环门控单元深度学习作物分类和识别方法。该方法利用循环门控单元可以有效地捕捉不同时间步的关联和演变趋势，这对于农作物的生长过程以及不同阶段的特征变化非常重要。循环门控单元作为网络的主要组成部分，具有记忆单元和门控机制，能够灵活地学习序列数据中的长期依赖关系。而双向循环门控单元结合了前向和后向两个方向的循环门控单元，使得网络可以更全面地对作物生长的时间序列进行建模。引入注意力机制使得网络能够自动地学习和选择关键的时间步，从而使模型更加集中地关注对农作物分类有决定性作用的生长阶段。另外，基于本发明的时间序列遥感影像的重建方式，使得不同年份获得的时间序列影像是一致的，因此该方法也能够进一步进行作物分类模型年际迁移性的研究，减少对不同年份作物样本实地采样的需求。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (7)
1.一种基于时间序列卫星遥感影像的作物分类和识别方法，其特征在于，包括以下步骤：
步骤1：下载哨兵2号卫星影像，对遥感数据进行预处理；
步骤2：利用目视解译，结合实地调研结果制作遥感影像对应的类别标签；
步骤3：通过时间合成、线性插值和SG滤波对时间序列影像进行重建；
步骤4：从遥感影像中提取反射率和光谱指数作为作物识别的特征；
步骤5：构建作物分类深度学习模型进行训练，利用门控循环单元提取作物的时间序列特征，利用注意力机制捕捉作物识别的关键生长期，利用双向结构充分利用作物生长周期的时间序列信息；
构建深度学习模型的具体步骤如下：
步骤501：构建输入层，输入数据的维度为：批大小，序列长度，特征数量；
步骤502：添加一个正向门控循环单元层，神经元数量设置为128，并设置以序列形式返回输出；
重置门rt决定了上一时间步的状态信息被带入到当前时间步中的量；重置门的输出由上一时间步的输出Ht-1和当前时间步的输入Xt经过Sigmoid函数得到；输出的范围在0和1之间，它的值越大说明前一时间步的状态信息传递到后一时间步越多；0表示完全丢弃信息，1表示完全保留信息，计算如式所示：
rt＝σ(Wr·[Ht-1，Xt]+br)，
其中rt表示重置门的输出，σ表示Sigmoid激活函数，Wr表示重置门的权重，Ht-1表示上一时间步的输出，Xt表示当前时间步的输入，br表示重置门的偏置；
更新门zt通过阈值决定历史信息和新信息的传输比例；更新门的值由上一时间步的输出Ht-1和当前时间步的输入Xt经过Sigmoid函数得到[0,1]范围的门控阈值；它通过将阈值分离成zt和1-zt两部分实现新信息的输入和历史信息的遗忘功能，计算如式所示：
zt＝σ(Wz·[Ht-1，Xt]+bz)
其中zt表示重置门的输出,Wz表示重置门的权重，bz表示更新门的偏置；
候选记忆由两部分组成；一部分是通过重置门阈值信号决定的过往状态信息Ht-1,另一部分是当前输入信息Xt；当门控值rt＝0时，表示完全遗弃过往信息，则/>只包含当前信息；其计算如式所示：
其中表示候选记忆，/>表示候选记忆的权重；
最终输出Ht由更新门控制，一部分是决定从上一时刻隐藏状态Ht遗忘信息的程度，另一部分是决定当前候选记忆加入到输出的程度；二者的控制系数分别由1-zt,和zt,控制，这意味着二者处于平衡转换的状态；其计算如式所示：
步骤503：添加一个反向门控循环单元层，神经元数量设置为128，并设置以序列形式返回输出；
步骤504：添加注意力机制层，神经元数量设置为64，注意力机制层最终输出如下：
第一步：获取每一个时间步的输出得到H
H＝[h1，h2，h3，...，hn]
其中H表示所有时间步的输出组成的矩阵，h表示每一个时间步的输出；
第二步：通过计算与查询向量的相似度得到每一个时间步的得分
s(h，h′)＝hTWsh′
其中h′表示查询向量，Ws代表可训练的权重矩阵；
第三步：通过Softmax函数对得分向量进行归一化得到注意力权重
第四步：最后，我们对每一个时间步进行加权求和，得到最终输出；
步骤505：添加失活层，神经元失活比例设置为0.4；
步骤506：添加全连接层，神经元数量设置为4，激活函数选择Softmax函数；
步骤507：编译模型，优化器为Adam，选择交叉熵函数作为损失函数；
步骤6：保存训练过程中得到的最优模型，将最优模型用于时间序列卫星遥感影像的作物分类和识别。
2.根据权利要求1所述的基于时间序列卫星遥感影像的作物分类和识别方法，其特征在于：所述步骤1中，哨兵2号卫星数据包含分辨率为10米的可见光波段：蓝、绿、红波段，四个分辨率为20米的红边波段，一个分辨率为10米的近红外波段，两个分辨率为20米的中红外波段。
3.根据权利要求2所述的基于时间序列卫星遥感影像的作物分类和识别方法，其特征在于：所述步骤1包括：
步骤101：对哨兵2号影像进行辐射定标、大气校正、正射校正、去云；
步骤102：使用最近邻方法将所有波段重采样至10米分辨率；
步骤103：进行影像镶嵌，对镶嵌后的哨兵2号遥感影像进行裁剪，提取所需要的研究区域。
4.根据权利要求1所述的基于时间序列卫星遥感影像的作物分类和识别方法，其特征在于：所述步骤2中以农作物玉米、水稻和大豆为研究对象进行关键性分析，对其他类别的土地类型不再进行细分。
5.根据权利要求1所述的基于时间序列卫星遥感影像的作物分类和识别方法，其特征在于：所述步骤3包括：
步骤301：对全年的哨兵2号影像进行10天中值合成；
步骤302：使用窗口大小为9的线性插值对无效像元进行填充，具体为利用无效像元前后最近日期的有效像元对无效像元进行插值；
步骤303：使用窗口大小为2，多项式次数为3的SG滤波对时间序列影像进行平滑和降噪。
6.根据权利要求1所述的基于时间序列卫星遥感影像的作物分类和识别方法，其特征在于：所述步骤4中从多光谱影像中提取反射率和光谱指数。
7.基于权利要求1-6任一所述作物分类和识别方法的作物分类和识别系统，其特征在于，包括以下模块：
遥感数据预处理模块：下载哨兵2号卫星影像，对遥感数据进行预处理；
标签模块：利用目视解译，结合实地调研结果制作遥感影像对应的类别标签；
影像重建模块：通过时间合成、线性插值和SG滤波对时间序列影像进行重建；
作物识别特征提取模块：从遥感影像中提取反射率和光谱指数作为作物识别的特征；
模型构建模块：构建作物分类深度学习模型进行训练，利用门控循环单元提取作物的时间序列特征，利用注意力机制捕捉作物识别的关键生长期，利用双向结构充分利用作物生长周期的时间序列信息；
构建深度学习模型的具体步骤如下：
步骤501：构建输入层，输入数据的维度为：批大小，序列长度，特征数量；
步骤502：添加一个正向门控循环单元层，神经元数量设置为128，并设置以序列形式返回输出；
重置门rt决定了上一时间步的状态信息被带入到当前时间步中的量；重置门的输出由上一时间步的输出Ht-1和当前时间步的输入Xt经过Sigmoid函数得到；输出的范围在0和1之间，它的值越大说明前一时间步的状态信息传递到后一时间步越多；0表示完全丢弃信息，1表示完全保留信息，计算如式所示：
rt＝σ(Wr·[Ht-1，Xt]+br)
其中rt表示重置门的输出，σ表示Sigmoid激活函数，Wr表示重置门的权重，Ht-1表示上一时间步的输出，Xt表示当前时间步的输入，br表示重置门的偏置；
更新门zt通过阈值决定历史信息和新信息的传输比例；更新门的值由上一时间步的输出Ht-1和当前时间步的输入Xt经过Sigmoid函数得到[0,1]范围的门控阈值；它通过将阈值分离成zt和1-zt两部分实现新信息的输入和历史信息的遗忘功能，计算如式所示：
zt＝σ(Wz·[Ht-1，Xt]+bz)
其中zt表示重置门的输出,Wz表示重置门的权重，bz表示更新门的偏置；
候选记忆由两部分组成；一部分是通过重置门阈值信号决定的过往状态信息Ht-1,另一部分是当前输入信息Xt；当门控值rt＝0时，表示完全遗弃过往信息，则/>只包含当前信息；其计算如式所示：
其中表示候选记忆，/>表示候选记忆的权重；
最终输出Ht由更新门控制，一部分是决定从上一时刻隐藏状态Ht遗忘信息的程度，另一部分是决定当前候选记忆加入到输出的程度；二者的控制系数分别由1-zt,和zt,控制，这意味着二者处于平衡转换的状态；其计算如式所示：
步骤503：添加一个反向门控循环单元层，神经元数量设置为128，并设置以序列形式返回输出；
步骤504：添加注意力机制层，神经元数量设置为64，注意力机制层最终输出如下：
第一步：获取每一个时间步的输出得到H
H＝[h1，h2，h3，...，hn]
其中H表示所有时间步的输出组成的矩阵，h表示每一个时间步的输出；
第二步：通过计算与查询向量的相似度得到每一个时间步的得分
s(h，h′)＝hTWsh′
其中h′表示查询向量，Ws代表可训练的权重矩阵；
第三步：通过Softmax函数对得分向量进行归一化得到注意力权重
第四步：最后，我们对每一个时间步进行加权求和，得到最终输出；
步骤505：添加失活层，神经元失活比例设置为0.4；
步骤506：添加全连接层，神经元数量设置为4，激活函数选择Softmax函数；
步骤507：编译模型，优化器为Adam，选择交叉熵函数作为损失函数；
作物分类和识别模块：保存训练过程中得到的最优模型，将最优模型用于时间序列卫星遥感影像的作物分类和识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311070751.6A CN116863341B (zh) | 2023-08-24 | 2023-08-24 | 基于时间序列卫星遥感影像的作物分类和识别方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311070751.6A CN116863341B (zh) | 2023-08-24 | 2023-08-24 | 基于时间序列卫星遥感影像的作物分类和识别方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116863341A CN116863341A (zh) | 2023-10-10 |
| CN116863341B true CN116863341B (zh) | 2024-01-26 |
Family
ID=88234388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311070751.6A Active CN116863341B (zh) | 2023-08-24 | 2023-08-24 | 基于时间序列卫星遥感影像的作物分类和识别方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116863341B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117713912A (zh) * | 2024-02-05 | 2024-03-15 | 成都大公博创信息技术有限公司 | 一种基于CVCNN-BiGRU的星链终端信号识别方法和装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017192194A2 (en) * | 2016-02-09 | 2017-11-09 | Hrl Laboratories, Llc | System and method for the fusion of bottom-up whole-image features and top-down entity classification for accurate image/video scene classification |
| CN110287944A (zh) * | 2019-07-04 | 2019-09-27 | 吉林大学 | 基于深度学习的多光谱遥感影像的农作物虫害监测方法 |
| CN111898503A (zh) * | 2020-07-20 | 2020-11-06 | 中国农业科学院农业资源与农业区划研究所 | 基于云覆盖遥感影像和深度学习的作物识别方法和系统 |
| CN112052758A (zh) * | 2020-08-25 | 2020-12-08 | 西安电子科技大学 | 基于注意力机制和循环神经网络的高光谱图像分类方法 |
| CN112084991A (zh) * | 2020-09-18 | 2020-12-15 | 中国农业科学院农业资源与农业区划研究所 | 基于多源遥感时序影像和卷积神经网络的作物早期识别方法 |
| CN113420680A (zh) * | 2021-06-25 | 2021-09-21 | 中国人民解放军战略支援部队航天工程大学 | 一种基于gru注意力的遥感影像区域关注与文本生成方法 |
| CN115222100A (zh) * | 2022-06-23 | 2022-10-21 | 郑州大学 | 基于三维循环卷积神经网络和多时相遥感影像的农作物产量预测方法 |
| CN115861831A (zh) * | 2022-11-15 | 2023-03-28 | 福州大学 | 基于作物物候知识的时间序列遥感数据农作物识别方法 |
| CN116310840A (zh) * | 2023-05-11 | 2023-06-23 | 天地信息网络研究院(安徽)有限公司 | 一种融合多关键物候期光谱特征的冬小麦遥感识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114283345A (zh) * | 2021-12-30 | 2022-04-05 | 武汉大学 | 基于元学习和注意力的小样本城市遥感影像信息提取方法 |
-
2023
- 2023-08-24 CN CN202311070751.6A patent/CN116863341B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017192194A2 (en) * | 2016-02-09 | 2017-11-09 | Hrl Laboratories, Llc | System and method for the fusion of bottom-up whole-image features and top-down entity classification for accurate image/video scene classification |
| CN110287944A (zh) * | 2019-07-04 | 2019-09-27 | 吉林大学 | 基于深度学习的多光谱遥感影像的农作物虫害监测方法 |
| CN111898503A (zh) * | 2020-07-20 | 2020-11-06 | 中国农业科学院农业资源与农业区划研究所 | 基于云覆盖遥感影像和深度学习的作物识别方法和系统 |
| CN112052758A (zh) * | 2020-08-25 | 2020-12-08 | 西安电子科技大学 | 基于注意力机制和循环神经网络的高光谱图像分类方法 |
| CN112084991A (zh) * | 2020-09-18 | 2020-12-15 | 中国农业科学院农业资源与农业区划研究所 | 基于多源遥感时序影像和卷积神经网络的作物早期识别方法 |
| CN113420680A (zh) * | 2021-06-25 | 2021-09-21 | 中国人民解放军战略支援部队航天工程大学 | 一种基于gru注意力的遥感影像区域关注与文本生成方法 |
| CN115222100A (zh) * | 2022-06-23 | 2022-10-21 | 郑州大学 | 基于三维循环卷积神经网络和多时相遥感影像的农作物产量预测方法 |
| CN115861831A (zh) * | 2022-11-15 | 2023-03-28 | 福州大学 | 基于作物物候知识的时间序列遥感数据农作物识别方法 |
| CN116310840A (zh) * | 2023-05-11 | 2023-06-23 | 天地信息网络研究院(安徽)有限公司 | 一种融合多关键物候期光谱特征的冬小麦遥感识别方法 |
Non-Patent Citations (7)
| Title |
|---|
| J. D.Bermudez 等.Evaluation of Ｒecurrent Neural Networks for Crop Ｒecognition from Multitemporal Ｒemote Sensing Images.《Anais do XXVII Congresso Brasileiro de Cartografia * |
| Ｒio de Janeiro》.2017,800-804. * |
| Sentiment Analysis Method of Network Text Based on Improved AT-BiGRU Model;Xinxin Lu 等;《Scientific Programming》;1-11 * |
| 基于双通道门控复合网络的中文产品评论情感分析;董芃杉 等;《计算机工程与科学》;第45卷(第5期);911-919 * |
| 基于时间序列环境卫星影像的作物分类识别;李鑫川 等;《农业工程学报》;第29卷(第2期);169-176 * |
| 深度学习在高分辨率遥感影像冬油菜提取中的应用;杨泽宇 等;《测绘通报》(第9期);110-113 * |
| 深度学习方法在作物遥感分类中的应用和挑战;赵红伟 等;《中国农业资源与区划》;第41卷(第5期);35-49 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116863341A (zh) | 2023-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xiong et al. | Identification of cash crop diseases using automatic image segmentation algorithm and deep learning with expanded dataset | |
| CN112836610B (zh) | 一种基于遥感数据的土地利用变化与碳储量定量估算方法 | |
| Halme et al. | Utility of hyperspectral compared to multispectral remote sensing data in estimating forest biomass and structure variables in Finnish boreal forest | |
| CN112070078B (zh) | 基于深度学习的土地利用分类方法及系统 | |
| CN109063754B (zh) | 一种基于OpenStreetMap的遥感影像多特征联合分类方法 | |
| Zhang et al. | Tropical cyclone intensity estimation using two-branch convolutional neural network from infrared and water vapor images | |
| CN110363246B (zh) | 一种高时空分辨率植被指数ndvi的融合方法 | |
| CN115481368B (zh) | 一种基于全遥感机器学习的植被覆盖度估算方法 | |
| CN112749627A (zh) | 一种基于多源遥感影像的烟草动态监测的方法和装置 | |
| CN114529097B (zh) | 多尺度农作物物候期遥感降维预测方法 | |
| Sun et al. | Wheat head counting in the wild by an augmented feature pyramid networks-based convolutional neural network | |
| CN116863341B (zh) | 基于时间序列卫星遥感影像的作物分类和识别方法和系统 | |
| CN112836725A (zh) | 基于时序遥感数据的弱监督lstm循环神经网络稻田识别方法 | |
| CN113343783A (zh) | 一种农作物智能识别与长势预测方法及系统 | |
| CN113435254A (zh) | 一种基于哨兵二号影像的耕地深度学习提取方法 | |
| Yang et al. | Towards Scalable Within-Season Crop Mapping With Phenology Normalization and Deep Learning | |
| Farooque et al. | Red-green-blue to normalized difference vegetation index translation: a robust and inexpensive approach for vegetation monitoring using machine vision and generative adversarial networks | |
| Zhang et al. | Crop type mapping with temporal sample migration | |
| Li et al. | Soybean leaf estimation based on RGB images and machine learning methods | |
| CN116403048B (zh) | 一种基于多模态数据融合的农作物生长估计模型构建方法 | |
| Zhao et al. | Improving object-oriented land use/cover classification from high resolution imagery by spectral similarity-based post-classification | |
| Wang et al. | Strawberry ripeness classification method in facility environment based on red color ratio of fruit rind | |
| Li et al. | Early drought plant stress detection with bi-directional long-term memory networks | |
| Ramasamy et al. | Classification of Nutrient Deficiencies in Plants Using Recurrent Neural Network | |
| Khan et al. | Crop Type Classification using Multi-temporal Sentinel-2 Satellite Imagery: A Deep Semantic Segmentation Approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |