CN117496281B - 一种农作物遥感图像分类方法 - Google Patents
一种农作物遥感图像分类方法 Download PDFInfo
- Publication number
- CN117496281B CN117496281B CN202410005163.2A CN202410005163A CN117496281B CN 117496281 B CN117496281 B CN 117496281B CN 202410005163 A CN202410005163 A CN 202410005163A CN 117496281 B CN117496281 B CN 117496281B
- Authority
- CN
- China
- Prior art keywords
- image
- remote sensing
- ndvi
- rgb
- crop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000010606 normalization Methods 0.000 claims abstract description 5
- 238000002310 reflectometry Methods 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000000087 stabilizing effect Effects 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 2
- 230000012010 growth Effects 0.000 description 9
- 235000013399 edible fruits Nutrition 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 241000209094 Oryza Species 0.000 description 3
- 235000007164 Oryza sativa Nutrition 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 235000009566 rice Nutrition 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 241000238631 Hexapoda Species 0.000 description 2
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 2
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 2
- 241000607479 Yersinia pestis Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000003698 anagen phase Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000009395 breeding Methods 0.000 description 2
- 230000001488 breeding effect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000001932 seasonal effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000017260 vegetative to reproductive phase transition of meristem Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- CBENFWSGALASAD-UHFFFAOYSA-N Ozone Chemical compound [O-][O+]=O CBENFWSGALASAD-UHFFFAOYSA-N 0.000 description 1
- 102000006463 Talin Human genes 0.000 description 1
- 108010083809 Talin Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000000443 aerosol Substances 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- UBAZGMLMVVQSCD-UHFFFAOYSA-N carbon dioxide;molecular oxygen Chemical compound O=O.O=C=O UBAZGMLMVVQSCD-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 230000035784 germination Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008635 plant growth Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000009331 sowing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种农作物遥感图像分类方法，包括获取农作物原始遥感影像；根据网络输入要求将遥感影像进行切片得到农作物多光谱图片；从多光谱图中提取RGB波段得到彩色的RGB图像；在多光谱图片上根据可见光与近红外波段反射率计算得到NDVI值并得到NDVI图像；将NDVI图像进行归一化处理；将归一化后的NDVI图像与RGB图像进行融合得到RGB'图像；构建自注意力网络模型，将RGB'图像的通道数据作为自注意力网络模型的输入；利用已标记的农作物分类数据对自注意力网络模型进行训练。通过这种方法能够有效降低噪声影响，方便对农作物进行分类。
Description
技术领域
本发明属于人工智能领域、卫星遥感技术领域，具体为一种农作物遥感图像分类方法。
背景技术
精准农业是一种利用先进的技术和信息化手段来实现农业生产全过程精确管理的方法。它包括了多种技术，如遥感、全球定位系统（GPS）、地理信息系统（GIS）、物联网（IoT）等，旨在实现农作物生长环境的实时监测、数据分析和决策支持，从而提高农作物产量和质量，减少资源浪费和环境污染。通过对不同农作物进行分类，可以更准确地了解不同作物的生长需求、病虫害易发情况等信息，有针对性地制定施肥、灌溉、病虫害防控等方案，从而最大程度地满足作物的生长需求，提高产量和品质。遥感图像能够覆盖大范围的土地，且其获取不需要对土地进行干预，不会破坏农田，还可以捕捉到不同季节和生长阶段的农作物信息，监测作物周期性变化，这使得遥感技术非常适合用于农业环境中。但是，光谱数据中可能包含来自传感器本身或数据传输过程中的噪声，这些噪声可以干扰数据的准确性和一致性。与此同时，农作物在不同季节和生长阶段的外观和光谱特性都会发生变化，这需要模型具有时序性的理解和适应能力。除此之外，不同农作物类别的样本数量可能差异很大，导致类别不平衡问题，这可能导致模型倾向于预测数量更多的类别。以下介绍现有技术方案。
第一种为基于机器学习模型的高光谱遥感影像农作物分类方法。该方法提取每个像素的光谱特征、纹理特征，使用支持向量机SVM、随机森林等模型学习特征之间的关系来进行分类。在申请号为CN2021114869135的专利中利用多时相卫星影像数据进行作物分类，具体方法如下：1，对卫星影像数据进行预处理的操作；对卫星影像数据进行多维特征因子的提取，特征因子包括：光谱、纹理和植被指数；2，对各个特征因子进行不同组合下的多通道数据融合，将不同组合的多通道融合数据结合地面真实样本训练支持向量机分类器；3，基于训练完成的支持向量机分类器得到农作物分类初始结果。但是该方法存在特征冗余，仅仅依靠传统机器学习分类的方法也没有很好地抑制光谱信息中的大量噪声。
第二种为基于时序物候特征曲线的农作物分类方法。该方法对时间序列数据进行物候提取，即从数据中提取反映农作物生长周期的特征。常用的方法包括NDVI（归一化植被指数）时间序列曲线的分析，通过找到特定物候事件的时间点（如播种、萌芽、开花、结果等）来描述不同生长阶段。在公开号为CN110160992A的专利中公开了一种基于植被覆盖度时间序列的农作物分类方法，包括如下：1，获取含有红光波段和近红外波段的遥感影像数据，构建覆盖农作物生长周期的遥感影像时间序列，并计算得到NDVI时间序列；2，基于步骤1得到的NDVI时间序列，计算得到植被覆盖度（FVC）时间序列；3，通过实地调查或历史图件，获取农作物样本数据；4，以FVC时间序列和样本数据作为输入，采用随机森林分类器，对研究区的农作物进行分类，形成农作物分类结果图。但数据质量和物候提取的准确性对于这种方法的成功至关重要。在现实场景下，不同作物的生长周期不一致，一段时间内同一区域可能复种不同类型农作物，难以建立精准的NDVI时间序列曲线。
发明内容
本发明的目的在于提供一种农作物遥感图像分类方法，以解决背景技术中提出的以下技术问题：
现有技术中的基于高光谱遥感影像对农作物进行分类的方法存在特征冗余，依靠传统机器学习分类的方法不能够有效抑制光谱信息中的大量噪声。
为解决上述技术问题，本发明所采用的技术方案是：
一种农作物遥感图像分类方法，包括以下步骤；
S1，获取农作物原始遥感影像；根据网络输入要求将遥感影像进行切片得到农作物多光谱图片；
S2.1，从多光谱图中提取RGB波段得到彩色的RGB图像；
S2.2，在多光谱图片上根据可见光与近红外波段反射率计算得到NDVI值并得到NDVI图像；
S3，将NDVI图像进行归一化处理；
S4，将归一化后的NDVI图像的平均NDVI值参与权重因子计算，并与RGB对应通道图像进行融合得到RGB'图像；其中权重因子根据作物类型不同进行调整；
S5，构建自注意力网络模型，将RGB'图像的通道数据作为自注意力网络模型的输入；
构建自注意网络模型包括如下步骤：
A.将遥感影像X切割为N个固定大小16*16的图像块，将图像块序列化为Xi；Xi表示第i个图像块的原始图像数据，i∈(1,2,..,N)；
B.进行特征嵌入，转换为向量Ei，具体表示为：
其中，We和be是线性映射的权重和偏置；
C.将位置信息Pi与向量Ei相加，得到含有位置信息的特征Hi，具体表示为：
D.将每个输入Xi都通过权重矩阵WQ、Wk、Wv的学习得到Q、K、V序列；
E.进行多头划分，用缩放点积进行计算，使得注意力网络模型可以有效地捕获遥感影像中的复杂结构和特征；
F.使用全连接层对特征进行非线性变换整合；
G.对整个特征序列进行池化，得到完整的图像表示；
S6，利用已标记的农作物分类数据对自注意力网络模型进行训练；
在自注意力网络模型的多头注意力层中引入Dropout机制并且将权重的计算过程纳入模型的训练过程，通过反向传播算法调整权重；
权重的计算过程如下：
第一步，使用点积计算序列长度为d的每一对位置(i，j)的相关性分数Score，如下所示：
其中，Q表示查询矩阵；KT表示键矩阵的转置矩阵；表示缩放因子用于稳定模型；
第二步，将分数进行归一化得到权重，表示i对于j的注意力分布；使用Softmax 函数来确保权重之和为1，具体为：
其中，Weight(i,j)表示位置(i，j)的注意力权重；exp()是指数函数；Score(i,j)表示第i个位置和第j个位置的相关性分数；
第三步，值加权求和，获得注意力的最终表示，具体表示为：
其中，Output(i)为注意力分布的最终表示；Value(j)表示j位置的值；
将Q、K、V参数化，使它们成为可学习的参数。
进一步地，NDVI值计算方法如下；
其中，NIR是近红外波段的反射值，Red是红色波段的反射值。
进一步地，融合后的RGB'图像的红色通道数据R'计算方式如下；
中，R为RGB图像红色通道数据，Wr是用于调整NDVI对红色通道的权重因子，R'∈[0,255]；
融合后的RGB'图像的绿色通道数据G'计算方式如下；
其中，G为RGB图像绿色通道数据，Wg是用于调整NDVI对绿色通道的权重因子；G'∈[0,255]
融合后的RGB'图像的蓝色通道B'与融合前的RGB图像绿色通道B保持一致。
进一步地，用于调整NDVI对红色通道的权重因子Wr以及用于调整NDVI对绿色通道的权重因子Wg，根据具体农作物进行调整。
进一步地，农作物原始遥感影像包含多时相原始遥感影像。
进一步地，S6结束之后使用验证数据集来评估经过训练的模型性能并进行调参。
进一步地，农作物原始遥感影像获取后进行大气校正处理。
与现有技术相比，本发明具有以下有益效果：
本发明使用了RGB（红、绿、蓝）彩色图像数据以及基于多光谱图像计算后得到的NDVI图像，然后进行数据融合。将融合后的图像数据将作为自注意力网络模型的输入数据。融合后的图像能够更加清楚的反映植被情况，在将融合后的图像通道数据输入自注意力网络模型后，自注意力机制可以根据元素之间的相似性自动分配更小的权重给噪声或不相关的元素。这意味着噪声元素的影响被降低，而清晰信号的权重更大，从而减少了噪声的影响。
附图说明
图1为本发明的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一。
一种农作物遥感图像分类方法，如图1所示，包括以下步骤；
S1，获取农作物原始遥感影像；根据网络输入要求将遥感影像进行切片得到农作物多光谱图片；
具体的，本实施例的农作物原始遥感影像源于哨兵二号，对农作物原始遥感影像进行切割得到农作物区域的多光谱图片。多光谱图片中应包含RGB波段和近红外波段。
S2.1，从多光谱图中提取RGB波段得到彩色的RGB图像；RGB图像能够提供地表的颜色信息。卫星传感器的波段范围为400nm-1000nm。按照蓝光、绿光、红光的波长范围（蓝光450nm-510nm、绿光510nm-580nm、蓝光630nm-690nm），依次提取band1、band2、band3作为RGB影像的B、G、R通道，再进行RGB彩色合成。
S2.2，在多光谱图片上根据可见光与近红外波段反射率计算得到NDVI值并得到NDVI图像；NDVI值对植物的生长情况非常敏感。在一个优选实施例中，NDVI值计算方法如下；
其中，NIR是近红外波段的反射值，RED是红色波段的反射值。红色波段的反射值来源于可见光的反射值。对获得的NDVI值进行映射处理。
S3，将NDVI图像进行归一化处理，归一化植被指数的范围一般在-1到1之间，其中-1表示没有植被，1表示浓密的植被。使用线性变换将NDVI映射到0到1。下面是线性映射的公式：
将NDVI图像进行归一化处理是为了方便NDVI值与RGB图像权重计算相匹配，也就是方便RGB图像和NDVI图像的通道融合。
S4，将归一化后的NDVI图像的NDVI值求全局平均，平均NDVI作为权重因子的依据与RGB图像的对应通道进行融合得到RGB'图像；其中权重因子根据作物类型不同进行调整。
具体的，通过将归一化NDVI图像的NDVI值求全局平均。在自注意力网络模型进行训练前，自适应参数Wr、Wg强化颜色通道，增强不同作物类别差异。此处需要说明权重因子在0-1之间。在一个优选实施例中，融合后的RGB'图像的红色通道数据R'计算方式如下；
其中，R为RGB图像红色通道数据，Wr是用于调整NDVI对红色通道的权重因子，R'∈[0,255]。单张图NDVI值取平均得到AverageNDVI；
融合后的RGB'图像的绿色通道数据G'计算方式如下；
其中，G为RGB图像绿色通道数据，Wg是用于调整NDVI对绿色通道的权重因子，G'∈[0,255]；
融合后的RGB'图像的蓝色通道B'与融合前的RGB图像绿色通道B保持一致。蓝色通道通常用于表示非植被地表，因此保持不变。
在一个优选实施例中，融合后的RGB'图像对NDVI值高，稀疏的、叶绿素含量较低的作物类型，自适应权重增强红光波段表达。更加茂密、紧凑的植物类型其红色通道就会被抑制。绿色通道根据归一化NDVI进行调整，较高的NDVI值可以表示更茂密的植被类型，因此可以增加绿色通道的亮度，以突出植被。蓝色通道通常用于表示非植被地表。
RGB图像与NDVI图像的通道融合方法在不同类型的农作物中可以产生不同的效果，其有效性取决于作物的特性和生长情况。例如，叶状作物通常会有明显的绿色植被，增强绿色通道，能使植被更加明显。水稻是一种特殊的农作物，在水稻的不同生育阶段水体特征有所改变，不变的蓝色通道可以保护这一特征，以更好地区分不同生育阶段的水稻。果树通常在开花和结果时，叶子具有较高的NDVI值，果实和花朵的NDVI较低。因此，对于果树的图像，使用NDVI来调整RG通道有助于突出果树的花朵和果实部分。
不同类型的作物可能对NDVI值的敏感性不同，本实施例基于作物类型调整通道权重因子。例如，对于森林等茂密植被，需要更强的NDVI权重来突出植被特征，而对于低矮稀疏农作物，需要较小的权重。最后，权重因子平衡RGB三个通道的作用，以确保它们都能为分类提供有用的信息。
S5，构建自注意力网络模型，将RGB'图像的通道数据作为自注意力网络模型的输入；
构建自注意网络模型包括如下步骤：
A.将遥感影像X切割为N个固定大小16*16的图像块，将图像块序列化为Xi；Xi表示第i个图像块的原始图像数据，i∈(1,2,..,N)；
B.进行特征嵌入，转换为向量Ei，具体表示为：
其中，We和be是线性映射的权重和偏置；
C.将位置信息Pi与向量Ei相加，得到含有位置信息的特征Hi，具体表示为：
D.将每个输入Xi都通过权重矩阵WQ、Wk、Wv的学习得到Q、K、V序列；
E.进行多头划分，用缩放点积进行计算，使得模型可以有效地捕获遥感影像中的复杂结构和特征；
F.使用全连接层对特征进行非线性变换整合；
G.对整个特征序列进行池化，得到完整的图像表示；
也就是说，自注意力网络模型由五部分组成：第一部分为图像块化，将遥感影像X切割为N个固定大小16*16的图像块后，图像块序列化为Xi，i∈(1,2,..,N)，再进行特征嵌入，转换为向量Ei，具体表示为：
其中，We和be是线性映射的权重和偏置；第二部分为位置编码，将位置信息Pi与影像向量相加，得到含有位置信息的特征Hi，具体表示为：
第三部分为MSA多头注意力计算，每个输入Xi都通过权重矩阵WQ、Wk、Wv的学习得到Q、K、V序列，再进行多头划分，用缩放点积进行计算，使得模型可以有效地捕获遥感影像中的复杂结构和特征；第四部分为MLP多层感知机，使用全连接层对特征进行非线性变换整合；第五部分是全局平均池化，对整个特征序列进行池化，得到完整的图像表示。
自注意力网络模型的结构允许它自动学习图像中的关键特征，并可以处理多通道数据。自注意力网络模型使用自注意力机制来捕捉图像中不同区域之间的关系。在自注意力机制中，每个输入元素都会分配一个权重，该权重表示与其他元素之间的关联程度。这些权重是通过计算查询－键－值之间的关系来确定的。当处理具有噪声的输入时，自注意力机制可以根据元素之间的相似性自动分配更小的权重给噪声或不相关的元素。这意味着噪声元素的影响被降低，而清晰信号的权重更大，从而减少了噪声的影响。自注意力网络模型通常包含多个注意力头，多个注意力头可以学习不同的关系，以更全面地捕捉输入序列的结构信息。Q、K和V映射到一个相等的序列长度的输出。输出序列为Z=(Z1,…,Zn)，表示为输入参数的线性变换加权和。各层的注意力权重可表示为：
其中，MSA表示多头自注意力机制；k表示层数，k∈1,2,...,n。LN表示为归一化，Z'k表示在k层经过多头注意力计算后的序列输出；MLP表示多层感知机，用于分类任务；Zk表示该k层的最终输出；Zk-1表示上一层的输出。
在处理噪声时，对单一注意力头可能引入噪声，多头注意力可以允许模型从不同角度理解输入，不同头之间的组合可以降低对特定噪声的敏感性，并且在多头注意力层中引入Dropout机制，即在训练时以一定的概率随机将一些神经元的输出置零。这有助于防止模型过拟合训练数据，使其对噪声更加鲁棒。我们将融合后的多通道图像作为自注意力网络模型的输入，利用网络的自适应能力从数据中学习到的特征权重。在自注意力机制中，注意力用于处理输入序列中不同位置的信息，并动态地计算权重。权重的计算过程如下：
第一步，使用点积计算序列长度为d的每一对位置(i，j)的相关性分数Score，如下所示：
其中，Q表示查询矩阵；KT表示键矩阵的转置矩阵；表示缩放因子用于稳定模型；
第二步，将分数进行归一化得到权重，表示i对于j的注意力分布；使用Softmax 函数来确保权重之和为1，具体为：
其中，Weight(i,j)表示位置(i，j)的注意力权重；exp()是指数函数；Score(i,j)表示第i个位置和第j个位置的相关性分数；
第三步，值加权求和，获得注意力的最终表示，具体表示为：
其中，Output(i)为注意力分布的最终表示；Value(j)表示j位置的值；
将Q、K、V参数化，使它们成为可学习的参数。并将权重的计算过程纳入模型的训练过程，通过反向传播算法调整权重。
因此不需要手动设计复杂的特征提取器。自注意力网络模型可以提升对复杂季节及光照数据中噪声的鲁棒性，自动适应不同季节、不同光照的数据。在本实例中，数据集包含多个时相的数据，对于农田，模型可以学到在春季和夏季常见的绿色植被特征。这使得模型能够泛化到新的季节情况。另外，自注意力机制允许模型对图像中的不同位置动态调整权重。模型在不同光照条件下自适应地关注更重要的区域，例如，调整到阳光直射的区域，避开阴影区域。此外，基于比例计算的NDVI可以减少光照的噪声干扰，提高特征表达的精确性。网络模型将学习如何从通道数据中提取颜色和季节特征，并将它们用于分类不同的农作物类别。
在一个优选实施例中，农作物原始遥感影像包含多时相原始遥感影像。将多时相的RGB彩色图像与多光谱图像计算得到的NDVI指数图像融合后的通道数据作为自注意力网络模型的输入，实际上在数据层面上融合了颜色特征和植被覆盖和健康程度的遥感指数，提高了关键颜色通道特征的权重，为农作物遥感图像分类带来了多方面的优势和丰富性。此外，利用自注意力机制能够捕获输入图像中的全局信息，这使得模型能够在不同时间点的遥感图像中同时增强作物的关键特征，有助于更好地理解作物的不同生长阶段。
在一个优选实施例中，S6结束之后使用验证数据集来评估经过训练的模型性能并进行调参。在训练模型时，将数据集分为训练集、验证集和测试集三部分。训练集用于模型的参数训练和优化过程，验证集用于调整模型的超参数和评估模型在未见过的数据上的性能，而测试集则是用于最终评估模型的泛化能力。
在一个优选实施例中，农作物原始遥感影像获取后进行大气校正处理。大气校正的目的是消除大气和光照等因素对地物反射的影响，获得地物反射率、辐射率、地表温度等正式物理模型参数，包括消除大气中水蒸气、氧气、二氧化碳、甲烷和臭氧等对地物反射的影响；消除大气分子和气溶胶散射的影响。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (6)
1.一种农作物遥感图像分类方法，其特征在于：包括以下步骤；
S1，获取农作物原始遥感影像；根据网络输入要求将遥感影像进行切片得到农作物多光谱图片；
S2.1，从多光谱图中提取RGB波段得到彩色的RGB图像；
S2.2，在多光谱图片上根据可见光与近红外波段反射率计算得到NDVI值并得到NDVI图像；
S3，将NDVI图像进行归一化处理；
S4，将归一化后的NDVI图像的平均NDVI值参与权重因子计算，并与RGB对应通道图像进行融合得到RGB'图像；其中权重因子根据作物类型不同进行调整；
融合后的RGB'图像的红色通道数据R'计算方式如下；
其中，R为RGB图像红色通道数据，Wr是用于调整NDVI对红色通道的权重因子，R'∈[0,255]；
融合后的RGB'图像的绿色通道数据G'计算方式如下；
其中，G为RGB图像绿色通道数据，Wg是用于调整NDVI对绿色通道的权重因子；G'∈[0,255]
融合后的RGB'图像的蓝色通道B'与融合前的RGB图像绿色通道B保持一致；
S5，构建自注意力网络模型，将RGB'图像的通道数据作为自注意力网络模型的输入；
构建自注意网络模型包括如下步骤：
A.将遥感影像X切割为N个固定大小16*16的图像块，将图像块序列化为Xi；Xi表示第i个图像块的原始图像数据，i∈(1,2,..,N)；
B.进行特征嵌入，转换为向量Ei，具体表示为：
其中，We和be是线性映射的权重和偏置；
C.将位置信息Pi与向量Ei相加，得到含有位置信息的特征Hi，具体表示为：
D.将每个输入Xi都通过权重矩阵WQ、WK、WV的学习得到Q、K、V序列；
E.进行多头划分，用缩放点积进行计算，使得注意力网络模型可以有效地捕获遥感影像中的复杂结构和特征；
F.使用全连接层对特征进行非线性变换整合；
G.对整个特征序列进行池化，得到完整的图像表示；
S6，利用已标记的农作物分类数据对自注意力网络模型进行训练；
在自注意力网络模型的多头注意力层中引入Dropout机制并且将权重的计算过程纳入模型的训练过程，通过反向传播算法调整权重；
权重的计算过程如下：
第一步，使用点积计算序列长度为d的每一对位置(i，j)的相关性分数Score，如下所示：
其中，Q表示查询矩阵；KT表示键矩阵的转置矩阵；表示缩放因子用于稳定模型；
第二步，将分数进行归一化得到权重，表示i对于j的注意力分布；使用Softmax 函数来确保权重之和为1，具体为：
其中，Weight(i,j)表示位置(i,j)的注意力权重；exp()是指数函数；Score（i,j）表示第i个位置和第j个位置的相关性分数；
第三步，值加权求和，获得注意力的最终表示，具体表示为：
其中，Output(i)为注意力分布的最终表示；Value(j)表示j位置的值；
将Q、K、V参数化，使它们成为可学习的参数。
2.根据权利要求1所述的一种农作物遥感图像分类方法，其特征在于：NDVI值计算方法如下；
其中，NIR是近红外波段的反射值，Red是红色波段的反射值。
3.根据权利要求1所述的一种农作物遥感图像分类方法，其特征在于：用于调整NDVI对红色通道的权重因子Wr以及用于调整NDVI对绿色通道的权重因子Wg，根据具体农作物进行调整。
4.根据权利要求1所述的一种农作物遥感图像分类方法，其特征在于：农作物原始遥感影像包含多时相原始遥感影像。
5.根据权利要求1所述的一种农作物遥感图像分类方法，其特征在于：S6结束之后使用验证数据集来评估经过训练的模型性能并进行调参。
6.根据权利要求1所述的一种农作物遥感图像分类方法，其特征在于：农作物原始遥感影像获取后进行大气校正处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410005163.2A CN117496281B (zh) | 2024-01-03 | 2024-01-03 | 一种农作物遥感图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410005163.2A CN117496281B (zh) | 2024-01-03 | 2024-01-03 | 一种农作物遥感图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117496281A CN117496281A (zh) | 2024-02-02 |
| CN117496281B true CN117496281B (zh) | 2024-03-19 |
Family
ID=89683445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410005163.2A Active CN117496281B (zh) | 2024-01-03 | 2024-01-03 | 一种农作物遥感图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117496281B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287944A (zh) * | 2019-07-04 | 2019-09-27 | 吉林大学 | 基于深度学习的多光谱遥感影像的农作物虫害监测方法 |
| CN111814563A (zh) * | 2020-06-09 | 2020-10-23 | 河南工业大学 | 一种种植结构的分类方法及装置 |
| CN113469094A (zh) * | 2021-07-13 | 2021-10-01 | 上海中科辰新卫星技术有限公司 | 一种基于多模态遥感数据深度融合的地表覆盖分类方法 |
| CN114627380A (zh) * | 2022-04-02 | 2022-06-14 | 杭州电子科技大学 | 一种基于光学影像与sar时序数据融合的水稻识别方法 |
| CN116310840A (zh) * | 2023-05-11 | 2023-06-23 | 天地信息网络研究院(安徽)有限公司 | 一种融合多关键物候期光谱特征的冬小麦遥感识别方法 |
| CN116563709A (zh) * | 2023-05-12 | 2023-08-08 | 湘江实验室 | 面向多时相遥感数据的耕地资源智能监测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112287978B (zh) * | 2020-10-07 | 2022-04-15 | 武汉大学 | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 |
-
2024
- 2024-01-03 CN CN202410005163.2A patent/CN117496281B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287944A (zh) * | 2019-07-04 | 2019-09-27 | 吉林大学 | 基于深度学习的多光谱遥感影像的农作物虫害监测方法 |
| CN111814563A (zh) * | 2020-06-09 | 2020-10-23 | 河南工业大学 | 一种种植结构的分类方法及装置 |
| CN113469094A (zh) * | 2021-07-13 | 2021-10-01 | 上海中科辰新卫星技术有限公司 | 一种基于多模态遥感数据深度融合的地表覆盖分类方法 |
| CN114627380A (zh) * | 2022-04-02 | 2022-06-14 | 杭州电子科技大学 | 一种基于光学影像与sar时序数据融合的水稻识别方法 |
| CN116310840A (zh) * | 2023-05-11 | 2023-06-23 | 天地信息网络研究院(安徽)有限公司 | 一种融合多关键物候期光谱特征的冬小麦遥感识别方法 |
| CN116563709A (zh) * | 2023-05-12 | 2023-08-08 | 湘江实验室 | 面向多时相遥感数据的耕地资源智能监测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于AVHRR和TM数据的时间序列较高分辨率NDVI数据集重构方法;郭文静;李爱农;赵志强;王继燕;;遥感技术与应用;20150415(第02期);73-82 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117496281A (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110287944B (zh) | 基于深度学习的多光谱遥感影像的农作物虫害监测方法 | |
| Ballesteros et al. | Vineyard yield estimation by combining remote sensing, computer vision and artificial neural network techniques | |
| Eisavi et al. | Land cover mapping based on random forest classification of multitemporal spectral and thermal images | |
| Zhou et al. | Diagnosis of winter-wheat water stress based on UAV-borne multispectral image texture and vegetation indices | |
| Peña-Barragán et al. | Object-based crop identification using multiple vegetation indices, textural features and crop phenology | |
| CN102945376B (zh) | 一种农作物病害的诊断方法 | |
| CN112557393B (zh) | 基于高光谱影像融合图谱特征的小麦叶层氮含量估测方法 | |
| CN108458978B (zh) | 基于敏感波段和波段组合最优的树种多光谱遥感识别方法 | |
| Tatsumi et al. | Prediction of plant-level tomato biomass and yield using machine learning with unmanned aerial vehicle imagery | |
| CN112287886B (zh) | 基于高光谱图像融合图谱特征的小麦植株氮含量估测方法 | |
| Chen et al. | Model for estimation of total nitrogen content in sandalwood leaves based on nonlinear mixed effects and dummy variables using multispectral images | |
| Tang et al. | Vine water status mapping with multispectral UAV imagery and machine learning | |
| Lottering et al. | Detecting and mapping Gonipterus scutellatus induced vegetation defoliation using WorldView-2 pan-sharpened image texture combinations and an artificial neural network | |
| CN114519823A (zh) | 一种利用Sentinel-2时间序列影像数据的农作物制图方法 | |
| CN117197668A (zh) | 基于深度学习的作物倒伏级别的预测方法及系统 | |
| Zhao et al. | Detection of cotton waterlogging stress based on hyperspectral images and convolutional neural network | |
| Mangalraj et al. | Recent trends and advances in hyperspectral imaging techniques to estimate solar induced fluorescence for plant phenotyping | |
| Jhajharia et al. | Prediction of crop yield using satellite vegetation indices combined with machine learning approaches | |
| CN117496281B (zh) | 一种农作物遥感图像分类方法 | |
| Sonobe et al. | Evaluating metrics derived from Landsat 8 OLI imagery to map crop cover | |
| CN116151454A (zh) | 一种多光谱无人机预测矮林芳樟精油产量的方法及系统 | |
| Cohen et al. | Spectral and spatial methods for hyperspectral and thermal image-analysis to estimate biophysical and biochemical properties of agricultural crops | |
| Thapa et al. | Assessment of water stress in vineyards using on-the-go hyperspectral imaging and machine learning algorithms | |
| CN114821300A (zh) | 基于无人机多光谱遥感的小麦赤霉病预防植保作业时间判定方法 | |
| Dong et al. | Research on graded diagnosis of lettuce water-nitrogen stress and pest prevention based on deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |