CN112183209B - 一种基于多维特征融合的区域农作物分类方法及系统 - Google Patents
一种基于多维特征融合的区域农作物分类方法及系统 Download PDFInfo
- Publication number
- CN112183209B CN112183209B CN202010881317.6A CN202010881317A CN112183209B CN 112183209 B CN112183209 B CN 112183209B CN 202010881317 A CN202010881317 A CN 202010881317A CN 112183209 B CN112183209 B CN 112183209B
- Authority
- CN
- China
- Prior art keywords
- data
- feature
- remote sensing
- optical remote
- sensing data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000003287 optical effect Effects 0.000 claims abstract description 107
- 238000000605 extraction Methods 0.000 claims abstract description 42
- 238000013145 classification model Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000007499 fusion processing Methods 0.000 claims abstract description 13
- 238000011156 evaluation Methods 0.000 claims description 31
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 230000003595 spectral effect Effects 0.000 claims description 21
- 238000003062 neural network model Methods 0.000 claims description 19
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 abstract description 10
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000005855 radiation Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 239000002028 Biomass Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241000209140 Triticum Species 0.000 description 2
- 235000021307 Triticum Nutrition 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 229930002875 chlorophyll Natural products 0.000 description 2
- 235000019804 chlorophyll Nutrition 0.000 description 2
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241001464837 Viridiplantae Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明实施例提供一种基于多维特征融合的区域农作物分类方法及系统，该方法包括：获取目标区域农作物的多源多分辨率光学遥感数据和合成孔径雷达数据；首先对低分辨率光学遥感数据的光谱数据和提取得到的物候数据进行特征提取处理，得到光谱‑物候特征；对高分辨率光学遥感数据进行纹理特征提取，得到纹理特征；对合成孔径雷达进行特征提取，得到后向散射特征；将光谱‑物候特征、纹理特征和后向散射特征进行特征融合处理，得到目标区域农作物的多时相多特征数据集；利用多时相多特征对基于深度学习的农作物分类模型进行训练，得到分类结果。本发明实施例通过多源多时相特征融合以及深度学习分类，提高农作物识别精度。
Description
技术领域
本发明涉及农业遥感技术领域，尤其涉及一种基于多维特征融合的区域农作物分类方法及系统。
背景技术
农作物分类问题是农业遥感中的重要基础科学问题，其结果不仅关系到农作物面积以及分布等监测指标的精度，还会影响到农作物的长势监测以及农作物估产等的结果。
现有通过遥感数据进行农作物分类的方法有很多，其分类原理主要为：1)不同作物间的光谱差异；2)不同作物间的纹理差异；3)不同作物的物候存在差异，体现为生长序列的差异。其中，纹理差异是通过不同地物对光谱的吸收以及反射是存在差异，利用光谱反射的差异来进行农作物的区分。
然而，现有的农作物分类方法在对不同区域内的农作物进行分类时，传仅仅使用单一的特征，农作物分类精度有限，不能全面分析不同区域内农作物的分布情况；并且，针对地块破碎地区的农作物分类，暂未提出有效的方法，通常，在多云多雨地区，作物生长关键时期的光学影像往往由于云雨等影响无法获得，降低了农作物分类效果的准确度和农作物的识别精度。因此，现在亟需一种基于多维特征融合的区域农作物分类方法及系统来解决上述问题。
发明内容
针对现有技术存在的问题，本发明实施例提供一种基于多维特征融合的区域农作物分类方法及系统。
第一方面，本发明实施例提供了一种基于多维特征融合的区域农作物分类方法，包括：
获取目标区域农作物的第一光学遥感数据、第二光学遥感数据和合成孔径雷达数据后向散射特征，所述第二光学遥感数据的分辨率高于所述第一光学遥感数据的分辨率；
获取所述第一光学遥感数据中的光谱特征，并基于时间序列，对所述第一光学遥感数据进行物候特征提取，以根据所述光谱特征和提取得到的物候特征，得到光谱-物候特征；根据纹理特征提取算法，对所述第二光学遥感数据进行纹理特征提取，得到纹理特征数据；
将所述光谱-物候特征、所述纹理特征和所述合成孔径雷达后向散射特征进行特征融合处理，得到多特征融合数据；
根据所述多特征融合数据，获取对应的评价指标，并按照时间顺序将评价指标进行排序，得到所述目标区域农作物的多时相多特征数据集；
将所述多时相多特征数据集输入到训练好的区域农作物分类模型中，得到所述目标区域农作物的分类结果，其中，所述训练好的区域农作物分类模型是通过标记有分类标签的样本多时相多特征数据集，对神经网络模型进行训练得到的。
进一步地，所述训练好的区域农作物分类模型通过以下步骤得到：
根据样本区域农作物的第一光学遥感样本数据、第二光学遥感样本数据和合成孔径雷达后向散射样本特征，得到所述样本区域农作物的多时相多特征样本数据集，其中，所述第一光学遥感样本数据为Sentinel-2和Landsat-8的光学遥感数据，所述第二光学遥感样本数据为GF-1、GF-2或GF-6的PMS相机采集的光学遥感数据，所述合成孔径雷达后向散射样本特征为Sentinel-1的雷达多极化数据；
对所述多时相多特征样本数据集的图像区域标记分类标签，构建样本数据集；
根据所述样本数据集，对神经网络模型进行训练，得到训练好的区域农作物分类模型，其中，所述神经网络模型为U-net模型。
进一步地，所述光谱-物候特征数据包括绿度差异特征数据、冠层含水量差异特征数据和生物量差异特征数据。
进一步地，所述纹理特征提取算法据包括：灰度共生矩阵、小波变换提取法、Gabor滤波器提取或局部二值模式。
进一步地，所述评价指标包括：归一化植被指数、增强植被指数、比值植被指数、归一化差值水分指数和红边位置指数中的一种或多种。
进一步地，在所述根据所述多特征融合数据，获取对应的评价指标，并按照时间顺序将评价指标进行排序，得到所述目标区域农作物的多时相多特征数据集之后，所述方法还包括：
将所述多时相多特征数据集的数据切割为预设规格的栅格数据，输入到训练好的区域农作物分类模型中，并将输出的栅格块进行拼接，得到所述目标区域农作物的分类结果。
进一步地，在所述将所述多时相多特征数据集输入到训练好的区域农作物分类模型中，得到所述目标区域农作物的分类结果之后，所述方法还包括：
通过条件随机场算法，对分类结果进行优化处理，得到优化处理后的分类结果。
第二方面，本发明实施例提供了一种基于多维特征融合的区域农作物分类系统，包括：
多特征数据获取模块，用于获取目标区域农作物的第一光学遥感数据、第二光学遥感数据和合成孔径雷达后向散射特征，所述第二光学遥感数据的分辨率高于所述第一光学遥感数据的分辨率；
特征提取模块，用于获取所述第一光学遥感数据中的光谱特征，并基于时间序列，对所述第一光学遥感数据进行物候特征提取，以根据所述光谱特征和提取得到的物候特征，得到光谱-物候特征；根据纹理特征提取算法，对所述第二光学遥感数据进行纹理特征提取，得到纹理特征；
特征融合模块，用于将所述光谱-物候特征、所述纹理特征和所述合成孔径雷达后向散射特征进行特征融合处理，得到多特征融合数据；
多时相多特征数据构建模块，用于根据所述多特征融合数据，获取对应的评价指标，并按照时间顺序将评价指标进行排序，得到所述目标区域农作物的多时相多特征数据集；
区域农作物分类模块，用于将所述多时相多特征数据集输入到训练好的区域农作物分类模型中，得到所述目标区域农作物的分类结果，其中，所述训练好的区域农作物分类模型是通过标记有分类标签的样本多时相多特征数据集，对神经网络模型进行训练得到的。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的一种基于多维特征融合的区域农作物分类方法及系统，通过将多源光学遥感数据和雷达数据进行特征融合处理，并基于神经网络模型，对融合得到的多特征融合数据进行分类，从而得到更为准确的农作物分类结果，提高了地块破碎地区农作物的识别精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于多维特征融合的区域农作物分类方法的流程示意图；
图2为本发明实施例提供的基于多维特征融合的区域农作物分类方法的结果示意图；
图3为本发明实施例提供的基于多维特征融合的区域农作物分类系统的结构示意图；
图4为本发明实施例提供的电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的农作物分类，主要是基于遥感数据，通过不同作物间的光谱差异、纹理差异或物候差异，来对农作物进行区分。对于光谱差异，不同地物对光谱的吸收以及反射是存在差异的，可以利用光谱反射的差异来进行农作物的区分。而随着遥感分类技术的发展，后续的方法逐步替代直接利用光谱反射差异进行区分的方法；而利用纹理差异进行作物区分，相对于利用光谱差异进行区分，对遥感数据的空间分辨率要求更高，需要使用米级甚至亚米级的遥感数据；对于利用生长序列差异(物候差异)进行区分，主要是根据农作物与其他地物以及不同农作物之间的物候存在差异，而这主要体现为生育期以及生长特征的不同。近些年来，涌现了诸多高时空分辨率的遥感数据，包括高分系列数据，Sentinel-2影像数据等，其空间分辨率可以达到10m，时间分辨率可以达到5～10天，十分适合进行农业遥感方面的应用，但是对于一些多云多雨区域的农作物，该方法的识别精度会受到较大影响。
图像融合可以提升图像清晰度以及所包含的信息量，图像融合算法可以划分为：像素级融合，特征级融合以及决策级融合。像素级融合可以获得更多的细节信息但计算量大；决策级融合计算量最小，但融合得到的图像不清晰，且实现困难；而特征级影像融合可以在剔除冗余信息的同时，实现特征信息的互补，计算量较小。在多云多雨地区，作物生长关键时期的光学影像往往由于云雨等影响无法获得有效数据，但合成孔径雷达(SyntheticAperture Radar，简称SAR)数据能够穿过云层，实现全天候成像，且对作物的植株结构敏感，SAR数据逐步成为进行农业遥感研究的关键数据，可以用来进行农作物类别划分等定性研究以及作物长势监测等定量反演。本发明实施例结合光学以及SAR数据，对区域农作物进行分类，从而获取到更高精度的分类效果，并且，对于多云多雨的破碎区域农作物的识别精度有较大效果的提升。
由于传统的农作物分类方法仅仅采用单一的特征，导致农作物分类精度有限。特别是针对地块破碎地区的农作物分类，现有技术尚未提出有效的方法。本发明实施例通过融合光学和雷达数据的多维特征(光谱、物候、纹理和极化信息)，构建多维特征的自适应融合的深度学习算法，突破地块破碎地区的农作物分类精度低的难题。
图1为本发明实施例提供的基于多维特征融合的区域农作物分类方法的流程示意图，如图1所示，本发明实施例提供了一种基于多维特征融合的区域农作物分类方法，包括：
步骤101，获取目标区域农作物的第一光学遥感数据、第二光学遥感数据和合成孔径雷达后向散射特征，所述第二光学遥感数据的分辨率高于所述第一光学遥感数据的分辨率。
在本发明实施例中，第一光学遥感数据为Sentinel-2和Landsat-8的光学遥感数据，第二光学遥感数据为GF-2的PMS相机采集的光学遥感数据，合成孔径雷达后向散射特征为Sentinel-1的雷达多级化数据(获取目标区域农作物的冠层结构特征)，其中，第一光学遥感数据为三十米级至十米级的中等空间分辨率的光学遥感数据，第二光学遥感数据为米级至亚米级的高等空间分辨率的光学遥感数据。具体地，在本发明实施例中，Sentinel-2和Landsat-8的光学遥感数据以及Sentinel-1雷达多极化数据，可以通过Google EarthEngine平台获取以及预处理(获取目标区域2016年4月至9月的数据)，而GF-2数据则需要到中国资源卫星中心申请并下载，并做相应的图像预处理，主要利用的为GF-2的PMS相机采集的全色波段数据，用于提取相应的纹理特征，本发明实施例通过国家资源卫星中心，获取目标区域2016年4月至9月的GF-2遥感数据；然后，对上述得到的第一光学遥感数据和第二光学遥感数据进行预处理，包括几何粗校正、辐射校正、大气校正以及几何精校正，具体步骤为：
步骤S1，根据影像自带的PRC文件，对影像进行几何粗校正；
步骤S2，利用定标文件对影像进行辐射校正，将图像DN值转为大气顶层的辐射亮度值；
步骤S3，进行大气校正，将大气顶层的辐射亮度值转为真实地表反射率数据；
步骤S4，对影像做进一步的严格几何精校正，利用采集的GPS控制点对其中一幅影像进行几何精校正，再利用校正后的影像对其他影像进行图到图的校正。
步骤102，获取所述第一光学遥感数据中的光谱特征，并基于时间序列，对所述第一光学遥感数据进行物候特征提取，以根据所述光谱特征和提取得到的物候特征，得到光谱-物候特征；根据纹理特征提取算法，对所述第二光学遥感数据进行纹理特征提取，得到纹理特征。
在本发明实施例中，需要从第一光学遥感数据中获取相应的光谱特征，同时，基于时间序列，通过特征提取算法，对第一光学遥感数据进行物候特征提取，得到物候特征，从而基于光谱特征和物候特征得到光谱-物候特征。所述光谱-物候特征包括绿度差异特征数据、冠层含水量差异特征数据和生物量差异特征数据；通过纹理特征提取算法在对第二光学遥感数据进行纹理特征提取，得到纹理特征(本发明实施例获取目标农作物的灰度共生矩阵等纹理信息)，其中，所述纹理特征提取算法据包括灰度共生矩阵、小波变换提取法、Gabor滤波器提取或局部二值模式。
步骤103，将所述光谱-物候特征、所述纹理特征和所述合成孔径雷达后向散射特征进行特征融合处理，得到多特征融合数据。
在本发明实施例中，对光谱-物候特征、纹理特征和合成孔径雷达后向散射特征进行特征融合处理，可通过以下特征级融合算法：
第一种为特征组合，将特征按照串行，并行方法组成新的特征，如串行，并行融合算法，协方差矩阵方法等；
第二种为特征选择，采用最优计算的方法，选取特征向量以达到最优分类结果，如基于遗传算法，人工神经网络的特征融合算法；
第三种为特征变换，使用数学方法进行特征变换，如基于复数主分量分析，典型相关分析等。
步骤104，根据所述多特征融合数据，获取对应的评价指标，并按照时间顺序将评价指标进行排序，得到所述目标区域农作物的多时相多特征数据集。
在本发明实施例中，对多特征融合数据中的影像数据进行评价指标计算，得到对应的评价指标，所述评价指标包括：归一化植被指数、增强植被指数、比值植被指数、归一化差值水分指数和红边位置指数中的一种或多种。然后，将得到的评价指标按照时间顺序进行排序，即可得到目标区域农作物的多时相多特征数据集。
具体地，在本发明实施例中，归一化植被指数(Normalized DifferenceVegetation Index，简称NDVI)，该指数为应用最为广泛的植被指数，主要用于检测植被生物量和覆盖度，但容易饱和，其计算公式如下：
NDVI＝(NIR-R)/(NIR+R)；
增强植被指数(Enhance Vegetable Index，简称EVI)，该指数可有效的反映植被覆盖度并消除大气的影响，与植被覆盖度相关性好，不容易饱和，其计算公式如下：
EVI＝2.5*(NIR-R)/(NIR+6R-7.5B+1)；
比值植被指数(Ratio Vegetable Index，简称RVI)，该指数为绿色植物的灵敏指示参数，与植被覆盖度、生物量、叶绿素含量相关性高，其计算公式如下：
RVI＝NIR/R；
归一化差值水分指数(Normalized Difference Water Index，简称NDWI)，该指数能够有效提取植被冠层的水分含量，其计算公式如下：
NDWI＝(G-NIR)/(G+NIR)；
红边位置指数(Red Edge Position Index，简称REPI)，该指数对植被的叶绿素含量变化十分敏感，其计算公式如下：
REPI＝(705+35*(0.5*(R3+R)-R1))/(1000*(R2-R1))；
其中，B、G、R和NIR分别表示蓝、绿、红和近红外波段的光谱反射率，R1，R2和R3分别表示红边一，红边二和红边三波段的光谱反射率。优选地，在本发明实施例中，评价指标还包括比值植被指数、三角植被指数、差值植被指数和土壤调节植被指数。上述实施例提供的各项评价指标，分别从生物量差异、绿度差异、土壤背景发射率差异和冠层含水量差异这四个不同的维度挑选相关指数来区分不同作物。
进一步地，在本发明实施例中，对上述实施例得到的指数时序数据进行平滑处理，用以降低数据中的噪声，并对部分缺失数据进行补充，该操作可在Google Earth Engine平台上进行实现，采取Damien Garcia所提出的一种基于拟合的滤波方法进行了数据的平滑，该方法可以对一维以及更高维的数据进行平滑处理。
步骤105，将所述多时相多特征数据集输入到训练好的区域农作物分类模型中，得到所述目标区域农作物的分类结果，其中，所述训练好的区域农作物分类模型是通过标记有分类标签的样本多时相多特征数据集，对神经网络模型进行训练得到的。
图2为本发明实施例提供的基于多维特征融合的区域农作物分类方法的结果示意图，通过本发明实施例提供的方法，对2019年河南省上蔡县冬小麦进行分类的分类结果效果，可参考图2所示。
本发明实施例提供的基于多维特征融合的区域农作物分类方法，通过将多源光学遥感数据和雷达数据进行特征融合处理，并基于神经网络模型，对融合得到的多特征融合数据进行分类，从而得到更为准确的农作物分类结果，提高了地块破碎地区农作物的识别精度。
在上述实施例的基础上，所述训练好的区域农作物分类模型通过以下步骤得到：
根据样本区域农作物的第一光学遥感样本数据、第二光学遥感样本数据和合成孔径雷达后向散射样本特征，得到所述样本区域农作物的多时相多特征样本数据集，其中，所述第一光学遥感样本数据为Sentinel-2和Landsat-8的光学遥感数据，所述第二光学遥感样本数据为GF-1、GF-2或GF-6的PMS相机采集的光学遥感数据，所述合成孔径雷达后向散射样本特征为Sentinel-1的雷达多极化数据；
对所述多时相多特征样本数据集的图像区域标记分类标签，构建样本数据集；
根据所述样本数据集，对神经网络模型进行训练，得到训练好的区域农作物分类模型，其中，所述神经网络模型为U-net模型。
在本发明实施例中，对多时相多特征样本数据集的图像区域标记分类标签，该分类标签主要包括农作物的类型，例如冬小麦和其他作物等，对于图像区域的其他地物也可进行标记，例如道路、建筑物或水体等相关样本类型。
进一步地，在本发明实施例中，将样本数据集中作物样本数据设置为栅格块样本数据。将栅格块样本按照3：1：1的比例作为训练样本集、验证样本集和测试样本集，选择Pytorch作为深度学习训练的框架，所搭建的神经网络模型为U-net模型。利用训练样本集进行模型的训练，调整神经网络模型的参数；验证样本集是用于验证模型的精度；而测试样本集是用于测试样本的泛化能力。
在上述实施例的基础上，在所述根据所述多特征融合数据，获取对应的评价指标，并按照时间顺序将评价指标进行排序，得到所述目标区域农作物的多时相多特征数据集之后，所述方法还包括：
将所述多时相多特征数据集的数据切割为预设规格的栅格数据，输入到训练好的区域农作物分类模型中，并将输出的栅格块进行拼接，得到所述目标区域农作物的分类结果。
在本发明实施例中，通过开源栅格空间数据转换库(Geospatial DataAbstraction Library，简称GDAL)，将多时相多特征数据集中的融合特征遥感图像划分为固定大小的栅格块(256×256)，并输入到训练好的模型中，再将输出的栅格块重新拼接起来，即可得到整个目前区域的农作物分布情况。
在上述实施例的基础上，在所述将所述多时相多特征数据集输入到训练好的区域农作物分类模型中，得到所述目标区域农作物的分类结果之后，所述方法还包括：
通过条件随机场算法，对分类结果进行优化处理，得到优化处理后的分类结果。
本发明实施例通过条件随机场(Conditional Random Field，简称CRF)算法，对模型输出的分类结果进行优化处理，从而提高了地块破碎地区农作物的识别精度。
图3为本发明实施例提供的基于多维特征融合的区域农作物分类系统的结构示意图，如图3所示，本发明实施例提供了一种基于多维特征融合的区域农作物分类系统，包括多特征数据获取模块301、特征提取模块302、特征融合模块303、多时相多特征数据构建模块304和区域农作物分类模块305，其中，多特征数据获取模块301用于获取目标区域农作物的第一光学遥感数据、第二光学遥感数据和合成孔径雷达后向散射特征，所述第二光学遥感数据的分辨率高于所述第一光学遥感数据的分辨率；特征提取模块302用于获取所述第一光学遥感数据中的光谱特征，并基于时间序列，对所述第一光学遥感数据进行物候特征提取，以根据所述光谱特征和提取得到的物候特征，得到光谱-物候特征；根据纹理特征提取算法，对所述第二光学遥感数据进行纹理特征提取，得到纹理特征；特征融合模块303用于将所述光谱-物候特征、所述纹理特征和所述合成孔径雷达后向散射特征进行特征融合处理，得到多特征融合数据；多时相多特征数据构建模块304用于根据所述多特征融合数据，获取对应的评价指标，并按照时间顺序将评价指标进行排序，得到所述目标区域农作物的多时相多特征数据集；区域农作物分类模块305用于将所述多时相多特征数据集输入到训练好的区域农作物分类模型中，得到所述目标区域农作物的分类结果，其中，所述训练好的区域农作物分类模型是通过标记有分类标签的样本多时相多特征数据集，对神经网络模型进行训练得到的。
本发明实施例提供的一种基于多维特征融合的区域农作物分类系统，通过将多源光学遥感数据和雷达数据进行特征融合处理，并基于神经网络模型，对融合得到的多特征融合数据进行分类，从而得到更为准确的农作物分类结果，提高了地块破碎地区农作物的识别精度。
本发明实施例提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
图4为本发明实施例提供的电子设备结构示意图，参照图4，该电子设备可以包括：处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令，以执行如下方法：获取目标区域农作物的第一光学遥感数据、第二光学遥感数据和合成孔径雷达后向散射特征，所述第二光学遥感数据的分辨率高于所述第一光学遥感数据的分辨率；获取所述第一光学遥感数据中的光谱特征，并基于时间序列，对所述第一光学遥感数据进行物候特征提取，以根据所述光谱特征和提取得到的物候特征，得到光谱-物候特征；根据纹理特征提取算法，对所述第二光学遥感数据进行纹理特征提取，得到纹理特征；将所述光谱-物候特征、所述纹理特征和所述合成孔径雷达后向散射特征进行特征融合处理，得到多特征融合数据；根据所述多特征融合数据，获取对应的评价指标，并按照时间顺序将评价指标进行排序，得到所述目标区域农作物的多时相多特征数据集；将所述多时相多特征数据集输入到训练好的区域农作物分类模型中，得到所述目标区域农作物的分类结果，其中，所述训练好的区域农作物分类模型是通过标记有分类标签的样本多时相多特征数据集，对神经网络模型进行训练得到的。
此外，上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于多维特征融合的区域农作物分类方法，例如包括：获取目标区域农作物的第一光学遥感数据、第二光学遥感数据和合成孔径雷达后向散射特征，所述第二光学遥感数据的分辨率高于所述第一光学遥感数据的分辨率；获取所述第一光学遥感数据中的光谱特征，并基于时间序列，对所述第一光学遥感数据进行物候特征提取，以根据所述光谱特征和提取得到的物候特征，得到光谱-物候特征；根据纹理特征提取算法，对所述第二光学遥感数据进行纹理特征提取，得到纹理特征；将所述光谱-物候特征、所述纹理特征和所述合成孔径雷达后向散射特征进行特征融合处理，得到多特征融合数据；根据所述多特征融合数据，获取对应的评价指标，并按照时间顺序将评价指标进行排序，得到所述目标区域农作物的多时相多特征数据集；将所述多时相多特征数据集输入到训练好的区域农作物分类模型中，得到所述目标区域农作物的分类结果，其中，所述训练好的区域农作物分类模型是通过标记有分类标签的样本多时相多特征数据集，对神经网络模型进行训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种基于多维特征融合的区域农作物分类方法，其特征在于，包括：
获取目标区域农作物的第一光学遥感数据、第二光学遥感数据和合成孔径雷达后向散射特征，所述第二光学遥感数据的空间分辨率高于所述第一光学遥感数据的空间分辨率，其中，所述第一光学遥感数据为Sentinel-2和Landsat-8的光学遥感数据，所述第二光学遥感数据为GF-2的PMS相机采集的光学遥感数据，所述合成孔径雷达后向散射特征为Sentinel-1的雷达多极化数据；
获取所述第一光学遥感数据中的光谱特征，并基于时间序列，对所述第一光学遥感数据进行物候特征提取，以根据所述光谱特征和提取得到的物候特征，得到光谱-物候特征；根据纹理特征提取算法，对所述第二光学遥感数据进行纹理特征提取，得到纹理特征；
将所述光谱-物候特征、所述纹理特征和所述合成孔径雷达后向散射特征进行特征融合处理，得到多特征融合数据；
根据所述多特征融合数据，获取对应的评价指标，并按照时间顺序将评价指标进行排序，得到所述目标区域农作物的多时相多特征数据集，所述评价指标包括：归一化植被指数、增强植被指数、比值植被指数、归一化差值水分指数和红边位置指数中的一种或多种；
将所述多时相多特征数据集输入到训练好的区域农作物分类模型中，得到所述目标区域农作物的分类结果，其中，所述训练好的区域农作物分类模型是通过标记有分类标签的样本多时相多特征数据集，对神经网络模型进行训练得到的。
2.根据权利要求1所述的基于多维特征融合的区域农作物分类方法，其特征在于，所述训练好的区域农作物分类模型通过以下步骤得到：
根据样本区域农作物的第一光学遥感样本数据、第二光学遥感样本数据和合成孔径雷达后向散射样本特征，得到所述样本区域农作物的多时相多特征样本数据集，其中，所述第一光学遥感样本数据为Sentinel-2和Landsat-8的光学遥感数据，所述第二光学遥感样本数据为GF-1、GF-2或GF-6的PMS相机采集的光学遥感数据，所述合成孔径雷达后向散射样本特征为Sentinel-1的雷达多极化数据；
对所述多时相多特征样本数据集的图像区域标记分类标签，构建样本数据集；
根据所述样本数据集，对神经网络模型进行训练，得到训练好的区域农作物分类模型，其中，所述神经网络模型为U-net模型。
3.根据权利要求1所述的基于多维特征融合的区域农作物分类方法，其特征在于，所述光谱-物候特征包括绿度差异特征数据、冠层含水量差异特征数据和生物量差异特征数据。
4.根据权利要求1所述的基于多维特征融合的区域农作物分类方法，其特征在于，所述纹理特征提取算法据包括：灰度共生矩阵、小波变换提取法、Gabor滤波器提取或局部二值模式。
5.根据权利要求1所述的基于多维特征融合的区域农作物分类方法，其特征在于，在所述根据所述多特征融合数据，获取对应的评价指标，并按照时间顺序将评价指标进行排序，得到所述目标区域农作物的多时相多特征数据集之后，所述方法还包括：
将所述多时相多特征数据集的数据切割为预设规格的栅格数据，输入到训练好的区域农作物分类模型中，并将输出的栅格块进行拼接，得到所述目标区域农作物的分类结果。
6.根据权利要求1所述的基于多维特征融合的区域农作物分类方法，其特征在于，在所述将所述多时相多特征数据集输入到训练好的区域农作物分类模型中，得到所述目标区域农作物的分类结果之后，所述方法还包括：
通过条件随机场算法，对分类结果进行优化处理，得到优化处理后的分类结果。
7.一种基于多维特征融合的区域农作物分类系统，其特征在于，包括：
多特征数据获取模块，用于获取目标区域农作物的第一光学遥感数据、第二光学遥感数据和合成孔径雷达后向散射特征，所述第二光学遥感数据的空间分辨率高于所述第一光学遥感数据的空间分辨率，其中，所述第一光学遥感数据为Sentinel-2和Landsat-8的光学遥感数据，所述第二光学遥感数据为GF-2的PMS相机采集的光学遥感数据，所述合成孔径雷达后向散射特征为Sentinel-1的雷达多极化数据；
特征提取模块，用于获取所述第一光学遥感数据中的光谱特征，并基于时间序列，对所述第一光学遥感数据进行物候特征提取，以根据所述光谱特征和提取得到的物候特征，得到光谱-物候特征；根据纹理特征提取算法，对所述第二光学遥感数据进行纹理特征提取，得到纹理特征；
特征融合模块，用于将所述光谱-物候特征、所述纹理特征数据和所述合成孔径雷达后向散射特征进行特征融合处理，得到多特征融合数据；
多时相多特征数据构建模块，用于根据所述多特征融合数据，获取对应的评价指标，并按照时间顺序将评价指标进行排序，得到所述目标区域农作物的多时相多特征数据集，所述评价指标包括：归一化植被指数、增强植被指数、比值植被指数、归一化差值水分指数和红边位置指数中的一种或多种；
区域农作物分类模块，用于将所述多时相多特征数据集输入到训练好的区域农作物分类模型中，得到所述目标区域农作物的分类结果，其中，所述训练好的区域农作物分类模型是通过标记有分类标签的样本多时相多特征数据集，对神经网络模型进行训练得到的。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于多维特征融合的区域农作物分类方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述基于多维特征融合的区域农作物分类方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010881317.6A CN112183209B (zh) | 2020-08-27 | 2020-08-27 | 一种基于多维特征融合的区域农作物分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010881317.6A CN112183209B (zh) | 2020-08-27 | 2020-08-27 | 一种基于多维特征融合的区域农作物分类方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112183209A CN112183209A (zh) | 2021-01-05 |
| CN112183209B true CN112183209B (zh) | 2023-12-22 |
Family
ID=73924449
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010881317.6A Active CN112183209B (zh) | 2020-08-27 | 2020-08-27 | 一种基于多维特征融合的区域农作物分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112183209B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113009485B (zh) * | 2021-03-10 | 2024-07-02 | 安徽皖南烟叶有限责任公司 | 一种基于改进植被指数的遥感烟田识别方法 |
| CN113033453B (zh) * | 2021-04-06 | 2023-09-15 | 北京艾尔思时代科技有限公司 | 一种适用于景观破碎区作物类型遥感识别的方法及系统 |
| CN113505635B (zh) * | 2021-05-24 | 2024-05-31 | 中国农业大学 | 基于光学和雷达的冬小麦与大蒜混种区识别方法及装置 |
| CN113240051B (zh) * | 2021-06-08 | 2024-03-05 | 中国农业科学院农业资源与农业区划研究所 | 一种基于遗传规划算法的耕地地块分类方法 |
| CN113468361B (zh) * | 2021-06-30 | 2022-02-15 | 中国科学院地理科学与资源研究所 | Ndvi时序数据补偿重建方法、装置和电子设备 |
| CN114255395A (zh) * | 2021-07-06 | 2022-03-29 | 中国农业大学 | 多源遥感数据融合的农作物分类方法、系统、设备及介质 |
| CN114359730B (zh) * | 2022-01-05 | 2023-06-09 | 中国科学院地理科学与资源研究所 | 一种无样本条件下农作物种植区快速识别的方法 |
| CN114612896B (zh) * | 2022-03-07 | 2023-01-03 | 广东省科学院广州地理研究所 | 基于遥感图像的水稻产量预测方法、装置以及设备 |
| CN115862010B (zh) * | 2022-09-09 | 2023-09-05 | 滁州学院 | 一种基于语义分割模型的高分遥感影像水体提取方法 |
| CN116051398B (zh) * | 2022-11-23 | 2023-09-22 | 广东省国土资源测绘院 | 面向多源多模态遥感数据调查监测特征库构建方法及装置 |
| CN116664959B (zh) * | 2023-07-28 | 2023-11-03 | 航天宏图信息技术股份有限公司 | 基于多源卫星遥感的无样本农作物分类方法及装置 |
| CN117788351B (zh) * | 2024-02-27 | 2024-05-03 | 杨凌职业技术学院 | 一种农业遥感图像校正方法及系统 |
| CN118366059A (zh) * | 2024-06-20 | 2024-07-19 | 山东锋士信息技术有限公司 | 一种基于光学和sar数据融合的作物需水量计算方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102110227A (zh) * | 2010-11-24 | 2011-06-29 | 清华大学 | 基于上下文关系的多分辨率遥感图像复合分类方法 |
| CN108932521A (zh) * | 2018-04-26 | 2018-12-04 | 中国农业大学 | 一种基于深度学习的农作物分类方法及系统 |
| CN109389163A (zh) * | 2018-09-29 | 2019-02-26 | 华南理工大学 | 一种基于地形图的无人机影像分类系统及方法 |
| CN111523525A (zh) * | 2020-07-02 | 2020-08-11 | 航天宏图信息技术股份有限公司 | 农作物分类识别方法、装置和电子设备 |
-
2020
- 2020-08-27 CN CN202010881317.6A patent/CN112183209B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102110227A (zh) * | 2010-11-24 | 2011-06-29 | 清华大学 | 基于上下文关系的多分辨率遥感图像复合分类方法 |
| CN108932521A (zh) * | 2018-04-26 | 2018-12-04 | 中国农业大学 | 一种基于深度学习的农作物分类方法及系统 |
| CN109389163A (zh) * | 2018-09-29 | 2019-02-26 | 华南理工大学 | 一种基于地形图的无人机影像分类系统及方法 |
| CN111523525A (zh) * | 2020-07-02 | 2020-08-11 | 航天宏图信息技术股份有限公司 | 农作物分类识别方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112183209A (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112183209B (zh) | 一种基于多维特征融合的区域农作物分类方法及系统 | |
| Farmonov et al. | Crop type classification by DESIS hyperspectral imagery and machine learning algorithms | |
| Zheng et al. | Early season detection of rice plants using RGB, NIR-GB and multispectral images from unmanned aerial vehicle (UAV) | |
| Lopatin et al. | How canopy shadow affects invasive plant species classification in high spatial resolution remote sensing | |
| Borgogno-Mondino et al. | A comparison between multispectral aerial and satellite imagery in precision viticulture | |
| Halme et al. | Utility of hyperspectral compared to multispectral remote sensing data in estimating forest biomass and structure variables in Finnish boreal forest | |
| Ok et al. | Evaluation of random forest method for agricultural crop classification | |
| Peña-Barragán et al. | Object-based crop identification using multiple vegetation indices, textural features and crop phenology | |
| Kordi et al. | Crop classification based on phenology information by using time series of optical and synthetic-aperture radar images | |
| Sun et al. | Monitoring maize lodging grades via unmanned aerial vehicle multispectral image | |
| CN113505635B (zh) | 基于光学和雷达的冬小麦与大蒜混种区识别方法及装置 | |
| Su et al. | Spectral analysis and mapping of blackgrass weed by leveraging machine learning and UAV multispectral imagery | |
| CN111462223B (zh) | 基于Sentinel-2影像的江淮地区大豆和玉米种植面积识别方法 | |
| Pang et al. | Pixel-level rice planting information monitoring in Fujin City based on time-series SAR imagery | |
| Song et al. | Monitoring leaf phenology in moist tropical forests by applying a superpixel-based deep learning method to time-series images of tree canopies | |
| Rauf et al. | A new method for pixel classification for rice variety identification using spectral and time series data from Sentinel-2 satellite imagery | |
| CN112836725A (zh) | 基于时序遥感数据的弱监督lstm循环神经网络稻田识别方法 | |
| Zhu et al. | Estimating and mapping mangrove biomass dynamic change using WorldView-2 images and digital surface models | |
| CN117197668A (zh) | 基于深度学习的作物倒伏级别的预测方法及系统 | |
| Schindler et al. | Method for national mapping spatial extent of southern beech forest using temporal spectral signatures | |
| Somers et al. | Endmember library approaches to resolve spectral mixing problems in remotely sensed data: Potential, challenges, and applications | |
| CN115019196A (zh) | 一种基于遥感的耕地非农化变化检测方法、系统及存储介质 | |
| Kupková et al. | Towards reliable monitoring of grass species in nature conservation: Evaluation of the potential of UAV and PlanetScope multi-temporal data in the Central European tundra | |
| Okubo et al. | Land use/cover classification of a complex agricultural landscape using single-dated very high spatial resolution satellite-sensed imagery | |
| CN115791639A (zh) | 基于物候信息的大豆种植区域遥感提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |