CN114494911A - 一种基于卫星影像与无人机影像的作物分类方法 - Google Patents

Abstract

本发明提供了一种基于卫星影像与无人机影像的作物分类方法，以无人机影像数据作为外业实测数据的有效补充，人工解译无人机影像中各类农作物的分类与分布，并以无人机影像的解译结果为参考依据，进行高分辨率卫星影像数据中各类农作物样本的制作，进而以制作的农作物样本为基础，采用深度学习算法进行高分辨率卫星影像的作物分类。本发明解决了传统外业实测数据获取的局限与不足，节省了人力与时间成本，同时降低了对遥感专业知识及专家经验的依赖，自动学习作物的光谱、颜色、纹理、物候等特征，挖掘不同特征之间的内在联系，大大提高了作物分类的速率与精度。

Description

一种基于卫星影像与无人机影像的作物分类方法

技术领域

本发明涉及作物分类技术领域，具体为一种基于卫星影像与无人机影像的作物分类方法。

背景技术

农作物信息和数据是精准农业的核心内容，因此快速、准确的进行作物分类，获取农作物的种植面积、产量等农业信息则至关重要。同时，这些农业信息对制定科学、合理地农业政策具有指导意义。

目前，作物分类多是借助遥感技术或无人机航空技术，采用基于专家知识的目视解译法、植被指数分析法、对应分析纹理信息法、对应物候信息分析法、基于空间结构分析的信息提取和基于面向对象的信息提取方法等进行的。然而，常用的分类方法对人工依赖性较强，提取的特征也不一定最有利于进行农作物类别的区分；而且现有的分类方法多是针对卫星影像或无人机影像进行单一数据源的分类，分类样本多是实地外业采集获取，无法充分利用彼此的优势，造成分类样本获取不足、分类精度低等现状。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提出一种基于卫星影像与无人机影像的作物分类方法，本发明采用卫星影像与无人机影像相结合的方式进行作物分类，其中无人机影像作为卫星影像进行作物分类的样本补充，可大大节省外业作物样本数据采集的时间与人力成本；同时，对制作的样本数据进行水平、垂直翻转、随机旋转、变形或亮度调整等处理，可弥补样本数据的不足，增强对不同生长期作物样本差异的容忍能力；另外在此样本基础上，利用深度学习算法进行作物分类，自动学习不同作物在不同生长期的颜色、光谱、纹理、物候等特征，充分挖掘各特征数据之间的联系，降低对人工专业知识的依赖，提高作物分类的效率与精度。

本发明解决其技术问题所采用的技术方案是：

一种基于卫星影像与无人机影像的作物分类方法，包括如下步骤：

步骤1：获取研究区域内多时相的高分辨卫星影像的原始数据，同时在研究区域4个角点与1个中心点选择5个样方区域，获取每个样方区域的无人机影像，时间涵盖作物不同的物候期；

步骤2：对步骤1中所获取的多时相的高分辨率卫星影像数据和无人机影像数据进行预处理，得到相应的预处理结果；

步骤3：结合无人机现场照片数据，对无人机预处理结果数据进行人工解译，确定研究区域种植作物的位置与分布；

步骤4：以无人机影像人工解译结果为依据，在卫星影像预处理结果数据上进行不同作物类型的样本制作，同时为不同的作物样本赋予标签；

步骤5：利用Arcgis软件进行样本数据的格式转换，即将矢量样本数据进行栅格化处理；

步骤6：将每个作物样本和标签，进行随机裁剪，得到一个尺寸大小一致的作物样本库；

步骤7：将步骤6得到的训练样本和标签进行训练集、验证集、测试集分割，分割比例为6:2:2；

步骤8：建立深度学习网络模型，采用U-Net的语义分割网络结构，以Resnet50作为特征提取器；

步骤9：将步骤7得到的训练集和标签输入到步骤8建立的网络模型中，进行模型训练，自动学习不同作物在不同生长期的颜色、光谱、纹理、物候等特征，并根据验证集的精度变化确定最佳的作物分类模型；

步骤10：将无标签的测试集样本数据，输入到训练好的最佳作物分类模型中，得到该模型的农作物分类结果。

进一步地，还包括分类后处理，根据实际需求对作物分类的结果数据进行分类后处理，主要包括更改类别颜色、分类统计分析、小斑点处理和栅矢转换。

进一步地，还包括精度验证，借助混淆矩阵对模型训练完成后的作物分类结果进行精度验证，主要采用总体分类精度、Kappa系数两个指标参数。

进一步地，步骤2的具体操作步骤如下：

步骤21，对多时相的原始卫星遥感影像数据进行辐射定标、大气校正、几何校正、全色波段和多光谱波段融合的预处理。

步骤22，对多时相的无人机影像数据进行坐标转换、影像校正、影像拼接、影像裁剪等预处理。

进一步地，步骤6包括如下步骤：

步骤61，采用滑动裁剪方法，以10％的滑动重叠率将上述得到的作物样本和标签图裁剪为256*256像素大小的样本；

步骤62，对步骤61中裁剪得到的样本进行样本扩增处理，处理方法包括进行水平及垂直翻转、随机旋转、变形或亮度调整的处理。

进一步地，步骤1中所述高分辨卫星影像数据，其分辨率为米级或亚米级；无人机影像数据，其分辨率为厘米级。

本发明与现有技术相比具有以下优点：

1、本发明基于卫星影像与无人机影像进行作物分类，将无人机影像作为卫星影像作物分类的样本补充，可大大节省以往外业作物样本数据获取的时间与人力成本。

2、本发明对样本数据进行水平、垂直翻转、随机旋转、变形或亮度调整等处理，可解决样本数据分布不均的问题，也可增强对不同生长期作物样本差异的容忍能力。

3、本发明基于深度学习算法进行作物分类，支持自主学习作物的不同特征，并充分挖掘特征数据之间的关联，可降低对人工经验、专业知识的依赖，提高分类精度。

附图说明

图1为本发明的流程图；

图2为本发明的无人机影像样方选择示意图；

图3为本发明的深度学习U-Net网络结构示意图；

图4为本发明的无人机影像示意图；

图5为本发明的卫星影像示意图。

具体实施方式

下面结合附图及实施例描述本发明具体实施方式：

需要说明的是，本说明书所附图中示意的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

实施例

参阅图1至图5所示，本发明的实施例是一种基于卫星影像与无人机影像的作物分类方法，具体流程参照图1，本发明实施例的具体步骤如下：

步骤1：获取研究区域内多时相的高分辨卫星影像的原始数据，同时在研究区域4个角点与1个中心点选择5个样方区域，获取每个样方区域的无人机影像，时间涵盖作物不同的物候期；

参见图2，图2介绍了本发明的无人机影像样方选择示意图，采取对角线取样法，在研究区域选择5个有代表性的样方区域，可确保样本选择的均匀性、有代表性，提高作物分类的精度.

步骤2：对步骤1中所获取的多时相的高分辨率卫星影像数据和无人机影像数据进行预处理，得到相应的预处理结果；

步骤3：结合无人机现场照片数据，对无人机预处理结果数据进行人工解译，确定研究区域种植作物的位置与分布；

步骤4：以无人机影像人工解译结果为依据，在卫星影像预处理结果数据上进行不同作物类型的样本制作，由于不同生长期作物的颜色、光谱等差异明显，因此每类作物样本可能包含多种情况，同时为不同的作物样本赋予标签；

步骤5：利用Arcgis软件进行样本数据的格式转换，即将矢量样本数据进行栅格化处理；

步骤6：将每个作物样本和标签，进行随机裁剪，得到一个尺寸大小一致的作物样本库；通过对作物样本进行扩增处理，以弥补样本数据的不足，增强对不同生长期作物样本差异的容忍能力。

步骤7：将步骤6得到的训练样本和标签进行训练集、验证集、测试集分割，分割比例为6:2:2；

步骤8：建立深度学习网络模型，采用U-Net的语义分割网络结构，以Resnet50作为特征提取器；

参见图3，图3介绍了本发明的深度学习U-Net网络结构示意图，基于U-Net网络能够在每个级别的上采样过程中将编码器对应位置的特征图融合在通道上，经过融合之后的U-Net网络在浅层网络学习到的底层特征与深层网络学的高层特征能够保留更多高层特征图蕴含的细节信息，这种信息也是高分辨率的，据此来提高图像分割的准确度，可以更好的区分作物区域。

步骤9：将步骤7得到的训练集和标签输入到步骤8建立的网络模型中，进行模型训练，自动学习不同作物在不同生长期的颜色、光谱、纹理、物候等特征，并根据验证集的精度变化确定最佳的作物分类模型；

步骤10：将无标签的测试集样本数据，输入到训练好的最佳作物分类模型中，得到该模型的农作物分类结果。

具体而言，还包括分类后处理，根据实际需求对作物分类的结果数据进行分类后处理，主要包括更改类别颜色、分类统计分析、小斑点处理和栅矢转换。

具体而言，还包括精度验证，借助混淆矩阵对模型训练完成后的作物分类结果进行精度验证，主要采用总体分类精度、Kappa系数两个指标参数。

具体而言，步骤2的具体操作步骤如下：

步骤21，对多时相的原始卫星遥感影像数据进行辐射定标、大气校正、几何校正、全色波段和多光谱波段融合的预处理。

步骤22，对多时相的无人机影像数据进行坐标转换、影像校正、影像拼接、影像裁剪等预处理。

具体而言，步骤6包括如下步骤：

步骤61，采用滑动裁剪方法，以10％的滑动重叠率将上述得到的作物样本和标签图裁剪为256*256像素大小的样本；

步骤62，对步骤62中裁剪得到的样本进行样本扩增处理，处理方法包括进行水平及垂直翻转、随机旋转、变形或亮度调整的处理。

具体而言，步骤1中所述高分辨卫星影像数据，其分辨率为米级或亚米级(GF1/GF2/GF6)；无人机影像数据，其分辨率为厘米级。

参见图4，图4介绍了本发明的无人机影像示意图，无人机影像数据的采集时间为2021年9月14日，飞行航高为103m，分辨率为3.4cm，可清楚看清研究区域种植玉米、花生、地瓜等作物。首先以无人机影像为基础，人工解译各类作物的分布；然后以无人机影像的解译结果为参考依据，进行卫星影像中作物样本数据的制作。

参加图5，图5介绍了本发明的卫星影像示意图，卫星影像数据的拍摄时间应尽可能与无人机影像时间接近，但由于降雨、多云天气以及卫星拍摄周期的原因，本发明的卫星影像拍摄时间为2021年8月28日，分辨率为0.8米。参照无人机影像解译结果，在卫星影像中制作玉米、花生、地瓜等作物的样本数据，然后利用数据增广算法进行样本量的扩增，再而建立深度学习模型，进行高分辨率卫星影像的作物分类。

本发明基于无人机影像可快速获取外业采样的样本数据，解决了传统外业实测数据获取的局限与不足，节省了人力与时间成本；同时，对制作的样本数据进行水平、垂直翻转、随机旋转、变形或亮度调整等处理，可弥补样本数据的不足，增强对不同生长期作物样本差异的容忍能力；另外，本发明采用深度学习算法，不依赖于遥感及图像处理的专业知识，通过自动学习输入样本的颜色、纹理、物候等特征，自动进行大面积卫星影像数据的作物分类，可大大提高作物分类的速率与精度。

上面结合附图对本发明优选实施方式作了详细说明，但是本发明不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

不脱离本发明的构思和范围可以做出许多其他改变和改型。应当理解，本发明不限于特定的实施方式，本发明的范围由所附权利要求限定。

Claims (6)

1.一种基于卫星影像与无人机影像的作物分类方法，其特征在于：包括如下步骤：

步骤1：获取研究区域内多时相的高分辨卫星影像的原始数据，同时在研究区域4个角点与1个中心点选择5个样方区域，获取每个样方区域的无人机影像，时间涵盖作物不同的物候期；

步骤2：对步骤1中所获取的多时相的高分辨率卫星影像数据和无人机影像数据进行预处理，得到相应的预处理结果；

步骤3：结合无人机现场照片数据，对无人机预处理结果数据进行人工解译，确定研究区域种植作物的位置与分布；

步骤4：以无人机影像人工解译结果为依据，在卫星影像预处理结果数据上进行不同作物类型的样本制作，同时为不同的作物样本赋予标签；

步骤5：利用Arcgis软件进行样本数据的格式转换，即将矢量样本数据进行栅格化处理；

步骤6：将每个作物样本和标签进行随机裁剪，得到一个256*256尺寸的作物样本库；

步骤7：将步骤6得到的训练样本和标签进行训练集、验证集、测试集分割，分割比例为6:2:2；

步骤8：建立深度学习网络模型，采用U-Net的语义分割网络结构，以Resnet50作为特征提取器；

步骤9：将步骤7得到的训练集和标签输入到步骤8建立的网络模型中，进行模型训练，自动学习不同作物在不同生长期的颜色、光谱、纹理、物候等特征，并根据验证集的精度变化确定最佳的作物分类模型；

步骤10：将无标签的测试集样本数据，输入到训练好的最佳作物分类模型中，得到该模型的农作物分类结果。

2.根据权利要求1所述的基于卫星影像与无人机影像的作物分类方法，其特征在于，还包括分类后处理，根据实际需求对作物分类的结果数据进行分类后处理，主要包括更改类别颜色、分类统计分析、小斑点处理和栅矢转换。

3.根据权利要求2所述的基于卫星影像与无人机影像的作物分类方法，其特征在于，还包括精度验证，借助混淆矩阵对模型训练完成后的作物分类结果进行精度验证，主要采用总体分类精度、Kappa系数两个指标参数。

4.根据权利要求1所述的基于卫星影像与无人机影像的作物分类方法，其特征在于，步骤2的具体操作步骤如下：

步骤21，对多时相的原始卫星遥感影像数据进行辐射定标、大气校正、几何校正、全色波段和多光谱波段融合的预处理。

步骤22，对多时相的无人机影像数据进行坐标转换、影像校正、影像拼接、影像裁剪等预处理。

5.根据权利要求1所述的基于卫星影像与无人机影像的作物分类方法，其特征在于，步骤6包括如下步骤：

步骤61，采用滑动裁剪方法，以10％的滑动重叠率将上述得到的农作物样本和标签图裁剪为256*256像素大小的样本；

步骤62，对步骤61中裁剪得到的样本进行样本扩增处理，处理方法包括进行水平及垂直翻转、随机旋转、变形或亮度调整的处理。

6.根据权利要求1所述的基于卫星影像与无人机影像的作物分类方法，其特征在于，步骤1中所述高分辨卫星影像数据，其分辨率为米级或亚米级；无人机影像数据，其分辨率为厘米级。

Images