CN110020635A - 基于无人机影像与卫星影像的种植区农作物精细分类方法和系统 - Google Patents

Abstract

本发明涉及农作物分类技术领域，提出一种基于无人机影像与卫星影像的种植区农作物精细分类方法，其特征在于，包括：S1，通过无人机获取种植区农作物的无人机影像，通过卫星影像获得种植区农作物的多光谱影像；S2，将无人机影像和多光谱影像进行数据融合，以获得同时具有高空间分辨率和多光谱信息的影像；S3，利用卷积神经网络进行农作物分类。本发明的方法充分结合无人机数据在光谱信息不足和卫星数据在空间分辨率方面较低的问题，利用融合得到的数据进行农作物分类结果优于单一卫星数据的分类结果。

Description

基于无人机影像与卫星影像的种植区农作物精细分类方法和 系统

技术领域

本发明涉及农作物分类技术领域，更具体地，涉及一种基于无人机影像与卫星影像的种植区农作物精细分类方法。

背景技术

及时准确地获取农作物种植面积信息及空间分布状况对于农业生产监管和决策、政府部门制定粮食政策、调整农业结构、保障国家粮食安全等十分重要，在农作物普查、长势监测、种植面积估算、产量预估、需水量计算和灾害评估预测等方面也有重要应用。对于种植情况监测，传统的做法是基于实地测量，层层上报，这样的工作费时费力，精度上难以保证。近40余年来遥感技术飞速发展，在众多领域取得重要成果，使得大量的传统技术得到改变。尤其在地面覆盖监测和变化监测领域，遥感具有重要的作用。遥感科学之所以能够在获取土地覆盖信息方面具有重要意义不仅仅是由于它可以对于地表的直接观测，更是由于它具有周期性观测和价格低廉的特点。

目前，利用遥感技术进行农作物识别分类已经有了大量研究。通常基于国内外卫星遥感数据或无人机影像进行农作物识别监测。但是，农作物相较于其他地物之间，存在严重的同物异谱和同谱异物现象。不同作物，如玉米和大豆之间光谱相似性较高，单单基于可见光信息进行分类难度较大。在3种及3种以上作物并存时，进行识别和分类具有一定的挑战。

相似的实现方案：

方案1：由中国专利“CN107358197A”提供了一种面向耕地地块提取的影像分类及语义处理方法，在光谱-纹理-空间特征的基础上形成初始影像对象，依据耕地的语义表现执行耕地区域的多尺度合并，形成成片的耕地区域；依据田埂的语义表现，形成连续的田埂区域，最后将耕地和田埂区域合并融合，得到最终的地块提取结果。

方案2：由中国专利“CN108537182A”提供了一种基于无人机遥感数据的中药材种植面积自动统计方法，其特征在于包括以下内容：通过无人机采集种植中药材的遥感数据；其中，所述遥感数据包括无人机原始图像和像控点；对输入的无人机原始图像和像控点进行处理生成数字正射影像图；将生成的数字正射影像图拆分成图像金字塔得到一系列瓦片，即通过分层方式将数字正射影像图分割成等面积的栅格图像；采用深度学习卷积神经网络对瓦片进行分类，得到含有中药材植物的目标图片；累加目标图片中含有中药材植物的栅格图像面积得到该区域内中药材植物总的分布面积。

方案3：由中国专利“CN107121681A”提供了一种基于高分卫星遥感数据的居民地提取系统，包括：遥感数据获取模块和居民地提取模块；其中，所述遥感数据获取模块，用于获取目标区域对应的遥感数据；所述居民地提取模块，用于根据居民地与非居民地之间的特征差异，从所述遥感数据中提取出居民地区域。

方案4：由中国专利“CN109214287A”提供了一种基于上帝之眼(RapidEye)卫星遥感影像的农作物解译方法及系统。该方法包括以下步骤：根据预设的研究区域遥感影像解译分类标志划分出研究区域RapidEye卫星遥感影像中的耕地范围；在研究区域RapidEye卫星遥感影像中的耕地范围内，提取出符合各类农作物特征的光谱曲线；根据预设的农作物自动分类方案，将光谱曲线识别解译成相应类别农作物的种植数据。

现有技术缺点：上述的4个方案中，都进行了地面覆盖识别分类的技术性研究。但是对于植被识别分类的研究较少。另外，方案1和2是利用无人机遥感数据进行地面覆盖物识别分类，无人机遥感具有超高空间分辨率、高纹理信息的特点，但是光谱分辨率不足。由于多光谱数据处理困难，目前基于无人机遥感的识别分类大多基于RGB可见光波段，光谱信息不足。而方案3和4是利用卫星遥感数据进行地面覆盖物识别分类，卫星遥感数据由于光谱信息丰富，通常包含近红外和红边波段等。但是卫星遥感数据由于远距离观测地面，空间分辨率十分有限，并且高空间分辨率且具有多光谱信息的卫星数据通常需要花费昂贵费用购买。农作物的精细分类需要高空间分辨率和丰富光谱信息的支持，如何结合光谱信息和空间信息是实现农作物精细分类的关键。

发明内容

针对背景技术中，卫星遥感空间分辨率不足，无人机遥感光谱信息缺失的情况，本发明提供了一种将无人机影像数据与卫星数据进行数据融合后，利用得到的高空间分辨率多光谱影像进行农作物精细分类的方法。

本发明能够充分结合无人机遥感和卫星遥感的优点，提升农作物分类的精度，解决使用单一数据进行农作物分类乏力的问题。本发明利用数据融合技术，充分结合无人机遥感和卫星遥感分别在空间分辨率和光谱信息的优势。通过两者数据融合后可以得到具有高空间分辨率多光谱信息的遥感数据，并利用卷积神经网络进行农作物精细分类，提升分类精度。

本发明提出一种基于无人机影像与卫星影像的种植区农作物精细分类方法，包括：

S1，通过无人机获取种植区农作物的无人机影像，通过卫星影像获得种植区农作物的多光谱影像；

S2，将无人机影像和多光谱影像进行数据融合，以消除多光谱影像各波段之间的相关性；

S3，利用卷积神经网络进行农作物分类。

本发明还提出一种基于无人机影像与卫星影像的种植区农作物精细分类系统，包括：

影像获取模块，其通过无人机获取种植区农作物的无人机影像，通过卫星影像获得种植区农作物的多光谱影像；

数据融合模块，其将无人机影像和多光谱影像进行数据融合，以获得同时具有高空间分辨率和多光谱信息的影像；

农作物分类模块，其利用卷积神经网络进行农作物分类。

本发明的有益效果为：

1.充分结合无人机数据在光谱信息不足和卫星数据在空间分辨率方面较低的问题。融合后得到的影像数据具有高空间分辨率多光谱信息。

2.无人机数据获取造价低廉，哨兵2号(Sentinel-2A)数据为欧空局免费共享数据。利用两者融合得到的数据造价较低，无需花费昂贵的费用购买商业卫星数据。

3.利用融合得到的数据进行农作物分类结果优于单一无人机影像或单一哨兵2号(Sentinel-2A)数据的分类结果。

4.利用卷积神经网络方法，较传统遥感分类算法，分类模型鲁棒性更高，分类效果更好。

附图说明

为了更容易理解本发明，将通过参照附图中示出的具体实施方式更详细地描述本发明。这些附图只描绘了本发明的典型实施方式，不应认为对本发明保护范围的限制。

图1为本发明的方法的一个实施过程的流程图。

图2显示了进行数据融合的一个实施例的流程图。

图3显示了卷积神经网络的分类的流程图。

图4显示了卷积神经网络进行农作物分类模型的一个实施例。

图5显示了卷积神经网络结构。

图6显示了卷积成绩网络模型训练过程的流程图。

图7显示了一个实施例中的无人机原始数据和卫星原始数据。

图8显示了图7中的原始数据融合后的影像数据。

图9显示了图8中的融合影像的分类结果。

图10显示了本发明的分类总体精度和kappa系数的图。

具体实施方式

下面参照附图描述本发明的实施方式，其中相同的部件用相同的附图标记表示。在不冲突的情况下，下述的实施例及实施例中的技术特征可以相互组合。

如图1所示，本发明的方法包括：

S1，获取数据，包括无人机影像和多光谱影像。

本发明利用无人机来获取超高空间分辨率影像。本发明采用了无人机搭载的数码相机进行研究区域超高空间分辨率数据采集。可以利用Photoscan软件进行单张相片拼接获取整幅研究区影像。

本发明还利用了多光谱遥感数据。所述多光谱数据来自于卫星数据，例如可以是哨兵2号(Sentinel-2A)数据。本发明的方法也可以采用其他卫星数据，不限于哨兵2号(Sentinel-2A)数据。哨兵2号(Sentinel-2A)数据可以在欧空局网站下载，下载的数据为已经经过了几何精校正处理。对下载后的数据进行辐射校正和大气校正即可。对于辐射校正和大气校正的方法可以使用包括基于辐射传输模型、基于改进的辐射传输模型的暗像元法和基于统计学模型的反射率反演的方法。还可以利用遥感影像处理ENVI软件中的Basictools-preprocessing-calibration utilities-FLAASH模块来进行。

可选地，也可以采用其他的多光谱遥感数据，并对该多光谱遥感数据进行几何精校正、辐射校正和大气校正即可。

经过步骤S1，获取到了超高空间分辨率影像和多光谱影像。

S2，将S1中获取的无人机影像和多光谱影像进行数据融合，获得同时具有高空间分辨率和多光谱信息的影像。

融合方法例如可以选择格拉姆-施密特(Gram-Schmidt)融合方法。

Gram-Schmidt变换(G-S变换)是多元统计和线性代数中常用的方法。与主成分变换相似，它可以将多维图像或矩阵通过正交变换，从而消除多光谱数据各波段之间的相关性。Gram-Schmidt变换与主成分变换的区别在于主成分变换后各主成分之间的信息重新分布，尽管变换后的第一主分量包含的信息最多，而其他分量所包含的信息依次减少；但Gram-Schmidt变换后各分量之间只是正交，所包含的信息量相差不大，因此可以改进主成分分析中信息过于集中的问题。

Gram-Schmidt变换的实质是先用低空间分辨率的多光谱数据模拟出一个全色波段，然后将将模拟出的全色波段作为第一个波段与原始的多光谱数据进行G-S变换，Gram-Schmidt变换后的第一个波段用高空间分辨率的全色波段替换掉，然后进行Gram-Schmidt反变换运算，得到分辨率增大的融合结果。

图2显示了进行数据融合的一个实施例的流程图，包括：

S21，对无人机影像进行主成分分析，获得无人机影像第一主成分，计算无人机影像第一主成分的均值和标准差。

S22，对多光谱影像和模拟的多光谱影像的低分辨率全色波段进行G-S变换，得到G-S变换图像，计算G-S变换图像的第一主分量的均值和标准差。

S23，针对计算无人机影像第一主成分的均值和标准差、G-S变换图像的第一主分量的均值和标准差，进行直方图匹配，获得修改后高分辨率影像。

S24，对S22中的G-S变换图像和S23中的修改后高分辨率影像，进行G-S逆变换，得到具有高空间分辨率多光谱信息的影像。

经过步骤2，可以得到包含无人机高空间分辨率信息和哨兵2号(Sentinel-2A)数据多光谱信息的影像数据。

S3，利用卷积神经网络进行农作物分类。

创建用于农作物精细分类的卷积神经网络，利用训练样本进行分类模型训练，根据训练情况(如：Loss等)，调整模型参数。最终生成用于农作物精细分类模型。利用分类模型进行研究区域融合数据的农作物精细分类。

卷积神经网络(Convolutional Neural Network,CNN)自2012年以来，在图像分类和图像检测等方面取得了巨大的成就和广泛的应用。CNN具有多层结构能自动学习特征，并且可以学习到多个层次的特征：较浅的卷积层感知域较小，学习到一些局部区域的特征；较深的卷积层具有较大的感知域，能够学习到更加抽象一些的特征。这些抽象特征对物体的大小、位置和方向等敏感性更低，从而有助于识别性能的提高。这些抽象的特征对分类很有帮助，可以很好地判断出一幅图像中包含什么类别的物体。

图3显示了卷积神经网络的分类的流程图，包括：

S31，获取数据，包括无人机影像和多光谱影像，并对影像进行目视解译。

S32，将无人机影像和多光谱影像进行融合，获得高空间分辨率多光谱数据。

S33，根据目视解译制作训练样本。

S34，基于CNN的分类模型对所述训练样本进行训练，获得分类模型。

S35，将待分类图像输入分类模型得到分类结果。

S36，将S5中得到的分类结果，与验证样本相比较，获得评价，得到种植区主要农作物分布图和分类精度。

图4显示了卷积神经网络进行农作物分类模型的一个实施例，图5显示了卷积神经网络结构。在本发明中，采用经典的LeNet5网络结构，更改了数据输入，用来处理多维度的遥感影像。

图5显示了图4表示的卷积神经网络每一层的结构类型。图6显示了卷积成绩网络模型训练过程的流程图。

再次参照图1，优选地，在S4，利用验证样本进行分类精度验证。

利用验证样本计算分类结果的混淆矩阵和Kappa系数，根据总体精度、用户精度、制图精度和Kappa系数判别分类结果的好坏。最终得到研究区农作物分类图。

经过了以上4个步骤，通过无人机影像和哨兵2号(Sentinel-2A数据)得到研究区整体作物种植情况，为进一步研究和决策提供数据支持。

图7-10中显示了本发明的方法的实验结果。图7的(a)表示无人机原始数据，图7的(b)表示Sentinel-2A原始数据。图8中表示了融合后的影响数据。融合后数据综合了原始无人机数据的空间信息和Sentinel-2A数据的光谱信息。图9是原始数据和融合后数据的分类结果。由分类结果图可以看到，无人机数据直接分类椒盐现象严重。哨兵数据直接分类边界较为模糊。融合后影像目视分类效果好于原始影像直接进行分类效果。图10显示了分类结果，从图中可以看出，哨兵2号(Sentinel-2A)数据分类总体精度为61.40％，Kappa系数为0.52，无人机影像分类精度为66.94％，Kappa系数为0.59，利用融合后的数据进行分类后的总体精度为83.21％，Kappa系数为0.78。精度提升明显。

根据本发明的另一方面，提出一种基于无人机影像与卫星影像的种植区农作物精细分类系统，其包括：

影像获取模块，其通过无人机获取种植区农作物的无人机影像，通过卫星影像获得种植区农作物的多光谱影像。

数据融合模块，其将无人机影像和多光谱影像进行数据融合，以获得同时具有高空间分辨率和多光谱信息的影像。

农作物分类模块，其利用卷积神经网络对数据融合模块获得的影像进行农作物分类。

进一步，所述数据融合模块被配置为执行如下步骤：

S21，对无人机影像进行主成分分析，获得无人机影像第一主成分，计算无人机影像第一主成分的均值和标准差。

S22，对多光谱影像和模拟的多光谱影像的低分辨率全色波段进行G-S变换，得到G-S变换图像，计算G-S变换图像的第一主分量的均值和标准差。

S23，针对计算无人机影像第一主成分的均值和标准差、G-S变换图像的第一主分量的均值和标准差，进行直方图匹配，获得修改后高分辨率影像。

S24，对S22中的G-S变换图像和S23中的修改后高分辨率影像，进行G-S逆变换，得到具有高空间分辨率多光谱信息的影像。

进一步，所述农作物分类模块被配置为执行如下步骤：

S3-1，根据种植区真值数据制作训练样本；

S3-2，基于卷积神经网络分类模型对所述训练样本进行训练，获得分类模型；

S3-3，将待分类图像输入分类模型得到分类结果；

S3-4，将S3-3中得到的分类结果，与种植区验证数据相比较，获得评价，从而得到园区主要农作物分布图和分类精度。

以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (10)

1.一种基于无人机影像与卫星影像的种植区农作物精细分类方法，其特征在于，包括：

S1，通过无人机获取种植区农作物的无人机影像，通过卫星影像获得种植区农作物的多光谱影像；

S2，将无人机影像和多光谱影像进行数据融合，以获得同时具有高空间分辨率和多光谱信息的影像；

S3，利用卷积神经网络进行农作物分类。

2.根据权利要求1所述的分类方法，其特征在于，所述步骤S2包括：

基于无人机影像的第一主成分和多光谱影像的第一主分量，对无人机影像和多光谱影像进行数据融合，以获得具有高空间分辨率多光谱信息的影像。

3.根据权利要求1所述的分类方法，其特征在于，所述步骤S2包括：

S21，对无人机影像进行主成分分析，获得无人机影像第一主成分，计算无人机影像第一主成分的均值和标准差；

S22，对多光谱影像和模拟的多光谱影像的低分辨率全色波段进行G-S变换，得到格拉姆-施密特G-S变换图像，计算G-S变换图像的第一主分量的均值和标准差；

S23，针对计算无人机影像第一主成分的均值和标准差、G-S变换图像的第一主分量的均值和标准差，进行直方图匹配，获得修改后高分辨率影像；

S24，对S22中的G-S变换图像和S23中的修改后高分辨率影像，进行G-S逆变换，得到具有高空间分辨率多光谱信息的影像。

4.根据权利要求1所述的分类方法，其特征在于，所述步骤S3包括：

S3-1，根据种植区真值数据制作训练样本；

S3-2，基于卷积神经网络分类模型对所述训练样本进行训练，获得分类模型；

S3-3，将待分类图像输入分类模型得到分类结果；

S3-4，将S3-3中得到的分类结果，与种植区验证数据相比较，获得评价，从而得到园区主要农作物分布图和分类精度。

5.根据权利要求4所述的分类方法，其特征在于，

所述卷积神经网络分类模型包括：卷积层、池化层、LRN层、全连接层。

6.一种基于无人机影像与卫星影像的种植区农作物精细分类系统，其特征在于，包括：

影像获取模块，其通过无人机获取种植区农作物的无人机影像，通过卫星影像获得种植区农作物的多光谱影像；

数据融合模块，其将无人机影像和多光谱影像进行数据融合，以获得同时具有高空间分辨率和多光谱信息的影像；

农作物分类模块，其利用卷积神经网络进行农作物分类。

7.根据权利要求6所述的分类系统，其特征在于，所述数据融合模块被配置为：

基于无人机影像的第一主成分和多光谱影像的第一主分量，对无人机影像和多光谱影像进行数据融合，以获得具有高空间分辨率多光谱信息的影像。

8.根据权利要求6所述的分类系统，其特征在于，所述数据融合模块被配置为：

S21，对无人机影像进行主成分分析，获得无人机影像第一主成分，计算无人机影像第一主成分的均值和标准差；

S22，对多光谱影像和模拟的多光谱影像的低分辨率全色波段进行G-S变换，得到格拉姆-施密特G-S变换图像，计算G-S变换图像的第一主分量的均值和标准差；

S23，针对计算无人机影像第一主成分的均值和标准差、G-S变换图像的第一主分量的均值和标准差，进行直方图匹配，获得修改后高分辨率影像；

S24，对S22中的G-S变换图像和S23中的修改后高分辨率影像，进行G-S逆变换，得到具有高空间分辨率多光谱信息的影像。

9.根据权利要求6所述的分类系统，其特征在于，所述数据融合模块被配置为：

S3-1，根据种植区真值数据制作训练样本；

S3-2，基于卷积神经网络分类模型对所述训练样本进行训练，获得分类模型；

S3-3，将待分类图像输入分类模型得到分类结果；

S3-4，将S3-3中得到的分类结果，与种植区验证数据相比较，获得评价，从而得到园区主要农作物分布图和分类精度。

10.根据权利要求9所述的分类系统，其特征在于，

所述卷积神经网络分类模型包括：卷积层、池化层、LRN层、全连接层。