CN108537182A - 基于无人机遥感数据的中药材种植面积自动统计方法 - Google Patents

Abstract

本发明涉及一种基于无人机遥感数据的中药材种植面积自动统计方法，其特征在于包括以下内容：通过无人机采集种植中药材的遥感数据；其中，所述遥感数据包括无人机原始图像和像控点；对输入的无人机原始图像和像控点进行处理生成数字正射影像图；将生成的数字正射影像图拆分成图像金字塔得到一系列瓦片，即通过分层方式将数字正射影像图分割成等面积的栅格图像；采用深度学习卷积神经网络对瓦片进行分类，得到含有中药材植物的目标图片；累加目标图片中含有中药材植物的栅格图像面积得到该区域内中药材植物总的分布面积。

Description

基于无人机遥感数据的中药材种植面积自动统计方法

技术领域

本发明涉及一种中药材种植面积自动统计方法，特别是关于一种基于无人机遥感数据的中药材种植面积自动统计的方法。

背景技术

中药材种植面积是估计中药材产量、蕴藏量等工作的重要参数，对于全国中药资源的规划和管理具有重大意义。传统的面积统计需要人工实地调查，此种方法工作量大、成本高且数据不够准确。卫星遥感技术是现阶段统计植物面积的一种有效技术，但是由于中药材资源相当于农作物等来说分布更分散，要获得中药材资源准确的面积信息，需要很高分辨率的遥感数据，使用卫星遥感技术所需的成本也就较高，且卫星的数据实时性易受云层等因素影响。对于中药材种植面积的估计需要一项更精确、成本更低的技术。

近年来，无人机技术取得了快速的发展，该技术具有高实时性、低成本、高精度、获取数据快等优点，已成功应用于农业监测、林业监测、海洋监测及灾后重建等领域。将无人机技术用于中药资源调查领域，不仅降低了成本，同时提高了中药资源调查工作的效率及准确性。无人机图像解译工作是无人机在中药材资源领域应用的关键技术，已有的应用采用人工的方式来解译图像，人工解译成本高、效率低，制约了无人机技术在中药领域应用的发展。

发明内容

针对上述问题，本发明的目的是提供一种能够提高统计结果准确度的基于无人机遥感数据的中药材种植面积自动统计的方法。

为实现上述目的，本发明采取以下技术方案：一种基于无人机遥感数据的中药材种植面积自动统计方法，其特征在于包括以下内容：通过无人机采集种植中药材的遥感数据；其中，所述遥感数据包括无人机原始图像和像控点；对输入的无人机原始图像和像控点进行处理生成数字正射影像图；将生成的数字正射影像图通过图像金字塔技术拆分成一系列图像瓦片；采用深度学习卷积神经网络对瓦片进行分类，得到含有中药材植物的目标图片；累加含有中药材植物的图像瓦片面积得到该区域内中药材植物总的分布面积。

进一步地，对输入的无人机原始图像和像控点进行处理生成数字正射影像图的具体过程为：通过正射影像处理软件利用已知像点坐标和大地坐标的像控点和影像连接点的像点坐标，通过平差计算求解影像连接点的大地坐标与影像的外方位元素，利用空三加密成果创建测区三维立体模型，进而得出测区数字高程模型(DEM)，最终得到数字正射影像图；其中，影像连接点是指在两张或多张图像中出现的同一点，影像的外方位元素决定了无人机在拍摄瞬间的位置和姿态。

进一步地，图像金字塔底层是分辨率最高的图像，顶层是分辨率最低的图像，每层代表的总面积相同。

进一步地，图像金字塔采用高斯金字塔，高斯金字塔在生成瓦片的过程中，首先通过低通滤波器对无人机原始图像进行平滑处理，然后对平滑后图像进行向下采样得到一系列图像，假设源图像为g₀，则高斯金字塔第l层是由l-1层图像g_l-1获得，其数字表达式为：

其中，0＜l＜N，0≤i＜G_l，0≤j＜R_l，g_l(i,j)表示高斯金字塔第l层第i行、第j列的像素，G_l和R_l分别是高斯金字塔图像第l层的行数和列数，N表示高斯金字塔总层数，第l层图像的水平宽度和垂直高度分别是G_l和R_l，且G_l＝G_l-1/2，R_l＝R_l-1/2，w(m,n)为高斯低通滤波器模板，是一个二维可分离的5×5函数窗口，m和n分别为函数窗口的行标和列标。

进一步地，根据中药材植物类型选择合适层级的瓦片作为深度学习卷积神经网络算法的输入，选择方法为：对于乔木和灌木植物，选择平均每张瓦片图片内包含3到5株目标植物的层级；对于草本植物，选择人眼能够通过瓦片图片识别目标植物的层级。

进一步地，用深度学习卷积神经网络对瓦片进行分类，得到含有中药材植物的目标图片的具体过程为：

1)采用图像增强方法对瓦片图像进行预处理；

2)选取22层的GoogleNet网络架构作为基于深度学习CNN的分类网络；

3)基于迁移学习的分类模型训练，通过现有植物分类识别模型，充分利用瓦片图片与植物识别模型中特征的相似性，得到含有中药材植物的目标图片。

本发明由于采取以上技术方案，其具有以下优点：1、本发明在瓦片生成阶段采用高斯金字塔式的分层方式将区域图像分割成图像瓦片；在瓦片分类阶段采用基于深度学习卷积神经网络(CNN)，辅助以图像增强的图像预处理的分类方法来解译图片，并通过累加目标图片的面积来统计总面积，统计准确，特别对于分布面积广而又面积零散的药用植物，可以将很小面积的区域也统计进来，提高统计结果整体准确度。2、本发明将无人机技术应用于中药材资源调查中，与传统的人工实地调查相比，提高了调查效率、减小了成本、增加了调查的准确性；与卫星遥感技术相比，减小了获取高分辨率图像的成本，减小了云层等环境因素的影响，能实时、快速的获得较大范围的地面数据。3、本发明在图像分类阶段针对无人机拍摄的地标物体可能出现模糊的特点，对样本图进行了高斯模糊处理，扩大了样本数量，增强了识别模型的鲁棒性。本发明可以广泛应用于中药材种植面积的统计中。

附图说明

图1是本发明基于无人机遥感数据的中药材种植面积自动统计方法的流程图；

图2是本发明的高斯金字塔的采样过程示意图；

图3是本发明多层卷积神经网络图像瓦片识别模型图。

具体实施方式

以下结合附图来对本发明进行详细的描绘。然而应当理解，附图的提供仅为了更好地理解本发明，它们不应该理解成对本发明的限制。

如图1所示，本发明提供的基于无人机遥感数据的中药材种植面积自动统计方法，包括以下内容：

1、通过无人机低空采集种植中药材的遥感数据，其中，无人机遥感数据包括无人机原始图像和像控点，其中，在测绘中像控点是在工作中要反复查看地面目标和对照影像，选择野外的实地位置和像片的影像位置都可以明确辨认的点，像控点就像测量中的控制点，一般布设在航向旁向重叠的公共区域中达到公用的目的，从而减少成本。

无人机沿预设航向自主飞行并自动对中药材种植区进行高清图像、GPS等信息的采集。无人机采集的图像需要满足一定的重叠率，重叠率越大，相邻图片的匹配点越多，后续自动匹配过程就越容易。无人机图像的地面分辨率由无人机的飞行高度决定，是衡量无人机图像能有差别地区分开相邻两个地物的最小距离的能力，该指标与航高的关系如式(1)：

式中：GSD为地面分辨率，单位为mm；a为像元尺寸，单位为mm；H为航高，单位为mm；f为摄影镜头焦距，单位为mm。

像控点用于参与空三加密计算，以获得具有高精度的航测结果。像控点测量通常在测区选择特征点进行实地测量，得到像控点精确的坐标和高程信息，像控点可以选择斑马线拐角、房角、墙角等地物特征点。

2、采用现有正射影像处理软件对输入的无人机原始图像和像控点进行处理生成数字正射影像图，生成数字正射影像图的关键步骤是空三加密，即利用已知像点坐标和大地坐标的像控点和影像连接点的像点坐标，通过平差计算求解影像连接点的大地坐标与影像的外方位元素，利用空三加密成果可创建测区三维立体模型，并求出数字高程模型(DEM)，该模型是以高程表达地面起伏形态的数字集合，可用于地貌形态分析、表面覆盖面积统计等，利用DEM进一步可以计算得到数字正射影像图(DOM)。其中，影像连接点是指在两张或多张图像中出现的同一点，通常是容易识别的特征点。影像的外方位元素决定了相机在拍摄瞬间的位置和姿态，可表示为(X,Y,Z,ω,κ)，其中，X，Y，Z代表摄影中心在地面坐标系中的坐标，ω,κ描述摄影光束空间姿态的三个角元素，ω为旁向倾角，为航向倾角，κ为像片旋角。目前常用的正射影像处理软件有Pix4D、Inpho、Opendronemap、PixelGrid等。

3、瓦片生成，即通过分层方式将数字正射影像图分割成瓦片图像，具体为：将数字正射影像图拆分成图像金字塔，且图像金字塔每层对应地面面积相同，图像金字塔来源于同一张原始图像，顶部是低分辨率的近似，图像金字塔的层级越高图像越小，分辨率越低。相邻两个层级，低一层瓦片数是高一层的四倍，且不同层瓦片图像像素大小相同。

如图2所示，本发明在生成瓦片地图中使用高斯金字塔对数字正射影像进行分层切分，高斯金字塔是图像金字塔的一种，其在处理过程中，先通过低通滤波器对原图像进行平滑处理，然后对这个平滑图像进行向下采样得到一系列尺寸缩小或放大的图像，设源图像为g₀，则金字塔第l层是由l-1层图像g_l-1获得，其数字表达式为:

其中，0＜l＜N，0≤i＜G_l，0≤j＜R_l，g_l(i,j)表示高斯金字塔第l层第i行、第j列的像素，G_l和R_l分别是高斯金字塔图像第l层的行数和列数，N表示高斯金字塔总层数，第l层图像的水平宽度和垂直高度分别是G_l和R_l，且G_l＝G_l-1/2，R_l＝R_l-1/2，w(m,n)为高斯低通滤波器模板，是一个二维可分离的5×5函数窗口，m和n分别为函数窗口的行标和列标。

4、采用深度学习卷积神经网络(CNN)对瓦片进行分类，得到含有中药材植物的目标图片。

图像分类技术的核心是图像特征的提取和分析，从图像的特征展示层面来分类，传统的图像表示方法采用了精细的人工设计的特征，例如SIFT特征等，在词袋模型、特征池化等特征操作的基础上，利用经典的分类器像SVM以及随机森林(Random Forests)进行图像的分类识别，另一种图像特征的展示方式为深度网络模型自动学习的图像特征。其中，基于深度学习卷积神经网络(CNN)的分类模型相比传统模型具有更高的准确率。

本发明采用的基于深度学习卷积神经网络(CNN)分类方法中，CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。深度学习在图像分类和识别领域取得巨大进步的主要原因在于深度卷积神经网络是通过训练数据自动学习特征。本发明使用的基于深度学习CNN的图像瓦片识别模型是基于大量人工标定的样本数据集进行训练得到的，其中样本图片质量和数量都会对模型的优劣产生直接影响。不同的任务背景下，可以通过图像的几何变换增加输入图片的数量和质量，得到更精准的识别效果。本发明中针对无人机拍摄地表物体可能出现模糊的特点，对样本图像进行了高斯模糊处理，扩大了样本数量，增强了识别模型的鲁棒性。

根据中药材植物类型选择合适层级的瓦片作为深度学习卷积神经网络算法的输入，选择方法为：对于乔木和灌木植物，选择平均每张瓦片图片内包含3到5株目标植物的层级；对于草本植物，选择人眼能够通过瓦片图片识别目标植物的层级。本发明采用深度学习卷积神经网络(CNN)对瓦片进行分类，得到含有中药材植物的目标图片的具体步骤如下：

1)瓦片图像的预处理

采用图像增强的手段进行瓦片图片样本集的丰富，包括图像亮度、饱和度、对比度的变化，图像翻转、随机裁切、旋转/仿射变换，加入高斯噪声和模糊处理。在进入CNN训练之前，随机选取多种上述图像增强方法，使得样本集中瓦片图片得到不同角度的增强，增强模型的泛化能力。

2)基于深度学习CNN的分类网络选取

训练瓦片识别模型的深度学习网络采用22层的GoogleNet网络架构，通过Inception的方法，在不大幅度增加运算量的情况下，加深网络层，得到图片更深层的感知特征。训练网络采用的Inception结构，这是一种高效表达特征的稀疏性结构。增加了多种核1x1，3x3，5x5，还有直接max pooling的，但是如果简单的将这些应用到特征空间上的话，这些卷积核级联起来的特征空间厚度将会很大，在3x3前，5x5前，max pooling后分别加上了1x1的卷积核起到了降低图片特征空间厚度的作用

3)基于迁移学习的分类模型训练

本发明采用迁移学习的方法，通过现有的植物分类识别模型，充分利用瓦片图片与植物识别模型中特征的相似性，得到含有中药材植物的目标图片，提升模型的识别精度，具体操作为：在采用的GoogleNet模型中，将最终全连接层后的softmax层分类输出类别改为2，即训练瓦片图片的二分类模型，同时将softmax层之前的全连接层的学习率提高10倍，使得网络能够提升对瓦片图片深层特征的认知效果。训练核心参数如下，基础学习率为0.01，采用“step”的学习策略，学习率衰减gamma值为0.2。

5、面积计算：图像分类后，累加目标图片中含有中药材植物的瓦片图像面积得到该区域内中药材植物总的分布面积。

下面通过具体实施例详细说明本发明的基于无人机遥感数据的中药材种植面积自动统计方法。

本实施例采用无人机在山东省临沂市平邑县取得的实际图像，经处理后生成大量瓦片图像，形成训练集和验证集。训练集共有11380张图片，验证集共有61490张图片。

训练中的CNN模型采取的是由Christian等人提出的GoogleNet模型，并以ImageNet为数据集进行训练后的模型作为初始化网络参数。对于新加入的全连接层，通过高斯分布G(μ,σ)(μ＝0,σ＝0.01)对其参数进行随机初始化。利用深度学习领域中广泛采用的随机梯度下降(Stochastic Gradient Descent，简称SGD)算法对网络进行微调(momentum＝0.9，weight decay＝0.0005)。同时，在微调过程中对每层的输出采用了比率为0.5的drop-out操作用于防止过拟合。本实施例对每个数据集执行了50000轮的微调，其中，每微调2000轮将每层的学习速率降低为原来的十分之一。训练中主要采用了深度学习的开发库Caffe和12GB的NVIDIA GTX Titan GPU。经过训练，针对校验集的识别准确率达到97％。

利用训练所得模型对山东省平邑县裴家沟村金银花种植区域进行金银花自动面积统计和人工面积统计对比实验。

人工统计采用1人次，自动统计采用个人笔记本电脑，配置如下：CPU：i7 4790；内存：16G DDR3；显卡：GTX1060；硬盘：1T机械硬盘。实验结果表明，自动统计结果与人工标识结果图斑吻合度高(重叠率94.6％)，且人工统计漏掉的零散分布的金银花，在自动统计中能够被统计进去。最终的统计结果如表1。

表1人工统计和自动统计对比表

类型	区域总面积	金银花种植面积	完成统计所用时间
				人工统计	2490亩	557.16亩	约6小时
自动统计	2490亩	565.27亩	33分钟

上述各实施例仅用于说明本发明，其中方法的实施步骤等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。

Claims (6)

1.一种基于无人机遥感数据的中药材种植面积自动统计方法，其特征在于包括以下内容：

通过无人机采集种植中药材的遥感数据；其中，所述遥感数据包括无人机原始图像和像控点；

对输入的无人机原始图像和像控点进行处理生成数字正射影像图；

将生成的数字正射影像图拆分成图像金字塔得到一系列瓦片；

采用深度学习卷积神经网络对瓦片进行分类，得到含有中药材植物的目标图片；

累加目标图片中含有中药材植物的瓦片图像面积得到该区域内中药材植物总的分布面积。

2.根据权利要求1所述的方法，其特征在于，对输入的无人机原始图像和像控点进行处理生成数字正射影像图的具体过程为：通过正射影像处理软件利用已知像点坐标和大地坐标的像控点和影像连接点的像点坐标，通过平差计算求解影像连接点的大地坐标与影像的外方位元素，利用空三加密成果创建测区三维立体模型，得到数字正射影像图；其中，影像连接点是指在两张或多张图像中出现的同一点，影像的外方位元素决定了无人机在拍摄瞬间的位置和姿态。

3.根据权利要求1所述的方法，其特征在于，图像金字塔底层是分辨率最高的图像，顶层是分辨率最低的图像，每层代表的总面积相同。

4.根据权利要求1所述的方法，其特征在于，图像金字塔采用高斯金字塔，高斯金字塔在生成瓦片的过程中，首先通过低通滤波器对无人机原始图像进行平滑处理，然后对平滑后图像进行向下采样得到一系列图像，假设源图像为g₀，则高斯金字塔第l层是由l-1层图像g_l-1获得，其数字表达式为：

其中，0＜l＜N，0≤i＜G_l，0≤j＜R_l，g_l(i,j)表示高斯金字塔第l层第i行、第j列的图像，G_l和R_l分别是高斯金字塔图像第l层的行数和列数，N表示高斯金字塔总层数，第l层图像的水平宽度和垂直高度分别是G_l和R_l，且G_l＝G_l-1/2，R_l＝R_l-1/2，w(m,n)为高斯低通滤波器模板，是一个二维可分离的5×5函数窗口，m和n分别为函数窗口的行标和列标。

5.根据权利要求1所述的方法，其特征在于，根据中药材植物类型选择合适层级的瓦片作为深度学习卷积神经网络算法的输入，选择方法具体为：对于乔木和灌木植物，选择平均每张瓦片图片内包含3到5株目标植物的层级；对于草本植物，选择人眼能够通过瓦片图片识别目标植物的层级。

6.根据权利要求1所述的方法，其特征在于，用深度学习卷积神经网络对瓦片进行分类，得到含有中药材植物的目标图片的具体过程为：

1)采用图像增强方法对瓦片图像进行预处理；

2)选取22层的GoogleNet网络架构作为基于深度学习CNN的分类网络；

3)基于迁移学习的分类模型训练，通过现有植物分类识别模型，充分利用瓦片图片与植物识别模型中特征的相似性，得到含有中药材植物的目标图片。