CN111259898B

CN111259898B - 基于无人机航拍图像的农作物分割方法

Info

Publication number: CN111259898B
Application number: CN202010018459.XA
Authority: CN
Inventors: 王云江; 肖卓彦; 石莎; 贺斌; 熊星宇
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2020-01-08
Filing date: 2020-01-08
Publication date: 2023-03-24
Anticipated expiration: 2040-01-08
Also published as: CN111259898A

Abstract

本发明公开一种航拍图像的农作物分割方法，主要解决现有技术分割精度低及不能对农作物分割场景进行特定设计和优化的问题。其方案为：1)对原始的航拍图像进行标注，生成对应标签图像；2)由原始的航拍图像和标签图像生成图像的训练集和验证集；3)使用多尺度空洞卷积层模块和空间池化层模块搭建农作物图像语义分割网络模型，并利用训练集和验证集对其训练，得到训练好的农作物图像语义分割网络模型；4)将待测试的农作物航拍图像输入到训练好的农作物图像语义分割网络模型中进行预测，获得背景、人造建筑及不同种类农作物的分割结果。本发明能获取更大感受野和多尺度的特征，提高了航拍场景下的图像分割精度，可用于对农作物分布种类的识别。

Description

基于无人机航拍图像的农作物分割方法

技术领域

本发明属于图像处理技术领域，具体涉及一种航拍图像的农作物分割方法，可用于解对农作物分布种类的识别。

背景技术

无人机航拍系统是快速获取数字影像的重要途径之一。无人机航拍系统是卫星航拍和航空航拍的有益补充，具有其他航拍手段无法比拟的独特优势，无人机航拍系统具有的结构简单、作业成本低、获取影像快速并可实时传输等特点,使其得到了广泛的应用。

我国地区区域差异大、农作物种植结构复杂、地块破碎严重，因此在使用对地观测卫星航拍数据获取大尺度农作物数据的基础上，无人机航拍测量技术作为空间信息技术的重要组成部分，既能作为星载航拍图像的重要补充，又能有效替代人工实地调查，凭借着降低地面人工调查强度和调查成本、快速获取实时高分辨数据的优势，成为农业统计调查工作中的一大创新点，同时也是精准农业的重要方向之一，因此，基于卷积神经网络模型的语义分割方法的研究具有非常大的现实意义和应用价值。

现有专利申请《基于深度学习的无人机航拍场景语义分割方法及系统》(专利申请号CN201810508877.X，专利号公开号CN108710863A)提供了一种基于深度学习的无人机航拍场景语义分割方法，其基本流程为图像采集-训练分割网络模型-进行分割操作-保存分割结果，但是其存在以下问题：1.使用的神经网络为VGG_16模型，该模型复杂度较高，分类精度不足；2.该模型为通用场景下的语义分割没有针对农作物分割场景进行特定的设计和优化。

发明内容

本发明的目的在于针对现有技术的不足，提出一种基于无人机航拍图像的农作物分割方法，以降低计算复杂度，提高分割精度；

为实现上述目的，本发明的技术思路是：对当前卷积神经网络模型的结构进行改进，并根据农作物的具体情况，对卷积神经网络模型中的参数进行特定的调优，达到对分割精度的提高，其实现步骤包括如下：

(1)对原始的航拍图像进行标注，生成对应标签图像；

(2)生成图像的训练集和验证集：

(2a)将原始图像和标签图像均切割为分辨率为512×512的图像；

(2b)将切割后的图像和标签按照一一对应的关系生成图像数据集；

(2c)对生成的图像数据集进行数据增强；

(2d)将增强后的数据集按照8：2的比例进行划分，得到训练集和验证集，该训练集和验证集均包含有数据图像和标签图像；

(3)搭建农作物图像语义分割网络模型:

(3a)选择resnet34卷积神经网络作为农作物语义分割模型的骨干网络；

(3b)并行设置5个空洞卷积层与一个直连网络，其中空洞卷积层的卷积核大小均为3x3，扩张卷积率分别为1、2、4、8、16，把所有空洞卷积层和直连网络输出的相同维度的特征图逐点相加，构成到多尺度空洞卷积层；

(3c)设置池化核大小分别为2x2、3x3、5x5、6x6的四个最大池化层，在每一个最大池化层之后依次连接卷积核为1x1的卷积层和上采样插值模块，再将全部的上采样模块进行并行连接，构成空间池化层模块；

(3d)将多尺度空洞卷积层和空间池化层模块依次连接在resnet34卷积神经网络之后，构成农作物图像语义分割模型；

(4)利用训练集和验证集，采用随机梯度下降算法和基于轮数的学习策略对农作物图像语义分割网络模型进行训练，得到训练好的农作物图像语义分割网络模型；

(5)将待测试的农作物航拍图像输入到训练好的农作物图像语义分割网络模型中进行预测，获得人造建筑及不同种类农作物的分割结果。

本发明与现有技术相比，具有如下优点：

1)本发明由于采用了包含多个不同卷积核大小的多尺度空洞卷积层模块，可以在不增加计算复杂度的同时，扩大了卷积核的感受野，使通过农作物图像语义分割网络能获取到更丰富的信息，从而提高了网络的分割精度；

2)本发明由于在农作物图像语义分割网络中采用了空间池化层模块，可以对特征图进行多角度的特征提取，从而增强了农作物图像语义分割网络模型的鲁棒性，提高了分割精度。

附图说明

图1为本发明的实现流程图；

图2为本发明中构建的农作物图像语义分割网络结构示意图；

图3为图2中的多尺度空洞卷积层示意图；

图4为图2中的空间池化层示意图；

图5为本发明仿真使用的待测原始图；

图6为用本发明对图5进行的语义分割的结果图。

具体实施方式

本发明是将传统场景的语义分割网络移植到无人机航拍图像的语义分割当中，对语义分割神经网络的应用层面进行了拓展，传统场景语义分割网络就是指通常用来进行常规图像分割的网络结构，本发明借鉴了传统场景语义分割的部分网络结构并在此基础上对网络结构进行了调整，同时，对应于特定的无人机航拍图像的分割任务，对网络中的参数进行了微调，微调指根据网络训练精度，调整神经网络的学习率、衰减等参数，以及添加dropout层以降低过拟合等，使其适用于航拍影像的语义分割。

以下结合附图对本发明的实施例及效果做进一步详细描述。

参照图1，本发明的实现步骤如下：

步骤1，对原始的航拍图像进行标注，生成对应标签图像：

将航拍的原始图像上所有物体标记为预先设定好的类别，将不同类别的物体用不同的像素值进行表示，生成一张与原始图像分辨率大小相同的新图像。

本实施例的航拍图像中包含烤烟、玉米、薏仁米、人造建筑及图像背景共五类物体，每一类物体对应的类别设置如下：

烤烟标注为类别1，玉米标注为类别2，薏仁米标注为类别3，人造建筑标注为类别4，图像背景标注为类别0。

步骤2，生成图像的训练集和验证集。

(2a)将原始图像和标签图像均切割为分辨率为512×512的图像：

由于航拍图像通常具有很高的分辨率无法直接用于语义分割网络模型的训练，所以首先要先将图像进行裁剪，裁剪成合适大小的图片，本实施例中航拍原始图像分辨率大小为44343×33603，将其切割成分辨率为512x512大小的图像，确定切割后图像大小的原则是将图像大小设置为2的整数幂，例如：128×128、256×256、512×512等；

(2c)对生成的图像数据集进行数据增强:

为了增强语义分割网络模型的鲁棒性以及语义分割网络模型的分割精度，通常要对生成的图像数据集进行数据增强，数据增强的方式包括有：对图像进行裁剪、对比度变换、对图像旋转、对图像模糊处理和对图像添加噪声等多种不同手段，本实施例中，对生成的图像数据集进行数据增强，是通过对数据集中的图像随机采用旋转或模糊处理或添加噪声中的任意一种方式实现；

(2d)获取训练集和验证集：

将增强后的数据集按照比例进行划分，得到训练集和验证集，该训练集和验证集均包含有数据图像和标签图像，数据集中训练集和验证集的划分比例一般为经验性的，可以设置为8:2,7:3等，本实施例按照8：2的比例设置训练集和验证集的比例。

步骤3，搭建农作物图像语义分割网络模型。

(3a)选择resnet34卷积神经网络作为农作物语义分割模型的骨干网络，resnet34是一种通用的特征提取网络，可以提取图像中的多尺度信息；

(3b)构建多尺度空洞卷积层：

参照图3，并行设置5个空洞卷积层与一个直连网络，其中空洞卷积层的卷积核大小均为3x3，扩张卷积率分别为1、2、4、8、16；把所有空洞卷积层和直连网络输出的相同维度的特征图逐点相加，构成多尺度空洞卷积层，该多尺度空洞卷积层，可以在不增加计算复杂度的同时，扩大卷积核的感受野，使农作物图像语义分割网络能获取到更丰富的信息，从而提高了网络的分割精度；

(3c)构建空间池化层模块：

参照图4，设置池化核大小分别为2x2、3x3、5x5、6x6的四个最大池化层，在每一个最大池化层之后依次连接卷积核为1x1的卷积层和上采样插值模块，再将全部的上采样模块进行并行连接，构成空间池化层模块，该空间池化层模块可以对特征图进行多角度的特征提取，从而增强农作物图像语义分割网络模型的鲁棒性，提高分割精度；

(3d)将多尺度空洞卷积层和空间池化层模块依次连接在resnet34卷积神经网络之后，构成农作物图像语义分割模型,如图2所示。

步骤4，对农作物图像语义分割网络模型进行训练。

常用的图像语义分割网络的训练方法包括，批梯度下降算法，随机梯度下降法，基于动量的梯度下降算法等，本实施例中采用但不限于随机梯度下降算法和基于轮数的学习策略对农作物图像语义分割网络模型进行训练，其具体步骤如下：

(4a)初始化农作物图像语义分割网络的验证集最优交叉熵损失函数值为正无穷；

(4b)将训练集中的数据图像输入到农作物图像语义分割网络模型中，获得当前网络的分割结果图像；

(4c)利用分割结果图像与训练集中的标签图像，计算当前训练集上的交叉熵损失函数值；

(4d)利用训练集上的交叉熵损失函数值计算交叉熵损失函数对农作物语义分割网络中的每个权值参数的偏导数，并使用随机梯度下降算法更新网络中的权值参数值；

(4e)将验证集中的数据图像输入到当前参数的农作物语义分割网络中，计算网络在验证集上的交叉熵损失函数值，并将其与设置的验证集最优交叉熵损失函数值进行比较：

如果该交叉熵损失函数值小于设定的验证集最优交叉熵损失函数值，则更新验证集最优交叉熵损失函数值为本轮计算得到的验证集上的交叉熵损失函数值，并且保存当前网络模型，即为当前训练中的最优模型；

否则，继续执行下一轮训练过程；

(4f)重复(4b)-(4e)共300轮，结束迭代，获得训练好的农作物语义分割网络模型。

步骤5，将待测试的农作物航拍图像输入到训练好的农作物图像语义分割网络模型中进行预测，获得人造建筑及不同种类农作物的分割结果。

(5a)对农作物航拍图像进行裁剪的预处理：

本实施例的待测试图片如图5所示，首先将待测试图片裁剪为大小为512x512像素的图片，并保存裁剪后的图像在原图中的位置，同时生成一个与原图一样尺寸的全零辅助图片，用来存放预测的结果；

(5b)将裁剪后的图像依次输入到训练好的农作物图像语义分割网络模型进行预测，获取对应的预测结果；

(5c)将农作物图像语义分割网络模型的预测结果存放在相对应的辅助图片位置上，直到获取到整张全零辅助图片的预测结果，该全零辅助图片的预测结果即为获得的背景类、人造建筑和不同种类农作物的分割结果，分割结果图中每个像素存储的数值代表原始图像中该像素位置所属类别，即“烤烟”为类别1，“玉米”为类别2，“薏仁米”为类别3，“人造建筑”为类别4，“背景”为类别0。使用不同颜色对不同的类别进行标注，结果如图6所示。

图6中每一个像素都会有对应的一个标签编码，具体为0-4中的一个；实际操作中每个像素存储的标签编码可以用不同的颜色替代，颜色在可视化的时进行自定义。本实施例中定义0-灰色，1-绿色，2-天蓝色，3-紫色，4-红色。不同颜色的像素对应不同的类别，其中灰色0为背景，绿色1为烤烟，天蓝色2为玉米，紫色3为薏仁米，红色4为人造建筑。

以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然是对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims

1.一种航拍图像的农作物分割方法，其特征在于包括以下步骤：

(1)对原始的航拍图像进行标注，生成对应标签图像；

(2)生成图像的训练集和验证集：

(2a)将原始图像和标签图像均切割为分辨率为512×512的图像；

(2c)对生成的图像数据集进行数据增强；

(3)搭建农作物图像语义分割网络模型:

(5)将待测试的农作物航拍图像输入到训练好的农作物图像语义分割网络模型中进行预测，获得背景、人造建筑及不同种类农作物的分割结果。

2.根据权利要求1所述的方法，其特征在于：(1)中对原始的航拍图像进行标注，是将航拍的原始图像上所有物体标记为预先设定好的类别，将不同类别的物体用不同的像素值进行表示，最后生成一张与原始图像分辨率大小相同的新图像。

3.根据权利要求1所述的方法，其特征在于：(2c)中对生成的图像数据集进行数据增强，是通过对图像进行旋转或模糊处理或添加噪声的手段实现。

4.根据权利要求1所述的方法，其特征在于，(4)中利用训练集和验证集，采用随机梯度下降算法和基于轮数的学习策略对农作物图像语义分割网络模型进行训练，实现如下：

否则，继续执行下一轮训练过程；

5.根据权利要求1所述的方法，其特征在于，所述步骤(5)中将待测试的农作物航拍图像输入到训练好的农作物图像语义分割网络模型中进行预测，实现如下：

(5a)对待测试的农作物航拍图像进行裁剪的预处理，即将农作物航拍图像裁剪为大小为512x512像素的图片，并保存裁剪后的图像在原图中的位置，同时生成一个与原图一样尺寸的全零辅助图片，用来存放预测的结果；

(5c)将农作物图像语义分割网络模型的预测结果存放在相对应的辅助图片位置上，直到获取到整张全零辅助图片的预测结果，该全零辅助图片的预测结果即为获得的背景类、人造建筑和不同种类农作物的分割结果。