CN106951836B - 基于先验阈值优化卷积神经网络的作物覆盖度提取方法 - Google Patents

Abstract

本发明应用于图像分割和农业气象观测领域，具体涉及图像特征提取与识别。研究基于深度学习的作物与背景的自动分割问题，提出基于RGB和HSI先验阈值优化卷积神经网络(RGB‑HSI‑CNN)的作物图像分割提取覆盖度方法，保留绿色植物的边缘并解决光照等影响，区分作物与杂草及土地，得到绿色作物的覆盖度。具体步骤：1、基于RGB、HSI阈值限定的图像预处理；2、训练样本集、验证样本集及测试样本集的制作；3、基于卷积神经网络的作物图像分割算法；4、分割评价。

Description

基于先验阈值优化卷积神经网络的作物覆盖度提取方法

技术领域

本发明应用于图像分割和农业气象观测领域，具体涉及图像特征提取与识别。研究基于深度学习的作物与背景的自动分割问题，提出基于RGB和HSI先验阈值优化卷积神经网络(RGB-HSI-CNN)的作物图像分割提取覆盖度方法，保留绿色植物的边缘并解决光照等影响，区分作物与杂草及土地，得到绿色作物的覆盖度。

背景技术

农作物生长观测是农业气象观测的一个重要部分，通过对作物特征参数的观测可及时了解作物的生长状况，便于采取各种管理措施，从而保证作物的正常生长。目前我国农业气象观测依然主要依靠地面观测人员按照《农业气象观测规范》中的标准对农作物进行实地取样测量来完成，农业气象现代化建设相对滞后，迫切需要提高地面观测及农业气象的自动化观测能力。

作物的覆盖度是其生长过程中重要生长参数，它们直接或间接地反映了环境对作物综合影响的结果，也对作物的其它生长特征参数和产量具有一定的指向作用。计算机视觉的出现，一定程度上解决了这个问题，自20上世纪50年代出现至今，已广泛应用于该领域。

1997年，Slaughter等研究基于色相计算机视觉技术的农业栽培建成自动控制系统用来除去田地里的杂草,并于两年后根据植物形状特征的差异识别作物和杂草，研制出智能杂草控制系统，以便对杂草进行精准喷施，Lukina等提出植被覆盖比例的概念，并找到了小麦冠层覆盖度与冬小麦冠层生物量之间的数学关系。1998年，纪寿文等采用双峰法滤除了土壤背景,根据杂草投影的面积、叶长、叶宽等与作物的特征差异，确定了其位置，对生长后期的玉米和棉花田间的单子叶杂草进行了识别。2004年，毛文华等依靠形状分析法分辨杂草信息，确定其位置后对水稻田中的杂草进行了在线的识别研究，并于2005年根据植物的位置来识别作物苗期田间杂草，建立了基于机器视觉的分割苗期田间杂草的算法DBW。2007年，毛罕平等引入颜色特征和颜色阈值，并结合贝叶斯理论，提高了杂草图像的分割精度，Tellaeche等在根据已知作物位置的前提下，利用颜色特征将背景和杂草分离。2015年，何姣以棉花为实验样本，将其覆盖度与人工观测的叶面积指数、植株高度所结合，得参数之间的数学关系并建立了关系模型。

但这些算法均存在计算精度相对较低、跨算法运算等问题，随着深度学习2012年之后在计算机视觉领域的爆发，这些问题也得以解决。2014年，黄永祯等通过对ImageNet库上图像分类任务中Alex Krizhevsky提出的AlexNet网络进行微调(fine-tuning)得到的卷积神经网络解决了人物的前景与背景分割问题。2016年，贺娇瑜等首次利用卷积神经网络、超像素优化的卷积神经网络以及全卷积神经网络将气象观测中毫米波云雷达图的图像分割问题转化为对毫米波云雷达图像的像素及区域间关系的二分类识别问题，作为毫米波云图像的云分类系统的滤波模块。

综上所述，传统的作物分割提取覆盖度算法需要复杂的跨算法运算处理且精读较低，还需要手工提取特征用来分割或是通过阈值判断进行分割等。本发明研究基于深度学习的作物与背景的自动分割问题，提出基于RGB和HSI关系阈值优化卷积神经网络的作物图像分割提取覆盖度方法。首先利用RGB先验阈值分割法对作物图进行初分割，保留作物主体和杂草，去除土地背景，再通过HSI阈值分割法保留绿色植物的边缘并解决光照等影响，最后将图像输入为区分作物与杂草及土地背景颜色、梯度特征而生成的卷积神经网络分类器模型中，利用分类结果对图像进行分割，将三个步骤所得的图像结合起来，得到最后的覆盖度分割图，同时解决了杂草检测及覆盖度提取的任务。

发明内容

本发明的目的是提供一种基于RGB和HSI先验阈值优化的卷积神经网络的作物图像分割提取覆盖度方法，用于解决传统的先验阈值分割法受作物图像中存在的田间杂物、下过雨或施肥后的土地以及光照阴影影响比较大而存在误分割的问题，如图1所示，其对于农作物病虫草害中作物间存在的杂草也会很难判断，(a)、(c)为待分割的原图，(b)、(d)为利用传统的先验阈值分割法分割后得到的结果图，可以看出图(a)中的设备阴影没有被分区分开，图(c)中由于施肥后受影响的土地也没有被区分开,所以我们希望提出一种能够利用图像特征解决绿色植物分割的方法。针对这些误分割现象，我们希望将已经趋于成熟的深度学习，应用于农业气象观测中作物覆盖度的提取检测生长状态以及农作物病虫草害的识别、监测与防治领域。首先利用较为严格的RGB阈值保留作物主体和杂草，再通过可以在一定程度上解决光照影响的HSI阈值保留绿色植物边缘和视觉上较为特殊的土地和杂物，最后利用卷积神经网络对之前保留下来的所有像素点逐一进行图像分类，结合分类结果对图像进行分割，得到覆盖度分割图，算法流程图如图2所示,卷积神经网络结构如图3所示。

下边介绍一下这种作物图像分割方法的具体步骤：

1、基于RGB、HSI阈值限定的图像预处理：

本方法意在解决算法的效率问题，通过先验阈值分割保留需要通过卷积神经网络来判断的像素点，将以往对图像中全部像素点一一处理转化为对一部分需要进行判断的像素点进行处理，在一定程度上解决了对整张图像的所有像素点进行逐一分类造成的低效率问题，使算法更高效、准确。

由于农业气象观测图像中，大多数情况作物和杂草像素RGB值的绿色分量与红色分量的差要多于土地背景的，所以我们首先设定一个严格阈值。当像素关系满足该阈值时，该像素点属于作物的可能性更大，我们需要将保留，通过这个步骤就可以保留作物主体和杂草，去除土地背景。

在很多情况下，阳光照在作物的边缘，会造成其反射较强的光，此时作物的边缘的亮度较大；同样，若作物之间存在着当条件，则会造成阴影影响，此时作物的边缘亮度较小，这两种情况的出现，使得RGB阈值并不能够很好地将前景与背景区分，而将RGB转化为HSI空间，我们需要再设定一个较为宽泛的阈值。

这样，我们就将完成了算法中的预处理工作，将绿色植物(包含作物、杂草以及一些杂物等)与土地分割出来了，如图4所示，通过RGB先验阈值分割可以得到的作物主体，通过HSI阈值分割法则能保留的绿色植物边缘，其余的像素点均作为图像的背景，不再参与后续的算法运算，这样在一定程度上解决了对整张图像的所有像素点进行逐一分类造成的低效率问题，使算法更高效、准确。

2、训练样本集、验证样本集及测试样本集的制作

我们提取图像的颜色、形状及梯度等特征，利用卷积神经网络训练分类器，将问题转化为对图像进行前景(作物)和背景(杂草、土壤)的二分类，利用分类结果进行分割。

本发明的数据集主要有训练样本集、验证样本集及测试样本集三个方面。这三方面的制作原理完全相同，只是选取的数据范围有差异，故我们只对其中一种的获取方式做详细的介绍：

由于作物观测图是利用河北固城观象台试验站图像分辨率为1700万像素的CanonEOS 1200D单反相机拍摄的观测图，没有公开的数据集，所以我们需要制作groundtruth图作为训练CNN网络时候的监督信号，具体预处理操作如下：

(1)生成groundtruth。如图5所示，(a)为原始作物观测图，(b)为利用Photoshop等画图软件手工将观测图像中前景和背景区域以分别以白颜色和黑颜色区分后标注的原始作物观测图所对应的groundtruth。我们需要从作物图像中选择不同的生长阶段的若干张图像，并选中与之对应的groundtruth图，用于下一步的CNN网络训练和测试样本集的生成。

(2)图像尺寸调整。为了消除在裁剪和采集训练集图像时，图像边缘的影响，从而使实验能够采集到整张图像任何位置的区域，我们首先对作物观测图像的边界进行了延伸，即为尺寸为W*H的云图像增加了D/2个像素的背景图像边界，此时图像变为(W+D)*(H+D)。

(3)样本集的采集和生成。训练样本集和验证样本集是对带有groundtruth的不同生长阶段W*H大小的作物观测图进行处理；测试样本集则是对更多一部分的处理，由于三个样本集采集方法几乎完全一致，故我们不再赘述。具体操作如下：

a.以图像中的每个像素点p为中心截取其邻域关系的子图C1，图像的尺寸为D×D，形成包含该像素点颜色、形状、梯度等特征的图像，根据标签图中该点的分类情况制作标签。

b.对于a中的每一个像素点p，我们都可以在其所对应的groundtruth图中找到对应的像素点p’，并制作格式为“绝对路径/图像名称标签属性”的标签，其中每个像素点的标签属性前景或背景，用1或0表示。

c.对于训练集合和验证集合的所有图像，我们需要保留其标签文本文件，训练集合作为训练CNN网络时候的监督信号，验证集合用于检验我们的网络模型的准确程度；而对于测试集，我们不需要生成标签，但是需要利用其groundtruth图与分割结果图进行对比，来评价方法的客观性。需要注意的是为了客观验证网络的准确性，三个样本集合之间应当不相交。

3、基于卷积神经网络的作物图像分割算法

本发明采用的卷积神经网络结构如图3所示，该分类器是利用自己构造的训练集和测试集，对ImageNet这个数据量为千万级的图像数据库中的图像，在由Krizhevsky提出的AlexNet网络进行微调得到的。当然我们也可以拿几千张或者几万张图像来训练一个属于我们这个领域自己的网络模型，但是训练新的网络是比较复杂的，而且参数不好调整，数据量也远远不能达到ImageNet的等级，因此微调就是一个比较理想的选择。

该网络由5个卷积层、2个全连接层和1个softmax层组成，层1、层2和层5加入了pooling层，相当于是在五层卷积层的基础上再加上一个三层的全连接神经网络分类器。层8的神经元个数是2个，相当于实现前景和背景的2分类。系统由三个五层卷积网络构成，卷积层的第一、第二、第五层是按照Krizhevsky等人进行初始化的。

我们筛选步骤(3)中生成的数据集，选取了背景(地面和杂草)、前景(作物)各若干张作为训练集，背景(地面和杂草)、前景(作物)各若干张作为验证集，以此数据集对此卷积神经网络做训练，用图5中的参考图生成的标签作为监督信号，进行微调。

当网络的训练参数趋于平稳,且模型准确率超过95％的时候，我们可以将测试的图像输入到我们训练好的卷积神经网络中来预测每个像素点的标签，最后结合分类结果得到的分割结果图。

4、分割评价

我们选取了若干张图像作为训练集，若干张图像作为验证集，进行微调网络训练，其中验证集的图像与训练集独立，不参与训练，得到模型准确度98.3％。

我们对比了基于传统先验阈值分割法(左)和本文的方法(右)，如图6所示，可以看出来本方法对于作物的边缘以及光照情况都有很好的分割效果，而传统的先验阈值分割法会将作物的边缘全部分割掉。

为了验证本发明的客观性，还采用像素误差的评价方法来衡量分割结果。像素误差反映了分割图片与原始标签的像素相似度，其计算方法是统计给定待测的分割标签L中每一个像素点以及其真实的数据标签L’中每一个像素点的汉明距：

E_pixcel＝||L-L’||² (2)

按照这种方法，本发明试验于10张作物观测图上，得到了97.53％的像素误差。

综上所述，该方法的优点体现在以下三点：

1)作物图分割是判别作物前景和以土地和杂草为主的背景边界的二分类方法。

2)结合了传统阈值分割法，避免了对图像中所有像素点进行运算而造成的效率较低运算时间较长的缺点，同时提高了分割的精确性，达到了传统阈值分割法不能区分作物与杂草的缺陷。

3)基于RGB和HSI先验阈值法优化的卷积神经网络的提出，将作物的分割准确度达到了97.53％，为作物覆盖度的获取提供了有力支持。

附图说明

图1为本发明中的原始云图像示例：

(a)、(c)待分割原图，

(b)、(d)利用传统的先验阈值分割法结果图

图2为本发明所设计的分割框架；

图3为本发明采用的卷积神经网络结构；

图4为阈值法效果示意图：

(a)、(c)待分割原图，

(b)、(d)分别利用RGB和HSI先验阈值分割法对应结果图

图5为原始图像与其标签参考图：

(a)原始图像,

(b)标签参考图

图6为基于传统先验阈值分割法和本文的方法的对比：

(a)基于传统先验阈值分割法结果

(b)本文的方法的结果

具体实施方式

本发明将先验阈值分割与卷积神经网络结合，提供了一种基于RGB和HSI先验阈值法优化的卷积神经网络(RGB-HSI-CNN)的作物图像分割提取覆盖度方法。该发明的实现步骤如下：

1、基于RGB、HSI阈值限定的图像预处理：

本方法意在解决算法的效率问题，通过先验阈值分割保留需要通过卷积神经网络来判断的像素点，将以往对图像中全部像素点一一处理转化为对一部分需要进行判断的像素点进行处理，在一定程度上解决了对整张图像的所有像素点进行逐一分类造成的低效率问题，使算法更高效、准确。

由于农业气象观测图像中，大多数情况作物和杂草像素RGB值的绿色分量与红色分量的差要多于土地背景的，所以我们首先设定一个严格阈值:

其中，标注为1的像素对应于前景，标注为零的像素则对应背景，由公式可知，当像素点的绿色分量与红色分量之差大于16且绿色分量大于48时，该点偏绿色，属于作物的可能性更大，我们需要将保留，这样就可以保留作物主体和杂草，去除土地背景。

在很多情况下，阳光照在作物的边缘，会造成其反射较强的光，此时作物的边缘的亮度较大；同样，若作物之间存在着当条件，则会造成阴影影响，此时作物的边缘亮度较小，这两种情况的出现，使得RGB阈值并不能够很好地将前景与背景区分，而将RGB转化为HSI空间，我们需要再设定一个较为宽泛的阈值:

60°<H<150°

这样，我们就将完成了算法中的预处理工作，将绿色植物(包含作物、杂草以及一些杂物等)与土地分割出来了，如图4所示，通过RGB先验阈值分割可得到的作物主体，通过HSI阈值分割法则可以保留的绿色植物边缘，其余的像素点均作为图像的背景，不再参与后续的算法运算，这样在一定程度上解决了对整张图像的所有像素点进行逐一分类造成的低效率问题，使算法更高效、准确。

2、训练样本集、验证样本集及测试样本集的制作

我们提取图像的颜色、形状及梯度等特征，利用卷积神经网络训练分类器，将问题转化为对图像进行前景(作物)和背景(杂草、土壤)的二分类，利用分类结果进行分割。

本发明的数据集主要有训练样本集、验证样本集及测试样本集三个方面。这三方面的制作原理完全相同，只是选取的数据范围有差异，故我们只对其中一种的获取方式做详细的介绍：

由于作物观测图是利用河北固城观象台试验站图像分辨率为1700万像素的CanonEOS 1200D单反相机拍摄的观测图，没有公开的数据集，所以我们需要制作groundtruth图作为训练CNN网络时候的监督信号，具体预处理操作如下：

(1)生成groundtruth。如图5所示，(a)为原始作物观测图，(b)为利用Photoshop等画图软件手工将观测图像中前景和背景区域以分别以白颜色和黑颜色区分后标注的原始作物观测图所对应的groundtruth。我们需要从作物图像中选择不同的生长阶段的若干张图像，并选中与之对应的groundtruth图，用于下一步的CNN网络训练和测试样本集的生成。

(4)图像尺寸调整。为了消除在裁剪和采集训练集图像时，图像边缘的影响，从而使实验能够采集到整张图像任何位置的区域，我们首先对作物观测图像的边界进行了延伸，即为尺寸为4272*2848的云图像增加了28个像素的背景图像边界，此时图像变为4328*2904。

(5)样本集的采集和生成。训练样本集和验证样本集是对带有groundtruth的不同生长阶段4272*2848大小的作物观测图进行处理；测试样本集则是对更多一部分的处理，由于三个样本集采集方法几乎完全一致，故我们不再赘述。具体操作如下：

d.以图像中的每个像素点p为中心截取其邻域关系的子图C1，图像的尺寸为57*57，形成包含该像素点颜色、形状、梯度等特征的图像，根据标签图中该点的分类情况制作标签。

e.对于a中的每一个像素点p，我们都可以在其所对应的groundtruth图中找到对应的像素点p’，并制作格式为“绝对路径/图像名称标签属性”的标签，其中每个像素点的标签属性前景或背景，用1或0表示。

f.对于训练集合和验证集合的所有图像，我们需要保留其标签文本文件，训练集合作为训练CNN网络时候的监督信号，验证集合用于检验我们的网络模型的准确程度；而对于测试集，我们不需要生成标签，但是需要利用其groundtruth图与分割结果图进行对比，来评价方法的客观性。需要注意的是为了客观验证网络的准确性，三个样本集合之间应当不相交。

3、基于卷积神经网络的作物图像分割算法

本发明采用的卷积神经网络结构如图3所示，该分类器是利用自己构造的训练集和测试集，对ImageNet这个数据量为千万级的图像数据库中的图像，在由Krizhevsky提出的AlexNet网络进行微调得到的。当然我们也可以拿几千张或者几万张图像来训练一个属于我们这个领域自己的网络模型，但是训练新的网络是比较复杂的，而且参数不好调整，数据量也远远不能达到ImageNet的等级，因此微调就是一个比较理想的选择。

该网络由5个卷积层、2个全连接层和1个softmax层组成，层1、层2和层5加入了pooling层，相当于是在五层卷积层的基础上再加上一个三层的全连接神经网络分类器。层8的神经元个数是2个，相当于实现前景和背景的2分类。系统由三个五层卷积网络构成，卷积层的第一、第二、第五层是按照Krizhevsky等人进行初始化的。

我们筛选步骤(3)中生成的数据集，选取了200张出苗期的地面、300张三叶期、七叶期、拔节期的地面和杂草作为背景的训练集，215张出苗期的作物、330张三叶期的作物、300张七叶期的作物、300张拔节期的作物作为前景的训练集，60张出苗期地面、100张三叶期、七叶期、拔节期的地面和杂草作为背景的验证集，90张出苗期的作物、130张三叶期的作物、120张七叶期的作物、100张拔节期的作物作为前景的验证集，以此数据集对此卷积神经网络做训练，用图5中的参考图生成的标签作为监督信号，进行微调，计算迭代次数为5000次，学习率为0.00001。

当网络的训练参数趋于平稳,且模型准确率超过95％的时候，我们可以将测试的图像输入到我们训练好的卷积神经网络中来预测每个像素点的标签，最后结合分类结果得到的分割结果图。

4、分割评价

我们选取了1645张图像作为训练集，600张图像作为验证集，进行微调网络训练，迭代5000次，其中验证集的图像与训练集独立，不参与训练，得到模型准确度98.3％。

我们对比了基于传统先验阈值分割法(左)和本文的方法(右)，如图6所示，可以看出来本方法对于作物的边缘以及光照情况都有很好的分割效果，而传统的先验阈值分割法会将作物的边缘全部分割掉。

为了验证本发明的客观性，还采用像素误差的评价方法来衡量分割结果。像素误差反映了分割图片与原始标签的像素相似度，其计算方法是统计给定待测的分割标签L中每一个像素点以及其真实的数据标签L’中每一个像素点的汉明距：

E_pixcel＝||L-L’||² (2)

按照这种方法，本发明试验于10张作物观测图上，得到了97.53％的像素误差。

Claims (1)

1.基于先验阈值优化卷积神经网络的作物覆盖度提取方法，其特征在于：

首先利用RGB先验阈值分割法对作物图进行初分割，保留作物主体和杂草，去除土地背景，再通过HSI阈值分割法保留绿色植物的边缘并解决光照影响，最后将图像输入为区分作物与杂草及土地背景颜色、梯度特征而生成的卷积神经网络分类器模型中，利用分类结果对图像进行分割，将三个步骤所得的图像结合起来，得到最后的覆盖度分割图，同时解决了杂草检测及覆盖度提取的任务；

首先利用RGB先验阈值分割法对作物图进行初分割，保留作物主体和杂草，去除土地背景，再通过HSI阈值分割法保留绿色植物的边缘并解决光照影响，具体如下：

首先设定一个阈值:

其中，标注为1的像素对应于前景，标注为零的像素则对应背景，由公式可知，当像素点的绿色分量与红色分量之差大于16且绿色分量大于48时，该点偏绿色，属于作物的可能性更大，需要保留，这样保留作物主体和杂草，去除土地背景；

将RGB转化为HSI空间，需要再设定以下阈值:

60°<H<150°

将绿色植物与土地分割出来了，通过RGB先验阈值分割得到的作物主体，通过HSI阈值分割法保留的绿色植物边缘，其余的像素点均作为图像的背景，不再参与后续的算法运算；

基于卷积神经网络的作物图像分割具体为：

该网络由5个卷积层、2个全连接层和1个softmax层组成，层1、层2和层5加入了pooling层，相当于是在五层卷积层的基础上再加上一个三层的全连接神经网络分类器；层8的神经元个数是2个，相当于实现前景和背景的2分类；系统由三个五层卷积网络构成；

将测试的图像输入到训练好的卷积神经网络中来预测每个像素点的标签，最后结合分类结果得到的分割结果图。