CN108647652A - 一种基于图像分类和目标检测的棉花发育期自动识别方法 - Google Patents

Abstract

一种基于图像分类和目标检测的棉花发育期自动识别方法属于农业气象观测领域。随着图像处理和深度学习技术的发展，农业气象观测方式由人工观测向自动观测转变成为可能。为了实现对棉花发育期的自动观测，本文提出了一种基于目标检测与图像分类相结合的棉花发育期自动识别方法。该方案首先观察和分析棉花各个发育期图像存在的不同特征，然后通过基于深度学习的图像分类实现三真叶期、五真叶期和现蕾期的自动识别，进一步通过深度目标检测自动检测图像中的花和棉絮，最后综合两种算法的结果，实现棉花完整发育期的自动识别。采用该方案可以实现对棉花发育期快速准确的自动识别，具有重要的应用价值。

Description

一种基于图像分类和目标检测的棉花发育期自动识别方法

技术领域

本发明应用于农业气象观测领域，具体涉及图像分类、目标检测、图像分割等计算机视觉与数字图像处理技术。该方法根据农业气象观测站所拍摄的棉花作物图像，通过检测和识别图像中的特征计算出对应的发育期。实现了对该图像中棉花作物发育期的自动识别。

背景技术

农业气象观测是农业气象业务、服务和科研的基础，对保障我国作物安全具有重要意义。发育期作为作物主要生长信息之一，是农业气象领域关注的重点。通过分析作物的发育速度和进程等情况，可以得到各发育期与气象条件之间的关系，进而为农业产业服务。传统的发育期观测需要人工根据田间作物的发育期形态等特征进行发育期判断，简单易行、观察全面，但个人主观性强、人力成本高、效率低、无法连续观测。而作物发育期的自动化观测，可以客观的掌握作物生长状况，及时开展农事活动和现代化农田管理，从而提高工作效率、增强观测资料的客观性、减少人为误差。以达到增加产量、减少投入、保护农业资源的目的。

本发明中用于观测的棉花图像由新疆乌兰乌苏农业气象站提供，有2016和2017年两次完整的棉花生长发育的观测图片，并给出了人工观测的发育期标注。图像采用固定相机拍摄，将相机固定在4米高的支架上对下面的棉花进行俯拍，一经安装，相机的高度俯角等不再变化，相机每天在固定的时间进行自动拍照。2016年图像分辨率为5184*3450像素，2017年图像分辨率为2592*1728像素。2016年共有图片972张，2017年共有观测图片948张。拍摄实际图片如图1所示。

根据农业气象观测规范对棉花各个发育期的定义如下：

出苗期：幼苗出土，两片子叶展开。

三真叶期：从主茎顶端出现完全展开的第三片真叶。

五真叶期：从主茎顶端出现完全展开的第五片真叶。

现蕾期：植株最下部果枝第一果节出现三角塔形花蕾。

开花期：植株下部果枝有花朵开放。

开花盛期：植株第4果枝上有花朵开放。

裂铃期：植株上出现正常开裂的棉铃，可见到棉絮。

吐絮期：植株上出现完全张开的棉铃，棉絮外露呈松散状态。

吐絮盛期：棉株第4果枝上有棉铃吐絮。

停止生长期：棉株幼嫩部分不再继续生长或呈凋萎状态。

根据人工标注的结果，本发明对相应发育期的观测图像进行了分析，发现许多时期并不能严格的观测到农业气象观测规范定义的特征。例如受图像分辨率限制，出苗期并不能很好的观测到两片完整展开的子叶，如图2所示。现蕾期棉花植株间出现遮挡，几乎看不到植株最下部果枝第一果节出现三角塔形花蕾，如图3所示。

由于受到观测图像本身的限制，不能完全按照农业气象观测规范定义来进行棉花发育期的判别，因此本发明根据人工标注的结果结合图像的实际特点，用其他特征来描述棉花对应的发育期。针对出苗期图片棉花幼苗按田垄呈散点分布的特点，本文采用了分布检测的方法，通过检测出苗点的数量和分布形式来判断是否进入出苗期。针对三真叶期、五真叶期、现蕾期的棉花图像植株形态发生不同改变的特点，本文采用基于深度学习的图像分类算法来对不同时期的棉花图片进行分类。针对开花期和吐絮期的棉花图像会有明显的花朵和棉絮的特点，本文采用基于深度学习的目标检测算法来检测图像中花朵和棉絮，根据对花朵和棉絮的检测结果来判断发育期。

综上所述，在传统的棉花作物发育期观测中，观测员需观察由观测站拍摄的当日作物图像，根据棉花相关特征和人为经验人工判别该图像发育期。本方法通过数字图像处理、计算机视觉技术代替人工完成了观测功能。本方法使用了图像分割、分布检测、图像分类、目标检测等计算机视觉技术与图像处理技术，解决了农业气象观测这一传统领域的自动化观测问题。通过作物图像即可识别出该图像中的作物发育期。

发明内容

为了实现对棉花发育期的自动观测，提出了一种基于图像分类和目标检测的棉花发育期自动识别方案，识别的方法流程如图4所示。该方法首先对作物图像进行分割，得到作物的覆盖度数据；针对不同发育期拥有不同覆盖度的情况，利用综合判断模块，实现自适应使用分布检测模块、图像分类模块、目标检测模块或者叠加使用这些模块，计算所需参数，进行发育期的初步识别；最后将上述的计算结果，加入相关判断逻辑，设定合理阈值参数，最后进行时序修正，即可得到最优的发育期计算结果，实现对棉花发育期快速准确的自动识别。

发育期识别方法的具体步骤：

1、棉花图像选择

根据需求选择所需检测的棉花作物图像，该图像作为本发明的输入。

2、图像分割

棉花作物的覆盖度主要由叶子的覆盖面积来体现，提取前景(感兴趣的区域如棉花植株)和背景(不感兴趣的区域如土壤和垃圾)，就可以计算出棉花的覆盖度。棉花植株的颜色特征十分明显，并且其呈现绿色与背景的土色差别较大，因此根据棉花的颜色特征，本文采用基于RGB颜色空间的彩色图像分割算法进行棉花植株的提取。针对棉花植株的绿色特征，其主要的颜色分量为G，也就是说绿色的G分量大于R分量和B分量，且R分量小于200。本文以2*G-R-B来设置阈值(threshold)进行图像分割，以result代表分割结果，1代表前景，0代表背景定义了如下的分割方式:

本文将阈值threshold设为40时，得到了如图5所示的分割结果。覆盖度(cover_rate)数值作为该模块的输出数据

3、分布检测

通过对棉花出苗期图片的观察和分析，可以发现棉花幼苗几乎是按田垄的特点呈散点分布，如图6(a)所示。对棉花出苗期的图片进行图像分割，如图6(b)所示，可以很直观的看出棉花出苗期存在近似直线分布的特征。因此，通过对图像分割后的图片进行出苗点统计和出苗点直线分布检测可以判断是否达到出苗期。

4、基于深度学习的图像分类算法

棉花在出苗期、三真叶期、五真叶期、现蕾期的形态具有很大的不同，通过提取出单植株的棉花进行分类，可以确定该植株的发育期，当属于某一发育期的植株超过了分类总数的一半便可认为这张观测图处于该发育期。基于以上想法，本发明结合出苗期分布检测的出苗点坐标实现植株根部定位(相机固定、棉花种下后一般不移动)，然后自适应切割出棉花的单植株子图用于图像分类，如图7所示。使用基于Caffe-AlexNet框架的图像分类方法，统计一张观测图所有单植株子图的分类结果，最后以分类结果最多的那一类作为该观测图的发育期，具体分类图例如图8所示。通过基于AlexNet的图像分类，可以实现对棉花在出苗期、三真叶期、五真叶期、现蕾期的识别。

5、基于YOLOv2的图像目标检测

当棉花处于开花期和吐絮期时图像均有明显的局部特征。开花期时作物图像中花朵呈开放状态，吐絮期时作物图像中的棉絮呈裸露状态，均具有明显的可识别性。因此可以对花朵、棉絮进行目标检测并统计其数量。本发明采用基于Darknet深度学习框架的YOLOv2检测网络作为目标检测模型实现该功能，识别出棉花观测图像中的花朵数和棉絮数。将棉花的花朵、棉絮作为检测目标，在已有资料图片中做好标签图，对网络进行训练，直到最终能很好的检测出这些目标。棉花花朵、棉絮的目标检测效果如图9所示。通过基于YOLOv2的图像目标检测，可以检测单张棉花图像中的花朵目标数和棉絮目标数，作为开花期和吐絮期识别的重要参数。

6、综合判断

通过上述的识别方案和关键技术，可以实现对棉花未出苗、出苗期、三真叶期、五真叶期、现蕾期、开花期、吐絮期的自动识别，但是对棉花的开花盛期、裂铃期和吐絮盛期没有进行区分。通过观察棉花观测图像可以发现，开花盛期和开花期并没有本质的特征区别，更多的区别在于特征数量的多少，例如，开花盛期花朵的数量明显多于开花期。同样的，在棉花裂铃期、吐絮期和吐絮盛期中的区别也是棉絮数量的多少。因此，本发明通过对检测到的花朵数和棉絮数设定不同的阈值来区分开花期与开花盛期，裂铃期、吐絮期和吐絮盛期。当棉花进入停止生长的时候，如图10所示棉花的绿色覆盖度很低，并且吐出的棉絮数量基本不再变化，因此，结合棉花覆盖度和棉絮数量的变化可以判断棉花是否停止生长。

通过上述棉花发育期识别方案和其中的关键技术，可以得到待检棉花图像的所需参数：覆盖度、出苗分布拟合直线数、花朵数和棉絮数。这些参数包含着各个棉花发育期的特征信息，基于上述分析，综合这些参数和其数量关系可以实现对棉花完整发育期的识别。

棉花的生长发育具有一定客观规律，在实际的种植中可以有许多先验知识，例如，棉花在开花时覆盖度会比较大，在刚出苗和吐絮盛期时覆盖度会比较小等。基于这些先验知识再结合之前对棉花各个发育期的特征分析，提出了如图11所示的棉花发育期综合判断逻辑。不同发育期覆盖度的数值具有一定的规律，因此该逻辑判断可以通过覆盖度的数值区分出某些发育期的大致阶段。目的是为了有效利用图像分割、分布检测、图像分类以及目标检测功能的计算结果。同时，对由于天气、光线等因素影响而造成干扰的图像，综合利用各项数据综合判断有助于排除这些干扰噪声，使得结果更具有参考价值。除了图像的覆盖度作为输入外，针对不同的情况还需要出苗分布线段数、花朵数、棉絮数作为输入，进行辅助判断进而可以根据图11中的判断逻辑将输入的图像归类。对于不同类别的棉花图像，以覆盖度作为基础，通过出苗分布线段数可以识别未出苗和出苗期；根据图像分类结果，可识别出出苗期、三真叶期、五真叶期以及现蕾期；根据花朵数和棉絮数，可识别出开花期、开花盛期、裂铃期、吐絮期、吐絮盛期以及停止生长。最终，本文的棉花发育期自动识别方案可以完成对棉花全部发育期的识别。

7、时序修正

考虑到实际的情况，棉花的生长发育是一个不可逆的过程，发育期在时间线上会随着时间的增加逐渐过渡到下一个发育期。由于发育期随着时间的增加呈递增关系，所以已经结束的发育期在后期不会再次出现。因此，在实际应用中，如果输入的观测图像具有时间顺序，即图像是按时间先后依次输入本文的识别算法，那么可以在对观测图进行发育期识别时加入时序修正模块。

当图像按时间序列输入进行识别时，识别的结果序列也应该是符合发育期从前到后按时间过渡的客观规律，并且发育期应该是一个渐变的过程，不能今天是出苗期，第二天跳变成开花期。例如，识别一张观测图时，前面的一段时间已经逐渐从出苗期检测到了开花期，但这张图片却被识别为出苗期，那么这张观测图被误判的概率就很高了。时序修正就是从一个时序连续的角度，在系统的层面来减少这种误判。有效去除前后图片由于环境突变而产生的干扰，起到增强识别方案鲁棒性的功能。综合前面的检测系统，本文加入了时序修正逻辑，如图12所示。

附图说明

图1为棉花观测图实例；

(a)出苗期原始观测图像示例 (b)现蕾期原始观测图像示例

图2为出苗期图片示例；

图3为现蕾期图片示例；

图4为棉花发育期识别方案总体框架；

图5为图像分割示例；

(a)原始观测图像 (b)图像分割结果

图6为出苗点分析示例

(a)原始观测图像，(b)图像分割结果，

图7为棉花单植株子图示例；

图8为图像分类示意图；

(a)出苗期，(b)三真叶期，

(c)五真叶期，(d)现蕾期；

图9为目标检测效果图；

(a)花朵目标检测效果，(b)棉絮目标检测效果，

图10为棉花停止生长图像示例；

图11为棉花发育期综合判断逻辑示意图；

图12时序修正判断示意图；

图13为花朵、棉絮数据标注示意图；

(a)花朵原始图像，(b)花朵标注示例，

(c)棉絮原始图像，(d)棉絮标注示例；

图14为新疆乌兰乌苏2016棉花发育期测试结果；

图15新疆乌兰乌苏2017棉花发育期测试结果；

具体实施方式

本发明提出了一种深度目标检测与图像分类相结合的棉花发育期自动识别方法。该发明的具体实现步骤如下：

1.数据集制作

本发明的数据集图源由新疆乌兰乌苏农业气象站提供，有2016和2017年两次完整的棉花生长发育的观测图片。2016年图像分辨率为5184*3450像素，2017年图像分辨率为2592*1728像素。用作模型制作的数据集有训练样本集及测试样本集两方面，其中训练样本集和需要利用手工标注的groundtruth图来获取标签，训练样本集标签用作训练网络模型时的监督信号，训练样本集的标签具体生成操作如下：

(1)图像分类

a.图像尺寸调整。为了获得足够的有效训练图片，需要将原尺寸为5184*3450像素的棉花作物图像平均分割为100张尺寸为518*345像素的子图，为了满足AlexNet训练和使用的需要，需要将这些子图再resize成221*221像素大小。

b.数据集制作。对所有作为数据集的221*221像素的图片进行分类，给与对应发育期的标签。本发明选取出苗期图片700张、三真叶期图片900张、五真叶期1100张、现蕾期图片1200张、开花盛期图片600张，对其进行分类标注，用于网络训练的训练集和测试集生成。具体分类图例如图7所示

c.训练集与测试集的划分。为了保证训练效果，本发明将70％的数据集用作训练集，30％的数据集作为测试集，训练集与测试集互不交叉。

(2)目标检测

a.图像尺寸调整。为了保证在训练样本集及测试样本集符合网络模型的要求，同时也可以更方便的完成数据集标签的标注，我们首先对棉花作物图像的尺寸进行了调整，原尺寸为5184*3450的棉花作物图像的平均分割为100张尺寸518*345的小图像。

b.数据集制作。如图10所示，(a)(c)为原始作物图，(b)(d)为将棉花作物图像中“花朵”和“棉絮”作为标注目标，利用标签制作软件手工框选所对应的groundtruth。本发明共使用2971张花朵作物图和10380张棉絮作物图，用于网络训练的训练样本集和测试样本集的生成。

c.训练集与测试集的划分。对于训练集合的所有图像，我们需要保留其标签文本文件作为训练网络模型时候的监督信号；对于测试集，我们需要利用其与识别结果图进行对比，来评价网络的性能。需要注意的是为了客观验证网络的准确性，两个样本集合之间应当不相交。

2、网络模型的训练

(1)图像分类

AlexNet有5个卷积层和3个全连接层，共有6千万个参数和65万个神经元，能完成1000类图片的分类。AlexNet共有八层网络，其结构如下：

卷积层1：输入227*227*3卷积核11*11*3*96

卷积层2：输入28*28*96卷积核5*5*96*256

卷积层3：输入14*14*256卷积核3*3*256*384

卷积层4：输入14*14*384卷积核3*3*384*384

卷积层5：输入14*14*384卷积核3*3*384*256

全连接层1：输入7*7*256输出4096

全连接层2：输入4096输出4096

全连接层3：输入4096输出1000

本文根据棉花观测图的实际分类类别对AlexNet进行了少许改动，将AlexNet的最终分类类别1000类改成了4类，分别对应棉花发育期中的出苗期、三真叶期、五真叶期和现蕾期，分类图例如图8所示。本发明的AlexNet基于Caffe深度学习框架实现，在Linux系统中运行，采用GPU进行运算。将制作好的数据集放入训练网络，设置好参数进行训练，最终分类准确率稳定在80％左右。

(2)目标检测

本发明中目标检测采用的YOLOv2网络模型，是在v1版本上的改进版本，基于Darknet深度学习框架实现，在Linux系统中运行，采用GPU进行运算。YOLO(You only lookonce)网络无需区域生成，直接在整个输入图像中回归预测目标，极大提高了检测速度。该网络将重置尺寸(resize)后的输入图像划分成S*S的网络，在每个网格中预测2个边界框及置信度，以及C种类别的条件概率，最后使用非极大值抑制法过滤阈值较低的边界框，得到最终的目标预测框。YOLOv2在YOLO网络基础上去除了全链接层，借鉴了Faster-RCNN的anchor机制、引入多尺度训练策略等方法，在保持原有的检测速度下，提高了检测准确率。在VOC2007测试集上，YOLOv2的检测精度和速度，均优于Faster-RCNN、SSD等主流目标检测算法

为实现棉花实时且有效的目标检测，本发明选取结构较简单、运算复杂度较低的tiny-yolo-voc作为YOLOv2的基础网络，将YOLOv2的目标检测类别改为1类。根据要求将制作完成的数据集用于训练，学习目标分类以及BoundingBox位置与大小。最终针对花朵和棉絮分别制作两个目标检测模型。两个模型在测试集上的测试准确率和召回率均稳定在75％左右。

综上所述，这样的图像分类和目标检测的模型训练结果准确率并不是很高，主要原因是能用于训练的图像太少，而且图片本身都属于棉花植株这样一个大类别。对于图像分类而言，本发明并不是只根据一张棉花单植株图的分类结果，而是统计一张观测图所有单植株子图的分类结果，最后以分类结果最多的那一类作为该观测图的发育期。从统计意义上讲，这样可以提高分类准确率，使算法更具有鲁棒性。对于目标检测而言，本发明统计一张观测图所有分割后子图的目标数目，对于发育期结果的判定具有统计意义，所以需要在判断逻辑里设定合理的阈值以保证发育期识别的准确性。

3.综合识别

(1)计算所需参数

a.覆盖度

使用图像分割模块计算图像中绿色区域占比可以获得覆盖度数据。通过该方法可以有效分割棉花作物的图像，获得覆盖度数据。

b.出苗分布线段

使用分布检测模块可以通过检测轮廓、质心化进行定位检测出苗点的分布，可拟合出对应的分布线段，作为判断出苗期的标准。

c.图像分类

待检测图像输入后随机取点将原图像分割为植株大小的若干小图，然后将这些小图使用已训练的AlexNet图像分类模型进行分类，并统计各个类别的数量，可以实现对棉花在出苗期、三真叶期、五真叶期、现蕾期的识别。

d.目标检测

待检测图像输入后先被裁切为合适的尺寸，以花朵和白絮作为检测目标，使用已训练的YOLOv2模型进行目标检测识别，并统计其总数，即可获得该图像中的花朵数、白絮数。

(2)设定合理阈值获得识别结果

通过上述棉花发育期识别方案和其中的关键技术，可以得到待检棉花图像的所需参数：覆盖度、出苗分布拟合直线数、花朵数和棉絮数以及图像分类的分类结果。这些参数包含着各个棉花发育期的特征信息，综合这些参数和其数量关系可以实现对棉花完整发育期的识别。

棉花在开花时覆盖度会比较大，在刚出苗和吐絮盛期时覆盖度会比较小。基于这些先验知识再结合之前对棉花各个发育期的特征分析，提出了如图11所示的棉花发育期综合判断逻辑。其中各个参数的阈值并没有严格的标准可以参考。棉花的生长发育是一段持续的过程，从播种至停止生长大约需要时间5至6个月不等。在这段时间中，农业气象站会每天拍摄同视角下的棉花图像若干张作为棉花观测图像。为了保证棉花图像的标准一致性，本方案采取使用每天同一时间拍摄的图像作为观测图像，但环境客观因素人为不可控，个别日期会出现极端天气从而导致棉花图像特征不明显的现象。除了天气因素，田间环境复杂多变，综合新疆乌兰乌苏2016年和2017年的棉花观测数据集测试，出现的田间干扰因素有：垃圾、杂草、农用塑料薄膜、农民耕作时用于标记位置的红色布条等。这些干扰会对图像分类和目标检测的结果造成一定程度的影响，进而影响发育期的正确识别甚至造成误检。

因此在阈值的设定上，通过经验公式以及反复进行测试比对，最终结果表明，按图11中所示的阈值进行发育期识别可达到最佳检测效果。对于待检测的棉花图像，以覆盖度作为划分：

a.当覆盖度小于0.015时，检测出苗分布线段数可以作为检测出苗点情况的指标，当出苗分布线段数大于2认为是出苗期，该参数小于2则认识是未出苗。

b.当覆盖度大于0.015且小于0.6时，则认为棉花已经发育了一段时间，需要根据图像分类来识别发育期，可识别出出苗期、三真叶期、五真叶期以及现蕾期。

c.当覆盖度与棉絮数的乘积大于5时，可认为图像中棉絮检测为有效判定。当覆盖度与花朵数的乘积大于1时，可认为图像中花朵检测为有效判定。以此去除覆盖度较低时的各类环境噪声干扰。

当花朵和棉絮都满足有效判定条件，则计算花朵数除以棉絮数，当该参数大于等于3时，则认为棉絮为主要判定目标，该参数小于3时，则认为花朵为主要判定目标。

当覆盖度大于0.6且未判定棉絮检测有效或花朵检测有效时，认为发育期为现蕾期，作为识别覆盖度较高的现蕾期的补充。

d.对于棉花的开花盛期、裂铃期和吐絮盛期和停止生长期，对检测到的花朵数和棉絮数设定不同的阈值来区分开花期与开花盛期，裂铃期、吐絮期和吐絮盛期。

当判定花朵检测有效时，图像中的花朵数大于5小于15则识别该图像为开花期，花朵数大于15则识别该图像为开花盛期。

当判定棉絮检测有效时，图像中的棉絮数小于50则认为时处于裂铃期；棉絮数大于50小于200则识别该图像为吐絮期；棉絮数大于200则识别该图像为吐絮盛期。

e.当棉絮数大于200且棉絮数与覆盖度的乘积小于10时，则识别该图像已经停止生长。

以上各参数阈值以及计算方法并不是通过严格的标准参考所得，均为经验公式以及在真实测试中反复比对得出，目的是为了去除环境噪声的干扰。最终结果表明，按图11中所示的阈值进行发育期识别可达到最佳检测效果。可以实现未出苗、出苗期、三真叶期、五真叶期、现蕾期、开花期、开花盛期、裂铃期、吐絮期、吐絮盛期以及停止生长这十一个发育期的识别。

(3)对识别结果进行时序修正

综上所述，综合这些参数和其数量关系可以实现对棉花完整发育期的识别。而发育期随着时间的增加呈递增关系，所以已经结束的发育期在后期不会再次出现。综合前面的检测系统，加入了如图12所示的时序修正逻辑，将识别结果进行时序修正，增强结果的可靠性。。

首先将棉花的全部发育时期以数字作为标注，分别是：未出苗(0)、出苗期(1)、三真叶期(2)、五真叶期(3)、现蕾期(4)、开花期(5)、开花盛期(6)、裂铃期(7)、吐絮期(8)、吐絮盛期(9)、停止生长(10)。其中平均发育期(average_time)由前五天的发育期所对应的数字取平均得到。当识别结果＜average_time或识别结果＞average_time+2时，即识别的发育期出现了回退或跳变，则认为识别结果出现异常，以前一天的棉花发育期修正识别结果。

4.识别评价

本文基于2016的棉花观测图数据集完成了整个算法的实现，最终得到了一个棉花发育期自动识别系统。该系统的输入为单张棉花观测图，输出为该图像对应的发育期。本文将该系统分别在2016、2017棉花观测图数据集进行了测试，并与人工观测结果进行对比，测试结果如图14、图15所示。图中数据可知，该系统在2016年棉花观测图数据集中发育期识别准确率(准确率＝(总天数-误检总天数)/总天数)达到了80.52％，最大误差天数不超过3天，在2017年棉花观测图数据集中发育期识别准确率达到了75.48％，最大误差天数不超过5天。总体的识别效果较好，与人工观测记录基本相符。同时，在处理速度上，使用Intel酷睿^TMi5-8400、NVIDIA^TMGTX1060、8GB内存的硬件环境，平均每幅图像(5184*3450)用时为5秒，可以证明本方法是一种既有效又快速的方法。

该系统仅基于2016年棉花观测图数据集建立，不仅在2016年的数据集上识别效果良好，而且在2017年数据集上也表现较好，说明了本文提出的深度目标检测与图像分类相结合的棉花发育期自动识别方法泛化能力强，具有广阔的应用和推广价值。

Claims (4)

1.一种基于图像分类和目标检测的棉花发育期自动识别方法，其特征在于：该方法首先对作物图像进行分割，得到作物的覆盖度数据；针对不同发育期拥有不同覆盖度的情况，利用综合判断模块，实现自适应使用分布检测模块、图像分类模块、目标检测模块或者叠加使用这些模块，进行发育期的识别；根据图像分类结果，识别出出苗期、三真叶期、五真叶期以及现蕾期；根据花朵数和棉絮数，识别出开花期、开花盛期、裂铃期、吐絮期、吐絮盛期以及停止生长；最后进行时序修正，得到最优的发育期计算结果，实现对棉花发育期动识别。

2.根据权利要求1所述的方法，其特征在于，发育期识别方法的具体步骤：

1)、棉花图像选择

检测的棉花作物图像，该图像作为输入；

2)、图像分割

采用基于RGB颜色空间的彩色图像分割算法进行棉花植株的提取；针对棉花植株的绿色特征，其主要的颜色分量为G，也就是说绿色的G分量大于R分量和B分量，且R分量小于200；以2*G-R-B来设置阈值threshold进行图像分割，以result代表分割结果，1代表前景，0代表背景定义了如下的分割方式:

将阈值threshold设为40时，覆盖度cover_rate数值作为该模块的输出数据

3)、分布检测

通过对图像分割后的图片进行出苗点统计和出苗点直线分布检测判断是否达到出苗期；

4)、基于深度学习的图像分类

棉花在出苗期、三真叶期、五真叶期、现蕾期的形态具有很大的不同，通过提取出单植株的棉花进行分类，确定该植株的发育期，当属于某一发育期的植株超过了分类总数的一半便认为这张观测图处于该发育期；

结合出苗期分布检测的出苗点坐标实现植株根部定位，然后自适应切割出棉花的单植株子图用于图像分类，使用基于Caffe-AlexNet框架的图像分类方法，统计一张观测图所有单植株子图的分类结果，最后以分类结果最多的那一类作为该观测图的发育期，实现对棉花在出苗期、三真叶期、五真叶期、现蕾期的识别；

5)、基于YOLOv2的图像目标检测

当棉花处于开花期和吐絮期时图像均有明显的局部特征；开花期时作物图像中花朵呈开放状态，吐絮期时作物图像中的棉絮呈裸露状态，均具有明显的可识别性；因此对花朵、棉絮进行目标检测并统计其数量；采用基于Darknet深度学习框架的YOLOv2检测网络作为目标检测模型实现该功能，识别出棉花观测图像中的花朵数和棉絮数；将棉花的花朵、棉絮作为检测目标，在已有资料图片中做好标签图，对网络进行训练，直到能检测出这些目标；通过基于YOLOv2的图像目标检测，检测单张棉花图像中的花朵目标数和棉絮目标数，作为开花期和吐絮期识别的重要参数；

6)、综合判断

通过对检测到的花朵数和棉絮数设定不同的阈值来区分开花期与开花盛期，裂铃期、吐絮期和吐絮盛期；当棉花进入停止生长的时候，结合棉花覆盖度和棉絮数量的变化判断棉花是否停止生长；

通过上述棉花发育期识别方案和其中的关键技术，得到待检棉花图像的所需参数：覆盖度、出苗分布拟合直线数、花朵数和棉絮数；这些参数包含着各个棉花发育期的特征信息，基于上述分析，综合这些参数和其数量关系实现对棉花完整发育期的识别；

以覆盖度作为基础，通过出苗分布线段数识别未出苗和出苗期；根据图像分类结果，识别出出苗期、三真叶期、五真叶期以及现蕾期；根据花朵数和棉絮数，识别出开花期、开花盛期、裂铃期、吐絮期、吐絮盛期以及停止生长；最终，的棉花发育期自动识别方案完成对棉花全部发育期的识别；

7)、时序修正

由于发育期随着时间的增加呈递增关系，所以已经结束的发育期在后期不会再次出现；因此，在对观测图进行发育期识别时加入时序修正模块。

3.根据权利要求1所述的方法，其特征在于，基于深度学习的图像分类具体为：

(1)图像分类

AlexNet共有八层网络，其结构如下：

卷积层1：输入227*227*3卷积核11*11*3*96

卷积层2：输入28*28*96卷积核5*5*96*256

卷积层3：输入14*14*256卷积核3*3*256*384

卷积层4：输入14*14*384卷积核3*3*384*384

卷积层5：输入14*14*384卷积核3*3*384*256

全连接层1：输入7*7*256输出4096

全连接层2：输入4096输出4096

全连接层3：输入4096输出1000

根据棉花观测图的实际分类类别对AlexNet进行了改动，将AlexNet的最终分类类别1000类改成了4类，分别对应棉花发育期中的出苗期、三真叶期、五真叶期和现蕾期，AlexNet基于Caffe深度学习框架实现，在Linux系统中运行，采用GPU进行运算；将制作好的数据集放入训练网络，设置好参数进行训练，最终分类准确率稳定在80％以上开始下面步骤；

(2)目标检测

中目标检测采用的YOLOv2网络模型，是在v1版本上的改进版本，基于Darknet深度学习框架实现，在Linux系统中运行，采用GPU进行运算；该网络将重置尺寸后的输入图像划分成S*S的网络，在每个网格中预测2个边界框及置信度，以及C种类别的条件概率，最后使用非极大值抑制法得到最终的目标预测框；选取结构较简单、运算复杂度较低的tiny-yolo-voc作为YOLOv2的基础网络，将YOLOv2的目标检测类别改为1类；根据要求将制作完成的数据集用于训练，学习目标分类以及BoundingBox位置与大小；最终针对花朵和棉絮分别制作两个目标检测模型。

4.根据权利要求1所述的方法，其特征在于，综合判断具体为：

(1)计算所需参数

a.覆盖度

使用图像分割模块计算图像中绿色区域占比获得覆盖度数据；通过该方法有效分割棉花作物的图像，获得覆盖度数据；

b.出苗分布线段

使用分布检测模块通过检测轮廓、质心化进行定位检测出苗点的分布，拟合出对应的分布线段，作为判断出苗期的标准；

c.图像分类

待检测图像输入后随机取点将原图像分割为植株大小的若干小图，然后将这些小图使用已训练的AlexNet图像分类模型进行分类，并统计各个类别的数量，实现对棉花在出苗期、三真叶期、五真叶期、现蕾期的识别；

d.目标检测

以花朵和白絮作为检测目标，使用已训练的YOLOv2模型进行目标检测识别，并统计其总数，即获得该图像中的花朵数、白絮数；

(2)设定合理阈值获得识别结果

对于待检测的棉花图像，以覆盖度作为划分：

a.当覆盖度小于0.015时，检测出苗分布线段数作为检测出苗点情况的指标，当出苗分布线段数大于2认为是出苗期，该参数小于2则认识是未出苗；

b.当覆盖度大于等于0.015且小于0.6时，则认为棉花已经发育了一段时间，需要根据图像分类来识别发育期，识别出出苗期、三真叶期、五真叶期以及现蕾期；

c.当覆盖度与棉絮数的乘积大于5时，认为图像中棉絮检测为有效判定；当覆盖度与花朵数的乘积大于1时，认为图像中花朵检测为有效判定；以此去除覆盖度较低时的各类环境噪声干扰；

当花朵和棉絮都满足有效判定条件，则计算花朵数除以棉絮数，当该参数大于等于3时，则认为棉絮为主要判定目标，该参数小于3时，则认为花朵为主要判定目标；

当覆盖度大于0.6且未判定棉絮检测有效或花朵检测有效时，认为发育期为现蕾期，作为识别覆盖度较高的现蕾期的补充；

d.对于棉花的开花盛期、裂铃期和吐絮盛期和停止生长期，对检测到的花朵数和棉絮数设定不同的阈值来区分开花期与开花盛期，裂铃期、吐絮期和吐絮盛期；

当判定花朵检测有效时，图像中的花朵数大于5小于15则识别该图像为开花期，花朵数大于15则识别该图像为开花盛期；

当判定棉絮检测有效时，图像中的棉絮数小于50则认为时处于裂铃期；棉絮数大于50小于200则识别该图像为吐絮期；棉絮数大于200则识别该图像为吐絮盛期；

e.当棉絮数大于200且棉絮数与覆盖度的乘积小于10时，则识别该图像已经停止生长。