CN104850836A - 基于深度卷积神经网络的害虫图像自动识别方法 - Google Patents

Abstract

本发明公开了一种基于深度卷积神经网络的害虫图像自动识别方法，包括以下步骤：(1)收集原始图像并进行预处理，构成训练集，计算训练集的均值图像；(2)构造深度卷积神经网络；(3)在训练集的训练样本中随机采集子图像块，利用子图像块预训练深度卷积神经网络；(4)利用训练集，结合基于mini-batch的随机梯度下降算法训练深度卷积神经网络；(5)对待测害虫图像进行所述预处理，形成测试样本，测试样本减去训练集的均值图像后，利用训练完成的深度卷积神经网络识别测试样本。本发明识别精度高、识别种类多，对害虫类内变化鲁棒性强、对害虫类间相似性敏感。

Description

基于深度卷积神经网络的害虫图像自动识别方法

技术领域

本发明涉及精细农业技术领域，尤其涉及一种基于深度卷积神经网络的害虫图像自动识别方法。

背景技术

水稻是我国重要的粮食作物之一，在水稻整个生长期内，有许多病、虫等有害生物为害，特别是水稻害虫，每年所引起的损失相当惊人，直接危害水稻产量。目前，我国水稻害虫防治一直坚持“害虫综合治理(IPM)”的植保方针，以监测预报为基础，综合应用农业、生物、物理防治和化学防治等技术措施，有效控制害虫危害。

水稻害虫种类以及数量的调查，是害虫预测预报工作的一项基本而重要的任务。如果没有正确的调查数据，对害虫的发生种类、数量就不可能进行准确地预测，更不能保证害虫防治经济阈值的正确执行。因此，防治水稻害虫，提高水稻产量的前提是在水稻生长期内，可以正确地识别与计数水稻害虫，从而进一步掌握其发生动态，为实时、准确的预测预报提供理论依据。

传统方法中一般是通过有经验的农民和昆虫分类专家对害虫进行识别，但人工识别劳动强度大、效率低。因此，开发一些智能化无线害虫远程自动监测装置，将有助于提高昆虫识别与计数的准确率和效率，减少虫害带来的损失，进而促进精准农业的实施，提高昆虫知识的科普水平。

随着农业逐步走向数字化、精准化和自动化，国内外学者已将数字图像处理和模式识别技术应用到昆虫自动识别领域。

然而，现有的害虫图像自动识别方法及系统识别率不高，鲁棒性差，多数难以推向实际应用。因此，提出一种精准，识别种类多，对害虫类内变化鲁邦，类间相似性敏感性强的模型尤为必要。在当今机器学习领域，基于有监督和无监督结合的深度卷积神经网络成为最为前沿的研究热点，在物体识别领域取得了极其优异的效果。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种识别精度高、识别种类多，对害虫类内变化鲁棒性强、类间相似性敏感的基于深度卷积神经网络的害虫图像自动识别方法。

为实现上述目的，本发明提供了如下技术方案：

一种基于深度卷积神经网络的害虫图像自动识别方法，包括以下步骤：

(1)收集原始图像并进行预处理，构成训练集，计算训练集的均值图像；

(2)构造深度卷积神经网络；

(3)在训练集的训练样本中随机采集子图像块，利用子图像块预训练深度卷积神经网络；

(4)利用训练集，结合基于mini-batch的随机梯度下降算法训练深度卷积神经网络；

(5)对待测害虫图像进行所述预处理，形成测试样本，测试样本减去训练集的均值图像后，利用训练完成的深度卷积神经网络识别测试样本。

本发明所提出的图像预处理方法能够精确获取图像中的害虫目标，构成有效的训练集。所述的深度卷积神经网络结构层数多，能够对图像进行高效的表达。卷积滤波器数目多，能够包含到害虫在不同姿态、巨大种间变化情况下的特征，同时结合高效的训练集，可获取到最优的网络权重，故具有极强的鲁棒性和高度的精确性。

本发明的步骤(1)中，包括：

(1-1)收集害虫RGB格式的原始图像，识别、标记害虫种类；

(1-2)对所述原始图像进行颜色衰减得到衰减图像，利用图割算法将衰减图像分割为若干颜色相似的区域；

(1-3)利用基于全局区域对比的显著性检测(Global Contrast basedSalient Region Detection)算法(参考文献：Ming-Ming Cheng，Niloy J.Mitra，Xiaolei Huang，Philip H.S.Torr&Hu，S.-M.Global Contrast based SalientRegion Detection.IEEE Transaction on Pattern Recognition and MachineIntelligence 37(3)，569-582(2015))，计算所述区域的显著性值，获得显著性图；

(1-4)阈值化所述的显著性图得二值图像，记录显著性值高的区域的图像坐标；

(1-5)根据图像坐标裁剪原始图像并放缩至统一尺寸，构成训练集；

(1-6)计算训练集所有图像的均值图像。

现有技术通常是对不同尺寸的网络图像进行简单的比例缩放，来达到卷积神经网络对输入层图像的尺寸要求，简单的比例缩放会导致图像中的虫体产生变形，同时图像中常常包含其它无关目标。所以，难以对深度卷积神经网络进行有效地训练；而本发明中通过具体定位害虫目标在图像中的位置，可精确裁剪出害虫目标的图像，并减少无关内容的干扰，组成高效的训练集。

作为优选，所述训练样本的像素大小为256×256。

作为优选，步骤(2)中，所述深度卷积神经网络包括：一个输入层、五个卷积层、三个池化层、两个全连接层和一个输出层。

深度卷积神经网络的具体结构为：五个卷积层之前为输入层，三个最大池化层分别位于第一、第二、第五个卷积层之后，两个全连接层位于第三个最大池化层与最后的输出层之间。

作为优选，各卷积层卷积滤波器的像素大小为(3×3)～(13×13)，各卷积滤波器的数目为128～512，卷积步长为3～5。

最优选的，各卷积层卷积滤波器的像素大小分别为13×13、5×5、3×3、3×3、6×6，各卷积滤波器的数目分别为128、256、512、512、256，卷积步长为4。

作为优选，三个最大池化层中，池化区域大小均为(3×3)～(5×5)，池化步长为1～4。

最优选的，三个最大池化层中，池化区域大小均为3×3，池化步长为2。

全连接层结点均为4096。

作为优选，输出层为softmax分类器；输入层的大小为256×256；输出层的结点数与测试样本的类别数目一致。

作为优选，步骤(3)包括：

(3-1)在训练集图像中随机采样大小与第一层卷积滤波器的大小相同的子图像块；

(3-2)利用子图像块通过稀疏自编码器预训练输入层与第一个卷积层之间的初始权重。

对深度卷积神经网络的预训练具体为：

随机选择若干训练样本，从训练样本中随机采样大小与第一层卷积滤波器的大小相同的子图像块，将子图像块输入稀疏自编码器，对第一个卷积层进行预训练，计算出该卷积层的初始权值和偏执项，令深度卷积神经网络的初始权值处于一个较好的局部最优解附近。

对深度卷积神经网络的训练，即步骤(4)中，包括：

(4-1)采用Hinge损失函数作为整个深度卷积神经网络的损失函数；

(4-2)将训练样本随机划分为大小为64～256的mini-batch；

(4-3)结合dropout子模型融合算法(参考文献：Hinton，G.E.，Srivastava，N.，Krizhevsky，A.，Sutskever，I.&Salakhutdinov，R.R.Improvingneural networks by preventing co-adaptation of feature detectors.arXivpreprint arXiv：1207.0580(2012))，在不同的mini-batch上利用随机梯度下降算法训练不同的子模型，最终完成对整个深度卷积神经网络模型的训练。

作为优选，dropout子模型融合算法以0.7的概率隐藏全连接层的输出。

与现有技术相比，本发明的有益效果为：

本发明构造的深度卷积神经网络采用多个卷积层和池化层相嵌，并结合两个全连接层的方法，可以有效克服由于害虫图像的尺度变化、旋转、亮度变化、姿态变化、种类变化和种间相似性而引起的识别准确度较低的问题。采用dropout子模型融合方法可以有效地提高整个深度卷积神经网络的性能，明显地减少过拟合现象。

附图说明

图1为本发明害虫图像自动识别方法的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，一种基于深度卷积神经网络的害虫图像自动识别方法，包括以下步骤：

步骤(1)：

对收集的大量互联网原始图像(RGB格式)进行定位，裁剪，缩放操作，形成适用于深度卷积神经网络的训练集，具体包括以下步骤：

(1-1)将原始图像RGB颜色空间均匀衰减为1000种颜色，用衰减后的颜色将所有原始图像描述为衰减图像，并利用图割算法将衰减图像分割为颜色相似的若干个区域。

(1-2)利用基于全局区域对比的显著性检测(Global Contrast basedSalient Region Detection)算法(参考文献：Ming-Ming Cheng，Niloy J.Mitra，Xiaolei Huang，Philip H.S.Torr&Hu，S.-M.Global Contrast based SalientRegion Detection.IEEE Transaction on Pattern Recognition and MachineIntelligence 37(3)，569-582(2015))，计算所有区域的显著性值，并获得显著性图。

由于在害虫田间图像中害虫对象普遍与背景区域的反差大，故害虫对象区域可获得较大的显著性值。

(1-3)采用固定阈值将显著性图二值化，得到显著性值高的区域，并记录该区域的图像坐标。在实验中，将阈值设为70可得到最优结果。

(1-4)利用图像坐标在原始图像上确定该区域，并将该区域作为GrabCut算法的初始化区域，精准分割害虫对象。在实验中，将GrabCut算法的阈值设为[0.1，0.9]，迭代次数设为3次，可以在保证计算成本较小情况下，获得理想效果。

(1-5)定位害虫对象，并以害虫对象为重心，在图像上裁剪一个正方形区域，将该正方形区域尺寸放缩为256×256(像素)，得到训练样本。

(1-6)计算训练集所有图像的均值图像。

步骤(2)：

构造深度卷积神经网络。

具体为：构造深度卷积神经网络，包括一个输入层、五个卷积层、三个最大池化层、两个全连接层和一个输出层。

三个池化层分别设定在第一个、第二个、第五个卷积层之后，两个全连接层置于第三个池化层之后。

五个卷积层中，卷积滤波器的大小分别为13×13、5×5、3×3、、3×3、6×6，各卷积层中卷积滤波器的数目分别为128、256、512、512、256，卷积步长为4。

三个最大池化层中，池化区域大小均为3×3，池化步长为2。

全连接层结点均为4096。

输出层结点数依据待识别害虫类别数而定，即根据应用场景实际情况的经验或历史数据而定。例如，根据经验，水稻田间的害虫种类约为30种，则应用于水稻害虫图像自动识别时，输出成接点数定为30。

步骤(3)：

随机采集训练集中训练样本的子图像块，利用稀疏自编码器对深度卷积神经网络进行预训练，计算出各卷积层的初始权值和偏执项，以收敛神经网络模型的误差至较好的局部极值附近，包括以下步骤：

(3-1)在训练集图像中随机采样大小为13×13的子图像块；

(3-2)利用子图像块通过稀疏自编码器预训练输入层与第一个卷积层之间的初始权重；上述稀疏自编码器的输入层结点为169(13×13＝169)、中间层结点数为128、输出层结点数为169。

步骤(4)：

采用Hinge损失函数、基于mini-batch的随机梯度下降算法，并结合dropout子模型融合算法(参考文献：Hinton，G.E.，Srivastava，N.，Krizhevsky，A.，Sutskever，I.&Salakhutdinov，R.R.Improving neural networks bypreventing co-adaptation of feature detectors.arXiv preprint arXiv：1207.0580(2012))，对整个模型进行训练，包括：

(4-1)采用Hinge损失函数作为整个深度卷积神经网络的损失函数；

(4-2)将训练样本随机划分为大小为256的mini-batch；

(4-3)利用随机梯度下降算法，结合dropout子模型融合算法，在不同的mini-batch上训练不同的子模型，最终完成对整个深度卷积神经网络模型的训练。

在实验中，dropout子模型融合算法以0.7的概率隐藏全连接层的输出；基于mini-batch的随机梯度下降算法是：在一次迭代优化过程中，随机采样256个训练样本构成一个mini-batch，在训练过程中，每次从mini-batch中的一个训练样本(256×256)上随机采样5个不同位置大小为的227×227子图像块，再将5个子图像块分别作镜像反转，得到10个子图像块，将这10个子图像块作为深度卷积神经网络的输入，结合反向传播算法对网络进行优化，优化时采用的损失为一个mini-batch上的平均损失。

步骤(5)：

采用手机或者相机拍摄田间的害虫图像作为待测图像样本，对待测图像采取定位，裁剪，缩放后，得到与训练样本大小(256×256)一致的测试样本，测试样本减去训练集的均值图像后，输入训练后的深度卷积神经网络，进行害虫图像的自动识别。

在一个包含12个种类、每个种类含图像数目为50幅的水稻害虫图像测试集上进行测试，本发明的识别准确率达到95.1％。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度卷积神经网络的害虫图像自动识别方法，其特征在于，包括以下步骤：

(1)收集原始图像并进行预处理，构成训练集，计算训练集的均值图像；

(2)构造深度卷积神经网络；

(3)在训练集的训练样本中随机采集子图像块，利用子图像块预训练深度卷积神经网络；

(4)利用训练集，结合基于mini-batch的随机梯度下降算法训练深度卷积神经网络；

(5)对待测害虫图像进行所述预处理，形成测试样本，测试样本减去训练集的均值图像后，利用训练完成的深度卷积神经网络识别测试样本。

2.根据权利要求1所述的害虫图像自动识别方法，其特征在于，步骤(1)中，包括：

(1-1)收集害虫RGB格式的原始图像，识别、标记害虫种类；

(1-2)对所述原始图像进行颜色衰减得到衰减图像，利用图割算法将衰减图像分割为若干颜色相似的区域；

(1-3)利用基于全局区域对比的显著性检测算法，计算所述区域的显著性值，获得显著性图；

(1-4)阈值化所述的显著性图得二值图像，记录显著性值高的区域的图像坐标；

(1-5)根据图像坐标裁剪原始图像并放缩至统一尺寸，构成训练集；

(1-6)计算训练集所有图像的均值图像。

3.根据权利要求1所述的害虫图像自动识别方法，其特征在于，步骤(2)中，所述深度卷积神经网络包括：一个输入层、五个卷积层、三个池化层、两个全连接层和一个输出层；

五个卷积层之前为输入层，三个最大池化层分别位于第一、第二、第五个卷积层之后，两个全连接层位于第三个最大池化层与最后的输出层之间。

4.根据权利要求3所述的害虫图像自动识别方法，其特征在于，各卷积层卷积滤波器的像素大小为(3×3)～(13×13)，各卷积滤波器的数目为128～512，卷积步长为3～5。

5.根据权利要求3所述的害虫图像自动识别方法，其特征在于，各卷积层卷积滤波器的像素大小分别为13×13、5×5、3×3、3×3、6×6，各卷积滤波器的数目分别为128、256、512、512、256，卷积步长为4。

6.根据权利要求3所述的害虫图像自动识别方法，其特征在于，三个最大池化层中，池化区域大小均为(3×3)～(5×5)，池化步长为1～4。

7.根据权利要求3所述的害虫图像自动识别方法，其特征在于，三个最大池化层中，池化区域大小均为3×3，池化步长为2。

8.根据权利要求4所述的害虫图像自动识别方法，其特征在于，全连接层结点均为4096。

9.根据权利要求4所述的害虫图像自动识别方法，其特征在于，输出层为softmax分类器，输出层的结点数与测试样本的类别数目一致。

10.根据权利要求1所述的害虫图像自动识别方法，其特征在于，步骤(3)中，包括：

(3-1)在训练集图像中随机采样大小与第一层卷积滤波器的大小相同的子图像块；

(3-2)利用子图像块通过稀疏自编码器预训练输入层与第一个卷积层之间的初始权重。