CN109711471A - 一种基于深度卷积神经网络的水稻病害图像识别方法 - Google Patents

Abstract

本发明公开了一种基于深度卷积神经网络的水稻病害图像识别方法，包括如下步骤：(1)：水稻病害特征库的构建：首先根据水稻病害图谱，选出常见水稻病害的特征描述作为研究对象构建水稻病害特征库，构建出不同类别的水稻病害特征描述，可为深度学习网络模型对水稻病害图像识别的准确度提供主观视觉依据；(2)：水稻病斑图像数据库的构建：根据水稻病害图谱分类，在权威图库中按照常见的水稻病害病斑类别下载图像，经过数据清洗，得到有效图像，构建了水稻病斑图像数据库；(3)：水稻病害图像识别模型构建与分析。本发明应用于水稻病害图像识别不但大大提升了准确性，而且避免了人工特征抽取的时间消耗，从而大大提高了在线计算效率。

Description

一种基于深度卷积神经网络的水稻病害图像识别方法

技术领域

本发明涉及图像识别技术领域，具体为一种基于深度卷积神经网络的水稻病害图像识别方法。

背景技术

水稻是大田农作物，具有种植面积广、病害疫情早期发现难的特点，对水稻病害的自动化远程诊断就显得十分必要，而自动准确地识别出不同水稻病害类别图像是十分关键的技术。对于自然场景下采集过来的水稻病害图像，水稻病害类型多，冰彬交界特征复杂多变，水稻专家进行人工识别有时也容易误判，原因是同类别水稻病害在不同的生长时期，发生在叶片、茎秆、穗部等部位呈现的病斑特征也不一样，而且不同类型病害也存在相似病斑。由于不同水稻病害图像内物体及场景边界较为模糊，若用传统计算机方法去识别图像，则存在设计过程复杂，特征变换层次不够，抽象及表达能力不强等问题，最终生成的特征向量可辨别能力差，识别性能难以大幅提升。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于深度卷积神经网络的水稻病害图像识别方法，解决了传统计算机方法去识别图像，则存在设计过程复杂，特征变换层次不够，抽象及表达能力不强等问题。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：一种基于深度卷积神经网络的水稻病害图像识别方法，包括如下步骤：

(1)：水稻病害特征库的构建：首先根据水稻病害图谱，选出常见的水稻病害特征描述作为研究对象构建水稻病害特征库，构建出不同类别的水稻病害特征描述，水稻病害的特征描述，可为深度学习网络模型对水稻病害图像识别的准确度提供视觉依据；

(2)：水稻病斑图像数据库构建：根据水稻病害图谱分类，编写爬虫软件在权威图库中按照常见的水稻病害病斑类别下载图像，经过数据清洗，得到有效图像，构建了水稻病斑图像数据库；

(3)：水稻病害图像识别模型构建与分析：包括如下步骤：

(a)首先从水稻病害特征库中取出样本图像，进行数据扩增，先应用双线性插值方法将图像缩小到256×256大小，然后按照224×224大小截取图像中左上角、右上角、左下角、右下角和中间部分图像块，最后将截取后的图像块进行水平翻转，总共有10张子图像块输入到卷积网络模型的第一卷积层，达到数据集扩增效果；

(b)数据扩增后进行ReLU非线性激活，激活后进行归一化处理，归一化处理是为了提高模型的泛化能力；然后再将数据输入到第二、第三卷积层，第二、第三卷积层直接相连，在进行归一化层和池化层之后，启用了9个 Inception模块，模型在不同深度处增加了两个辅助性的分类量词来保证梯度回传消失；在初期模块操作之后，经过平均池化，降低特征维度，最后进行一个1024个神经元的全连接层和一个8类别输出的softmax函数，softmax 函数产生8个水稻病害类别的概率值，使用Top-1错误率，即将网络输出的8 个概率值中最高值映射为1，表示深度学习网络将输入图像识别为该类，其余 7个概率值映射为0，表示该输入图像不属于这些类别，最终测试值和真值进行比较，判别网络图像识别是否准确。

优选的，在步骤(2)中，下载的水稻病害病斑图像的张数至少500张。

优选的，在步骤(3)中的步骤(a)中，第一卷积层使用的卷积核大小为7×7，步长为2，一共设置了64个卷积核，生成64幅特征图；第一卷积层之后连接的是最大池化层，在卷积层输出基础上用64个大小为3×3的滤波核来降低学习特征的维数，并使池化后的特征表达具有一定的平移不变性，在平均意义上，与平均池化层近似，在局部意义上，则服从最大池化层的准则，最大池化层的结果是使得特征减少，参数减少，最大池化层目的是为了保持某种不变性。

优选的，在步骤(3)中的步骤(b)中，第二卷积层使用了64个卷积核，大小为1×1，步长为1。第三卷积层使用了192个卷积核，大小为3×3，步长为1。

优选的，在步骤(3)中，所述卷积网络模型的梯度反向传播过程中，第 l层的梯度定义如式(1)所示：

其中ω_l第l层的滤波权值参数，b_l是l层的偏置，y_l是第l层输出特征图像，f(·)是激活函数，f′是f的梯度，权值ω_l和偏置b_l的更新如式(2)、(3)所示：

其中μ为动量变量，α是动量因子，是权重延时weight decay，η为学习率，是目标函数L对ω在第i次迭代下批量样本D_i的平均梯度。

优选的，所述学习率η的计算公式如式(4)所示：

其中base_lr＝0.01，power＝0.5，t是当前迭代次数，T是最大迭代次数。

优选的，常见的病虫害包括稻瘟病、纹枯病、胡麻叶斑病、小球菌核病、恶苗病、霜霉病、稻曲病和叶鞘腐败病，下载的病斑图像包括从幼苗到抽穗时期，水稻病害发病部位发生在叶片、茎秆、穗部，在不同的生长时期、不同发病部位不同的病斑图像，所有的水稻病害图像都是从自然场景下采集的，不局限于单株水稻局部叶片病斑，大部分是多株水稻全局的图像。

(三)有益效果

本发明提供了一种基于深度卷积神经网络的水稻病害图像识别方法，具备以下有益效果：

本发明基于深度学习的机器学习技术为图像自动识别提供了强有力的支持。与传统手工提取图像特征进行图像分类和识别的方式不同，深度学习通过建立类似于人脑的分层模型结构，自动对输入图像逐级提取从底层到高层的特征，从而能很好地建立从底层信号到高层语义的映射关系。深度学习应用于图像识别不但大大提升了准确性，而且避免了人工特征抽取的时间消耗，从而大大提高了在线计算效率，适合于水稻病害图像的自动识别与分类。本发明根据水稻病害防治图谱分类，选出稻瘟病、纹枯病、胡麻叶斑病、小球菌核病、恶苗病、霜霉病、稻曲病和叶鞘腐败病等常见的8类水稻病害，编写爬虫软件在百度、Google、360等权威图库中按照水稻病害图像类别标签，下载常见的水稻病害病斑图像，下载的病斑图像包括从幼苗到抽穗时期，水稻病害发病部位发生在叶片、茎秆、穗部，在不同的生长时期、不同发病部位不同的病斑图像，经过数据清洗，得到水稻病害图像库。本发明针对水稻病害叶面自然场景下采集的多株水稻全局病斑图像图像，，构建大规模的水稻病害图像库，在已有超深度CNN网络模型的基础上，研究水稻病害不同虫情图像的自动识别关键技术。本发明采用深度卷积神经网络网络模型，使用数据集扩增(Data augmentation)技术，运用fine-tune方法将水稻病害图像输入模型中进行训练，再用不同于训练集中的图像数据集进行网络测试，达到收敛为止。该网络模型识别精度高，可为水稻病害远程自动诊断提供关键技术支持。

具体实施方式

下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种技术方案：

实施例一

一种基于深度卷积神经网络的水稻病害图像识别方法，包括如下步骤：

(1)：水稻病害特征库的构建：首先根据水稻病害图谱，选出常见的水稻病害特征描述作为研究对象构建水稻病害特征库，构建出不同类别的水稻病害特征描述，水稻病害的特征描述，可为深度学习网络模型对水稻病害图像识别的准确度提供视觉依据；

(2)：水稻病斑图像数据库构建：根据水稻病害图谱分类，编写爬虫软件在权威图库中按照常见的水稻病害病斑类别下载图像，经过数据清洗，得到有效图像，构建了水稻病斑图像数据库；

(3)：水稻病害图像识别模型构建与分析：包括如下步骤：

(a)首先从水稻病害特征库中取出样本图像，先随机从8个不同水稻病害图像类别中选出887张图像进行实验，其中720张用于训练，167张用于测试，GoogLeNet模型最终迭代6000次收敛，应用线性插值方法将图像缩小到 256×256大小，然后按照224×224大小截取图像中左上角、右上角、左下角、右下角和中间部分图像块，然后将截取后的图像块进行水平翻转，总共有10 张子图像块输入到卷积网络模型的第一卷积层，达到数据集扩增效果，第一卷积层使用的卷积核大小为7×7，步长为2，一共设置了64个卷积核，生成 64幅特征图；第一卷积层之后连接的是最大池化层，在卷积层输出基础上用64个大小为3×3的滤波核来降低学习特征的维数，并使池化后的特征表达具有一定的平移不变性，在平均意义上，与平均池化层近似，在局部意义上，则服从最大池化层的准则，最大池化层的结果是使得特征减少，参数减少，最大池化层目的是为了保持某种不变性；所述卷积网络模型的梯度反向传播过程中，第l层的梯度定义如式(1)所示：

其中ω_l第l层的滤波权值参数，b_l是l层的偏置，y_l是第l层输出特征图像，f(·)是激活函数，f′是f的梯度，权值ω_l和偏置b_l的更新如式(2)、(3)所示：

其中μ为动量变量，α是动量因子，是权重延时weight decay，η为学习率，是目标函数L对ω在第i次迭代下批量样本D_i的平均梯度。

优选的，所述学习率η的计算公式如式(4)所示：

其中base_lr＝0.01，power＝0.5，t是当前迭代次数，T是最大迭代次数

(b)数据扩增后进行ReLU非线性激活，激活后进行归一化处理，归一化处理是为了提高模型的泛化能力；然后再将数据输入到第二、第三卷积层，第二、第三卷积层直接相连，第二卷积层使用了64个卷积核，大小为1×1，步长为1，第三卷积层使用了192个卷积核，大小为3×3，步长为1，在进行归一化层和池化层之后，启用了9个Inception模块，模型在不同深度处增加了两个辅助性的分类量词来保证梯度回传消失；在初期模块操作之后，经过平均池化，降低特征维度，最后进行一个1024个神经元的全连接层和一个 8输出的softmax函数，softmax函数产生8个水稻病害类别的概率值，使用 Top-1错误率，即将网络输出8个概率值中最高值映射为1，表示网络将输入图像识别为该类，其余7个概率值映射为0，表示该输入图像不属于这些类别，最终测试值和真值进行比较，判别网络图像识别是否准确，下表1为本实施例一所完成的实验结果：

表1训练数＝720，测试数＝167时的实验结果

实施例二

一种基于深度卷积神经网络的水稻病害图像识别方法，包括如下步骤：

(1)：水稻病害特征库的构建：首先根据水稻病害图谱，选出常见的水稻病害特征描述作为研究对象构建水稻病害特征库，构建出不同类别的水稻病害特征描述，水稻病害的特征描述，可为深度学习网络模型对水稻病害图像识别的准确度提供视觉依据；

(2)：水稻病斑图像数据库构建：根据水稻病害图谱分类，编写爬虫软件在权威图库中按照常见的水稻病害病斑类别下载图像，经过数据清洗，得到有效图像，构建了水稻病斑图像数据库；

(3)：水稻病害图像识别模型构建与分析：包括如下步骤：

(a)首先从水稻病害特征库中取出样本图像，先随机从8个不同水稻病害图像类别中选出1262张图像用于实验，其中1039张图像用于训练网络， 223张图像用于测试。最终迭代次数：GoogLeNet网络模型迭代11000次， ResNet网络模型迭代10000次，应用线性插值方法将图像缩小到256×256大小，然后按照224×224大小截取图像中左上角、右上角、左下角、右下角和中间部分图像块，然后将截取后的图像块进行水平翻转，总共有10张子图像块输入到卷积网络模型的第一卷积层，达到数据集扩增效果，第一卷积层使用的卷积核大小为7×7，步长为2，一共设置了64个卷积核，生成64幅特征图；第一卷积层之后连接的是最大池化层，在卷积层输出基础上用64个大小为3×3的滤波核来降低学习特征的维数，并使池化后的特征表达具有一定的平移不变性，在平均意义上，与平均池化层近似，在局部意义上，则服从最大池化层的准则，最大池化层的结果是使得特征减少，参数减少，最大池化层目的是为了保持某种不变性；所述卷积网络模型的梯度反向传播过程中，第l层的梯度定义如式(1)所示：

其中ω_l第l层的滤波权值参数，b_l是l层的偏置，y_l是第l层输出特征图像，f(·)是激活函数，f′是f的梯度，权值ω_l和偏置b_l的更新如式(2)、(3)所示：

其中μ为动量变量，α是动量因子，是权重延时weight decay，η为学习率，是目标函数L对ω在第i次迭代下批量样本D_i的平均梯度。

优选的，所述学习率η的计算公式如式(4)所示：

其中base_lr＝0.01，power＝0.5，t是当前迭代次数，T是最大迭代次数

(b)数据扩增后进行ReLU非线性激活，激活后进行归一化处理，归一化处理是为了提高模型的泛化能力；然后再将数据输入到第二、第三卷积层，第二、第三卷积层直接相连，第二卷积层使用了64个卷积核，大小为1×1，步长为1。第三卷积层使用了192个卷积核，大小为3×3，步长为1，在进行归一化层和池化层之后，设计了9个Inception模块，模型在不同深度处增加了两个辅助性的分类量词来保证梯度回传消失；在初期模块操作之后，经过平均池化，降低特征维度，最后进行一个1024个神经元的全连接层和一个8 输出的softmax函数，softmax函数产生8个水稻病害类别的概率值，使用 Top-1错误率，即将网络输出8个概率值中最高值映射为1，表示网络将输入图像识别为该类，其余7个概率值映射为0，表示该输入图像不属于这些类别，最终测试值和真值进行比较，判别网络图像识别是否准确，下表2为本实施例二所得的实验结果。

表2训练数＝1039，测试数＝223时的实验结果

根据表1和表2可知，图像的数量会影响深度学习网络模型的识别精度，当用887张水稻病害图像用于网络训练和测试时，GoogLeNet网络模型的平均精度为65％，ResNet为58％；当水稻病害图像增加到1262张用于网络训练和测试时，GoogLeNet深度网络模型的平均准确率达到74％，ResNet为71％。

GoogLeNet深度网络模型在8类水稻病害图像中，识别精度最高的是纹枯病图像类，精度为93％。由于纹枯病的病斑边缘灰褐色、中央灰白色，整体为椭圆形、水渍状，特征显地比较凸显，这种病斑特征成像时不容易被遮挡，植株整体成像后病斑明显。精度比较高还有85％的稻曲病，由于该病只发生在穗部，病斑特征为受害谷粒呈近球形淡黄色后者黑色块状物，特征也非常明显。此外还有83％的恶苗病和胡麻叶斑病两种类别，恶苗病的病斑特征是节间明显伸长，节部常有弯曲露于叶鞘外，下部茎节逆生多数不定须根，胡麻叶斑病类型的叶面上病斑呈椭圆形麻点型，而这些特征也容易被深度学习网络抽取和识别。表2中识别精度最低的是霜霉病，识别精度只为54％。由于该病的病株初期的叶片生出黄白小斑点，后期病株心叶淡黄卷曲，下部老叶渐枯死，根系发育不良，植株矮缩，因此从图像的角度来看植株的这些病斑特征不明显，深度学习网络也难以抽取出有效的特征来区分出这类水稻病害。表2 中识别精度为60％的叶鞘腐败病，之所以精度不高是因为这类病害图像特征是在叶鞘或叶上的静脉上，病斑点很细小，容易被正常植株遮挡。

另外一种深度网络模型ResNet-152识别精度与GoogLeNet深度网络在不同水稻病害类别识别上一致，但均整体要偏低一些。对于稻曲病、恶苗病、胡麻叶斑病、纹枯病等四类水稻病害图像识别上均高于80％，而稻瘟病、霜霉病、叶鞘腐败病等三类病害图像识别上均低于60％。我们也使用过深度学习网络模型Alex-Net深度较浅，相比之下，GoogLeNet深度网络更适合做水稻病害多类别图像的识别。

本发明采用的水稻病害图像识别方法对于水稻病害边缘模糊的图像自动提取的特征更加抽象、语义及结构信息更加丰富，对图像具有更强的表达能力及识别性。更易在发病早期检测到具体的水稻病害。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种基于深度卷积神经网络的水稻病害图像识别方法，其特征在于：包括如下步骤：

(1)：水稻病害特征库的构建：首先根据水稻病害图谱，选出常见的水稻病害特征描述作为研究对象构建水稻病害特征库，构建出不同类别的水稻病害特征描述，水稻病害的特征描述，可为深度学习网络模型对水稻病害图像识别的准确度提供视觉依据；

(2)：水稻病斑图像数据库构建：根据水稻病害图谱分类，编写爬虫软件在权威图库中按照常见的水稻病害病斑类别下载图像，经过数据清洗，得到有效图像，构建了水稻病斑图像数据库；

(3)：水稻病害图像识别模型构建与分析：包括如下步骤：

(a)首先从水稻病害特征库中取出样本图像，进行数据扩增，先应用双线性插值方法将图像缩小到256×256大小，然后按照224×224大小截取图像中左上角、右上角、左下角、右下角和中间部分图像块，最后将截取后的图像块进行水平翻转，总共有10张子图像块输入到卷积网络模型的第一卷积层，达到数据集扩增效果；

(b)数据扩增后进行ReLU非线性激活，激活后进行归一化处理，归一化处理是为了提高模型的泛化能力；然后再将数据输入到第二、第三卷积层，第二、第三卷积层直接相连，在进行归一化层和池化层之后，启用了9个Inception模块，模型在不同深度处增加了两个辅助性的分类量词来保证梯度回传消失；在初期模块操作之后，经过平均池化，降低特征维度，最后进行一个1024个神经元的全连接层和一个8类别输出的softmax函数，softmax函数产生8个水稻病害类别的概率值，使用Top-1错误率，即将网络输出的8个概率值中最高值映射为1，表示深度学习网络将输入图像识别为该类，其余7个概率值映射为0，表示该输入图像不属于这些类别，最终测试值和真值进行比较，判别网络图像识别是否准确。

2.根据权利要求1所述的一种基于深度卷积神经网络的水稻病害图像识别方法，其特征在于：在步骤(2)中，下载的水稻病害病斑图像的张数至少500张。

3.根据权利要求1所述的一种基于深度卷积神经网络的水稻病害图像识别方法，其特征在于：在步骤(3)中的步骤(a)中，第一卷积层使用的卷积核大小为7×7，步长为2，一共设置了64个卷积核，生成64幅特征图；第一卷积层之后连接的是最大池化层，在卷积层输出基础上用64个大小为3×3的滤波核来降低学习特征的维数，并使池化后的特征表达具有一定的平移不变性，在平均意义上，与平均池化层近似，在局部意义上，则服从最大池化层的准则，最大池化层的结果是使得特征减少，参数减少，最大池化层目的是为了保持某种不变性。

4.根据权利要求1所述的一种基于深度卷积神经网络的水稻病害图像识别方法，其特征在于：在步骤(3)中的步骤(b)中，第二卷积层使用了64个卷积核，大小为1×1，步长为1。第三卷积层使用了192个卷积核，大小为3×3，步长为1。

5.根据权利要求1所述的一种基于深度卷积神经网络的水稻病害图像识别方法，其特征在于：在步骤(3)中，所述卷积网络模型的梯度反向传播过程中，第l层的梯度定义如式(1)所示：

其中ω_l第l层的滤波权值参数，b_l是l层的偏置，y_l是第l层输出特征图像，f(·)是激活函数，f′是f的梯度，权值ω_l和偏置b_l的更新如式(2)、(3)所示：

其中μ为动量变量，α是动量因子，是权重延时weight decay，η为学习率，是目标函数L对ω在第i次迭代下批量样本D_i的平均梯度。

6.根据权利要求5所述的一种基于深度卷积神经网络的水稻病害图像识别方法，其特征在于：所述学习率η的计算公式如式(4)所示：

其中base_lr＝0.01，power＝0.5，t是当前迭代次数，T是最大迭代次数。

7.根据权利要求1所述的一种基于深度卷积神经网络的水稻病害图像识别方法，其特征在于：常见的病虫害包括稻瘟病、纹枯病、胡麻叶斑病、小球菌核病、恶苗病、霜霉病、稻曲病和叶鞘腐败病，下载的病斑图像包括从幼苗到抽穗时期，水稻病害发病部位发生在叶片、茎秆、穗部，在不同的生长时期、不同发病部位不同的病斑图像，所有的水稻病害图像都是从自然场景下采集的，不局限于单株水稻局部叶片病斑，大部分是多株水稻全局的图像。