CN110717451B - 一种基于深度学习的药用植物叶部病害图像识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的药用植物叶部病害图像识别方法，涉及药用植物叶部病害防护技术领域，其包括采集若干药用植物叶部病害图像；对药用植物叶部病害图像进行增强处理；将各增强处理后的药用植物叶部病害图像的尺寸统一调整为299x299；训练深度CNN模型，深度CNN模型包括串联的卷积池化网络、Inception‑I网络、平均池化网络、Dropout层和Softmax层，串联的卷积池化网络的最后两个卷积层为深度可分离卷积层，Inception‑I网络中包括随机池化层；通过深度CNN模型对尺寸调整后的各药用植物叶部病害图像进行识别，识别结果为各药用植物叶部所患病害类型，基于识别结果对各药用植物叶部所患病害进行分类。该识别方法可以有效地辅助种植人员诊断病害，提高诊断效率。

Description

一种基于深度学习的药用植物叶部病害图像识别方法

技术领域

本发明涉及药用植物叶部病害防护技术领域，具体而言，涉及一种基于深度学习的药用植物叶部病害图像识别方法。

背景技术

药用植物生长过程中叶片与病原物接触机会多，受外界环境条件影响也较大，容易发生病害，影响药用植物产量及最终药品的药效。据科普文献记载统计，61种药用植物就有394种病害，其中叶部病害有220种，占58.1％。叶部常见的病害类型有霜霉病、白锈病、白粉病、锈病、叶斑病、叶枯病等。

为了尽可能降低病虫害对药用植物生长过程的影响，应尽早发现病虫害，以便在适宜时间选择适当的治疗方法以防止病虫害扩散。传统的方法是通过人工巡视查看病虫害，这种方式耗时长、效率低，在大规模种植情况下难以及时发现病虫害并及时采取防治措施。

随着计算机图像处理技术的发展，为发现植物病害提供了新技术方案，目前，主要有两种方法对药用植物叶部病害图像进行识别。

第一种是采用机器学习的方法进行植物病害的检测和诊断。在相同实验室条件下拍摄罗勒叶共400张图片，其中健康和患病各200张，提出基于模糊集扩展形式的中智逻辑图像分割方法，利用模糊集扩展形式的中智逻辑图像分割技术对图像进行分割，并将分割后的中智逻辑图像划分为真、假和不确定。在分割区域的基础上，利用纹理、颜色、直方图和疾病序列区域对新特征子集进行评估，从而识别出病叶或健康叶，并利用9种不同的分类器(决策树、朴素贝叶斯、K-近邻、支持向量机、随机森林、自适应增强、人工神经网络、判别分析、线性模型)对组合特征有效性的判别能力进行了监测和验证，其中随机森林法优于其他分类方法。

第二种是采用深度学习的方法，利用健康植物和患病植物的简单叶片图像，建立卷积神经网络模型，进行植物病害的检测和诊断。其中采用五个基本的CNN架构，分别是：AlexNet、AlexNetOWTBn、GoogLeNet、Overfeat、VGG，这些模型的训练是使用一个包含87848张图片的开放数据库，其中包含58种不同种类的[植物，疾病]组合中的25种不同的植物。

上述方法存在以下缺陷：

第一种方法首先使用对比度有限的自适应直方图均衡化方法提取图像细节，预处理后将图像转化为中智集，将图像分割为真、假、不确定三个区域。基于分割的三个区域设计出一个新的特征库，基于新特征使用分类器进行分类识别。背景技术是在实验室条件下进行的拍摄取样，并且由于样本数据量少，容易导致模型泛化能力低。

第二种方法采用CNN基本架构，容易导致过拟合，且卷积核参数数量过多，训练效率较低；另外，训练样本都来自实验室环境拍摄，对实地拍摄背景复杂的图片，则识别准确率较低。

发明内容

本发明在于提供一种基于深度学习的药用植物叶部病害图像识别方法，其能够缓解上述问题。

为了缓解上述的问题，本发明采取的技术方案如下：

本发明提供了一种基于深度学习的药用植物叶部病害图像识别方法，包括以下步骤：

S1、采集若干药用植物叶部病害图像，以植物名称+病害名称的方式对各图像进行重命名；

S2、对重命名后的药用植物叶部病害图像进行增强处理；

S3、将各增强处理后的药用植物叶部病害图像的尺寸统一调整为299x299；

S4、训练深度CNN模型，所述深度CNN模型包括串联的卷积池化网络、Inception-I网络、平均池化网络、Dropout层和Softmax层，所述串联的卷积池化网络的最后两个卷积层为深度可分离卷积层，所述Inception-I网络中包括随机池化层；

S5、通过深度CNN模型对尺寸调整后的各药用植物叶部病害图像进行识别，识别获得各药用植物叶部所患病害类型，基于识别结果对各药用植物叶部所患病害进行分类。

本技术方案的技术效果是：通过图像数据增强处理，提高了药用植物叶部病害图像的多样性，增强了真实条件下的抗干扰能力，局部使用深度可分离卷积技术，提高了模型的计算效率，加入随机池化操作，可以更好的防止过拟合，该识别方法可以有效地辅助种植人员诊断病害，提高诊断效率。

可选地，所述步骤S1中，通过数码照相机采集药用植物叶部病害图像，所述药用植物叶部病害图像共计500张。

本技术方案的技术效果是：该数量的图像基本上能够代表所有药用植物叶部的病害情况。

可选地，所述步骤S2中，对叶部病害图像进行增强处理包括图像旋转、镜像对称、亮度调整和PCA抖动。

本技术方案的技术效果是：扩展药用植物叶部病害图像的多样性和数量，模拟真实的采集环境。

具体地，所述图像旋转的操作方法是：设定图像中任意点P坐标为(x0,y0)，逆时针旋转θ度后坐标为(x,y)，则旋转前后极坐标计算公式如下：

x0＝γcosα,y0＝γsinα

x＝γcos(α+θ),y＝γsin(α+θ)

其中γ表示P点的极径；α表示P点的极角。

可选地，所述步骤S4中，每个卷积层的输出特征映射由当前层和卷积核之间的卷积运算确定，公式如下：

x_j ^λ＝∑_i∈Mjx_j ^λ-1*kernel_ij ^λ+b_j ^λ

其中λ表示第λ层，kernel_ij表示卷积核，b_j是偏置项，M_j是一组输入特征映射；设定输入通道数量为M，输出通道数量为N，卷积核大小为D_K×D_K，则所述深度可分离卷积层的计算成本为D_K×D_K×M+M×N×1×1，其它卷积层的计算成本均为D_K×D_K×M×N。

可选地，所述步骤S4中，Softmax层是将Softmax函数作为输出层，进行药用植物叶部病害的分类，公式如下：

该公式表示将一个含任意实数的K维向量z映射到另一个K维实向量σ(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1，其中R＝1,2,…,K，K为药用植物叶部病害类别数目。

可选地，药用植物叶部病害类别数目K＝6，药用植物叶部病害分别为霜霉病、白锈病、白粉病、锈病、叶斑病、叶枯病。

本技术方案的技术效果是：这6个类别的病害基本上能够涵盖常见的所有药用植物叶部病害。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举本发明实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例所述基于深度学习的药用植物叶部病害图像识别方法的流程图；

图2是本发明实施例所述深度CNN模型的结构图；

图3是本发明实施例所述串联的卷积池化网络的结构图；

图4是本发明实施例所述Inception-I网络的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参照图1、图2、图3和图4，本发明实施例提供了一种基于深度学习的药用植物叶部病害图像识别方法，包括以下步骤：

S1、采集若干药用植物叶部病害图像，以植物名称+病害名称的方式对各图像进行重命名；

S2、对重命名后的药用植物叶部病害图像进行增强处理；

S3、图像数据预处理，将各增强处理后的药用植物叶部病害图像的尺寸统一调整为299x299；

S4、训练深度CNN模型，深度CNN模型包括串联的卷积池化网络、Inception-I网络、平均池化网络、Dropout层和Softmax层，串联的卷积池化网络的最后两个卷积层为深度可分离卷积层，Inception-I网络中包括随机池化层；

S5、通过深度CNN模型对尺寸调整后的各药用植物叶部病害图像进行识别，识别获得各药用植物叶部所患病害类型，基于识别结果对各药用植物叶部所患病害进行分类。

在本实施例中，对各药用植物叶部病害图像的尺寸进行了处理，即使得输入深度CNN模型的网络输入层的图像大小统一为299x299。

在本实施例中，训练深度CNN模型的方法是：首先在像ImageNet这样的大型数据集上预训练深度CNN。进行该预训练以通过从大型数据集到药用植物叶部病害分类的迁移学习来准备本实施例中的深度CNN模型，即将预训练网络的最后一层输出类别数替换为药用植物叶部病害类别数目，然后使用反向传播算法对获得的网络进行重新训练，通过对权重、学习率等参数进行微调。

在本实施例中，根据卷积神经网络的卷积和池化两大特性，利用串联的卷积池化网络对图像数据进行串联的卷积池化操作，提取药用植物叶部病害图像特征。输入的图片尺寸为299x299，第一个卷积层的输出通道数为32，卷积核尺寸为3x3，步长为2；其他卷积层采用相同的形式。其中最后两个卷积层使用深度可分离卷积方式，这样可以减少卷积中参数的数量，同时又可避免参数太少导致网络无法在训练中正确学习的情况。按照图2中Stem的定义，逐层定义好网络结构。其中当需要控制特征映射的大小进行填充(Padded)时，默认为0填充。

在本实施例中，Inception-I网络为并联结构以减少参数，其共有4个分支：第一个分支对输入进行1x1的卷积，1x1的卷积可以跨通道组织信息，提高网络的表达能力，同时可以对输出通道降维；第二个分支先使用了1x1卷积，然后连接3x3卷积，相当于进行了两次特征变换；第三个分支类似，先是1x1的卷积，然后连接两个3x3卷积；最后一个分支则是随机池化后直接使用1x1卷积。最后，过滤器连接层简单地连接所有这些并行层的输出。

随机池化层用于减少方差，可以计算图像区域内某一特征的最大值。假设图像特征具有较小的平移量，则可以保证得到相同的结果。随机池不仅结合了平均池和最大池的优点，而且可以防止过拟合。

在本实施例中，每个卷积层的输出特征映射由当前层和卷积核之间的卷积运算确定，公式如下：

x_j ^λ＝∑_i∈Mjx_j ^λ-1*kernel_ij ^λ+b_j ^λ

其中λ表示第λ层，kernel_ij表示卷积核，b_j是偏置项，M_j是一组输入特征映射；设定输入通道数量为M，输出通道数量为N，卷积核大小为D_K×D_K，则深度可分离卷积层的计算成本为D_K×D_K×M+M×N×1×1，其它卷积层的计算成本均为D_K×D_K×M×N。因此使用深度可分离卷积相比普通卷积的计算量要小，两种模型计算量比值如下：

(D_K×D_K×M+M×N×1×1)/(D_K×D_K×M×N)＝(1/N)+[1/(D_K)²]。

在本实施例中，Dropout层的输入层与输出层保持不变，隐藏层神经元按比例随机失活，防止过拟合，提供模型的泛化能力。

在本实施例中，Softmax层将Softmax函数作为输出层，进行药用植物叶部病害的分类，公式如下：

该公式表示将一个含任意实数的K维向量z映射到另一个K维实向量σ(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1，其中R＝1,2,…,K，K为药用植物叶部病害类别数目。一般情况下，取药用植物叶部病害类别数目K＝6，即将药用植物叶部病害分为6个类别，分别是霜霉病、白锈病、白粉病、锈病、叶斑病、叶枯病。

实施例2

针对实施例1中的步骤S1，其中通过数码照相机采集药用植物叶部病害图像，药用植物叶部病害图像共计500张。

实施例3

针对实施例1中的步骤S2，对叶部病害图像进行增强处理包括图像旋转、镜像对称、亮度调整和PCA抖动。

在本实施例中，图像旋转指的是将图像的所有像素点围绕图像中心旋转0-360度角度；镜像对称指的是采用图像中的中垂线作为轴，交换图像中所有像素即水平对称。设定图像中任意点P坐标为(x0,y0)，逆时针旋转θ度后坐标为(x,y)，则旋转前后极坐标计算公式如下：

x0＝γcosα,y0＝γsinα

x＝γcos(α+θ),y＝γsin(α+θ)

其中γ表示P点的极径；α表示P点的极角。

在本实施例中，亮度调整指的是调整图像锐度值、亮度值和对比度。

为了改变图像亮度，需要随机增加或减少像素的RGB值。首先用V₀表示原始RGB值，V是调整后的RGB值，d表示亮度变化因子。公式如下：

V＝V₀×(1+d)

调整对比度是在保证平均亮度不变的情况下，扩大或缩小亮区域和暗区域的差异。

V＝i+(V₀-i)×(1+d)

其中i表示整张图片的平均RGB值。

图像锐化可以增强图像的边缘和边框，使物体从图像中显现出来。假设初始RGB图像像素值为c(x,y)＝[R(x,y),G(x,y),B(x,y)]^T，应用拉普拉斯变换，公式如下：

这里以

为例：

根据对二阶微分的定义有：

故得：

这样可以获得一个模板矩阵，称为Laplacian掩膜，即：

将原始图像和拉普拉斯变换图像相叠加，既能保护拉普拉斯锐化处理的效果，同时又能复原背景信息。

其中g(x,y)为替换后的像素值，

和

计算同上。

在本实施例中，PCA抖动指的是将图像按照RGB三个颜色通道计算均值和标准差，每个RGB图像像素为I(i,j)＝[I(i,j)^R,I(i,j)^G,I(i,j)^B]^T，公式如下：

其中M×N表示图像的大小，I(i,j)表示第i行和第j列的像素值，μ为均值，δ为标准差。

再计算协方差矩阵，来度量各个维度偏离其均值的程度，协方差定义如下：：

最后对协方差矩阵进行特征分解，则可以求得特征向量和特征值如下：

cov＝[P₁,P₂,P₃]diag(λ₁,λ₂,λ₃)[P₁,P₂,P₃]^T

其中P_i和λ_i是协方差矩阵的第i个特征向量和特征值，diag(λ₁,λ₂,λ₃)为特征值组成的对角矩阵，T表示转置。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于深度学习的药用植物叶部病害图像识别方法，其特征在于，包括以下步骤：

S1、采集若干药用植物叶部病害图像，以植物名称+病害名称的方式对各图像进行重命名；

S2、对重命名后的药用植物叶部病害图像进行增强处理；

S3、将各增强处理后的药用植物叶部病害图像的尺寸统一调整为299x299；

S4、训练深度CNN模型，所述深度CNN模型包括串联的卷积池化网络、Inception-I网络、平均池化网络、Dropout层和Softmax层，所述串联的卷积池化网络的最后两个卷积层为深度可分离卷积层，所述Inception-I网络中包括随机池化层；

S5、通过深度CNN模型对尺寸调整后的各药用植物叶部病害图像进行识别，识别获得各药用植物叶部所患病害类型，基于识别结果对各药用植物叶部所患病害进行分类；

所述步骤S4中，每个卷积层的输出特征映射由当前层和卷积核之间的卷积运算确定，公式如下：

x_j ^λ＝∑_i∈Mjx_j ^λ-1*kernel_ij ^λ+b_j ^λ

其中λ表示第λ层，kernel_ij表示卷积核，b_j是偏置项，M_j是一组输入特征映射；

设定输入通道数量为M，输出通道数量为N，卷积核大小为D_K×D_K，则所述深度可分离卷积层的计算成本为D_K×D_K×M+M×N×1×1，其它卷积层的计算成本均为D_K×D_K×M×N；

所述Inception-I网络包括四个分支：第一个分支设置1x1的卷积，第二个分支包括依次连接的1x1卷积和3x3卷积，第三个分支包括依次连接的1x1的卷积和两个3x3卷积；第四个分支则设置随机池化连接1x1卷积。

2.根据权利要求1所述基于深度学习的药用植物叶部病害图像识别方法，其特征在于，所述步骤S1中，通过数码照相机采集药用植物叶部病害图像，所述药用植物叶部病害图像共计500张。

3.根据权利要求1所述基于深度学习的药用植物叶部病害图像识别方法，其特征在于，所述步骤S2中，对叶部病害图像进行增强处理包括图像旋转、镜像对称、亮度调整和PCA抖动。

4.根据权利要求3所述基于深度学习的药用植物叶部病害图像识别方法，其特征在于，所述图像旋转的操作方法是：设定图像中任意点P坐标为(x0,y0)，逆时针旋转θ度后坐标为(x,y)，则旋转前后极坐标计算公式如下：

x0＝γcosα,y0＝γsinα

x＝γcos(α+θ),y＝γsin(α+θ)

其中γ表示P点的极径；α表示P点的极角。

5.根据权利要求1所述基于深度学习的药用植物叶部病害图像识别方法，其特征在于，所述步骤S4中，Softmax层是将Softmax函数作为输出层，进行药用植物叶部病害的分类，公式如下：

该公式表示将一个含任意实数的K维向量z映射到另一个K维实向量σ(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1，其中R＝1,2,…,K；K为药用植物叶部病害类别数目。

6.根据权利要求5所述基于深度学习的药用植物叶部病害图像识别方法，其特征在于，药用植物叶部病害类别数目K＝6，药用植物叶部病害分别为霜霉病、白锈病、白粉病、锈病、叶斑病和叶枯病。

Images