CN110097104A - 基于深度学习的苹果叶片病害分类方法及其自动识别装置 - Google Patents

Abstract

本发明公开基于深度学习的苹果叶片病害分类方法及其自动识别装置，属于图像分类领域，用于解决现有技术中难以对拍摄的苹果图片进行病害识别和快速有效分类的问题，基于深度学习的苹果叶片病害分类方法，是在Vgg16网络模型的基础上进行改进的，改进的方法包括：在Vgg16模型的基础上，每个卷积层中添加了批标准化层；批标准化层的加入，不仅加速了网络模型的训练速度，在分类精度上也有所提升；在损失函数方面，加入了新的辅助损失函数，使学习到的特征更有区分度；该装置可以将拍摄的叶片数据传输到分类器中进行自动识别，具有识别精度高和易于操作的优点。

Description

基于深度学习的苹果叶片病害分类方法及其自动识别装置

技术领域

本发明属于图像识别技术领域，尤其涉及基于深度学习的苹果叶片病害分类方法及其自动识别装置。

背景技术

苹果，是生活中最为普遍的水果之一，但却对于人体健康来说有着重要的作用。苹果在种植及其生产过程中，由于对外界环境的不适应性和受到其他生物的侵染，很容易发生病害。一旦出现病害，将对苹果的产量和品质造成严重的影响。因此，早期发现和诊断这些疾病是至关重要的。由于苹果病害种类繁多，仅靠人工肉眼观察及经验判断很容易发生误诊，导致植物病害得不到及时诊治。治理植物病害的关键因素是快速且精确的诊断出病害类型，从而采取及时有效的防治措施，避免农药的错误使用。

随着计算机技术的发展，关于植物叶片病害的智能识别研究也取得了良好的进展。大多数研究均是通过人工手动提取植物图像的特征，再结合不同分类器来对病害进行识别。虽然获得了较好的识别效果，但由于现实中病害图片的复杂多样性，很难选择出对病害类型识别贡献较大的有用特征。且随着图片数据的快速增长，人工获取的特征越来越难以满足实际植物病害识别的需求。在此背景下，基于计算机视觉的图像分类技术就显得尤为重要，尤其是近年来，人工智能技术的迅速发展，基于深度卷积神经网络来提取图像的深度特征被证明是有效的。深度卷积神经网络属于端到端的策略，可以实现图像特征的高效自动学习和分类。然而，深度卷积神经网络的训练过程中仍存在网络训练收敛时间长、调参过程复杂、识别精度不高等问题。

发明内容

本发明提供了基于深度学习的苹果叶片病害的分类方法及其自动识别装置，以解决现有技术中难以对拍摄的苹果图片进行病害识别和快速有效分类的问题；

本发明的目的可以通过以下技术方案实现：基于深度学习的苹果叶片病害分类方法，包括以下步骤：

S1：对叶片病害进行分类标签，并划分训练集和测试集；

S2：在Vgg16模型上加入批标准化层；

S3：在softmax loss函数基础上，加入了新的辅助损失函数center loss；

S4：将分类标签好的图片放入改进的模型中进行训练；

优选的，所述S2中批标准化的算法如下：

其中，式中μ和σ分别为批次均值和方差；

其中，式中ε为预设常量；

yi＝γ_ix_i+β_i (4)

β_i＝E[x_i] (6)

其中，式中Var为方差函数，E为均值函数；

优选的，所述S3中softmax loss函数公式如下：

辅助损失函数center loss函数公式如下：

其中，c_yi代表第yi类深度特征的类心，xi表示全连接层之前的特征，m表示mini-batch的大小；总的损失函数如下：

其中，m1表示mini-batch的包含的样本数量，n表示类别数，超参数λ是用来控制两个损失函数之间的比重；

基于深度学习的苹果叶片病害分类的自动识别装置，该自动识别装置包括数据采集器和地面终端；

所述数据采集器包括图片采集模块、数据编码模块、本地存储模块和数据传输模块；所述图片采集模块用于对苹果叶片进行拍摄图片并发送至数据编码模块；所述数据编码模块用于对接收的苹果叶片图片进行无损压缩处理并发送至本地存储模块；本地存储模块接收无损压缩处理后的苹果叶片图片进行存储；数据编码模块通过数据传输模块将无损压缩处理后的苹果叶片图片发送至地面终端内部的数据解码模块；

所述地面终端包括数据解码模块、分类模块、终端存储模块和信息显示模块；所述数据解码模块用于对经数据编码模块无损压缩处理后的苹果叶片图片进行无损解压并发送至分类模块；所述分类模块的内部嵌有用于对苹果叶片图像进行分类的苹果叶片病害分类神经网络模型，分类模块接收数据解码模块解压后的苹果叶片图片以及分类后的苹果叶片图片发送至终端存储模块；信息显示模块；所述终端存储模块接收分类模块发送的解压后的苹果叶片图片以及分类后的苹果叶片图片并进行存储；分类模块将分类后的苹果叶片图片发送至信息显示终端；所述终端存储模块发送解压后的苹果叶片图片至信息显示终端；所述信息显示终端用于显示苹果叶片图片及苹果叶片图片分类结果。

本发明的有益效果：

(1)对叶片病害进行分类标签，并划分训练集和测试集；利用训练集数据对模型进行训练，以提取出苹果病害叶片的深度特征；利用测试集数据对训练好的模型进行模型识别精度的评估；在Vgg16模型上加入批标准化层；批标准化即是在神经网络的训练过程中对每层的输入数据进行批标准化处理，以降低样本间的差异性；在softmax loss函数基础上，加入了新的辅助损失函数center loss；之所以说是辅助损失函数，是因为新提出的损失函数需要结合softmax loss函数一起使用；将分类标签好的图片放入改进的模型中进行训练；将分类标签好的图片数据作为训练集放入改进过的Vgg16模型中训练，生成分类模型，来对苹果叶片病害进行分类，并利用测试集图片来检测模型的分类精度；

(2)自动识别装置包括数据采集器和地面终端；图片采集模块用于对苹果叶片进行拍摄图片并发送至数据编码模块；数据编码模块用于对接收的苹果叶片图片进行无损压缩处理并发送至本地存储模块；本地存储模块接收无损压缩处理后的苹果叶片图片进行存储；数据编码模块通过数据传输模块将无损压缩处理后的苹果叶片图片发送至地面终端内部的数据解码模块；数据采集器内部的数据编码模块将拍摄的图片通过无损压缩编码处理，经由无线WiFi或3G或4G或5G网络传输给地面终端，地面终端将接收的图片信号经过数据解码模块后输入分类模块中，来实现叶片病害的精确分类功能；数据解码模块用于对经数据编码模块无损压缩处理后的苹果叶片图片进行无损解压并发送至分类模块；分类模块的内部嵌有用于对苹果叶片图像进行分类的苹果叶片病害分类神经网络模型，分类模块接收数据解码模块解压后的苹果叶片图片以及分类后的苹果叶片图片发送至终端存储模块；分类模块是嵌有训练好的苹果叶片病害分类神经网络模型，可以直接对输入的叶片图像进行高效的分类。

附图说明

下面结合附图对本发明作进一步的说明。

图1为本发明基于深度学习的苹果叶片病害分类方法的流程图；

图2为本发明基于深度学习的苹果叶片病害分类方法的卷积神经网络的整体框架图；

图3为本发明超参数λ所对应的叶片图像病害分类准确率的柱状图；

图4为本发明基于深度学习的苹果叶片病害分类自动识别装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1-3所示，本发明为基于深度学习的苹果叶片病害分类方法，包括以下步骤：

S1：对叶片病害进行分类标签，并划分训练集和测试集；利用训练集数据对模型进行训练，以提取出苹果病害叶片的深度特征；利用测试集数据对训练好的模型进行模型识别精度的评估；

S2：在Vgg16模型上加入批标准化层；所谓批标准化，即是在神经网络的训练过程中对每层的输入数据进行批标准化处理，以降低样本间的差异性；批标准化的算法如下：

其中，式中μ和σ分别为批次均值和方差；接着将数据归一化；

其中，式中ε为预设常量；式中ε是为了避免方差σ为0时分式不成立而设置的常量，为避免数据批标准化破坏特征分布，需要通过重构变换来恢复原始的特征分布；

yi＝γ_ix_i+β_i (4)

β_i＝E[x_i] (6)

其中，式中Var为方差函数，E为均值函数；可以发现，当γ_i与β_i分别如式(5)和(6)设定的值时，重构变换能够完全复原原始数据，批标准化层的加入，一方面提升了训练速度，收敛过程大大加快，另一方面，也使分类效果得到提升；

S3：在softmax loss函数基础上，加入了新的辅助损失函数center loss；之所以说是辅助损失函数，是因为新提出的损失函数需要结合softmax loss函数一起使用；在特征提取的过程中，很多情况下类内间距要大于类间间距；期望特征不仅可分，而且要求差异大；希望同类样本之间紧凑，不同类样本之间分散；用softmax loss函数来训练网络时，得到的深度特征通常具有比较强的类间判别力；针对苹果叶片这种精细复杂的数据，数据在特征空间不仅是类间可分，更重要的是类内紧凑；因为同一种植物叶片的类内变化很可能会大于类间的变化，只有保持类内紧凑，才能对那些类内变化大的样本有一个更加鲁棒的判定结果，也就是学习一种有判别力的特征；针对这个问题，center loss函数的解决方案是：对每一个类都维护一个类中心c，而后在特征层如果该样本的类中心特征太远就要受到惩罚；在结合使用这两种损失函数时，可以认为softmax loss函数负责增加类间距离，center loss负责减小类内距离，这样学习到的特征更有内聚性，从而实现更好的分类效果；

softmax loss函数公式如下：

辅助损失函数center loss函数公式如下：

其中，c_yi代表第yi类深度特征的类心，x_i表示全连接层之前的特征，m表示mini-batch的大小；损失函数center loss的作用就让一个批次中的每个样本的特征离特征的中心的距离的平方和越小越好，也就是让类内距离越小越好；

总的损失函数如下：

其中，m1表示mini-batch的包含的样本数量，n表示类别数，超参数λ是用来控制两个损失函数之间的比重；调整两个损失函数之间的比重，从而得到精确度最佳的超参数λ，如图3所示，当λ取值为0.09时，得到的分类准确率最高；

S4：将分类标签好的图片放入改进的模型中进行训练；将分类标签好的图片数据作为训练集放入改进过的Vgg16模型中训练，生成分类模型，来对苹果叶片病害进行分类，并利用测试集图片来检测模型的分类精度；图3展示了改进后的Vgg16模型与当前比较流行的几种神经网络模型的的分类准确率曲线图，可以看出，改进后的Vgg16模型在精度上明显优于其他网络；

请参阅图4所示，基于深度学习的苹果叶片病害分类的自动识别装置，该自动识别装置包括数据采集器和地面终端；

数据采集器包括图片采集模块、数据编码模块、本地存储模块和数据传输模块；图片采集模块用于对苹果叶片进行拍摄图片并发送至数据编码模块；数据编码模块用于对接收的苹果叶片图片进行无损压缩处理并发送至本地存储模块；本地存储模块接收无损压缩处理后的苹果叶片图片进行存储；数据编码模块通过数据传输模块将无损压缩处理后的苹果叶片图片发送至地面终端内部的数据解码模块；叶片病害自动识别装置由数据采集器和地面终端组成；数数据采集器内部的数据编码模块将拍摄的图片通过无损压缩编码处理，经由无线WiFi或3G或4G或5G网络传输给地面终端，地面终端将接收的图片信号经过数据解码模块后输入分类模块中，来实现叶片病害的精确分类功能；考虑到苹果树的高度问题，在户外进行拍摄时一般的手持设备需要全程手动来操作，用户可能不便于手动操控手持设备来进行拍照；因此，图片采集模块是通过民用无人机搭载摄像机来进行图片拍摄工作；民用无人机可通过无线电遥控设备来进行飞行速度、飞行高度、距目的地的距离、飞行姿势信息的控制；所搭载的摄像机可以是高清摄像机或高分辨率的数码相机，使得拍摄效果好，便于后续进行识别，提高分类精度；数据编码模块采用无损压缩编码处理，防止图片信息的丢失；本地存储模块为易失性存储器形式的计算机系统可读介质或是非易失性存储器形式的计算机系统可读介质；

地面终端包括数据解码模块、分类模块、终端存储模块和信息显示模块；数据解码模块用于对经数据编码模块无损压缩处理后的苹果叶片图片进行无损解压并发送至分类模块；分类模块的内部嵌有用于对苹果叶片图像进行分类的苹果叶片病害分类神经网络模型，分类模块接收数据解码模块解压后的苹果叶片图片以及分类后的苹果叶片图片发送至终端存储模块；信息显示模块；终端存储模块接收分类模块发送的解压后的苹果叶片图片以及分类后的苹果叶片图片并进行存储；分类模块将分类后的苹果叶片图片发送至信息显示终端；终端存储模块发送解压后的苹果叶片图片至信息显示终端；信息显示终端用于显示苹果叶片图片及苹果叶片图片分类结果；

数据解码模块所采用的技术方案与数据编码模块采用的方案相对应；分类模块是嵌有训练好的苹果叶片病害分类神经网络模型，可以直接对输入的叶片图像进行高效的分类；终端存储模块为任何形式的易失性或非易失性存储器，终端存储模块内有带标签的数据文件，可以将分类好的图片放入相对应标签的文件中存储；信息显示模块可以是多种形式的显示器，包括LED显示器、LCD显示器但不仅限于此，信息显示模块可以对经过分类模块分类的叶片数据进行分类结果的显示，也可以对存储器中的叶片数据进行查看；

本发明的工作原理：对叶片病害进行分类标签，并划分训练集和测试集；利用训练集数据对模型进行训练，以提取出苹果病害叶片的深度特征；利用测试集数据对训练好的模型进行模型识别精度的评估；在Vgg16模型上加入批标准化层；批标准化即是在神经网络的训练过程中对每层的输入数据进行批标准化处理，以降低样本间的差异性；在softmaxloss函数基础上，加入了新的辅助损失函数center loss；之所以说是辅助损失函数，是因为新提出的损失函数需要结合softmax loss函数一起使用；将分类标签好的图片放入改进的模型中进行训练；将分类标签好的图片数据作为训练集放入改进过的Vgg16模型中训练，生成分类模型，来对苹果叶片病害进行分类，并利用测试集图片来检测模型的分类精度；自动识别装置包括数据采集器和地面终端；图片采集模块用于对苹果叶片进行拍摄图片并发送至数据编码模块；数据编码模块用于对接收的苹果叶片图片进行无损压缩处理并发送至本地存储模块；本地存储模块接收无损压缩处理后的苹果叶片图片进行存储；数据编码模块通过数据传输模块将无损压缩处理后的苹果叶片图片发送至地面终端内部的数据解码模块；数据采集器内部的数据编码模块将拍摄的图片通过无损压缩编码处理，经由无线WiFi或3G或4G或5G网络传输给地面终端，地面终端将接收的图片信号经过数据解码模块后输入分类模块中，来实现叶片病害的精确分类功能；数据解码模块用于对经数据编码模块无损压缩处理后的苹果叶片图片进行无损解压并发送至分类模块；分类模块的内部嵌有用于对苹果叶片图像进行分类的苹果叶片病害分类神经网络模型，分类模块接收数据解码模块解压后的苹果叶片图片以及分类后的苹果叶片图片发送至终端存储模块；分类模块是嵌有训练好的苹果叶片病害分类神经网络模型，可以直接对输入的叶片图像进行高效的分类。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (4)

1.基于深度学习的苹果叶片病害分类方法，其特征在于，包括以下步骤：

S1：对叶片病害进行分类标签，并划分训练集和测试集；

S2：在Vgg16模型上加入批标准化层；

S3：在softmax loss函数基础上，加入了新的辅助损失函数center loss；

S4：将分类标签好的图片放入改进的模型中进行训练。

2.根据权利要求1所述的基于深度学习的苹果叶片病害分类方法，其特征在于，所述S2中批标准化的算法如下：

其中，式中μ和σ分别为批次均值和方差；

其中，式中ε为预设常量；

yi＝γ_ix_i+β_i (4)

β_i＝E[x_i] (6)

其中，式中Var为方差函数，E为均值函数。

3.根据权利要求1所述的基于深度学习的苹果叶片病害分类方法，其特征在于，所述S3中softmax loss函数公式如下：

辅助损失函数center loss函数公式如下：

其中，c_yi代表第yi类深度特征的类心，x_i表示全连接层之前的特征，m表示mini-batch的大小；总的损失函数如下：

其中，m1表示mini-batch的包含的样本数量，n表示类别数，超参数λ是用来控制两个损失函数之间的比重。

4.基于深度学习的苹果叶片病害分类的自动识别装置，其特征在于，该自动识别装置包括数据采集器和地面终端；

所述数据采集器包括图片采集模块、数据编码模块、本地存储模块和数据传输模块；所述图片采集模块用于对苹果叶片进行拍摄图片并发送至数据编码模块；所述数据编码模块用于对接收的苹果叶片图片进行无损压缩处理并发送至本地存储模块；本地存储模块接收无损压缩处理后的苹果叶片图片进行存储；数据编码模块通过数据传输模块将无损压缩处理后的苹果叶片图片发送至地面终端内部的数据解码模块；

所述地面终端包括数据解码模块、分类模块、终端存储模块和信息显示模块；所述数据解码模块用于对经数据编码模块无损压缩处理后的苹果叶片图片进行无损解压并发送至分类模块；所述分类模块的内部嵌有用于对苹果叶片图像进行分类的苹果叶片病害分类神经网络模型，分类模块接收数据解码模块解压后的苹果叶片图片以及分类后的苹果叶片图片发送至终端存储模块；信息显示模块；所述终端存储模块接收分类模块发送的解压后的苹果叶片图片以及分类后的苹果叶片图片并进行存储；分类模块将分类后的苹果叶片图片发送至信息显示终端；所述终端存储模块发送解压后的苹果叶片图片至信息显示终端；所述信息显示终端用于显示苹果叶片图片及苹果叶片图片分类结果。