CN113627282A - 一种基于深度迁移学习的茶叶病害识别方法 - Google Patents

Abstract

本发明公开了一种基于深度迁移学习的茶叶病害识别方法，包括以下步骤：训练阶段：获取多个品种茶叶的图片，作为训练数据集；对训练数据集中的图片进行预处理，包括：随机翻转、随机剪裁、随机角度旋转、颜色抖动、添加噪声；构建图片分类模型；在DenseNet中引入SE Block，通过SE Block引入通道注意力机制，构建特征通道加权的SE‑DenseNet网络模型；将训练数据集输入构建的SE‑DenseNet网络模型中，通过迁移学习对SE‑DenseNet网络模型进行训练，保存训练好的模型；测试阶段：输入待识别的茶叶图片，通过训练得到的SE‑DenseNet网络模型对茶叶图片中的病害进行分类识别，获得病害特征，通过分类器输出病害分类结果。本发明提升了小样本和样本分布不均情况下的识别准确率，识别准确率和速度高于原模型。

Description

一种基于深度迁移学习的茶叶病害识别方法

技术领域

本发明涉及深度学习技术领域，尤其涉及一种基于深度迁移学习的茶叶病害识别方法。

背景技术

茶叶是我国重要的经济作物，不仅种植面积大，而且品种众多。但是茶叶在生长和种植的过程中容易受到病害影响，直接影响了茶叶的品质和质量，造成巨大的经济和社会效益的损失。原始的人工识别病害主要基于专家的经验和视觉观察，但是这种方法往往会受到周期长、主观性强、一致性差、差错率高、量化难等因素的限制。随着机器学习的发展，图像处理和机器学习方法已经被广泛的用作于农作物病害识别，传统的机器视觉方法需要大量的图像分割及特征提取，但是由于农作物叶片病斑的复杂性，很难确保分割出来的区域就是目标特征区域，因此该方法存在鲁棒性低，泛化能力弱等问题。

随着深度学习的迅速发展，卷积神经网络在图像分类方面取得了突破性的进展。深度学习模型由多层的非线性运算单元组合而成，通过将较低层的输出作为更高一层的输入，自动的从众多训练数据中学习抽象的特征表示，能够获取数据的分布式特征。避免了复杂的图像的显式特征提取过程，降低了时间复杂度，提高了效率。在拥有足够训练样本的情况下，深度神经网络的识别准确率高于传统的机器学习算法，但是网络的训练往往需要大量的数据标签，而农作物病虫害图像数据采集充满不确定性和高难度性。同时，国内外使用深度学习方法对植物叶片病害的研究主要集中在水果和农作物，针对茶叶病害的研究较少。DenseNet作为深度学习中具有代表性的网络之一，有着引人瞩目的优势，网络通过密集连接的方式鼓励特征重用，加强特征传播，缓解梯度消失的问题，并减少了参数量。但是DenseNet在进行密集连接时仅将输出特征图进行简单合并，没有考虑到不同特征通道之间的相关性，从而导致各特征通道之间无法自适应地学习相关系数。

随着深度学习模型网络深度的增加，在拥有足够训练样本的情况下，深度神经网络的识别准确率高于传统的机器学习算法，但是网络的训练往往需要大量的数据标签，而茶叶病虫害图像数据采集充满不确定性和高难度性，针对此问题本专利基于迁移学习的特性首先在大型公开数据集上预训练模型，然后把模型迁移至增强后的茶叶病害数据集，加快了模型的收敛速度，提高了小样本情况下卷积神经网络的准确率和鲁棒性。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于深度迁移学习的茶叶病害识别方法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种基于深度迁移学习的茶叶病害识别方法，该方法包括以下步骤：

训练阶段：

步骤1：获取多个品种茶叶及对应病害的图片，作为训练数据集；

步骤2：对训练数据集中的图片进行预处理，包括：随机翻转、随机剪裁、随机角度旋转、颜色抖动、添加噪声；

步骤3：构建图片分类模型；在DenseNet中引入SE Block，通过SE Block引入通道注意力机制，构建特征通道加权的SE-DenseNet网络模型；

步骤4：将训练数据集输入构建的SE-DenseNet网络模型中，通过迁移学习对SE-DenseNet网络模型进行训练，保存训练好的模型；

测试阶段：

步骤5：输入待识别的茶叶图片，通过训练得到的SE-DenseNet网络模型对茶叶图片中的病害进行分类识别，获得病害特征，通过分类器输出病害分类结果。

进一步地，本发明的所述步骤1中：

训练数据集包括公开数据集PlantVillage和自建数据集；数据集中包括不同茶叶品种的病害，病害包括茶白星病、茶轮斑病、茶煤病、茶圆赤星病和茶叶叶枯病。

进一步地，本发明的所述步骤2中：

1)随机翻转：依概率对图像进行水平、竖直翻转，病害相对位置不会发生改变，模拟相机不同角度的拍摄图像；

2)随机剪裁：对图像进行不同区域的随机截取，截取不同位置的图像以增加数据的多样性；

3)随机角度旋转：以一定的角度对图像进行旋转，获取不同角度的图像以丰富样本数据；

4)颜色抖动：修改图像的亮度、对比度、饱和度和颜色4个属性，以模拟不同光照条件下的拍摄图像；

5)添加噪声：对图像随机添加高斯噪声，得到不同清晰度的图像，以模拟不同的拍摄质量。

进一步地，本发明的所述步骤3中：

SENet由一系列SE block组成，每个SE block结构由Squeeze、Excitation、Reweigh三部分组成；在SE block中，Squeeze部分通过在特征图上执行全局平均池化得到当前特征图的全局压缩特征向量，Excitation通过两层全连接得到特征图中每个通道的权值，Reweigh将不同特征通道的权重乘以原来的特征图得到最终特征，最后将加权后的特征图作为下一层网络的输入；三部分映射关系分别为：

s＝F_ex(z，W)＝σ(g(z，W))＝σ(W₂δ(W₁z))

其中，C为通道数，W为特征图的宽度，H为特征图的高度，U_c代表每个特征通道，W₁和W₂为全连接层的权重矩阵，δ为全连接之间的激活函数ReLU，σ为归一化函数Sigmoid；

z_c为压缩操作后得到的压缩后的特征图；F_sq为压缩操作；i、j表示第c个二维矩阵U中的坐标；R^C表示特征通道的实数域；F_ex为激励操作；s表示通过激励操作得到的特征图权重；z为压缩后的特征图；F_scale为特征重标定操作；

为特征重标定后的最终输出；s_c·u_c表示特征通道u_c与标量s_c的乘积。

SE-DenseNet模型结构中，如果神经网络有L层，每一层的输入都是前面所有层经过SENet重新矫正后的特征图输出的并集，其公式为：

其中，

表示第l层经过SENet重标定后的特征图的输出，H_l表示非线性变换，

表示0到l-1层经过SENet重标定后的输出特征图的归并操作。

进一步地，本发明的所述步骤3中SE-DenseNet网络模型为：

将SE Block嵌入到每个Dense Block中，在DB中的每个非线性组合函数H_l(·)前后加入SE Block，DB中的每一层网络的输入和输出都通过SE Block中的挤压和激励模块，生成了通道权重值，并根据特征权重对有用特征进行增强，实现了权重的重标定，得到SE-DenseNet模型；

SE-DenseNet中每个稠密块Dense Block子模块的输出，最终的分类输出是包含多个稠密块Dense Block和转移层Transition处理后的输出结果；

Dense Block为DenseNet模型组成的一部分，内部由多层特征图和多个非线性函数H_l(·)组成；由于DenseNet模型没有考虑到不同通道之间的相关性，因此在DenseNet中引入SE Block，即SENet的组成部分，通过SE Block引入通道注意力机制，来构建特征通道加权的DenseNet，即SE-DenseNet，实现特征通道特征重标定，以提升对当前任务有用的特征抑制用处不大的特征，解决特征通道间的相关性问题。

进一步地，本发明的所述步骤4中：

(1)迁移学习；

首先使用公开数据集PlantVillage对模型进行预训练得到预训练参数和权重，然后对自建茶叶病害数据集进行数据增强，将预训练得到的参数和权重迁移至增强后的茶叶病害数据集，并进行参数和权重微调，从而加快模型的收敛速度，提高模型的准确率和泛化能力；

(2)自建茶叶病害数据集划分；

首先将自建茶叶病害数据图像按照训练集、验证集和测试集以7:2:1的比例进行随机划分；

(3)模型参数设置及模型训练；

使用的模型优化算法为随机梯度下降法SGD，引入动量Momentum来优化SGD算法；Momentum更新的时候在一定程度上保留之前更新的方向，同时利用当前梯度微调最终的更新方向，增加模型稳定性，从而学习地更快，并且具有摆脱局部最优的能力；SGD的初始学习率设为0.01，参数更新后每次的学习率衰减值为0.0001，Momentum设为0.9，批训练样本数设为64，采用交叉熵损失函数作为损失函数，最后迭代次数设置为100，并将训练集在每次迭代前进行随机打乱。

本发明产生的有益效果是：本发明的基于深度迁移学习的茶叶病害识别方法，针对DenseNet没有考虑到不同特征通道之间的相关性，各特征通道之间无法自适应地学习相关系数的问题，提出一种基于SE-DenseNet的茶叶病害识别方法。SE-DenseNet融合SENet与DenseNet二者的优势，在DenseNet中引入SE Block，通过SE Block引入通道注意力机制，来构建特征通道加权的DenseNet(SE-DenseNet)，实现特征通道特征重标定，增加局部感受野，以提升对当前任务有用的特征抑制用处不大的特征，解决特征通道间的相关性问题。本发明具有以下优势：(1)提升小样本和样本分布不均情况下的识别准确率；(2)改进的模型识别准确率高于原模型；(3)改进的模型识别速度高于原模型。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的茶叶叶部病害样本图像；

图2是本发明实施例的增强后的样本图像；

图3是本发明实施例的SE-DenseNet网络结构图

图4是本发明实施例的网络迁移过程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明实施例的基于深度迁移学习的茶叶病害识别方法，该方法包括以下步骤：

训练阶段：

步骤1：获取多个品种茶叶及对应病害的图片，作为训练数据集；

本发明实验数据的来源区域是某茶园基地，该基地种植了10多个品种的茶叶。基地茶叶病害分别为茶白星病、茶轮斑病、茶煤病、茶圆赤星病和茶叶叶枯病，共采集到病害图像2136张。样本图像如图1所示。

步骤2：对训练数据集中的图片进行预处理，包括：随机翻转、随机剪裁、随机角度旋转、颜色抖动、添加噪声；

由于采集到的病害图像数量较少且分布不均匀，为提高模型分类准确率和鲁棒性，故对病害图像进行数据增强处理，对样本数据较少的图像进行更多的增强，以达到平衡数据分布的目的。本发明主要采用以下数据增强手段：1)随机翻转：依概率对图像进行水平、竖直翻转，病害相对位置不会发生改变，可模拟相机不同角度的拍摄图像。2)随机剪裁：对图像进行不同区域的随机截取，截取不同位置的图像以增加数据的多样性。3)随机角度旋转：以一定的角度对图像进行旋转，获取不同角度的图像以丰富样本数据。4)颜色抖动：修改图像的亮度、对比度、饱和度和颜色等4个属性，由于色调是区别茶叶病斑的重要特性，因此本发明只修改图片亮度，以模拟不同光照条件下的拍摄图像。5)添加噪声：对图像随机添加高斯噪声，得到不同清晰度的图像，以模拟不同的拍摄质量。增强后图像如图2所示。

步骤3：构建图片分类模型；在DenseNet中引入SE Block，通过SE Block引入通道注意力机制，构建特征通道加权的SE-DenseNet网络模型；

由于DenseNet没有考虑到不同通道之间的相关性。因此借鉴SENet的思想，在DenseNet中引入SE Block，通过SE Block引入通道注意力机制，来构建特征通道加权的DenseNet(SE-DenseNet)，实现特征通道特征重标定，以提升对当前任务有用的特征抑制用处不大的特征，解决特征通道间的相关性问题。

SENet的核心思想在于建模通道之间的相互依赖关系，通过网络的全局损失函数自适应的重新矫正通道之间的特征相应强度。SENet由一系列SE block组成，每个SE block结构由Squeeze、Excitation、Reweigh三部分组成。在SE block中，Squeeze部分通过在特征图上执行全局平均池化得到当前特征图的全局压缩特征向量，Excitation通过两层全连接得到特征图中每个通道的权值，Reweigh将不同特征通道的权重乘以原来的特征图得到最终特征，最后将加权后的特征图作为下一层网络的输入。三部分映射关系如式(1)～(3)所示。

s＝F_ex(z，W)＝σ(g(z，W))＝σ(W₂δ(W₁z)) (2)

其中，C为通道数，W为特征图的宽度，H为特征图的高度，U_c代表每个特征通道，W₁和W₂为全连接层的权重矩阵，δ为全连接之间的激活函数(ReLU)，σ为归一化函数(Sigmoid)。

z_c为压缩操作后得到的压缩后的特征图；F_sq为压缩操作；i、j表示第c个二维矩阵U中的坐标；R^C表示特征通道的实数域；F_ex为激励操作；s表示通过激励操作得到的特征图权重；z为压缩后的特征图；F_scale为特征重标定操作；

为特征重标定后的最终输出；s_c·u_c表示特征通道u_c与标量s_c的乘积。

由于卷积操作只是在一个局部空间内进行操作，感受野较小，很难获得足够的信息来提取特征通道之间的关系。因此，SENet提出Squeeze操作，将一个特征通道上整个空间特征编码为一个全局特征，提出Excitation操作来抓取特征通道之间的关系，进而学习到各个特征通道的权重系数，从而使得模型对各个特征通道的特征更有辨别能力。通过三个公式的推导过程，通过Squeeze和Excitation推导出最终特征重标定的输出

SE-DenseNet模型结构中，如果神经网络有L层每一层的输入都是前面所有层经过SENet重新矫正后的特征图输出的并集，其公式如式(4)所示。

式中

表示第l层经过SENet重标定后的特征图的输出，H_l表示非线性变换，

表示0到l-1层经过SENet重标定后的输出特征图的归并操作。

在原DenseNet中，若Dense Block稠密块有L层，则每一层的输出X_l为，X_l＝H_l([X₀，X₁，…X_l-1])，式中X_l表示第l层的输出，H_l表示非线性变换，[X₀，X₁，…X_l-1]表示0到l-1层输出特征图的归并操作；

改进后的SE-DenseNet在原DenseNet网络中的每个Dense Block(稠密块)中的非线性函数前后加入了SENet，即每个非线性函数处理的特征图都是由SENet加权后的特征图

因此在SE-DenseNet中，每一层Dense Block(稠密块)的输出X_l为：

本发明实施例提供的SE-DenseNet网络结构为：

将SE Block嵌入到每个Dense Block中，在DB中的每个非线性组合函数H_l(·)前后加入SE Block，DB中的每一层网络的输入和输出都通过SE Block中的挤压和激励模块，生成了通道权重值，并根据特征权重对有用特征进行增强，实现了权重的重标定，得到SE-DenseNet模型；

SE-DenseNet中每个稠密块Dense Block子模块的输出，最终的分类输出是包含多个稠密块Dense Block和转移层Transition处理后的输出结果；

Dense Block为DenseNet模型组成的一部分，内部由多层特征图和多个非线性函数H_l(·)组成；由于DenseNet模型没有考虑到不同通道之间的相关性，因此在DenseNet中引入SE Block，即SENet的组成部分，通过SE Block引入通道注意力机制，来构建特征通道加权的DenseNet，即SE-DenseNet，实现特征通道特征重标定，以提升对当前任务有用的特征抑制用处不大的特征，解决特征通道间的相关性问题。

步骤4：将训练数据集输入构建的SE-DenseNet网络模型中，通过迁移学习对SE-DenseNet网络模型进行训练，保存训练好的模型；

(1)迁移学习

首先使用公开数据集PlantVillage对模型进行预训练得到预训练参数和权重，然后对自建茶叶病害数据集进行数据增强，将预训练得到的参数和权重迁移至增强后的茶叶病害数据集，并进行参数和权重微调，从而加快模型的收敛速度，提高模型的准确率和泛化能力。迁移学习训练过程如图4所示。

(2)自建茶叶病害数据集划分

首先将自建茶叶病害数据图像按照训练集、验证集和测试集以7:2:1的比例进行随机划分。.

(3)模型参数设置及模型训练

实验使用的模型优化算法为随机梯度下降法(stochastic gradient descent，SGD)，由于SGD每次仅仅采用一个样本来迭代，因此对于较大的数据集也可以快速收敛，但是SGD计算得到的并不是准确的一个梯度，容易陷入局部最优解，因此引入动量(momentum)来优化SGD算法。Momentum更新的时候在一定程度上保留之前更新的方向，同时利用当前梯度微调最终的更新方向，增加模型稳定性，从而学习地更快，并且具有摆脱局部最优的能力。SGD的初始学习率设为0.01，参数更新后每次的学习率衰减值为0.0001，Momentum设为0.9，批训练样本数(batch size)设为64，采用交叉熵损失函数(Cross entropy errorfunction)作为损失函数，最后迭代次数(epoch)设置为100，并将训练集在每次迭代前进行随机打乱。

测试阶段：

步骤5：输入待识别的茶叶图片，通过训练得到的SE-DenseNet网络模型对茶叶图片中的病害进行分类识别，获得病害特征，通过分类器输出病害分类结果。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (6)

1.一种基于深度迁移学习的茶叶病害识别方法，其特征在于，该方法包括以下步骤：

训练阶段：

步骤1：获取多个品种茶叶及对应病害的图片，作为训练数据集；

步骤2：对训练数据集中的图片进行预处理，包括：随机翻转、随机剪裁、随机角度旋转、颜色抖动、添加噪声；

步骤3：构建图片分类模型；在DenseNet中引入SE Block，通过SE Block引入通道注意力机制，构建特征通道加权的SE-DenseNet网络模型；

步骤4：将训练数据集输入构建的SE-DenseNet网络模型中，通过迁移学习对SE-DenseNet网络模型进行训练，保存训练好的模型；

测试阶段：

步骤5：输入待识别的茶叶图片，通过训练得到的SE-DenseNet网络模型对茶叶图片中的病害进行分类识别，获得病害特征，通过分类器输出病害分类结果。

2.根据权利要求1所述的基于深度迁移学习的茶叶病害识别方法，其特征在于，所述步骤1中：

训练数据集包括公开数据集PlantVillage和自建数据集；数据集中包括不同茶叶品种的病害，病害包括茶白星病、茶轮斑病、茶煤病、茶圆赤星病和茶叶叶枯病。

3.根据权利要求1所述的基于深度迁移学习的茶叶病害识别方法，其特征在于，所述步骤2中：

1)随机翻转：依概率对图像进行水平、竖直翻转，病害相对位置不会发生改变，模拟相机不同角度的拍摄图像；

2)随机剪裁：对图像进行不同区域的随机截取，截取不同位置的图像以增加数据的多样性；

3)随机角度旋转：以一定的角度对图像进行旋转，获取不同角度的图像以丰富样本数据；

4)颜色抖动：修改图像的亮度、对比度、饱和度和颜色4个属性，以模拟不同光照条件下的拍摄图像；

5)添加噪声：对图像随机添加高斯噪声，得到不同清晰度的图像，以模拟不同的拍摄质量。

4.根据权利要求1所述的基于深度迁移学习的茶叶病害识别方法，其特征在于，所述步骤3中：

SENet由一系列SE block组成，每个SE block结构由Squeeze、Excitation、Reweigh三部分组成；在SE block中，Squeeze部分通过在特征图上执行全局平均池化得到当前特征图的全局压缩特征向量，Excitation通过两层全连接得到特征图中每个通道的权值，Reweigh将不同特征通道的权重乘以原来的特征图得到最终特征，最后将加权后的特征图作为下一层网络的输入；三部分映射关系分别为：

s＝F_ex(z，W)＝σ(g(z，W))＝σ(W₂δ(W₁z))

其中，C为通道数，W为特征图的宽度，H为特征图的高度，U_c代表每个特征通道，W₁和W₂为全连接层的权重矩阵，δ为全连接之间的激活函数ReLU，σ为归一化函数Sigmoid；

z_c为压缩操作后得到的压缩后的特征图；F_sq为压缩操作；i、j表示第c个二维矩阵U中的坐标；R^C表示特征通道的实数域；F_ex为激励操作；s表示通过激励操作得到的特征图权重；z为压缩后的特征图；F_scale为特征重标定操作；

为特征重标定后的最终输出；s_c·u_c表示特征通道u_c与标量s_c的乘积。

SE-DenseNet模型结构中，如果神经网络有L层，每一层的输入都是前面所有层经过SENet重新矫正后的特征图输出的并集，其公式为：

其中，

表示第l层经过SENet重标定后的特征图的输出，H_l表示非线性变换，

表示0到l-1层经过SENet重标定后的输出特征图的归并操作。

5.根据权利要求4所述的基于深度迁移学习的茶叶病害识别方法，其特征在于，所述步骤3中SE-DenseNet网络模型为：

将SE Block嵌入到每个Dense Block中，在DB中的每个非线性组合函数H_l(·)前后加入SE Block，DB中的每一层网络的输入和输出都通过SE Block中的挤压和激励模块，生成了通道权重值，并根据特征权重对有用特征进行增强，实现了权重的重标定，得到SE-DenseNet模型；

SE-DenseNet中每个稠密块Dense Block子模块的输出，最终的分类输出是包含多个稠密块Dense Block和转移层Transition处理后的输出结果；

Dense Block为DenseNet模型组成的一部分，内部由多层特征图和多个非线性函数H_l(·)组成；由于DenseNet模型没有考虑到不同通道之间的相关性，因此在DenseNet中引入SE Block，即SENet的组成部分，通过SE Block引入通道注意力机制，来构建特征通道加权的DenseNet，即SE-DenseNet，实现特征通道特征重标定，以提升对当前任务有用的特征抑制用处不大的特征，解决特征通道间的相关性问题。

6.根据权利要求1所述的基于深度迁移学习的茶叶病害识别方法，其特征在于，所述步骤4中：

(1)迁移学习；

首先使用公开数据集PlantVillage对模型进行预训练得到预训练参数和权重，然后对自建茶叶病害数据集进行数据增强，将预训练得到的参数和权重迁移至增强后的茶叶病害数据集，并进行参数和权重微调，从而加快模型的收敛速度，提高模型的准确率和泛化能力；

(2)自建茶叶病害数据集划分；

首先将自建茶叶病害数据图像按照训练集、验证集和测试集以7:2:1的比例进行随机划分；

(3)模型参数设置及模型训练；

使用的模型优化算法为随机梯度下降法SGD，引入动量Momentum来优化SGD算法；Momentum更新的时候在一定程度上保留之前更新的方向，同时利用当前梯度微调最终的更新方向，增加模型稳定性，从而学习地更快，并且具有摆脱局部最优的能力；SGD的初始学习率设为0.01，参数更新后每次的学习率衰减值为0.0001，Momentum设为0.9，批训练样本数设为64，采用交叉熵损失函数作为损失函数，最后迭代次数设置为100，并将训练集在每次迭代前进行随机打乱。

Images