CN114241344A - 一种基于深度学习的植物叶片病虫害严重程度评估方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的植物叶片病虫害严重程度评估方法，包括以下步骤：S1、采集植物叶片图像；S2、对植物叶片数据集进行数据扩充处理；S3、对扩充植物叶片数据集和病虫害叶片图像集中图像进行标注；S4、采用标注扩充植物叶片数据集和标注病虫害叶片图像集训练两个图像分割模型；S5、采用第一图像分割模型对待评估的植物叶片图像进行分割，得到叶片语义分割图；S6、对叶片语义分割图进行背景0填充；S7、采用第二图像分割模型对叶片图像数据进行分割，得到划分不同区域的叶片图像；S8、计算病虫害区域占比，得到植物叶片病虫害严重程度；本发明解决了现有缺乏一种对植物病虫严重程度进行评估的方法的问题。

Description

一种基于深度学习的植物叶片病虫害严重程度评估方法

技术领域

本发明涉及图像识别领域，具体涉及一种基于深度学习的植物叶片病虫害严重程度评估方法。

背景技术

植物病害是造成植物破坏的主要原因。对植物病害的精确检测有助于早期治疗策略，并从根本上防止病害的蔓延，这对减少病害造成的经济损失具有重大意义。随着计算机技术的发展和应用，计算机视觉和图像处理被广泛应用于农业的物种分类和叶病识别等领域。尽管这些技术在植物叶片病虫害检测和诊断上是有效的，但是不能用于植物叶片病虫害严重程度的评估。

现有技术方法对数据集都是以“植物类别-病虫害类型-严重程度”的方式进行标注，然后把标注好的数据输入神经网络进行训练；对病虫害严重程度的分类都只有三个类别：健康、一般和严重。如果“健康”这一类不算入病虫害严重程度的分类，实际上对病虫害严重程度分类就只有“一般”和“严重”两类，且这两类病虫害的严重程度是事先通过人为地在数据集上进行标注的，没有一个定量标准。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于深度学习的植物叶片病虫害严重程度评估方法解决了现有缺乏一种对植物病虫严重程度进行评估的方法的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于深度学习的植物叶片病虫害严重程度评估方法，包括以下步骤：

S1、采集植物叶片图像，得到植物叶片数据集；

S2、对植物叶片数据集进行处理，得到扩充植物叶片数据集和病虫害叶片图像集；

S3、对扩充植物叶片数据集和病虫害叶片图像集中图像进行标注，得到标注扩充植物叶片数据集和标注病虫害叶片图像集；

S4、采用标注扩充植物叶片数据集训练第一图像分割模型，采用标注病虫害叶片图像集训练第二图像分割模型，得到训练完成的第一图像分割模型和第二图像分割模型；

S5、将待评估的植物叶片图像输入训练完成的第一图像分割模型，得到叶片语义分割图；

S6、对叶片语义分割图进行背景0填充，得到叶片图像数据；

S7、将叶片图像数据输入训练完成的第二图像分割模型，得到划分不同区域的叶片图像；

S8、对划分不同区域的叶片图像计算病虫害区域占比，得到植物叶片病虫害严重程度。

进一步地，所述步骤S2包括以下分步骤：

S21、对植物叶片数据集中每张图像进行二值化处理，得到二值化图像；

S22、采用包围框对二值化图像进行剪裁，得到植物叶片占比最大的图像；

S23、将植物叶片占比最大的图像进行重采样，得到重采样图像；

S24、对重采样图像进行图像增强处理，得到扩充植物叶片数据集；

S25、提取扩充植物叶片数据集中的病虫害叶片图像，得到病虫害叶片图像集。

进一步地，所述步骤S24中图像增强处理包括：旋转、翻转、亮度调整、色度调整、对比度调整和加高斯噪声；

所述旋转为：以重采样图像中心为圆点，对采样图像分别进行90°、180°和270°旋转；

所述翻转为：以重采样图像中垂线为轴，将两侧像素值进行交换；

所述亮度调整的公式为：V_d＝V₀×(1+d)，其中，V₀为重采样图像的RGB值，d为亮度变化因子，V_d为调整亮度后的RGB值；

所述色度调整的公式为：V_c＝V₀×(1+c)，其中，V₀为重采样图像的RGB值，c为色度变化因子，V_c为调整色度后的RGB值；

所述对比度调整的公式为：V＝i+(V₀-i)×(1+d)，其中，i为重采样图像的平均RGB值，V₀为重采样图像的RGB值，d为亮度变化因子，V为调整对比度后的RGB值；

所述加高斯噪声为在重采样图像的RGB值上叠加随机数。

进一步地，所述第一图像分割模型和第二图像分割模型结构相同，均包括：卷积块1、卷积块2、池化层pool1、卷积块3、卷积块4、池化层pool2、卷积块5、卷积块6、池化层pool3、卷积块7、卷积块8、池化层pool4、上采样层Unpooling1、卷积块9、卷积块10、上采样层Unpooling2、卷积块11、卷积块12、上采样层Unpooling3、卷积块13、卷积块14、上采样层Unpooling4、卷积块15、卷积块16、上采样层Unpooling5、卷积块17、卷积块18、上采样层Unpooling6、卷积块19、卷积块20、上采样层Unpooling7、卷积块21、卷积块22、上采样层Unpooling8、卷积块23、卷积块24、上采样层Unpooling9、卷积块25、卷积块26、上采样层Unpooling10、卷积块27、卷积块28、卷积块29、卷积块30和softmax层；

所述卷积块1的输入端作为第一图像分割模型或第二图像分割模型的输入端，其输出端与卷积块2的输入端连接；所述卷积块2的输出端与池化层pool1的输入端连接；所述池化层pool1的输出端分别与卷积块3的输入端和上采样层Unpooling1的输入端连接；所述卷积块3的输出端与卷积块4的输入端连接；所述卷积块4的输出端与池化层pool2的输入端连接；所述池化层pool2的输出端分别与卷积块5的输入端和上采样层Unpooling2的输入端连接；所述卷积块5的输出端与卷积块6的输入端连接；所述卷积块6的输出端与池化层pool3的输入端连接；所述池化层pool3的输出端分别与卷积块7的输入端和上采样层Unpooling4的输入端连接；所述卷积块8的输出端与池化层pool4的输入端连接；所述池化层pool4的输出端与上采样层Unpooling7的输入端连接；所述上采样层Unpooling1的输出端与卷积块9的输入端连接；所述卷积块9的输出端与卷积块10的输入端连接；所述上采样层Unpooling2的输出端与卷积块11的输入端连接；所述卷积块11的输出端与卷积块12的输入端连接；所述卷积块12的输出端与上采样层Unpooling3的输入端连接；所述上采样层Unpooling3的输出端与卷积块13的输入端连接；所述卷积块13的输出端与卷积块14的输入端连接；所述上采样层Unpooling4的输出端与卷积块15的输入端连接；所述卷积块15的输出端与卷积块16的输入端连接；所述卷积块16的输出端与上采样层Unpooling5的输入端连接；所述上采样层Unpooling5的输出端与卷积块17的输入端连接；所述卷积块17的输出端与卷积块18的输入端连接；所述卷积块18的输出端与上采样层Unpooling6的输入端连接；所述上采样层Unpooling6的输出端与卷积块19的输入端连接；所述卷积块19的输出端与卷积块20的输入端连接；所述上采样层Unpooling7的输出端与卷积块21的输入端连接；所述卷积块21的输出端与卷积块22的输入端连接；所述卷积块22的输出端与上采样层Unpooling8的输入端连接；所述上采样层Unpooling8的输出端与卷积块23的输入端连接；所述卷积块23的输出端与卷积块24的输入端连接；所述卷积块24的输出端与上采样层Unpooling9的输入端连接；所述上采样层Unpooling9的输出端与卷积块25的输入端连接；所述卷积块25的输出端与卷积块26的输入端连接；所述卷积块26的输出端与上采样层Unpooling10的输入端连接；所述上采样层Unpooling10的输出端与卷积块27的输入端连接，所述卷积块27的输出端与卷积块28的输入端连接；

将卷积块10的输出、卷积块14的输出、卷积块20的输出和卷积块28的输出进行拼接后，并将拼接后的特征数据输入到卷积块29的输入端；所述卷积块29的输出端与卷积块30的输入端连接；所述卷积块30的输出端与softmax层的输入端连接；所述softmax层的输出端作为第一图像分割模型或第二图像分割模型的输出端。

上述进一步方案的有益效果为：图像分割模型包括一个编码器和一个解码器，一个解码器中包含4条解码支路，输入图像经过编码和解码后，输出一张与输入图像同大小的语义分割图，每条支路接入不同阶段的池化层，这样整个模型形成了4条解码支路，可以融合不同层次的特征，对不同大小的虫害区域都能进行有效分割。

进一步地，所述池化层pool1输出的特征图的大小为224×224，通道数为64；所述池化层pool2输出的特征图的大小为112×112，通道数为128；所述池化层pool3输出的特征图的大小为56×56，通道数为256；所述池化层pool4输出的特征图的大小为28×28，通道数为512。

进一步地，所述上采样层Unpooling1、上采样层Unpooling2、上采样层Unpooling3、上采样层Unpooling4、上采样层Unpooling5、上采样层Unpooling6、上采样层Unpooling7、上采样层Unpooling8、上采样层Unpooling9和上采样层Unpooling10对特征图处理方法为：

A1、获取池化后的特征图中每个特征数据在池化前的位置；

A2、将相应特征数据还原到每个特征数据在池化前的位置，并将剩余位置用0填充。

上述进一步方案的有益效果为：通过记住池化后的特征图中每个特征数据在池化前的位置，在进行特征数据还原时无需学习，仅将相应特征数据还原到每个特征数据在池化前的位置，将剩余位置用0填充，即可得到上采样后的特征数据，所需计算量大大减小，也提高了特征数据还原的准确性。

进一步地，所述卷积块10、卷积块14、卷积块20和卷积块28输出的特征图的大小均为224×224，通道数均为64，将卷积块10、卷积块14、卷积块20和卷积块28输出的特征图进行拼接，得到大小为224×224，通道数为256的特征图。

进一步地，所述步骤S4中第一图像分割模型和第二图像分割模型的损失函数为：

L＝-[w₁·y·(1-p)^γ·log(p)+w₀·(1-y)·p^γ·log(1-p)]

其中，L为损失函数，W₁为样本标签y＝1的权重，W₀为样本标签y＝0的权重，γ为超参数，y为样本标签，p为预测为正样本的概率。

上述进一步方案的有益效果为：解决了数据集中一些区域面积大而一些区域面积小，且大区域和小区域数量相差较大的样本不平衡的情况。

综上，本发明的有益效果为：

(1)、本发明设计的图像分割模型包括多条解码支路，因此，图像分割模型在对图像进行处理时，融合了多个分支特征，对不同大小的病害区域有更好适应能力。

(2)、本发明使用了两个图像分割模型，分阶段完成病害区域划分，即先实现植物叶片分割再实现病虫害区域划分，对复杂图像背景下，可提升病害区域划分的准确率。

(3)、本发明在病虫害区域分割后，计算了植物叶片病虫害严重程度，实现对植物病虫严重程度的定量评估。

附图说明

图1为一种基于深度学习的植物叶片病虫害严重程度评估方法的流程图；

图2为图像分割模型的结构示意图；

图3为上采样过程示意图；

图4为待评估的植物叶片图像进行处理的变化图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，一种基于深度学习的植物叶片病虫害严重程度评估方法，包括以下步骤：

S1、采集植物叶片图像，得到植物叶片数据集；

通过数码相机采集植物叶片图像。数码相机离植物叶片距离为30cm，使拍摄的植物叶片完全入镜。拍摄的图片可分为两种类型：有病虫害的植物叶片和健康的植物叶片。

S2、对植物叶片数据集进行处理，得到扩充植物叶片数据集和病虫害叶片图像集；

步骤S2包括以下分步骤：

S21、对植物叶片数据集中每张图像进行二值化处理，得到二值化图像；

S22、采用包围框对二值化图像进行剪裁，得到植物叶片占比最大的图像；

S23、将植物叶片占比最大的图像进行重采样，得到重采样图像；

首先对图像进行二值化，使植物叶片在二值化后突显出来。然后计算植物叶片的最小矩形包围框，根据该包围框对图像进行裁剪，使植物叶片尽量在图像中所占的面积最大，并将裁剪后的图像统一重采样为224×224的大小。

S24、对重采样图像进行图像增强处理，得到扩充植物叶片数据集；

步骤S24中图像增强处理包括：旋转、翻转、亮度调整、色度调整、对比度调整和加高斯噪声；

所述旋转为：以重采样图像中心为圆点，对采样图像分别进行90°、180°和270°旋转；

所述翻转为：以重采样图像中垂线为轴，将两侧像素值进行交换，本实施例采用水平翻转；

所述亮度调整的公式为：V_d＝V₀×(1+d)，其中，V₀为重采样图像的RGB值，d为亮度变化因子，V_d为调整亮度后的RGB值，本实施例对所有重采样后的图像分别做增加亮度和减小亮度的操作；

所述色度调整的公式为：V_c＝V₀×(1+c)，其中，V₀为重采样图像的RGB值，c为色度变化因子，V_c为调整色度后的RGB值，本实施例对所有重采样后的图像分别做提高色度和降低色度的操作；

所述对比度调整的公式为：V＝i+(V₀-i)×(1+d)，其中，i为重采样图像的平均RGB值，V₀为重采样图像的RGB值，d为亮度变化因子，V为调整对比度后的RGB值，当d为正时，表示图像中所有像素值大于平均像素值的像素点会被调亮，像素值小于平均像素值的像素点会被调暗；d小于0则相反。本实施例对所有重采样后的图像分别做提高对比度和降低对比度的操作；

所述加高斯噪声为在重采样图像的RGB值上叠加随机数，本实施例对所有重采样后的图像加上高斯噪声。

S25、提取扩充植物叶片数据集中的病虫害叶片图像，得到病虫害叶片图像集。

S3、对扩充植物叶片数据集和病虫害叶片图像集中图像进行标注，得到标注扩充植物叶片数据集和标注病虫害叶片图像集；

使用Labelimg软件对所有图片进行数据标注，标注的类型为语义分割。病虫害叶片图像集的标注方式为植物叶片的病虫害区域和没有病虫害的区域。扩充植物叶片数据集的标注方式为标注完整的叶片为叶片，完整叶片之外的区域都标注为背景。

对于第一图像分割模型，把是完整植物叶片的像素作为正标签，其余像素作为负标签。对于第二图像分割模型，把叶片病虫害区域的像素作为正标签，把健康区域的像素作为负标签。

S4、采用标注扩充植物叶片数据集训练第一图像分割模型，采用标注病虫害叶片图像集训练第二图像分割模型，得到训练完成的第一图像分割模型和第二图像分割模型；

第一图像分割模型的作用是分割叶片和背景；

第二图像分割模型的作用是分割叶片病虫害区域和非病虫害区域。

把两种数据集均按训练集：测试集：验证集的比例8:1:1来进行划分，对图像分割模型进行训练、测试和验证。

如图2所示，图像分割模型包括一个编码器和一个解码器，一个解码器中包含4条解码支路，输入图像经过编码和解码后，输出一张与输入图像同大小的语义分割图，每条支路接入不同阶段的池化层，这样整个模型形成了4条解码支路，可以融合不同层次的特征，对不同大小的虫害区域都能进行有效分割。

如图2所示，第一图像分割模型和第二图像分割模型结构相同，均包括：卷积块1、卷积块2、池化层pool1、卷积块3、卷积块4、池化层pool2、卷积块5、卷积块6、池化层pool3、卷积块7、卷积块8、池化层pool4、上采样层Unpooling1、卷积块9、卷积块10、上采样层Unpooling2、卷积块11、卷积块12、上采样层Unpooling3、卷积块13、卷积块14、上采样层Unpooling4、卷积块15、卷积块16、上采样层Unpooling5、卷积块17、卷积块18、上采样层Unpooling6、卷积块19、卷积块20、上采样层Unpooling7、卷积块21、卷积块22、上采样层Unpooling8、卷积块23、卷积块24、上采样层Unpooling9、卷积块25、卷积块26、上采样层Unpooling10、卷积块27、卷积块28、卷积块29、卷积块30和softmax层；

所述卷积块1的输入端作为第一图像分割模型或第二图像分割模型的输入端，其输出端与卷积块2的输入端连接；所述卷积块2的输出端与池化层pool1的输入端连接；所述池化层pool1的输出端分别与卷积块3的输入端和上采样层Unpooling1的输入端连接；所述卷积块3的输出端与卷积块4的输入端连接；所述卷积块4的输出端与池化层pool2的输入端连接；所述池化层pool2的输出端分别与卷积块5的输入端和上采样层Unpooling2的输入端连接；所述卷积块5的输出端与卷积块6的输入端连接；所述卷积块6的输出端与池化层pool3的输入端连接；所述池化层pool3的输出端分别与卷积块7的输入端和上采样层Unpooling4的输入端连接；所述卷积块8的输出端与池化层pool4的输入端连接；所述池化层pool4的输出端与上采样层Unpooling7的输入端连接；所述上采样层Unpooling1的输出端与卷积块9的输入端连接；所述卷积块9的输出端与卷积块10的输入端连接；所述上采样层Unpooling2的输出端与卷积块11的输入端连接；所述卷积块11的输出端与卷积块12的输入端连接；所述卷积块12的输出端与上采样层Unpooling3的输入端连接；所述上采样层Unpooling3的输出端与卷积块13的输入端连接；所述卷积块13的输出端与卷积块14的输入端连接；所述上采样层Unpooling4的输出端与卷积块15的输入端连接；所述卷积块15的输出端与卷积块16的输入端连接；所述卷积块16的输出端与上采样层Unpooling5的输入端连接；所述上采样层Unpooling5的输出端与卷积块17的输入端连接；所述卷积块17的输出端与卷积块18的输入端连接；所述卷积块18的输出端与上采样层Unpooling6的输入端连接；所述上采样层Unpooling6的输出端与卷积块19的输入端连接；所述卷积块19的输出端与卷积块20的输入端连接；所述上采样层Unpooling7的输出端与卷积块21的输入端连接；所述卷积块21的输出端与卷积块22的输入端连接；所述卷积块22的输出端与上采样层Unpooling8的输入端连接；所述上采样层Unpooling8的输出端与卷积块23的输入端连接；所述卷积块23的输出端与卷积块24的输入端连接；所述卷积块24的输出端与上采样层Unpooling9的输入端连接；所述上采样层Unpooling9的输出端与卷积块25的输入端连接；所述卷积块25的输出端与卷积块26的输入端连接；所述卷积块26的输出端与上采样层Unpooling10的输入端连接；所述上采样层Unpooling10的输出端与卷积块27的输入端连接，所述卷积块27的输出端与卷积块28的输入端连接；

将卷积块10的输出、卷积块14的输出、卷积块20的输出和卷积块28的输出进行拼接后，并将拼接后的特征数据输入到卷积块29的输入端；所述卷积块29的输出端与卷积块30的输入端连接；所述卷积块30的输出端与softmax层的输入端连接；所述softmax层的输出端作为第一图像分割模型或第二图像分割模型的输出端。

在图2中，卷积块12输出的特征图的大小为112×112，通道数为128；卷积块16输出的特征图的大小为56×56，通道数为256；卷积块18输出的特征图的大小为112×112，通道数为128；卷积块22输出的特征图的大小为28×28，通道数为512；卷积块24输出的特征图的大小为56×56，通道数为256；卷积块26输出的特征图的大小为112×112，通道数为128；卷积块29输出的特征图的大小为224×224，通道数为256；卷积块30输出的特征图的大小为224×224，通道数为64。

每个卷积块均包括依次连接的卷积层、批量正则化层、Dropout层和ReLU层。

所述池化层pool1输出的特征图的大小为224×224，通道数为64；所述池化层pool2输出的特征图的大小为112×112，通道数为128；所述池化层pool3输出的特征图的大小为56×56，通道数为256；所述池化层pool4输出的特征图的大小为28×28，通道数为512。

池化层pool1、池化层pool2、池化层pool3和池化层pool4均使用2×2的最大池化，经过池化后的特征图大小减半，通道数加倍。

所述上采样层Unpooling1、上采样层Unpooling2、上采样层Unpooling3、上采样层Unpooling4、上采样层Unpooling5、上采样层Unpooling6、上采样层Unpooling7、上采样层Unpooling8、上采样层Unpooling9和上采样层Unpooling10对特征图处理方法为：

A1、获取池化后的特征图中每个特征数据在池化前的位置；

A2、将相应特征数据还原到每个特征数据在池化前的位置，并将剩余位置用0填充。

针对上采样层Unpooling1、上采样层Unpooling3和上采样层Unpooling6、上采样层Unpooling10，所述步骤A1中的池化后的特征图来源于池化层pool1。

针对上采样层Unpooling2、上采样层Unpooling5和上采样层Unpooling9，所述步骤A1中的池化后的特征图来源于池化层pool2。

针对上采样层Unpooling4和上采样层Unpooling8，所述步骤A1中的池化后的特征图来源于池化层pool3。

针对上采样层Unpooling7，所述步骤A1中的池化后的特征图来源于池化层pool4。

解码器与编码器的作用相反。通过2×2的上采样后，特征图的尺寸加倍，特征图通道数量减半，如图3所示。解码器的上采样过程使用索引，具体方法是在编码器的池化阶段，记住池化后的特征图中每个值来自池化前的特征图的哪个位置，该位置叫做索引，然后在上采样阶段，根据索引把值填入对应位置，其余位置填0。使用索引进行上采样只需要记住对应池化层的索引，而不需要学习，计算量减小，所需内存较小。

所述卷积块10、卷积块14、卷积块20和卷积块28输出的特征图的大小均为224×224，通道数均为64，将卷积块10、卷积块14、卷积块20和卷积块28输出的特征图进行拼接，得到大小为224×224，通道数为256的特征图。

当所有解码支路把特征图尺寸恢复到原来输入图像的尺寸后，把所有解码器的特征图连接起来。该连接操作的维度是在通道上，4条解码支路的特征图大小分别为224×224×64，224×224×64，224×224×64，224×224×64。拼接后的特征图大小为224×224×256，再经过两次卷积，把所有解码器的信息融合，然后在经过softmax层进行分类。

所述步骤S4中第一图像分割模型和第二图像分割模型的损失函数为：

L＝-[w₁·y·(1-p)^γ·log(p)+w₀·(1-y)·p^γ·log(1-p)]

其中，L为损失函数，W₁为样本标签y＝1的权重，W₀为样本标签y＝0的权重，γ为超参数，其取值为2，y为样本标签，p为预测为正样本的概率，对于第一图像分割模型，把完整植物叶片的像素作为正样本标签，其余像素作为负样本标签。对于第二图像分割模型，把叶片病虫害区域的像素作为正样本标签，把健康区域的像素作为负样本标签。

S5、将待评估的植物叶片图像输入训练完成的第一图像分割模型，得到叶片语义分割图；

S6、对叶片语义分割图进行背景0填充，得到叶片图像数据；

S7、将叶片图像数据输入训练完成的第二图像分割模型，得到划分不同区域的叶片图像；

S8、对划分不同区域的叶片图像计算病虫害区域占比，得到植物叶片病虫害严重程度。

所述步骤S8中植物叶片病虫害严重程度的公式为：

其中，G表示植物叶片上病虫害区域占整个叶片区域的比例，S₁为划分不同区域的叶片图像上的病虫害区域的像素点数量，S₂为划分不同区域的叶片图像上的健康区域的像素点数量。

具体步骤S5至S8的处理过程为：

B1、将待评估的植物叶片图像作为输入图像，图像大小重采样为224×224，记为输入1，输入到训练好的第一图像分割模型，输出完整叶片的语义分割图，记为输出1，其中的完整叶片和背景呈不同颜色。

B2、对输出1中为背景的像素点，把输入1中对应像素点的像素值置为0，得到输入2；

B3、将输入2输入到第二图像分割模型，其输出图像记为输出2，输出2上有三种颜色，不同颜色分别代表病虫害区域、健康区域和背景，第二图像分割模型只对输入2中的叶片区域进行计算处理，对背景不做处理，背景由白色或者透明表示，其中背景区域是在第一图像分割模型中被分割出来的。输入1、输出1、输入2和输出2示例如图4所示。

B4、对输出2中的像素点进行统计。记输出2中病虫害区域的像素点数量为S₁，健康区域的像素点数量为S₂。可得：

其中G表示植物叶片上病虫害区域占整个叶片区域的比例。根据G值将植物病虫害严重程度划分为10个等级：[0,0.03]、(0.03,0.06]、(0.06,0.12]、(0.12,0.25]、(0.25,0.5]、(0.5,0.75]、(0.75,0.94]、(0.94,0.97]、(0.97,1.0]，对应的病害严重程度用数值1-10表示，得到叶片病虫害严重程度评估结果。

Claims (8)

1.一种基于深度学习的植物叶片病虫害严重程度评估方法，其特征在于，包括以下步骤：

S1、采集植物叶片图像，得到植物叶片数据集；

S2、对植物叶片数据集进行处理，得到扩充植物叶片数据集和病虫害叶片图像集；

S3、对扩充植物叶片数据集和病虫害叶片图像集中图像进行标注，得到标注扩充植物叶片数据集和标注病虫害叶片图像集；

S4、采用标注扩充植物叶片数据集训练第一图像分割模型，采用标注病虫害叶片图像集训练第二图像分割模型，得到训练完成的第一图像分割模型和第二图像分割模型；

S5、将待评估的植物叶片图像输入训练完成的第一图像分割模型，得到叶片语义分割图；

S6、对叶片语义分割图进行背景0填充，得到叶片图像数据；

S7、将叶片图像数据输入训练完成的第二图像分割模型，得到划分不同区域的叶片图像；

S8、对划分不同区域的叶片图像计算病虫害区域占比，得到植物叶片病虫害严重程度。

2.根据权利要求1所述的基于深度学习的植物叶片病虫害严重程度评估方法，其特征在于，所述步骤S2包括以下分步骤：

S21、对植物叶片数据集中每张图像进行二值化处理，得到二值化图像；

S22、采用包围框对二值化图像进行剪裁，得到植物叶片占比最大的图像；

S23、将植物叶片占比最大的图像进行重采样，得到重采样图像；

S24、对重采样图像进行图像增强处理，得到扩充植物叶片数据集；

S25、提取扩充植物叶片数据集中的病虫害叶片图像，得到病虫害叶片图像集。

3.根据权利要求2所述的基于深度学习的植物叶片病虫害严重程度评估方法，其特征在于，所述步骤S24中图像增强处理包括：旋转、翻转、亮度调整、色度调整、对比度调整和加高斯噪声；

所述旋转为：以重采样图像中心为圆点，对采样图像分别进行90°、180°和270°旋转；

所述翻转为：以重采样图像中垂线为轴，将两侧像素值进行交换；

所述亮度调整的公式为：V_d＝V₀×(1+d)，其中，V₀为重采样图像的RGB值，d为亮度变化因子，V_d为调整亮度后的RGB值；

所述色度调整的公式为：V_c＝V₀×(1+c)，其中，V₀为重采样图像的RGB值，c为色度变化因子，V_c为调整色度后的RGB值；

所述对比度调整的公式为：V＝i+(V₀-i)×(1+d)，其中，i为重采样图像的平均RGB值，V₀为重采样图像的RGB值，d为亮度变化因子，V为调整对比度后的RGB值；

所述加高斯噪声为在重采样图像的RGB值上叠加随机数。

4.根据权利要求1所述的基于深度学习的植物叶片病虫害严重程度评估方法，其特征在于，所述第一图像分割模型和第二图像分割模型结构相同，均包括：卷积块1、卷积块2、池化层pool1、卷积块3、卷积块4、池化层pool2、卷积块5、卷积块6、池化层pool3、卷积块7、卷积块8、池化层pool4、上采样层Unpooling1、卷积块9、卷积块10、上采样层Unpooling2、卷积块11、卷积块12、上采样层Unpooling3、卷积块13、卷积块14、上采样层Unpooling4、卷积块15、卷积块16、上采样层Unpooling5、卷积块17、卷积块18、上采样层Unpooling6、卷积块19、卷积块20、上采样层Unpooling7、卷积块21、卷积块22、上采样层Unpooling8、卷积块23、卷积块24、上采样层Unpooling9、卷积块25、卷积块26、上采样层Unpooling10、卷积块27、卷积块28、卷积块29、卷积块30和softmax层；

所述卷积块1的输入端作为第一图像分割模型或第二图像分割模型的输入端，其输出端与卷积块2的输入端连接；所述卷积块2的输出端与池化层pool1的输入端连接；所述池化层pool1的输出端分别与卷积块3的输入端和上采样层Unpooling1的输入端连接；所述卷积块3的输出端与卷积块4的输入端连接；所述卷积块4的输出端与池化层pool2的输入端连接；所述池化层pool2的输出端分别与卷积块5的输入端和上采样层Unpooling2的输入端连接；所述卷积块5的输出端与卷积块6的输入端连接；所述卷积块6的输出端与池化层pool3的输入端连接；所述池化层pool3的输出端分别与卷积块7的输入端和上采样层Unpooling4的输入端连接；所述卷积块8的输出端与池化层pool4的输入端连接；所述池化层pool4的输出端与上采样层Unpooling7的输入端连接；所述上采样层Unpooling1的输出端与卷积块9的输入端连接；所述卷积块9的输出端与卷积块10的输入端连接；所述上采样层Unpooling2的输出端与卷积块11的输入端连接；所述卷积块11的输出端与卷积块12的输入端连接；所述卷积块12的输出端与上采样层Unpooling3的输入端连接；所述上采样层Unpooling3的输出端与卷积块13的输入端连接；所述卷积块13的输出端与卷积块14的输入端连接；所述上采样层Unpooling4的输出端与卷积块15的输入端连接；所述卷积块15的输出端与卷积块16的输入端连接；所述卷积块16的输出端与上采样层Unpooling5的输入端连接；所述上采样层Unpooling5的输出端与卷积块17的输入端连接；所述卷积块17的输出端与卷积块18的输入端连接；所述卷积块18的输出端与上采样层Unpooling6的输入端连接；所述上采样层Unpooling6的输出端与卷积块19的输入端连接；所述卷积块19的输出端与卷积块20的输入端连接；所述上采样层Unpooling7的输出端与卷积块21的输入端连接；所述卷积块21的输出端与卷积块22的输入端连接；所述卷积块22的输出端与上采样层Unpooling8的输入端连接；所述上采样层Unpooling8的输出端与卷积块23的输入端连接；所述卷积块23的输出端与卷积块24的输入端连接；所述卷积块24的输出端与上采样层Unpooling9的输入端连接；所述上采样层Unpooling9的输出端与卷积块25的输入端连接；所述卷积块25的输出端与卷积块26的输入端连接；所述卷积块26的输出端与上采样层Unpooling10的输入端连接；所述上采样层Unpooling10的输出端与卷积块27的输入端连接，所述卷积块27的输出端与卷积块28的输入端连接；

将卷积块10的输出、卷积块14的输出、卷积块20的输出和卷积块28的输出进行拼接后，并将拼接后的特征数据输入到卷积块29的输入端；所述卷积块29的输出端与卷积块30的输入端连接；所述卷积块30的输出端与softmax层的输入端连接；所述softmax层的输出端作为第一图像分割模型或第二图像分割模型的输出端。

5.根据权利要求4所述的基于深度学习的植物叶片病虫害严重程度评估方法，其特征在于，所述池化层pool1输出的特征图的大小为224×224，通道数为64；所述池化层pool2输出的特征图的大小为112×112，通道数为128；所述池化层pool3输出的特征图的大小为56×56，通道数为256；所述池化层pool4输出的特征图的大小为28×28，通道数为512。

6.根据权利要求4所述的基于深度学习的植物叶片病虫害严重程度评估方法，其特征在于，所述上采样层Unpooling1、上采样层Unpooling2、上采样层Unpooling3、上采样层Unpooling4、上采样层Unpooling5、上采样层Unpooling6、上采样层Unpooling7、上采样层Unpooling8、上采样层Unpooling9和上采样层Unpooling10对特征图处理方法为：

A1、获取池化后的特征图中每个特征数据在池化前的位置；

A2、将相应特征数据还原到每个特征数据在池化前的位置，并将剩余位置用0填充。

7.根据权利要求4所述的基于深度学习的植物叶片病虫害严重程度评估方法，其特征在于，所述卷积块10、卷积块14、卷积块20和卷积块28输出的特征图的大小均为224×224，通道数均为64，将卷积块10、卷积块14、卷积块20和卷积块28输出的特征图进行拼接，得到大小为224×224，通道数为256的特征图。

8.根据权利要求1所述的基于深度学习的植物叶片病虫害严重程度评估方法，其特征在于，所述步骤S4中第一图像分割模型和第二图像分割模型的损失函数为：

L＝-[w₁·y·(1-p)^γ·log(p)+w₀·(1-y)·p^γ·log(1-p)]

其中，L为损失函数，w₁为样本标签y＝1的权重，w₀为样本标签y＝0的权重，γ为超参数，y为样本标签，p为预测为正样本的概率。

Images