CN109919239A - 一种基于深度学习的农作物病虫害智能检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的农作物病虫害智能检测方法，属于计算机视觉与人工智能技术领域，解决了人工检测病虫害效率低下且容易造成农作物病虫害误检的问题。本发明将深度学习方法用于病虫害检测，在野外受限于能源获取的恶劣条件下，代替人工检测农作物病虫害的状况，有效降低了人工检测的错误率，提高了农作物病虫害检测的准确率和检测速度，本发明能够用于提升管理者工作效率，节约生产者人力物力，同时为农林的管理决策提供科学依据，具有广阔的市场前景。

Description

一种基于深度学习的农作物病虫害智能检测方法

技术领域

本发明属于计算机视觉与人工智能技术领域，具体涉及一种基于深度学习的农作物病虫害智能检测方法的设计。

背景技术

计算机视觉与人工智能技术结合在农业领域的应用，具有很好的发展前景，世界上有很多高等学府和企业已经投放大量精力在这一领域。荷兰的瓦特宁根大学(Wageningen University)研究了温室内自动化机器人的应用，比如番茄，黄瓜，草莓采摘与盆栽的运输。在农业作物的生产中，对农作物的检测是保证农业产量收获充足的前提，如果遇到的农作物虫害是大面积、对农作物具有严重危害性的害虫群，将对生产者造成无法挽回的损失，现在多采用人工检测的方法，取样返回实验室培养、分离、镜检后再下结论，准确率高，出具的防治方案针对性强，但时间缓慢，与生产要求的“急诊”不相适应。只有及时的诊断，才能有的放矢，对症下药，从而收到预期的防治效果，因此靠人工识别来监测病虫害是有局限的。在防治病虫害的初期，如果能够准确的判断出病虫害的类型，采取正确的解决措施，会节省大量的人力物力资源，对农业生产领域具有巨大的价值。如何结合深度学习准确判断病虫害信息是农林业领域研究人员下一阶段目标，具有广阔的应用前景和重要的实际意义。

随着大数据时代的发展和深度学习技术的提高，越来越多的数据处理与应用平台被开发出来，利用现有的深度学习技术，精确找到引发病虫害的原因，可视化农作物病虫害的具体特征，进行准确的量化，取代人工专家进行判断，进而研发一种性价比高，精准判断病因的数据管理平台，可以有效满足为农林业生产者和管理者创造价值、节约成本的目的。而现有的农作物病虫害智能检测方法均没有使用识别率较高的检测模型，没能与深度学习模型结合使用，识别效率低、检测成本高。

发明内容

本发明的目的是为了解决现有的人工识别农作物病虫害，检测方法准确度差、效率低的问题，利用图像检测平台范围广、效率高、使用灵活的特点，构建满足精准判断病因的深度学习模型，结合深度学习中目标检测算法的优点，提出了一种基于深度学习的农作物病虫害智能检测方法。

本发明的技术方案为：一种基于深度学习的农作物病虫害智能检测方法，包括以下步骤：

S1、采集农作物病虫害图像，并将所有图像修改为统一格式大小。

S2、对所有图像打标签，实现对常见病虫害的识别与分类，通过打好标签的图像构建数据集，并将数据集分为训练集与测试集。

S3、采用ResNet50和FPN结合的网络构建特征网络，并将训练集输入特征网络进行回归和分类，得到特征图。

S4、对特征图进行窗口滑动得到建议窗口，并通过建议窗口构建RPN区域生成网络。

S5、对RPN区域生成网络进行训练，得到农作物病虫害智能检测模型。

S6、采用农作物病虫害智能检测模型对测试集中的图像进行测试，得到农作物病虫害智能检测结果。

进一步地，步骤S1包括以下分步骤：

S11、使用数据流批量方式采集农作物病虫害图像。

S12、使用开源计算机视觉库OpenCV修改图像的格式，将所有图像统一为1024*1024大小。

进一步地，步骤S2包括以下分步骤：

S21、对常见的农作物病虫害进行分类，并设定病虫害识别规则。

S22、根据病虫害识别规则，采用目标检测标记工具Labelimg对所有图像打标签。

S23、将打好标签的图像保存得到xml可扩展的标记性文件和原图，并采用xml可扩展的标记性文件和原图共同构成数据集。

S24、将数据集分为训练集与测试集。

进一步地，步骤S4包括以下分步骤：

S41、对特征图进行窗口滑动，将每个滑动窗口映射到一个低维度的特征，生成多个不同大小的建议窗口。

S42、将每个建议窗口作为一个锚点输入至添加的两个全连接层，对每个锚点进行特征非线性变换。

S43、将特征非线性变换后的锚点在特征网络的最后一层卷积层上进行类别分类和坐标回归。

S44、通过类别分类和坐标回归后的锚点构建RPN区域生成网络。

进一步地，锚点具有5个尺度和5个宽高比。

进一步地，步骤S42中的两个全连接层为目标框回归层和目标框分类层。

进一步地，步骤S5包括以下分步骤：

S51、将训练集中的图像切分为7*7的小块，并对每一小块进行最大池化。

S52、将最大池化后7*7的图像输入到RPN区域生成网络中进行分类和边框回归，得到预测边框。

S53、根据预测边框和真实边框得到多任务损失函数L。

S54、判断多任务损失函数L是否收敛，若是则进入步骤S55，否则返回步骤S51进行下一次迭代训练。

S55、得到训练好的RPN区域生成网络，并将其作为农作物病虫害智能检测模型。

进一步地，步骤S53中的多任务损失函数L具体为：

其中i为锚点索引，p_i表示第i个锚点的目标预测概率，表示第i个锚点的真实标签，若i>0，则若i<0，则N_cls为总的锚点数量，表示p_i与的对数损失，且N_reg为特征图的尺寸，λ为平衡权重，t_i表示预测边框的参数化坐标向量，表示与锚点相关联的真实边框向量，表示t_i和的回归损失，且R(·)为Smooth L1损失函数。

本发明的有益效果是：

(1)本发明将深度学习方法用于病虫害检测，在野外受限于能源获取的恶劣条件下，代替人工检测农作物病虫害的状况，有效降低了人工检测的错误率，提高了农作物病虫害检测的准确率和检测速度，本发明能够用于提升管理者工作效率，节约生产者人力物力，同时为农林的管理决策提供科学依据，具有广阔的市场前景。

(2)本发明在构建特征网络时采用ResNet50和FPN结合的网络替换了现有技术中常用的vgg16网络，可以降低参数的数目，减少计算量和参数量，提高了检测精度和检测速度，具有较高的准确率。

(3)本发明在RPN区域生成网络中通过滑窗的方法对特征图进行遍历，为了能够更好地参考尺度和纵横比，创新性地定义锚点为5个尺度和5个宽高比，在原来的每个滑动位置产生25个锚点，得到更多的锚值，可以提高准确度，得到良好的目标建议窗口。

附图说明

图1所示为本发明实施例提供的一种基于深度学习的农作物病虫害智能检测方法流程图。

图2所示为本发明实施例提供的测试结果图。

具体实施方式

现在将参考附图来详细描述本发明的示例性实施方式。应当理解，附图中示出和描述的实施方式仅仅是示例性的，意在阐释本发明的原理和精神，而并非限制本发明的范围。

本发明实施例提供了一种基于深度学习的农作物病虫害智能检测方法，如图1所示，包括以下步骤S1～S6：

S1、采集农作物病虫害图像，并将所有图像修改为统一格式大小。

步骤S1包括以下分步骤：

S11、使用数据流批量方式采集农作物病虫害图像。

S12、使用开源计算机视觉库OpenCV修改图像的格式，将所有图像统一为1024*1024大小。

S2、对所有图像打标签，实现对常见病虫害的识别与分类，通过打好标签的图像构建数据集，并将数据集分为训练集与测试集。

步骤S2包括以下分步骤：

S21、对常见的农作物病虫害进行分类，并设定病虫害识别规则。

本发明实施例中，设定的病虫害识别规则为：

叶片上有由黄白色失绿斑点组成的黄斑，整个叶片僵硬或扭曲，看叶片背面有红蜘蛛、叶螨等刺吸式口器的小型害虫，设置为标签①；农作物顶端嫩叶小、黑、僵、卷，叶片背面有油点，幼果上有皴状斑块，多是茶黄螨为害所致，设置为标签②；植株矮小、叶色偏黄，叶片背面有韭菜及葱蒜类根部的蛆虫(种蝇或蕈蚊)，设置为标签③；在农作物幼苗嫩叶上咬成针孔状花叶，是低龄地老虎幼虫，设置为标签④。

S22、根据病虫害识别规则，采用目标检测标记工具Labelimg对所有图像打标签。

根据病虫害类型将蝼蛄、叶螨、蛆虫等设置为①、②、③、④......的标签类型。

S23、将打好标签的图像保存得到xml(eXtended Markup Language)可扩展的标记性文件和原图，并采用xml可扩展的标记性文件和原图共同构成数据集。

S24、将数据集分为训练集与测试集，以满足后续构建网络结构的要求。

S3、采用ResNet50(Residual Network50)和FPN(Feature Pyramid Networks)结合的网络构建特征网络，并将训练集输入特征网络进行回归和分类，得到特征图(featuremap)。

其中ResNet50网络具备残差学习能力，能够学习深层次的信息；FPN网络用于滑动窗口挖掘多尺度信息。本发明实施例构建的ResNet50+FPN特征网络包含若干层卷积层(conv)和池化层(pooling)，对所有的边框进行判别，并且在特征网络的最后添加了一个卷积层(conv)。

S4、对特征图进行窗口滑动得到建议窗口(proposal region)，并通过建议窗口构建RPN(RegionProposal Network)区域生成网络。

RPN是一个全卷积网络，用于预测每个位置的目标边界和分数。

步骤S4包括以下分步骤：

S41、对特征图进行窗口滑动，将每个滑动窗口映射到一个低维度的特征，生成多个不同大小的建议窗口。

S42、将每个建议窗口作为一个锚点(anchor)输入至添加的两个全连接层，对每个锚点进行特征非线性变换。

本发明实施例中，两个全连接层为目标框回归层(regression)和目标框分类层(classification)。每个特征图生成300个锚点，而每个锚点具有5个尺度和5个宽高比，在每个滑动位置产生25个锚点，使得输入图像上的尺度和纵横比更大。

S43、将特征非线性变换后的锚点在特征网络的最后一层卷积层上进行类别分类和坐标回归。

S44、通过类别分类和坐标回归后的锚点构建RPN区域生成网络。

S5、对RPN区域生成网络进行训练，得到农作物病虫害智能检测模型。

步骤S5包括以下分步骤：

S51、将训练集中的图像切分为7*7的小块，并对每一小块进行最大池化(maxpooling)。

S52、将最大池化后7*7的图像输入到RPN区域生成网络中进行分类和边框回归，得到预测边框。

S53、根据预测边框和真实边框得到多任务损失函数L，具体表示为：

其中i为锚点索引，p_i表示第i个锚点的目标预测概率，表示第i个锚点的真实标签，若i>0，则若i<0，则N_cls为总的锚点数量，本发明实施例中，训练RPN区域生成网络阶段，N_cls取为256。

表示p_i与的对数损失，且N_reg为特征图的尺寸，λ为平衡权重，本发明实施例中，N_reg为1000*800，λ＝10。

t_i表示预测边框的参数化坐标向量，表示与锚点相关联的真实边框向量，表示t_i和的回归损失，且R(·)为Smooth L1损失函数。

S54、判断多任务损失函数L是否收敛，若是则进入步骤S55，否则返回步骤S51进行下一次迭代训练。

S55、得到训练好的RPN区域生成网络，并将其作为农作物病虫害智能检测模型。

S6、采用农作物病虫害智能检测模型对测试集中的图像进行测试，得到农作物病虫害智能检测结果。

采用农作物病虫害智能检测模型对测试集中的图像进行测试，得到标注病虫害的建议窗口，通过反馈结果调整该框的参数，得到选择的区域框大小，通过该模型能检测出病虫害特征①、②、③、④......的图片，准确率达到了91％，最后对实验数据进行分析和记录，图2所示为标签①的病症。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (8)

1.一种基于深度学习的农作物病虫害智能检测方法，其特征在于，包括以下步骤：

S1、采集农作物病虫害图像，并将所有图像修改为统一格式大小；

S2、对所有图像打标签，实现对常见病虫害的识别与分类，通过打好标签的图像构建数据集，并将数据集分为训练集与测试集；

S3、采用ResNet50和FPN结合的网络构建特征网络，并将训练集输入特征网络进行回归和分类，得到特征图；

S4、对特征图进行窗口滑动得到建议窗口，并通过建议窗口构建RPN区域生成网络；

S5、对RPN区域生成网络进行训练，得到农作物病虫害智能检测模型；

S6、采用农作物病虫害智能检测模型对测试集中的图像进行测试，得到农作物病虫害智能检测结果。

2.根据权利要求1所述的农作物病虫害智能检测方法，其特征在于，所述步骤S1包括以下分步骤：

S11、使用数据流批量方式采集农作物病虫害图像；

S12、使用开源计算机视觉库OpenCV修改图像的格式，将所有图像统一为1024*1024大小。

3.根据权利要求1所述的农作物病虫害智能检测方法，其特征在于，所述步骤S2包括以下分步骤：

S21、对常见的农作物病虫害进行分类，并设定病虫害识别规则；

S22、根据病虫害识别规则，采用目标检测标记工具Labelimg对所有图像打标签；

S23、将打好标签的图像保存得到xml可扩展的标记性文件和原图，并采用xml可扩展的标记性文件和原图共同构成数据集；

S24、将数据集分为训练集与测试集。

4.根据权利要求1所述的农作物病虫害智能检测方法，其特征在于，所述步骤S4包括以下分步骤：

S41、对特征图进行窗口滑动，将每个滑动窗口映射到一个低维度的特征，生成多个不同大小的建议窗口；

S42、将每个建议窗口作为一个锚点输入至添加的两个全连接层，对每个锚点进行特征非线性变换；

S43、将特征非线性变换后的锚点在特征网络的最后一层卷积层上进行类别分类和坐标回归；

S44、通过类别分类和坐标回归后的锚点构建RPN区域生成网络。

5.根据权利要求4所述的农作物病虫害智能检测方法，其特征在于，所述锚点具有5个尺度和5个宽高比。

6.根据权利要求4所述的农作物病虫害智能检测方法，其特征在于，所述步骤S42中的两个全连接层为目标框回归层和目标框分类层。

7.根据权利要求1所述的农作物病虫害智能检测方法，其特征在于，所述步骤S5包括以下分步骤：

S51、将训练集中的图像切分为7*7的小块，并对每一小块进行最大池化；

S52、将最大池化后7*7的图像输入到RPN区域生成网络中进行分类和边框回归，得到预测边框；

S53、根据预测边框和真实边框得到多任务损失函数L；

S54、判断多任务损失函数L是否收敛，若是则进入步骤S55，否则返回步骤S51进行下一次迭代训练；

S55、得到训练好的RPN区域生成网络，并将其作为农作物病虫害智能检测模型。

8.根据权利要求7所述的农作物病虫害智能检测方法，其特征在于，所述步骤S53中的多任务损失函数L具体为：

其中i为锚点索引，p_i表示第i个锚点的目标预测概率，表示第i个锚点的真实标签，若i>0，则若i<0，则N_cls为总的锚点数量，表示p_i与的对数损失，且N_reg为特征图的尺寸，λ为平衡权重，t_i表示预测边框的参数化坐标向量，表示与锚点相关联的真实边框向量，表示t_i和的回归损失，且R(·)为Smooth L1损失函数。