CN111553240B - 一种玉米病害病情分级方法、系统和计算机设备 - Google Patents

一种玉米病害病情分级方法、系统和计算机设备 Download PDF

Info

Publication number
CN111553240B
CN111553240B CN202010330319.6A CN202010330319A CN111553240B CN 111553240 B CN111553240 B CN 111553240B CN 202010330319 A CN202010330319 A CN 202010330319A CN 111553240 B CN111553240 B CN 111553240B
Authority
CN
China
Prior art keywords
corn
disease
neural network
area
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010330319.6A
Other languages
English (en)
Other versions
CN111553240A (zh
Inventor
刘永波
曹艳
胡亮
雷波
唐江云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Information And Countryside Economy Research Institute Sichuan Academy Of Agricultural Sciences
Original Assignee
Agricultural Information And Countryside Economy Research Institute Sichuan Academy Of Agricultural Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Information And Countryside Economy Research Institute Sichuan Academy Of Agricultural Sciences filed Critical Agricultural Information And Countryside Economy Research Institute Sichuan Academy Of Agricultural Sciences
Priority to CN202010330319.6A priority Critical patent/CN111553240B/zh
Publication of CN111553240A publication Critical patent/CN111553240A/zh
Application granted granted Critical
Publication of CN111553240B publication Critical patent/CN111553240B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Abstract

本申请涉及一种玉米病害病情分级方法、系统和计算机设备，方法包括：S1获取正常玉米叶片图像作和病害玉米叶片图像；S2搭建病害分类神经网络，采用迁移学习初始化卷积层和全连接层参数；S3搭建面积分割神经网络，采用迁移学习初始化前两层网络参数；S4将待检测叶片原图输入玉米病害分类神经网络得到病害分类信息；将原图输入面积分割神经网络得到病害区域和叶片主体区域的二值图像并计算病害区域的面积占比；S5根据病害分类信息和面积占比对病害病情进行分级。提供了一种适应真实环境下拍摄的图片，无需采摘玉米叶片，自动对玉米常见叶部病害病情进行分级的方法，为玉米病害的分级识别，特别是早期诊断和预测预警奠定基础。

Description

一种玉米病害病情分级方法、系统和计算机设备
技术领域
本发明涉及图像处理领域，尤其涉及一种玉米病害病情分级方法、系统和计算机设备。
背景技术
玉米是我国重要的粮食作物和饲料作物。近些年由于耕作栽培制度的改变、病原菌品种的变异、植物保健措施不健全等造成玉米病害的危害程度逐年加重，种类也逐年増多，常见的玉米叶片病害有：大斑病、小斑病、锈病、圆斑病、弯孢叶斑病、矮花叶病等。因此，对玉米病害病情的分级识别对于玉米种植来说是至关重要的，特别是在早期诊断和预测预警方面，通过智能化的手段对病害种类进行检测并对病情进行分级能够提高农民对病害的认识以及采用相应的措施进行防治，提高农业生产。
在现有技术中，利用图像识别技术对作物的病害进行检测主要有以下两种方法：
(1)基于高光谱成像的农作物病害分级诊断，该技术利用可见-近红外(400～1000nm)波段的病害作物光谱数据，研究作物病害的分级诊断模型。其存在以下不足：1.使用范围局限。该技术所有拍摄的过程是在实验室进行，外部环境恒定，缺少在室外、大田、温室等真实环境实验数据，无法保证方法的普适性，适应范围小；2.诊断采集的不是作物活株数据，采集过程会对植株造成不可逆的损害；3.设备不易携带，高光谱仪设备需在实验室环境才能使用，无法随身携带，降低了方法的灵活性和便捷性。
(2)基于安卓系统的作物叶部病害程度检测系统，该技术采用迭代式阈值法分割叶片区域和背景区域；采用模糊C均值聚类算法提取病斑区域，计算病斑区域像素点个数与整个叶片区域像素点个数的比值k；根据相关病害分级标准，判断黄瓜叶部病害的严重程度，利用SQLite数据库技术，动态添加其它作物的病害分级标准和防控措施信息；将检测结果及防控措施显示在手机屏幕上。其存在以下不足：1.拍摄时需提供单一的背景色，该技术在采集图像时均使用白色为背景，该方式有算法分割背景区域，但不能适应真实环境下多变的场景，大田环境中通常拍照都有大量的背景干扰色；2.阈值分割病斑效果不理想，阈值分割属于机器视觉中常用的图像分割算法，通过RGB颜色通道阈值分割，该方式会将叶脉或其他因素导致的非绿色部分计算为病斑，影响分割结果，降低检测准确度。
发明内容
本发明的目的在于提供一种适应真实环境下拍摄的图片，且无需采摘玉米叶片，自动对玉米常见的叶部病害病情进行分级的方法及系统，为玉米病害的分级识别，特别是早期诊断和预测预警奠定基础。
为了实现以上目的，本发明提供了一种玉米病害病情分级方法，包括以下步骤：
步骤S1.获取正常玉米叶片图像，预处理后作为第一训练集；获取病害玉米叶片图像，预处理后划分为第二训练集和测试集；
步骤S2.搭建基于CNN的玉米病害分类神经网络，采用迁移学习的方法初始化所述分类神经网络的卷积层和全连接层的参数，再完成整个网络的训练和测试；
步骤S3.搭建基于U-net的面积分割神经网络，采用迁移学习的方法初始化所述面积分割神经网络前两层的网络参数，再完成整个网络的训练和测试；
步骤S4.采集待检测玉米叶片原图，将所述叶片原图输入训练好的玉米病害分类神经网络，得到待检测玉米所患病害的分类信息；将所述叶片原图输入训练好的面积分割神经网络，得到玉米病害区域和玉米叶片主体区域的mask二值图像，通过所述二值图像计算玉米病害区域在叶片主体区域上的面积占比；
步骤S5.根据步骤S4得到的所述玉米所患病害的分类信息和所述玉米病害区域在叶片主体区域上的面积占比信息，对待检测玉米所患病害病情进行分级。
进一步的，步骤S1所述获取正常玉米叶片图，预处理后作为第一训练集，包括以下步骤：
步骤S101.对获取到的正常玉米叶片图像进行降噪、白平衡调节和/或图像均值化的规一化改进；
步骤S102.通过曲线标注出图像中的玉米主体叶片区域；
步骤S103.将所有标注后的图像进行竖直旋转、水平翻转、亮度变化、对比度变化、随机翻转和/或随机裁剪的形态变化以及改变图像颜色通道参数的参数变化，保存所有变化结果作为第一训练集。
进一步的，步骤S1所述获取病害玉米叶片图像，预处理后划分为第二训练集和测试集，包括以下步骤：
步骤S111.对获取到的病害玉米叶片图像进行降噪、白平衡调节和/或图像均值化的规一化改进；
步骤S112.将经过所述规一化改进的图像划分为第二训练集和测试集；
步骤S113.通过曲线标注出所述第二训练集图像中的玉米主体叶片区域和病害区域，并标注叶片所患病害的种类；
步骤S114.将第二训练集和测试集中的所有图像进行竖直旋转、水平翻转、亮度变化、对比度变化、随机翻转和/或随机裁剪的形态变化以及改变图像颜色通道参数的参数变化，保存所有变化结果。
进一步的，步骤S2包括以下步骤：
步骤S201.搭建包含卷积层、全连接层和分类层的玉米病害分类神经网络，并下载ImageNet数据集；
步骤S202.将所述第一训练集和ImageNet数据集合并后输入所述玉米病害分类神经网络进行训练得到源模型，用所述源模型卷积层和全连接层的网络参数初始化所述玉米病害分类神经网络卷积层和全连接层的网络参数；
步骤S203.随机初始化所述玉米病害分类神经网络分类层的网络参数；
步骤S204.用所述第二训练集完成整个网络的训练；
步骤S205.用所述测试集测试训练后的所述玉米病害分类神经网络的分类正确率是否达到预设要求。
进一步的，步骤S3包括以下步骤：
步骤S301.搭建基于U-net的面积分割神经网络，并下载ImageNet数据集；
步骤S302.将所述第一训练集和ImageNet数据集合并后输入所述面积分割神经网络进行训练得到源模型，用所述源模型的前两层网络参数初始化所述面积分割神经网络的前两层网络参数；
步骤S303.随机初始化所述面积分割神经网络其他网络层参数；
步骤S304.用所述第二训练集完成整个网络的训练，根据网络目标函数的收敛情况判定网络是否完成训练；
步骤S305.用所述测试集验证训练后的所述面积分割神经网络输出的玉米病害区域和玉米叶片主体区域的mask二值图像误差值是否在预设的范围内。
进一步的，根据网络目标函数的收敛情况判定网络是否完成训练的方法是：使用MIoU值来判定网络是否完成训练。
本发明还提供了一种玉米病害病情分级系统，包括玉米叶片图像获取模块、神经网络训练模块、玉米病害分类模块、面积占比计算模块、玉米病害分级模块和信息输出模块；
所述玉米叶片图像获取模块，设置为获取训练用玉米叶片图像和待检测的玉米叶片图像原图；
所述神经网络训练模块，设置为引入迁移模型训练基于CNN的玉米病害分类神经网络和基于U-net的面积分割神经网络；
所述玉米病害分类模块，设置为利用训练好的所述玉米病害分类神经网络对待检测的玉米叶片所患病害进行分类；
所述面积占比计算模块，设置为利用训练好的所述面积分割神经网络输出待检测的玉米叶片的病害区域和叶片主体区域的mask二值图像，根据所述二值图像计算病害区域在叶片主体区域上的面积占比；
所述玉米病害分级模块，设置为利用病害分类信息和病害区域面积占比信息对待检测玉米所患病害病情进行分级；
所述信息输出模块，设置为向使用者显示玉米病害分类信息和玉米病害病情分级信息。
基于相同的技术构思，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述玉米病害病情分级方法的步骤。
与现有技术相比，本发明的有益效果是：
1、可适应多种真实环境下拍摄的实景图片，对自然条件下拍摄的不同像素的病害图像都可进行识别和分级，具有较好的普适性和更强的可靠性。
2、无需采摘玉米叶片，避免对玉米植株造成不可逆的损害。
3、在样本有限的情况下即可完成模型的训练，不需要在短时间内获取大量的玉米病害图像，降低了模型训练的难度和实验数据的获取成本。
4、实现方式灵活多样，不依赖专业化的采集设备，使用手机等便携设备获取的图像即可完成对病害的分级。
5、更准确的分类和更精确的面积分割，本发明对玉米常见病害的分类正确率达到90％以上，对玉米病害区域面积和玉米叶片主体区域面积的分割误差值在10％以内。
附图说明
图1为本申请一个实施例中一种玉米病害病情分级方法的流程图；
图2为本申请一个实施例中获得第一训练集的流程图；
图3为本申请一个实施例中获得第二训练集和测试集的流程图；
图4为本申请一个实施例中获得玉米病害分类神经网络的流程图；
图5为本申请一个实施例中获得面积分割神经网络的流程图；
图6为本申请一个实施例中标定病害区域和主体叶片区域的示例图；
图7为本申请一个实施例中玉米病害分类神经网络的结构图；
图8为本申请一个实施例中面积分割神经网络的结构图；
图9为本申请一个实施例中面积分割神经网络的训练数据输入示例图；
图10为本申请一个实施例中面积分割神经网络输出的二值图像示例图；
图11为本申请一个实施例中一种玉米病害病情分级系统的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供的本发明提供了一种玉米病害病情分级方法，如图1所示，包括以下步骤：
步骤S1.获取正常玉米叶片图像，预处理后作为第一训练集；获取病害玉米叶片图像，预处理后划分为第二训练集和测试集；
其中，本发明对玉米叶片图像的获取方式不作进一步的限定，可以是用摄像头拍摄，也可以是从网络上下载的包含完整玉米叶片的图片。且本发明对图片的像素、光照条件、背景颜色均无特殊限定，使用在自然条件下获取的图片也可进行模型的训练。
所述获取正常玉米叶片图，预处理后作为第一训练集，如图2所示，包括以下步骤：
步骤S101.对获取到的正常玉米叶片图像进行降噪、白平衡调节和/或图像均值化的规一化改进；
步骤S102.通过曲线标注出图像中的玉米主体叶片区域；
步骤S103.将所有标注后的图像进行竖直旋转、水平翻转、亮度变化、对比度变化、随机翻转和/或随机裁剪的形态变化以及改变图像颜色通道参数的参数变化，保存所有变化结果作为第一训练集。
所述获取病害玉米叶片图像，预处理后划分为第二训练集和测试集，如图3所示，包括以下步骤：
步骤S111.对获取到的病害玉米叶片图像进行降噪、白平衡调节和/或图像均值化的规一化改进；
步骤S112.将经过所述规一化改进的图像划分为第二训练集和测试集；
步骤S113.通过曲线标注出所述第二训练集图像中的玉米主体叶片区域和病害区域，并标注叶片所患病害的种类；
步骤S114.将第二训练集和测试集中的所有图像进行竖直旋转、水平翻转、亮度变化、对比度变化、随机翻转和/或随机裁剪的形态变化以及改变图像颜色通道参数的参数变化，保存所有变化结果。
其中，执行步骤S103和步骤S114中的形态变化是为了更接近使用者拍摄病害图像的随机性，满足用户需求，适应各类环境的图像获取场景；参数变化是采用改变图像颜色通道参数的方式模拟图像的光照变化，以适应不同光照下算法的分割准确性。以上两步都是为了改进模型训练样本参数，提高算法泛化能力，并通过形态上的变换和调整，让一张原图产生多张延伸图，在有限数据量的情况下，提高训练集数量。
在一种较优的实施例中，经过步骤S112划分的第二训练集和测试集所包含的样本数量比例为4:1。
在一种较优的实施例中，可以使用开源标定软件“Labelme”对需要标注的区域进行标定，其标定方法为：通过曲线将病害区域框出，命名label为“disease”；通过曲线将主体叶片区域框出，命名label为“leaf”，如图6所示。
步骤S2.搭建基于CNN的玉米病害分类神经网络，采用迁移学习的方法初始化所述分类神经网络的卷积层和全连接层的参数，再完成整个网络的训练和测试。如图4所示，具体包括以下步骤：
步骤S201.搭建包含卷积层、全连接层和分类层的玉米病害分类神经网络，并下载ImageNet数据集；
在一种较优的实施例中，如图7所示，所搭建的玉米病害分类神经网络包含5层卷积层、2层全连接层，以及最后的分类层。下面分别详细说明这三块的结构：
(1)卷积层。由于卷积神经网络只能接收固定大小的输入，首先要将输入图像转化为224*224固定大小的三通道RGB图像。网络的输入大小为224*224*3，第一层卷积层C1使用96个大小为11*11、步长为4的滤波器(卷积核)，对输入图像的固定块进行卷积运算。卷积运算之后是最大值池化(MaxPooling)操作，所有最大值池化操作都使用大小为3*3、步长为1的滤波器对输入进行下采样。C2层使用256个大小为5*5、步长1为的卷积核。C3层使用384个大小为3*3、步长为1的卷积核。C4层使用384个大小为3*3、步长为1的卷积核。C5层使用256个大小为3*3、步长为1的卷积核。
(2)全连接层。两层全连接层F1、F2都包含4096个神经元。其中每个神经元都与输入和输出的每个神经元相连。
(3)分类层。分类层为Softmax分类器，Softmax分类器的每一类都对应一个玉米病虫害，即分类器中神经元的个数对应玉米病虫害中类别的数量。
所述ImageNet数据集为一个用于视觉对象识别软件研究的大型可视化数据库，包含超过20000类别的1400万带标注的图像集。可以从www.image-net.org网站上直接下载得到。
步骤S202.将所述第一训练集和ImageNet数据集合并后输入所述玉米病害分类神经网络进行训练得到源模型，用所述源模型卷积层和全连接层的网络参数初始化所述玉米病害分类神经网络卷积层和全连接层的网络参数；
由于玉米叶部病斑图像总体数量较少，获取难度大，若直接采用病害图像训练算法模型，则每种病害模型都需要大量的训练集。否则，使用少量病害图像训练模型会导致模型过拟合，降低泛化性，从而无法取得较好的分割效果，从而无法识别新的图像。因此在本发明中引入迁移学习的方式帮助训练整个模型。其中，所述ImageNet数据集包含超过20000类别的1400万带标注的图像集，将其与第一训练集所包含的预先标注的正常玉米图像一起作为源模型的训练数据集。
步骤S203.随机初始化所述玉米病害分类神经网络分类层的网络参数；
在一种较优的实施例中，可以采用高斯分布函数随机初始化分类层的网络参数。
步骤S204.用所述第二训练集完成整个网络的训练；
在一种较优的实施例中，可以采用误差反向传播算法(ErrorBackPropagation,BP)来完成整个卷积神经网络的训练，训练的过程由信息的正向传播与误差的反向传播组成。
下面进一步说明整个网络的训练过程。
(1)正向传播阶段，从第二训练集中选取一批(batch)样本{(x1,Y1),(x2,Y2),...,(xm,Ym)}，其中xi是玉米样本图像，Yi是该样本的病虫害类别。将样本图像的RGB像素值线性排列作为输入，对于以后每一层，通过该层当前的网络参数与前一层的输出计算该层的输出，并将该输出作为下一层的输入。如此逐层计算，直到最终传递到输出层，输出玉米病虫害的多分类标签。
(2)反向传播阶段
多标签分类Softmax属性分类器损失函数如下所示：
Figure BDA0002464729530000081
其中m为训练样本的个数，k为该属性分类器类别数，1{·}为示性函数，表示输出分类是否与标签一致。
计算输出层的误差后，通过反向传播将误差结果回传至前几层，执行误差回传。
当下层为池化层时，需使用以下公式计算误差值：
Figure BDA0002464729530000082
其中，j表示池化层，l表示卷积层；l+1为卷积层的下层池化层；
Figure BDA0002464729530000083
为激活函数的倒数；
Figure BDA0002464729530000084
为池化层的误差；⊙表示前后两参数的矩阵点积操作。
当下层为卷积层时，设该卷积层拥有M个卷积核和N个特征图，设卷积层为l层，设池化层为l+1层。由于误差项存在于每个卷积层中的卷积核，因此使用以下公式计算池化层j个通道的误差：
Figure BDA0002464729530000085
其中，j代表的是第j个池化通道，i代表的是第i个卷积通道，kij表示从第i个卷积通道到第j个池化通道的误差。
根据上述误差计算，就可以通过当前网络权值和学习率更新参数。训练好的卷积神经网络看做一个多分类器，将图像输入到子网络中，向前传播至Softmax层，用Softmax层最大值所表示的类别作为输入图像的病虫害类别。
步骤S205.用所述测试集测试训练后的所述玉米病害分类神经网络的分类正确率是否达到预设要求。
在本实施例中，当玉米病害分类正确率达到90％以上时，认为玉米病害分类神经网络达到了预设要求。表1为一种较优实施例中对10种玉米常见病害的分类结果数据。
表1分类结果
Figure BDA0002464729530000086
Figure BDA0002464729530000091
步骤S3.搭建基于U-net的面积分割神经网络，采用迁移学习的方法初始化所述面积分割神经网络前两层的网络参数，再完成整个网络的训练和测试。如图5所示，具体包括以下步骤：
步骤S301.搭建基于U-net的面积分割神经网络，并下载ImageNet数据集；
在一种较优的实施例中，所述基于U-net的面积分割神经网络的网络结构如图8所示，其中，横向数字表示通道数，网络的左半边首先进行Conv+Pooling对输入图像下采样；然后网络的右半边通过Deconv反卷积进行上采样，同时，裁剪前面对应的低层featuremap，使得低层的featuremap尺寸大小与右半边的featuremap相同，并进行融合(这里的融合是指拼接，比如低层维度为280*280*128，高层维度为200*200*128，先将低层裁剪为200*200*128，然后融合，融合后的featuremap为200*200*256)；然后再次上采样。重复这个过程，直到获得输出388x388x2的featuremap，最后经过softmax获得像素级图像分割结果。
步骤S302.将所述第一训练集和ImageNet数据集合并后输入所述面积分割神经网络进行训练得到源模型，用所述源模型的前两层网络参数初始化所述面积分割神经网络的前两层网络参数；
步骤S303.随机初始化所述面积分割神经网络其他网络层参数；
步骤S304.用所述第二训练集完成整个网络的训练，根据网络目标函数的收敛情况判定网络是否完成训练；
在一种较优的实施例中，网络的训练过程可以简述如下：
首先将大小不定的训练集图像按最长边512等比例缩放，然后随机取(crop)其中大小为n*n的块(比如256*256)作为训练输入，标签则是对应的目标部分像素值为非0，其他部分为0的mask图，如图9所示。网络一次训练8张经过crop的图像，总共迭代训练了100个批次(对所有训练数据训练100次)。此时，基于U-net的面积分割神经网络的分割结果指crop其中心(n-32)*(n-32)大小作为输出，并且在标记的mask相应区域计算loss。
在一种较优的实施例中，根据网络目标函数的收敛情况判定网络是否完成训练的方法是：使用MIoU值来判定网络是否完成训练。下面作进一步的说明。
U-net模型是一种图像语义分割模型，其本质为分类任务，预测的结果往往就是四种情况：(1)truepositive(TP)、(2)falsepositive(FP)、(3)truenegative(TN)、(4)falsenegative(FN)。MIoU的全称为MeanIntersectionoverUnion，其计算的是真实值和预测值两个集合的交集和并集之比。这个比例可以变形为TP(交集)比上TP、FP、FN之和(并集)。即：mIOU＝TP/(FP+FN+TP)，具体公式如下：
Figure BDA0002464729530000102
其中，k为模型所包含类的数量，因本申请的面积分割模型均属于2分类问题及区分目标和背景，因此，本实施例中k＝2；
pii表示为预测正确的像素数量；
pij表示本属于类i，但被预测为类j的像素数量；同理，pji表示本属于类j，但被预测为类i的像素数量。
通常，当MIoU的值越接近于1，表示模型分割与真实情况约为接近。因此在网络训练过程中，当MIoU值趋近于1，并逐渐收敛不再有太大波动时，某种程度上说明网络参数已经接近网络的全局最优点或局部最优点，即可判定网络训练完成。若目标函数一直波动较大，无法收敛，此时就需要调整学习率或者是依靠经验调节batch_size等参数。
在一种较优的实施例中，在训练过程中，考虑算法效率，保证在CPU上的总耗时不超过1s，主要尝试采用256*256和128*128作为输入size尺寸，在考虑了光照等因素变换后对精度的影响，其训练结果如下表2、表3所示。从测试结果可以得出，如果病症过小可能会导致一定的漏检，并且考虑光照等因素的变换对模型准确性有一定提高。
表2 U-net of disease测试结果
Figure BDA0002464729530000101
Figure BDA0002464729530000111
表3 U-net of leaf测试结果
Input_size(n) Changebrightness MeanIOU GPUtime CPUtime
128 N 0.9430 32ms 78ms
128 Y 0.9374 32ms 78ms
256 N 0.9531 84ms 143ms
256 Y <u>0.9633</u> 84ms 143ms
步骤S305.用所述测试集验证训练后的所述面积分割神经网络输出的玉米病害区域和玉米叶片主体区域的mask二值图像误差值是否在预设的范围内。
在本实施例中，当二值图像误差值达到10％以下时，认为面积分割神经网络达到了预设要求。
步骤S4.采集待检测玉米叶片原图，将所述叶片原图输入训练好的玉米病害分类神经网络，得到待检测玉米所患病害的分类信息；将所述叶片原图输入训练好的面积分割神经网络，得到玉米病害区域和玉米叶片主体区域的mask二值图像，通过所述二值图像计算玉米病害区域在叶片主体区域上的面积占比。
其中，本发明对玉米叶片原图的采集方式不作进一步的限定，可以是用摄像头拍摄，也可以是从网络上下载的包含完整玉米叶片的图片。且本发明对图片的像素、光照条件、背景颜色均无特殊限定，使用在自然条件下获取的图片也可进行玉米病害病情的分级。
所述计算玉米病害区域在叶片主体区域上的面积占比，其具体应用公式为：
Figure BDA0002464729530000112
其中，Sdisease(x)为待检测玉米病害区域的面积，Sleaf(x)为待检测玉米叶片主体区域的面积。在一种较优实施例中，图10为面积分割神经网络输出的mask二值图像。
步骤S5.根据步骤S4得到的所述玉米所患病害的分类信息和所述玉米病害区域在叶片主体区域上的面积占比信息，对待检测玉米所患病害病情进行分级。
在一种较优实施例中，所述对待检测玉米所患病害病情进行分级时，可以参照国家标准《国家玉米记载标准(2018)》。
基于相同的技术构思，本发明还提供了一种玉米病害病情分级系统，如图11所示，该系统包括玉米叶片图像获取模块、神经网络训练模块、玉米病害分类模块、面积占比计算模块、玉米病害分级模块和信息输出模块。
所述玉米叶片图像获取模块，设置为获取训练用玉米叶片图像和待检测的玉米叶片图像原图；
所述神经网络训练模块，设置为引入迁移模型训练基于CNN的玉米病害分类神经网络和基于U-net的面积分割神经网络；
所述玉米病害分类模块，设置为利用训练好的所述玉米病害分类神经网络对待检测的玉米叶片所患病害进行分类；
所述面积占比计算模块，设置为利用训练好的所述面积分割神经网络输出待检测的玉米叶片的病害区域和叶片主体区域的mask二值图像，根据所述二值图像计算病害区域在叶片主体区域上的面积占比；
所述玉米病害分级模块，设置为利用病害分类信息和病害区域面积占比信息对待检测玉米所患病害病情进行分级；
所述信息输出模块，设置为向使用者显示玉米病害分类信息和玉米病害病情分级信息。
基于相同的技术构思，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述玉米病害病情分级方法的步骤。
专业人员还可以进一步意识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种玉米病害病情分级方法，其特征在于，包括以下步骤：
步骤S1.获取正常玉米叶片图像，预处理后作为第一训练集；获取病害玉米叶片图像，预处理后划分为第二训练集和测试集；
步骤S2.搭建基于CNN的玉米病害分类神经网络，采用迁移学习的方法初始化所述分类神经网络的卷积层和全连接层的参数，再完成整个网络的训练和测试；
步骤S3.搭建基于U-net的面积分割神经网络，采用迁移学习的方法初始化所述面积分割神经网络前两层的网络参数，再完成整个网络的训练和测试；
步骤S4.采集待检测玉米叶片原图，将所述叶片原图输入训练好的玉米病害分类神经网络，得到待检测玉米所患病害的分类信息；将所述叶片原图输入训练好的面积分割神经网络，得到玉米病害区域和玉米叶片主体区域的mask二值图像，通过所述二值图像计算玉米病害区域在叶片主体区域上的面积占比；
步骤S5.根据步骤S4得到的所述玉米所患病害的分类信息和所述玉米病害区域在叶片主体区域上的面积占比信息，对待检测玉米所患病害病情进行分级；
其中，所述步骤S2包括以下步骤：
步骤S201.搭建包含卷积层、全连接层和分类层的玉米病害分类神经网络，并下载ImageNet数据集；
步骤S202.将所述第一训练集和ImageNet数据集合并后输入所述玉米病害分类神经网络进行训练得到源模型，用所述源模型卷积层和全连接层的网络参数初始化所述玉米病害分类神经网络卷积层和全连接层的网络参数；
步骤S203.随机初始化所述玉米病害分类神经网络分类层的网络参数；
步骤S204.用所述第二训练集完成整个网络的训练；
步骤S205.用所述测试集测试训练后的所述玉米病害分类神经网络的分类正确率是否达到预设要求。
2.如权利要求1所述的玉米病害病情分级方法，其特征在于：步骤S1所述获取正常玉米叶片图，预处理后作为第一训练集，包括以下步骤：
步骤S101.对获取到的正常玉米叶片图像进行降噪、白平衡调节和/或图像均值化的规一化改进；
步骤S102.通过曲线标注出图像中的玉米主体叶片区域；
步骤S103.将所有标注后的图像进行竖直旋转、水平翻转、亮度变化、对比度变化、随机翻转和/或随机裁剪的形态变化以及改变图像颜色通道参数的参数变化，保存所有变化结果作为第一训练集。
3.如权利要求1所述的玉米病害病情分级方法，其特征在于：步骤S1所述获取病害玉米叶片图像，预处理后划分为第二训练集和测试集，包括以下步骤：
步骤S111.对获取到的病害玉米叶片图像进行降噪、白平衡调节和/或图像均值化的规一化改进；
步骤S112.将经过所述规一化改进的图像划分为第二训练集和测试集；
步骤S113.通过曲线标注出所述第二训练集图像中的玉米主体叶片区域和病害区域，并标注叶片所患病害的种类；
步骤S114.将第二训练集和测试集中的所有图像进行竖直旋转、水平翻转、亮度变化、对比度变化、随机翻转和/或随机裁剪的形态变化以及改变图像颜色通道参数的参数变化，保存所有变化结果。
4.如权利要求1所述的玉米病害病情分级方法，其特征在于：步骤S3包括以下步骤：
步骤S301.搭建基于U-net的面积分割神经网络，并下载ImageNet数据集；
步骤S302.将所述第一训练集和ImageNet数据集合并后输入所述面积分割神经网络进行训练得到源模型，用所述源模型的前两层网络参数初始化所述面积分割神经网络的前两层网络参数；
步骤S303.随机初始化所述面积分割神经网络其他网络层参数；
步骤S304.用所述第二训练集完成整个网络的训练，根据网络目标函数的收敛情况判定网络是否完成训练；
步骤S305.用所述测试集验证训练后的所述面积分割神经网络输出的玉米病害区域和玉米叶片主体区域的mask二值图像误差值是否在预设的范围内。
5.如权利要求4所述的玉米病害病情分级方法，其特征在于，根据网络目标函数的收敛情况判定网络是否完成训练的方法是：使用MIoU值来判定网络是否完成训练。
6.一种基于权利要求1至5中任一项所述玉米病害病情分级方法的玉米病害病情分级系统，其特征在于，包括玉米叶片图像获取模块、神经网络训练模块、玉米病害分类模块、面积占比计算模块、玉米病害分级模块和信息输出模块；
所述玉米叶片图像获取模块，设置为获取训练用玉米叶片图像和待检测的玉米叶片图像原图；
所述神经网络训练模块，设置为引入迁移模型训练基于CNN的玉米病害分类神经网络和基于U-net的面积分割神经网络；
所述玉米病害分类模块，设置为利用训练好的所述玉米病害分类神经网络对待检测的玉米叶片所患病害进行分类；
所述面积占比计算模块，设置为利用训练好的所述面积分割神经网络输出待检测的玉米叶片的病害区域和叶片主体区域的mask二值图像，根据所述二值图像计算病害区域在叶片主体区域上的面积占比；
所述玉米病害分级模块，设置为利用病害分类信息和病害区域面积占比信息对待检测玉米所患病害病情进行分级；
所述信息输出模块，设置为向使用者显示玉米病害分类信息和玉米病害病情分级信息。
7.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项权利要求所述玉米病害病情分级方法的步骤。
CN202010330319.6A 2020-04-24 2020-04-24 一种玉米病害病情分级方法、系统和计算机设备 Active CN111553240B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010330319.6A CN111553240B (zh) 2020-04-24 2020-04-24 一种玉米病害病情分级方法、系统和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010330319.6A CN111553240B (zh) 2020-04-24 2020-04-24 一种玉米病害病情分级方法、系统和计算机设备

Publications (2)

Publication Number Publication Date
CN111553240A CN111553240A (zh) 2020-08-18
CN111553240B true CN111553240B (zh) 2021-03-16

Family

ID=72005771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010330319.6A Active CN111553240B (zh) 2020-04-24 2020-04-24 一种玉米病害病情分级方法、系统和计算机设备

Country Status (1)

Country Link
CN (1) CN111553240B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11783576B2 (en) * 2020-10-29 2023-10-10 Deere & Company Method and system for optical yield measurement of a standing crop in a field
CN112699941B (zh) * 2020-12-31 2023-02-14 浙江科技学院 植物病害严重程度图像分类方法、装置、设备和存储介质
CN113468964B (zh) * 2021-05-31 2022-04-26 山东省邮电工程有限公司 一种基于高光谱的农业病虫害监测方法及设备
CN114998693A (zh) * 2022-08-05 2022-09-02 成都明途科技有限公司 农作物病害识别方法、装置、电子设备及存储介质
CN115187609A (zh) * 2022-09-14 2022-10-14 合肥安杰特光电科技有限公司 一种大米黄粒检测方法和系统
CN116468671B (zh) * 2023-03-21 2024-04-16 中化现代农业有限公司 植物病害程度检测方法、装置、电子设备和存储介质
CN117392466B (zh) * 2023-12-08 2024-03-08 汉中益丰华茂农业科技发展有限公司 基于图像识别的食用菌病害早期预警方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165623A (zh) * 2018-09-07 2019-01-08 北京麦飞科技有限公司 基于深度学习的水稻病斑检测方法及系统
CN109977924A (zh) * 2019-04-15 2019-07-05 北京麦飞科技有限公司 针对农作物的无人机机上实时图像处理方法及系统
CN110766082A (zh) * 2019-10-25 2020-02-07 成都大学 一种基于迁移学习的植物叶片病虫害程度分类方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105180850B (zh) * 2015-07-15 2017-09-22 中国农业大学 计算玉米叶部大斑病病斑面积比例的方法及装置
US10747999B2 (en) * 2017-10-18 2020-08-18 The Trustees Of Columbia University In The City Of New York Methods and systems for pattern characteristic detection
CN108564589A (zh) * 2018-03-26 2018-09-21 江苏大学 一种基于改进全卷积神经网络的植物叶片分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165623A (zh) * 2018-09-07 2019-01-08 北京麦飞科技有限公司 基于深度学习的水稻病斑检测方法及系统
CN109977924A (zh) * 2019-04-15 2019-07-05 北京麦飞科技有限公司 针对农作物的无人机机上实时图像处理方法及系统
CN110766082A (zh) * 2019-10-25 2020-02-07 成都大学 一种基于迁移学习的植物叶片病虫害程度分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于深度卷积神经网络的玉米病害识别;刘永波 等;《中国农业通报》;20181231;第34卷(第36期);第160-163页 *
基于迁移学习与卷积神经网络的玉米植株病害识别;陈桂芬 等;《智慧农业》;20190430;第1卷(第2期);第35-41页 *

Also Published As

Publication number Publication date
CN111553240A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN111553240B (zh) 一种玉米病害病情分级方法、系统和计算机设备
Haridasan et al. Deep learning system for paddy plant disease detection and classification
CN110148120B (zh) 一种基于cnn与迁移学习的病害智能识别方法及系统
US11521380B2 (en) Shadow and cloud masking for remote sensing images in agriculture applications using a multilayer perceptron
Zhou et al. Wheat ears counting in field conditions based on multi-feature optimization and TWSVM
Kaur et al. An approach for characterization of infected area in tomato leaf disease based on deep learning and object detection technique
Kumari et al. Hybridized approach of image segmentation in classification of fruit mango using BPNN and discriminant analyzer
Li et al. High-throughput phenotyping analysis of maize at the seedling stage using end-to-end segmentation network
Tanwar et al. Deep learning-based hybrid model for severity prediction of leaf smut sugarcane infection
Sabri et al. Nutrient deficiency detection in maize (Zea mays L.) leaves using image processing
Rahadiyan et al. Design of an Intelligent Hydroponics System to Identify Macronutrient Deficiencies in Chili
Bhimavarapu et al. Analysis and characterization of plant diseases using transfer learning
Li et al. Maize leaf disease identification based on WG-MARNet
Selvakumar et al. Automated mango leaf infection classification using weighted and deep features with optimized recurrent neural network concept
Nga et al. Combining binary particle swarm optimization with support vector machine for enhancing rice varieties classification accuracy
Balasubramaniyan et al. Color contour texture based peanut classification using deep spread spectral features classification model for assortment identification
Kini et al. Techniques of deep learning and image processing in plant leaf disease detection: A review
Kannan An efficient deep neural network for disease detection in rice plant using XGBOOST ensemble learning framework
Kahsay Classification of Wheat Leaf Septoria Disease Using Image Processing and Machine Learning Techniques
Abdullah et al. A portable rice disease diagnosis tool basedon bi-level color image thresholding
Rony et al. BottleNet18: Deep Learning-Based Bottle Gourd Leaf Disease Classification
Megalingam et al. Coconut trees classification based on height, inclination, and orientation using MIN-SVM algorithm
Kaur et al. Performance analysis of segmentation models to detect leaf diseases in tomato plant
Gowrishankar et al. A Hybrid Model for Pest identification in Groundnut Plants using BLR and SVM Techniques
Sharma et al. Detection and classification of plant diseases by Alexnet and GoogleNet deep learning architecture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant