CN109801275A - 基于图像识别的马铃薯病害检测方法和系统 - Google Patents

Abstract

本公开涉及一种基于图像识别的马铃薯病害检测方法，包括以下步骤：步骤1、客户端获取待识别的马铃薯叶片、根茎和薯块的图片，并上传到服务端；步骤2、服务端对所述图片进行预处理，之后将预处理后的图片送入深度学习模型；步骤3、深度学习模型对预处理后的图片提取高维特征后识别并标定出图片中包含的马铃薯病斑的类别和位置；步骤4、将识别出的病斑位置及其类别作为标记叠加到图片上，形成检测结果图片，以供客户端下载并显示。

Description

基于图像识别的马铃薯病害检测方法和系统

技术领域

本发明属于计算机视觉、模式识别领域，尤其涉及基于深度学习的感兴趣目标检测与定位技术，更具体地，涉及基于图像识别的马铃薯病害检测方法和系统。

背景技术

随着计算机视觉的出现以及深度学习网络的准确度和速度的大幅提升，日常生活中的更多图像识别任务可以用这些技术来满足工程需求。马铃薯病害检测亦是如此，为了让缺少相关知识的用户快速识别出马铃薯病害种类和发展程度，应用深度学习模型进行图像识别，特别是图像检测，是病害检测的重要发展趋势。

如何让农民在马铃薯地里捕捉到病害叶片的10秒内，得知病害专业的检测结果和治疗方案，这是一个高度面向应用的技术课题，由此，一种基于图像识别的马铃薯病害检测新技术应运而生。这种新技术具有显著的便捷性、准确性、实时性。

目前，基于图像识别的马铃薯病害检测技术主要有以下几类技术方案：

技术方案(1)(参见参考文献1)

该方案利用深度学习针对马铃薯叶部四种主要的病害图像进行识别，结合智能手机WebApp开发，实现了适用于马铃薯叶部病害图像的识别系统。该方案首先构建了9层网络结构模型，在网络的输入层随即对图像进行变换，对图像增加白化处理，设计三个卷积层和三个池化层对图像进行特征学习和二次特征的抽象，设计三个全连接层将卷积、池化层学习到的特征连接到该层设置的每个神经元，进而获取最高层次的图像特征；通过大量试验确定网络参数，采用2000个病害图像训练样本集训练网络模型，训练网络用时约3个小时，自动学习到384个病害图像特征，结合Softmax分类器构建识别模型，训练集的识别准确率达到86％。

技术方案(1)的缺点

第一：该方案只能识别马铃薯叶片，不能识别根茎和薯块；

第二：该方案将问题处理成分类任务，使用的网络模型结构是一个9层的分类模型，只能粗略预测出叶片图像的类别，而且分类的精度易受到图像的背景、叶片上病斑的比例等诸多干扰的影响，例如一片含有5％病斑、而95％健康的叶片，该方案通常会错分；而在实际应用中，算法首先应该避免上述因素的影响，而且还需获得叶片上病斑的精确位置，定位病害区域对马铃薯病害检测有更大的帮助；

第三：该方案训练深度网络使用的数据集很有限；

第四：在实际图像识别问题中，越深的特征提取网络提取出的特征越利于识别和精确检测；

第五：该方案需要额外下载自己开发的APP，在不同手机系统及版本之间难免会出现不兼容情况；

技术方案(2)(参见参考文献2)

该方案设计出一种基于机器视觉的马铃薯病害识别系统。该系统识别部分首先采集病害叶片图像，并进行小波去噪；随后利用传统的OTSU阈值算法分割图像，提取病害的颜色、形状、纹理特征；再送入支持向量机(SVM)分类器进行识别。该方案搭建了服务器端，提供了与客户端进行信息交互的接口，基于Android SDK设计了手机客户端，通过无线网络对服务器端进行访问。

技术方案(2)的缺点

第一：只能识别马铃薯叶片，不能识别根茎和薯块；

第二：和方案1一样，同样采用图像分类思想来实现，存在无法精确定位等和方案1类似的问题；

第二：传统的SVM分类器的准确率远低于基于深度学习的方法；

第三：SVM算法对大数据训练样本难以实施，在实际应用中，马铃薯疫病叶片图像数据量很大，深度学习模型更能充分利用这些数据；

第二：SVM算法解决多分类问题存在困难，而该方案没有应用决策树等相关技术克服这一缺陷。在马铃薯病害检测问题中，不仅涉及早疫病、晚疫病等常见病害，若加入其它外观特征难以区分的病毒性病害，它的效果将远差于擅长处理多类别任务的深度学习模型。

发明内容

考虑到现有技术的上述问题/需求，发明人提出了本发明，其使用的是图像检测方向中较为成熟的一种模型，在同等量级的深度学习模型中，较高的准确度、很短的检测时间以及在小物体检测上的出色发挥是它重要的优势，充分利用这些优势，得到了一种基于图像检测的马铃薯病害检测新方法。同时，随着智能手机以及微信的平民化，微信小程序成为了移动端重要的技术平台，其扫码推广、跨平台跨系统、便于版本更新的特性，十分适合作为手机上的客户端。

根据本发明的实施例，提供了基于图像识别的马铃薯病害检测方法，包括以下步骤：步骤1、客户端获取待识别的马铃薯叶片、根茎和薯块的图片，并上传到服务端；步骤2、服务端对所述图片进行预处理，之后将预处理后的图片送入深度学习模型；步骤3、深度学习模型对预处理后的图片提取高维特征后识别并标定出图片中包含的马铃薯病斑的类别和位置；步骤4、将识别出的病斑位置及其类别作为标记叠加到图片上，形成检测结果图片，以供客户端下载并显示。

本发明的有益效果包括：

1、针对马铃薯叶片、根茎和薯块图片，能够准确分析出叶片、根茎和薯块上的病害病斑。应用深度模型进行检测，与之前方案的分类网络不同，能精确定位病害区域，同时深度网络的轻量化确保实时检测；

2、客户端部署在微信小程序上，无需配置任何环境且操作简单上手无难度；

3、可以获取检测反馈并且用反馈数据更新模型，在应用过程中不断提升检测效果和泛用性能。

附图说明

图1为根据本发明的实施例的基于图像识别的马铃薯病害检测方法的原理示意图；

图2为说明根据本发明的实施例的基于图像识别的马铃薯病害检测方法的流程示意图；

图3为说明根据本发明的实施例的基于图像识别的马铃薯病害检测系统的功能模块示意图；

图4为根据本发明实施例的安装了应用程序的系统的运行环境的示意图。

具体实施方式

下面，结合附图对技术方案的实施作进一步的详细描述。

本领域的技术人员能够理解，尽管以下的说明涉及到有关本发明的实施例的很多技术细节，但这仅为用来说明本发明的原理的示例、而不意味着任何限制。本发明能够适用于不同于以下例举的技术细节之外的场合，只要它们不背离本发明的原理和精神即可。

另外，为了避免使本说明书的描述限于冗繁，在本说明书中的描述中，可能对可在现有技术资料中获得的部分技术细节进行了省略、简化、变通等处理，这对于本领域的技术人员来说是可以理解的，并且这不会影响本说明书的公开充分性。

下文中，将描述用于进行本发明的实施例。注意，将以下面的次序给出描述：1、发明构思的概要(图1)；2、基于图像识别的马铃薯病害检测方法(图2)；3、基于图像识别的马铃薯病害检测系统(图3)；4、根据本发明的实施例的安装了应用程序的系统(图4)。

1、发明构思的概要

图1为根据本发明的实施例的基于图像识别的马铃薯病害检测方法的原理示意图。

在马铃薯病害检测问题中，早疫病和晚疫病病害特征主要以病斑的形式出现在叶部，人工监测和诊断病害不仅成本较高、受主观因素影响，且效率较低。为了克服以上问题，本发明提出了一种基于图像识别的马铃薯病害检测新技术。属于图像识别领域，应用于马铃薯早疫病和晚疫病检测。本方法以深度学习网络提取的图像特征为基础，可以准确、实时地定位出马铃薯叶片、根茎、和薯块上病斑的位置和病害类型。

相比于现有的技术方案，本发明将分类问题转化为检测问题，不仅可以判断出病害类别，还能准确定位，同时根据检测出的病害面积进行进一步诊断，相较分类任务提高了准确度和更为直观的可视化效果；初次训练即使用了人工精确标注的两万余张数据集，且后期还可通过用户反馈的图片对模型进行再训练，精确度上更有保证；此外，本发明采用的基础网络仅卷积层就有55层，在检测中还使用了多尺度特征提取技术，利用3个尺度上的特征信息同时检测，这样得到的特征能表示更丰富的语义，兼顾高分辨率的图像细节和低分辨率的整体信息，最终结果融合了3个尺度上的分类和检测结果，更精确且拟合了更多应用场景；

本发明为了增加便捷性，能够通过微信小程序方式供用户随时扫码使用。

本发明选择部署的移动客户端为微信小程序，在应用上提高了便捷性和实时性，能够帮助用户在发现疑似病害叶片的第一时间得到专业的检测结果和治疗方案，有效抑制了病害扩散和进一步的经济损失。同时，由于算法部署在云服务器，小程序反馈的检测结果可以为模型更新提供大量数据，优化后模型预测的病害检测结果，会更加贴合实际应用场景，减少由于光线、地域等外部因素带来的算法误差。

下面具体说明本发明的基于图像识别的马铃薯病害检测方法的实现方式。

2、基于图像识别的马铃薯病害检测方法

根据本发明的实施例，基于图像识别的马铃薯病害检测方法的实现原理如下：首先对输入图像提取特征，对特征图进行上采样和相加计算获得共3个尺度上的特征图；对于3个尺度的特征图，每个点对应以该点为中心的3个边框，对这些边框进行逻辑回归分类，可获得对应原图中的每个检测框的类别和置信度；非极大值抑制算法[3]将筛除所有检测框中与高置信度框重叠度高于阈值的低置信度检测框，这样确保原图中每个目标都由得分最高的框标注出来且减少检测框之间的重叠，增加结果合成图的辨识度。

图2为说明根据本发明的实施例的基于图像识别的马铃薯病害检测方法的流程示意图。

如图2所示，该方法主要包括以下步骤：

步骤S100、客户端获取待识别的马铃薯叶片、根茎和薯块的图片，并上传到服务端；

具体地，用户可使用微信小程序对马铃薯叶片、根茎和薯块进行拍照，照片作为检测原图上传到云服务器；作为示例，在作为客户端的微信小程序上，选择拍照或相册上传马铃薯病害图片到云服务器；在搭建好WebServer的服务器上，利用PHP接口将接收到的图片转存到云盘。

其中，微信小程序提供的用户交互功能主要如下：获取使用手机摄像头及访问相册的权限；将拍摄的照片或本地图片上传到腾讯云服务器；尝试从验证的对象存储桶中下载检测结果图片和治疗方案直至成功；展示结果图片，由用户选择对本次检测结果进行反馈或进行下一次检测。

服务端(云服务器)提供的后台功能主要如下：利用XAMPP搭建好的WEB SERVER为接收微信小程序上传的图片提供接口；后台持续运行的脚本，提前将深度学习模型加载到内存中，监听到有图片上传时，将其作为模型输入图片；使用PIL库将检测结果和原图进行合成，上传结果图到对象存储桶，同时将处理过的原图转存到云硬盘；对检测结果进行进一步分析，将叶片和病斑面积比例等分析结果，连同治疗方案，转成文本信息上传到对象存储桶中。

步骤S200、服务端对所述图片进行预处理，送入深度学习模型；

例如，云服务器接收到用户上传的图片后，可对其进行尺寸变换、归一化等预处理，以便满足深度学习模型的输入要求。

具体地，服务端对接收到的原图进行预处理，首先将原图尺寸变换到608*608，以匹配网络输入层的维度；然后逐像素读取RGB值，以数组形式保存；将整个数组进行归一化，使数组中的值收缩到0到1之间7位有效数字精度的小数；处理后的数组作为输入向量送入特征提取网络。

步骤S300、深度学习模型对预处理后的图片提取高维特征，识别并定位出图片中包含的病斑的类别和位置；

具体地，通过特征提取网络对输入图像提取特征，分别得到大、中、小三个不同尺度的特征图，

特征提取网络由数个残差块构成，每个残差块由降维卷积层、批归一化层、激活层、升维卷积层、批归一化层、激活层依次连接构成；将最后一层的输出与残差块的输入相加得到的高维张量作为特征图；整个网络由1个输出为32通道数的残差块、2个输出为64通道数的残差块、4个128通道数的残差块以及2个输出为512通道数的残差块级联而成；最终输出小尺度特征图(11*11)、中等尺度特征图(22*22)以及44*44的大尺度特征图。

在三种尺度上，将特征图分为对应尺度个单元，如果真实结果中的某个物体的中心坐标在其中某个单元内，则由该单元预测该物体，这一结果由逻辑回归层分类得出；每个被选中的单元都会预测3个检测框。

具体地，在所述三个尺度的特征图上，每个点预测9个边界框，逐个计算每个点的分类误差和每个预测框的定位误差，将三个尺度特征图中的预测框还原到原图比例，得到检测框的横纵定位坐标和宽高，并计算两种误差的加权求和，得到每个预测框的置信度

通过以上步骤，在原图中会得到多个检测框，而算法需要从中筛选出一定数量作为结果以提高准确度。首先，过滤检测框中置信度阈值较低的框，这个阈值可以根据实际需求进行调整，例如，若需要网络进行大胆预测，可将阈值调低。

然后，对剩余检测框进行非极大值抑制(NMS)处理，这是用来解决在同一目标上出现很多重叠高分值检测框问题的。算法先找出置信度最高的检测框，计算与其他检测框面积交并比(IoU)，然后过滤交并比大于阈值的检测框，当大于阈值的检测框被过滤完成时，则寻找置信度第二大的检测框作为计算交并比的对象。这个阈值同样可以进行调整，当需要更少检测框或更严谨的检测结果图时，可以将阈值调低。

步骤S400、将识别出的疫病病斑的位置及其类别作为标记叠加到图片上，以供客户端下载并显示；

具体地，预读脚本监听到有图像可以用于检测后，将图片先处理后送入深度学习检测网络，网络预测出原图像中病斑位置和置信度，合成结果图并生成文字治疗方案上传到对象存储桶中。

步骤S500、客户端向服务端发送反馈信息，确认服务端的检测结果。

例如，用户可以在客户端上选择继续进行检测或对本次检测进行反馈，反馈信息帮助云服务器更新模型，提高检测准确率。

可选地，服务端还可进行如下操作：

步骤S600、根据识别结果，计算病斑面积占检测目标(马铃薯叶片、根茎、薯块)面积的比例；

进一步地，由此生成治疗方案，记录为文本信息，上传到同一存储桶中；

具体地，对检测结果进一步分析，其中包含的计算步骤包括：先分别计算预测结果图中检测目标(马铃薯叶片、根茎、薯块)的面积和病斑面积，后计算二者比例，根据比例的数值大小推断马铃薯病害的严重程度，由此给出应在当前阶段使用的农药和对应治疗方案。

可选地，小程序尝试下载结果成功后，用户可以选择反馈结果或者继续检测；服务器会定期下载存储桶中的反馈结果对模型进行更新训练，使之适用更多检测场景。

相应地，该方法还包括：

步骤S700、将处理完毕的原图进行转存，扩充用于改善模型的数据库；

步骤S800、从服务端获取检测结果图和包含治疗方案的文本信息。

微信小程序从对象存储桶中获取到云服务器返回的检测结果图和包含治疗方案的文本信息。

3、基于图像识别的马铃薯病害检测系统

图3为根据本发明的实施例的基于图像识别的马铃薯病害检测系统的功能模块示意图。

本发明的实施例提供了一种基于图像识别的马铃薯病害检测系统，主要包括以下功能模块：

图片获取模块，用于从客户端获取待识别的马铃薯叶片、根茎和薯块的图片；

图片预处理模块，用于对所述图片进行预处理，送入深度学习模型；

图片识别模块，用于对预处理后的图片提取高维特征，识别并定位出图片中包含的病斑的类别和位置；

结果输出模块，用于将识别出的疫病病斑的位置及其类别作为标记叠加到图片上，形成检测结果图片，以供客户端下载并显示。

此外，本发明的不同实施例也可以通过软件模块或存储在一个或多个计算机可读介质上的计算机可读指令的方式实现，其中，所述计算机可读指令是当被处理器或设备组件执行时，执行本发明所述的不同的实施例。类似地，软件模块、计算机可读介质和硬件部件的任意组合都是本发明预期的。所述软件模块可以被存储在任意类型的计算机可读存储介质上，例如RAM、EPROM、EEPROM、闪存、寄存器、硬盘、CD-ROM、DVD等等。

4、根据本发明的实施例的安装了应用程序的系统

参照图4，其示出了根据本发明实施例的安装了应用程序的系统的运行环境。

在本实施例中，所述的安装应用程序的系统安装并运行于电子装置中。所述电子装置可以是桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该电子装置可包括但不限于存储器、处理器及显示器。该图仅示出了具有上述组件的电子装置，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

所述存储器在一些实施例中可以是所述电子装置的内部存储单元，例如该电子装置的硬盘或内存。所述存储器在另一些实施例中也可以是所述电子装置的外部存储设备，例如所述电子装置上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述电子装置的内部存储单元也包括外部存储设备。所述存储器用于存储安装于所述电子装置的应用软件及各类数据，例如所述安装应用程序的系统的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。

所述处理器在一些实施例中可以是中央处理单元(Central Processing Unit，CPU)、微处理器或其他数据处理芯片，用于运行所述存储器中存储的程序代码或处理数据，例如执行所述安装应用程序的系统等。

所述显示器在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器用于显示在所述电子装置中处理的信息以及用于显示可视化的客户界面，例如应用菜单界面、应用图标界面等。所述电子装置的部件通过系统总线相互通信。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解，上述实施方式中的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件来实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件商品的形式体现出来，该计算机软件商品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机、计算机、服务器、或者网络设备等)执行本发明本申请各个实施例所述的方法。

也就是说，根据本发明的实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有用于执行根据本发明的实施例的所述方法的程序，所述程序被处理器执行时，执行所述方法的各个步骤。

由上，将理解，为了说明的目的，这里已描述了本发明的具体实施例，但是，可作出各个修改，而不会背离本发明的范围。本领域的技术人员将理解，流程图步骤中所绘出或这里描述的操作和例程可以多种方式变化。更具体地，可重新安排步骤的次序，可并行执行步骤，可省略步骤，可包括其它步骤，可作出例程的各种组合或省略。因而，本发明仅由所附权利要求限制。

参考文献列表

(1)李艳.基于改进CNN的马铃薯病害识别算法[J].信息通信,2017(6):46-48.

(2)赵建敏,薛晓波,李琦.基于机器视觉的马铃薯病害识别系统[J].江苏农业科学,2017,45(2):198-202.

(3)A.Rosenfeld and M.Thurston.Edge and Curve Detection for VisualScene Analysis[J].IEEE Transactions on Computers,1971,20(5):562-569.

Claims (10)

1.一种基于图像识别的马铃薯病害检测方法，包括以下步骤：

步骤1、客户端获取待识别的马铃薯叶片、根茎和薯块的图片，并上传到服务端；

步骤2、服务端对所述图片进行预处理，之后将预处理后的图片送入深度学习模型；

步骤3、深度学习模型对预处理后的图片提取高维特征后识别并标定出图片中包含的马铃薯病斑的类别和位置；

步骤4、将识别出的病斑位置及其类别作为标记叠加到图片上，形成检测结果图片，以供客户端下载并显示。

2.根据权利要求1所述的马铃薯病害检测方法，其中，步骤1包括：

用户通过客户端对马铃薯叶片、根茎和薯块进行拍照，形成所述图片。

3.根据权利要求1所述的马铃薯病害检测方法，其中，所述预处理包括尺寸变换、归一化处理。

4.根据权利要求1所述的马铃薯病害检测方法，还包括：

步骤5、根据步骤4的识别结果，计算病斑面积占拍摄目标面积的比例，其中，所述拍摄目标包括叶片、根茎、薯块。

5.根据权利要求4所述的马铃薯病害检测方法，还包括：

步骤6、根据所述比例的大小确定马铃薯病害的严重程度，由此生成应在当前阶段采用的治疗方案，供客户端下载。

6.根据权利要求5所述的马铃薯病害检测方法，还包括：

步骤7、用户通过客户端下载识别结果之后，向服务端反馈所述识别的准确性；

步骤8、服务端根据所述客户端的反馈，对深度学习模型进行更新训练。

7.根据权利要求7所述的马铃薯病害检测方法，还包括：

步骤9、服务端将所述检测结果图片补充到所述深度学习模型的训练集，对深度学习模型进行更新训练。

8.根据权利要求4所述的马铃薯病害检测方法，其中，所述步骤3包括：

步骤3-1、通过特征提取网络对输入图像提取特征，分别得到大、中、小三个不同尺度的特征图，

其中，特征提取网络由数个残差块构成，每个残差块由降维卷积层、批归一化层、激活层、升维卷积层、批归一化层、激活层依次连接构成；将最后一层的输出与残差块的输入相加得到的高维张量作为特征图；整个网络由1个输出为32通道数的残差块、2个输出为64通道数的残差块、4个128通道数的残差块以及2个输出为512通道数的残差块级联而成；最终输出11*11的小尺度特征图、22*22的中尺度特征图、以及44*44的大尺度特征图，

步骤3-2、在所述三个尺度的特征图上，每个点预测9个边界框，逐个计算每个点的分类误差和每个预测框的定位误差，将三个尺度特征图中的预测框还原到原图比例，得到检测框的横纵定位坐标和宽高，并计算两种误差的加权求和，得到每个预测框的置信度，

步骤3-3、滤除置信度低于第一阈值的检测框；

步骤3-4、对剩余检测框进行非极大值抑制处理，滤除交并比大于第二阈值的检测框，最终余下的检测框作为识别结果。

9.用于实现根据权利要求1至8中的一个所述的马铃薯病害检测方法的马铃薯病害检测系统，包括：

图片获取模块，用于从客户端获取待识别的马铃薯叶片、根茎和薯块的图片；

图片预处理模块，用于对所述图片进行预处理，送入深度学习模型；

图片识别模块，用于对预处理后的图片提取高维特征，识别并定位出图片中包含的病斑的类别和位置；

结果输出模块，用于将识别出的疫病病斑的位置及其类别作为标记叠加到图片上，形成检测结果图片，以供客户端下载并显示。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有用于执行根据权利要求1至8中的任一个所述的方法的程序，所述程序被处理器执行时，执行所述方法的步骤。