CN116824241A - 一种基于迭代学习的马铃薯病害多分类和检测方法 - Google Patents

Abstract

本发明提供了一种基于迭代学习的马铃薯病害多分类和检测方法。所述方法包括：对有标注的马铃薯病害数据，如叶片、虫害、茎秆等图片进行统计，均匀抽取各个类别，将抽取后的数据按照一定比例划分为训练集以及验证集；对训练集数据做数据增强，并输入深度学习模型进行训练，在验证集上调整超参数，求出最优的有监督模型权重；对无标注的马铃薯病害数据，使用上述权重进行模型推理，实现预标注；根据检测置信度进行预标注数据的清洗；冻结模型的主干特征网络，仅反向回传模型最后输出层的梯度；将无标注的马铃薯病害数据输入模型，迭代上述训练和预标注过程，直至评估指标达到平衡。

Description

一种基于迭代学习的马铃薯病害多分类和检测方法

技术领域

本发明属于计算机视觉、模式识别领域，尤其涉及基于深度学习的感兴趣目标检测、分类与定位技术，更具体地，涉及基于图像识别的马铃薯病害多分类和检测方法。

背景技术

随着计算机视觉的出现以及深度学习网络的准确度和速度的大幅提升，日常生活中的更多图像识别任务可以用这些技术来满足工程需求。马铃薯病害检测亦是如此，为了让缺少相关知识的用户快速识别出马铃薯病害种类和发展程度，应用深度学习模型进行图像识别，特别是图像检测，是病害检测的重要发展趋势。

如何让农民在马铃薯地里捕捉到病害叶片的10秒内，得知病害专业的检测结果和治疗方案，这是一个高度面向应用的技术课题，由此，一种基于图像识别的马铃薯病害检测新技术应运而生。这种新技术具有显著的便捷性、准确性、实时性。

目前，基于图像识别的马铃薯病害检测技术主要有以下几类技术方案：

技术方案(1)(参见参考文献1)

该方案首先构建了9层网络结构模型，在网络的输入层随即对图像进行变换，对图像增加白化处理，设计三个卷积层和三个池化层对图像进行特征学习和二次特征的抽象，设计三个全连接层将卷积、池化层学习到的特征连接到该层设置的每个神经元，进而获取最高层次的图像特征；通过大量试验确定网络参数，采用2000个病害图像训练样本集训练网络模型，训练网络用时约3个小时，自动学习到384个病害图像特征，结合Softmax分类器构建识别模型，训练集的识别准确率达到86％。缺点是：第一：该方案只能识别马铃薯叶片，不能识别根茎和薯块；第二：该方案将问题处理成分类任务，使用的网络模型结构是一个9层的分类模型，只能粗略预测出叶片图像的类别，而且分类的精度易受到图像的背景、叶片上病斑的比例等诸多干扰的影响，例如一片含有5％病斑、而95％健康的叶片，该方案通常会错分；而在实际应用中，算法首先应该避免上述因素的影响，而且还需获得叶片上病斑的精确位置，定位病害区域对马铃薯病害检测有更大的帮助；第三：该方案训练深度网络使用的数据集很有限；第四：在实际图像识别问题中，越深的特征提取网络提取出的特征越利于识别和精确检测；

技术方案(2)(参见参考文献2)

该系统识别部分首先采集病害叶片图像，并进行小波去噪；随后利用传统的OTSU阈值算法分割图像，提取病害的颜色、形状、纹理特征；再送入支持向量机(SVM)分类器进行识别。缺点是：第一：只能识别马铃薯叶片，不能识别根茎和薯块；第二：和方案1一样，同样采用图像分类思想来实现，存在无法精确定位等和方案1类似的问题；第三：SVM算法对大数据训练样本难以实施，在实际应用中，马铃薯疫病叶片图像数据量很大，深度学习模型更能充分利用这些数据；第四：SVM算法解决多分类问题存在困难，而该方案没有应用决策树等相关技术克服这一缺陷。在马铃薯病害检测问题中，不仅涉及早疫病、晚疫病等常见病害，若加入其它外观特征难以区分的病毒性病害，它的效果将远差于擅长处理多类别任务的深度学习模型。

为此，一种基于卷积神经网络的马铃薯病害多分类和检测方法。

发明内容

本发明提供了一种基于迭代学习的马铃薯病害多分类和检测方法，其特征在于，所述方法包括：

步骤1，对有标注的马铃薯病害数据，如叶片、虫害、茎秆等图片进行统计，均匀抽取各个类别，将抽取后的数据按照一定比例划分为训练集以及验证集；

步骤2，对训练集数据做数据增强，并输入深度学习模型进行训练，在验证集上调整超参数，求出最优的有监督模型权重；

步骤3，对无标注的马铃薯病害数据，使用上述权重进行模型推理，实现预标注；

步骤4，根据检测置信度进行预标注数据的清洗；

步骤5，冻结模型的主干特征网络，仅反向回传模型最后输出层的梯度；

步骤6，将无标注的马铃薯病害数据输入模型，迭代上述训练和预标注过程，直至评估指标达到平衡。

本发明的有益效果包括：1、针对马铃薯叶片、根茎和薯块图片，能够准确分析出叶片、根茎和薯块上的病害病斑。应用深度模型进行检测，与之前方案的分类网络不同，能精确定位病害区域，同时深度网络的轻量化确保实时检测；2、训练使用了半监督学习中的伪标签思路。其分两步工作。第一步，在有限的标记数据集上训练模型。第二步利用相同的模型在未标记的数据上创建伪标签，并将高置信度的伪标签作为目标添加到现有的标记数据集中，从而创建额外的训练数据。这样可以在仅有少量标注的场景下，实现检测目标，大大节约了成本。3、可以获取检测反馈并且用反馈数据更新模型，在应用过程中不断提升检测效果和泛用性能，并且模型输出多样可适用于多种任务。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为基于迭代学习的马铃薯病害多分类和检测方法的原理图。

图2为基于卷积神经网络的马铃薯不同区域的病害多分类和检测模型的训练和推理流程图。

图3为模型实际推理预标注和数据清洗示意图。

图4为说明根据本发明的实施例的基于图像识别的马铃薯病害检测系统的功能模块示意图。

具体实施方式

下面，结合附图对技术方案的实施作进一步的详细描述。

本领域的技术人员能够理解，尽管以下的说明涉及到有关本发明的实施例的很多技术细节，但这仅为用来说明本发明的原理的示例、而不意味着任何限制。本发明能够适用于不同于以下例举的技术细节之外的场合，只要它们不背离本发明的原理和精神即可。

另外，为了避免使本说明书的描述限于冗繁，在本说明书中的描述中，可能对可在现有技术资料中获得的部分技术细节进行了省略、简化、变通等处理，这对于本领域的技术人员来说是可以理解的，并且这不会影响本说明书的公开充分性。

下文中，将描述用于进行本发明的实施例。注意，将以下面的次序给出描述：1、发明构思的概要；2、针对马铃薯叶片、茎秆和薯块不同位置病虫害的多分类和检测模型的训练推理流程(图2)；3、模型实际推理预标注和数据清洗流程(图3)；4、基于卷积神经网络的马铃薯病害多分类和检测系统(图4)。

1、发明构思的概要

在马铃薯病害检测问题中，往往不同部位会存在不同的病害，如叶片处易感染早疫病、晚疫病、科罗拉多病和灰霉病等；根茎处易感染除了早疫病、晚疫病外的炭疫病、青枯病、黑痣病和黑胫病等；而薯块上则会出现干腐病、疮痂病、粉痂病和青枯病等。不难发现，人工监测和诊断病害不仅成本较高、受主观因素影响，且效率较低。所以，需要分区域进行针对性检测，去分析病害特征。为了克服以上问题，本发明提出了一种基于图像识别的马铃薯病害多分类和检测新技术。属于图像识别领域，应用于马铃薯叶片、根茎和薯块的病虫害检测。本方法以深度学习网络提取的图像特征为基础，可以准确、实时地定位出马铃薯叶片、根茎、和薯块上病斑的位置和病害类型。

相比于现有的技术方案，本发明具有以下三处优势。将分类问题转化为检测问题：本发明不仅可以判断马铃薯病害的类别，还能准确定位病害的位置。通过检测出的病害面积，能够进行进一步的诊断分析。相较于传统的分类任务，本发明在准确度和可视化效果上都有提高。大规模数据集和再训练：本发明初次训练即使用了人工精确标注的两万余张数据集，保证了模型的精确度。而且，后期还可以通过用户反馈的图片或者无标签数据对模型进行再训练，进一步提高精确度。多层卷积网络和多尺度特征提取：本发明采用的基础网络具有55层的卷积层，通过多层卷积操作，可以提取更丰富的语义特征。此外，本发明还采用了多尺度特征提取技术，在3个尺度上同时检测，兼顾了高分辨率图像细节和低分辨率整体信息。最终，将3个尺度上的分类和检测结果融合，能够更精确地适应多种应用场景。

下面具体说明本发明的基于图像识别的马铃薯病害检测方法的实现方式。

2、基于图像识别的马铃薯病害检测方法

根据本发明的实施例，基于图像识别的马铃薯病害检测方法的实现原理如下：首先对输入图像进行特征提取，生成特征图。针对特征图的不同尺度，进行上采样和相加计算，得到共3个尺度上的特征图；然后进行边框分类，对于3个尺度的特征图，每个点对应以该点为中心的3个边框。对这些边框进行逻辑回归分类，得到每个检测框的类别和置信度，对应于原图中的每个目标。最后做后处理操作，利用非极大值抑制算法，筛除所有检测框中与高置信度框重叠度高于阈值的低置信度检测框。这样可以确保原图中的每个目标都由得分最高的框标注出来，并减少检测框之间的重叠，提高结果合成图的辨识度。

图2为说明根据本发明的实施例的针对马铃薯叶片、茎秆和薯块不同位置病虫害的多分类和检测方法的训练推理流程示意图。

如图2所示，该方法主要包括以下步骤：

步骤S201、获取大量待识别的马铃薯叶片、根茎和薯块的图片，并对这些数据进行预处理，包括图像增强、降噪和尺寸标准化等操作。

具体地，这些马铃薯图片会有相应的标注信息，而且图片名后缀以对应区域命名，方便后续分类处理。

其中，图像降噪是为了减少图像中的噪声和干扰，提高图像质量和特征提取的准确性。在马铃薯病害检测中，图像降噪的目的是消除图像中的随机噪声、光照变化、模糊等因素，以凸显病害的细节和特征。可用的方法有，中值滤波：用像素邻域的中值替代当前像素值，有效去除椒盐噪声等离群点；高斯滤波：采用高斯核对图像进行卷积，平滑图像并降低噪声；小波变换：通过分解图像为多个尺度的低频和高频分量，对高频分量进行阈值处理以去除噪声。

尺寸标准化目的主要如下：将采集到的马铃薯图像调整为固定的尺寸，以确保模型对于不同大小的病害能够进行准确的分类和检测。具体分为三种情况，缩放：通过调整图像的大小，使其符合指定的尺寸要求。可以按照比例缩放或者指定具体的尺寸进行调整；填充：对于尺寸较小的图像，可以通过在图像周围填充空白像素来增加图像的尺寸，使其达到标准尺寸；裁剪：对于尺寸较大的图像，可以通过裁剪图像的一部分来减小尺寸，使其符合标准尺寸要求。

步骤S202，构建好区域名和病害种类哈希表；

例如，将马铃薯根茎与早疫病、晚疫病、炭疫病、青枯病、黑痣病和黑胫病等联系起来。

具体地，遍历所有病虫害数据，分离出图片名中的区域信息，将其作为字典的key，然后从标注内容中获取相应所有的病害种类，将此作为字典的value。即可构建区域病害哈希表。

步骤S203，根据构建好的哈希表，将病虫害数据划分到不同文件夹内，以供后续训练不同分类和检测模型。此步骤可优化与上步一同执行。

步骤S204，根据种类数量的不同，设计相应的分类头数，同时要注意设计好提供对应权重的接口。

步骤S205，将预处理好的不同区域的病虫害数据，输入对应模型进行训练。

具体地，首先对步骤S201中处理好的图片变换到608*608，以匹配网络输入层的维度；然后逐像素读取RGB值，以数组形式保存；将整个数组进行归一化，使数组中的值收缩到0到1之间7位有效数字精度的小数；处理后的数组作为输入向量送入特征提取网络。如果是首次训练，则对网络参数进行初始化或者加载预训练权重；如果是模型迭代中，则加载最新权重。然后通过特征提取网络对输入图像提取特征，分别得到大、中、小三个不同尺度的特征图。特征提取网络由数个残差块构成，每个残差块由降维卷积层、批归一化层、激活层、升维卷积层、批归一化层、激活层依次连接构成；将最后一层的输出与残差块的输入相加得到的高维张量作为特征图；整个网络由1个输出为32通道数的残差块、2个输出为64通道数的残差块、4个128通道数的残差块以及2个输出为512通道数的残差块级联而成；最终输出小尺度特征图(11*11)、中等尺度特征图(22*22)以及44*44的大尺度特征图。这些特征图的信息会经过融合后，进行前向传播计算。然后，根据模型的输出和真实标签，计算损失函数的值。通过反向传播算法和优化算法(如随机梯度下降)来更新模型的参数，减小损失函数的值。这样，模型就能逐渐学习到马铃薯病害的特征和模式。

步骤S206，在初步或多次迭代得出的模型上进行推理。

在步骤S205的基础上，模型获得了三种不同尺度，将特征图分为对应尺度个单元，如果真实结果中的某个物体的中心坐标在其中某个单元内，则由该单元预测该物体，这一结果由逻辑回归层分类得出；每个被选中的单元都会预测3个检测框。

具体地，在所述三个尺度的特征图上，每个点预测9个边界框，逐个计算每个点的分类误差和每个预测框的定位误差，将三个尺度特征图中的预测框还原到原图比例，得到检测框的横纵定位坐标和宽高，并计算两种误差的加权求和，得到每个预测框的置信度。

通过以上步骤，在原图中会得到多个检测框，而算法需要从中筛选出一定数量作为结果以提高准确度。首先，过滤检测框中置信度阈值较低的框，这个阈值可以根据实际需求进行调整，例如，若需要网络进行大胆预测，可将阈值调低。

然后，对剩余检测框进行非极大值抑制(NMS)处理，这是用来解决在同一目标上出现很多重叠高分值检测框问题的。算法先找出置信度最高的检测框，计算与其他检测框面积交并比(IoU)，然后过滤交并比大于阈值的检测框，当大于阈值的检测框被过滤完成时，则寻找置信度第二大的检测框作为计算交并比的对象。这个阈值同样可以进行调整，当需要更少检测框或更严谨的检测结果图时，可以将阈值调低。

迭代过程则为，用模型生成的检测结果去替换或者修正原始数据，进行多次训练，直至评测指标达成一定平衡。

可选地，还可进行如下操作：

根据识别结果，计算病斑面积占检测目标(马铃薯叶片、根茎、薯块)面积的比例；根据数值大小推断马铃薯病害的严重程度，由此生成治疗方案，记录为文本信息，由此给出应在当前阶段使用的农药和对应治疗方案。

3、模型实际推理预标注和数据清洗流程

图3为根据本发明的实施例的基于图像识别的马铃薯病害检测系统模型实际推理预标注和数据清洗流程。

步骤S301，输入无标签马铃薯数据。

具体地，将待检测的马铃薯图像作为输入数据传入模型进行处理。图像可以以文件的形式加载到内存中，或者通过图像采集设备实时获取。并对这些数据进行预处理，包括图像增强、降噪和尺寸标准化等操作。

步骤S302，传入图2得到对应区域的多分类和检测模型。

步骤S303，同步骤S206进行模型推理。

步骤S304，根据置信度和种类进行数据清洗。

具体地，先对模型推理得到的大量伪标签进行后处理。包括非极大值抑制(NMS)和阈值筛选。NMS算法用于抑制重叠的检测框，保留得分最高的框，并消除冗余的检测结果。阈值筛选根据置信度阈值对检测结果进行过滤，只保留置信度高于阈值的病害检测框。并且，由于大致患病种类是可以知晓的，可以通过该先验知识去过滤检测分类结果。经过上述操作，得到高质量伪标签。

4、基于图像识别的马铃薯病害检测系统

图4为根据本发明的实施例的基于图像识别的马铃薯病害检测系统的功能模块示意图。

本发明的实施例提供了一种基于图像识别的马铃薯病害检测系统，主要包括以下功能模块：

图片获取模块，从不同来源收集大量的马铃薯叶片、根茎和薯块病害图像数据，以便提高训练和预测的准确性。

图片预处理模块，用于对所述图片进行预处理，包括图像增强、降噪和尺寸标准化等操作后，送入深度学习模型；

图片识别模块，用于对预处理后的图片提取高维特征，识别并定位出图片中包含的病斑的类别和位置；

结果输出模块，用于将识别出的疫病病斑的位置及其类别作为标记叠加到图片上，形成检测结果图片，以供客户查看。

由上，将理解，为了说明的目的，这里已描述了本发明的具体实施例，但是，可作出各个修改，而不会背离本发明的范围。本领域的技术人员将理解，流程图步骤中所绘出或这里描述的操作和例程可以多种方式变化。更具体地，可重新安排步骤的次序，可并行执行步骤，可省略步骤，可包括其它步骤，可作出例程的各种组合或省略。因而，本发明仅由所附权利要求限制。

参考文献列表

(1)李艳.基于改进CNN的马铃薯病害识别算法[J].信息通信,2017(6):46-48.

(2)赵建敏,薛晓波,李琦.基于机器视觉的马铃薯病害识别系统[J].江苏农业科学,2017,45(2):198-202.

Claims (11)

1.一种基于迭代学习的马铃薯病害多分类和检测方法，其特征在于，包含以下步骤：

步骤1，对有标注的马铃薯病害数据，如叶片、虫害、茎秆等图片进行统计，均匀抽取各个类别，将抽取后的数据按照一定比例划分为训练集以及验证集；

步骤2，对训练集数据做数据增强，并输入深度学习模型进行训练，在验证集上调整超参数，求出最优的有监督模型权重；

步骤3，对无标注的马铃薯病害数据，使用上述权重进行模型推理，实现预标注；

步骤4，根据检测置信度进行预标注数据的清洗；

步骤5，冻结模型的主干特征网络，仅反向回传模型最后输出层的梯度；

步骤6，将无标注的马铃薯病害数据输入模型，迭代上述训练和预标注过程，直至评估指标达到平衡。

2.根据权利要求1所述的马铃薯病害数据重采样和划分，其中，叶片病害分为：早疫病、晚疫病等，训练集和验证集比例为0.9：0.1。

3.根据权利要求1所述的马铃薯病害多分类和检测方法，其中，所述数据增强包括尺寸变换、归一化处理。

4.根据权利要求1所述的马铃薯病害多分类和检测方法，其中，所述步骤2包括：

步骤2-1、通过特征提取网络对输入图像提取特征，分别得到大、中、小三个不同尺度的特征图，

其中，特征提取网络由数个残差块构成，每个残差块由降维卷积层、批归一化层、激活层、升维卷积层、批归一化层、激活层依次连接构成；将最后一层的输出与残差块的输入相加得到的高维张量作为特征图；整个网络由1个输出为32通道数的残差块、2个输出为64通道数的残差块、4个128通道数的残差块以及2个输出为512通道数的残差块级联而成；最终输出11*11的小尺度特征图、22*22的中尺度特征图、以及44*44的大尺度特征图，

步骤2-2、在所述三个尺度的特征图上，每个点预测9个边界框，逐个计算每个点的分类误差和每个预测框的定位误差，将三个尺度特征图中的预测框还原到原图比例，得到检测框的横纵定位坐标和宽高，并计算两种误差的加权求和，得到每个预测框的置信度，

步骤2-3、滤除置信度低于第一阈值的检测框；

步骤2-4、对剩余检测框进行非极大值抑制处理，滤除交并比大于第二阈值的检测框，最终余下的检测框作为识别结果。

5.根据权利要求4所述的马铃薯病害多分类和检测方法，还包括：

根据步骤2-4的识别结果，计算病斑面积占拍摄目标面积的比例，其中，所述拍摄目标包括叶片、根茎、薯块。

6.根据权利要求5所述的马铃薯病害多分类和检测方法，还包括：

根据所述比例的大小确定马铃薯病害的严重程度，由此生成应在当前阶段采用的治疗方案，供用户参考。

7.根据权利要求1所述的马铃薯病害多分类和检测方法，其特征在于，在步骤3中，将无标签数据输入具有泛化性的有监督模型中，从而得到病害伪标签。

8.根据权利要求1所述的马铃薯病害多分类和检测方法，其特征在于，在步骤4中，仅保留预测置信度较高的图片作为真正的新增训练集。

9.根据权利要求1所述的马铃薯病害多分类和检测方法，其特征在于，在步骤5中，仅反向回传模型最后输出层的梯度。冻结训练是迁移学习的思想，在目标检测任务中用得十分广泛。在目标检测模型里，主干特征提取部分所提取到的特征是通用的，把backbone冻结起来训练可以加快训练效率，也可以防止权值被破坏。在冻结阶段，模型的主干被冻结了，特征提取网络不发生改变，占用的显存较小，仅对网络进行微调，可以迅速实现模型迭代。

10.根据权利要求1所述的马铃薯病害多分类和检测方法，其特征在于，在步骤6中，使用了半监督学习中的伪标签思路。伪标签方法分两步工作。第一步，在有限的标记数据集上训练模型。第二步利用相同的模型在未标记的数据上创建伪标签，并将高置信度的伪标签作为目标添加到现有的标记数据集中，从而创建额外的训练数据。这样可以在仅有少量标注的场景下，实现检测目标，大大节约了成本。

11.用于实现根据权利要求1至10中的一个所述的马铃薯病害检测方法的马铃薯病害检测系统，包括：

图片预处理模块，用于对所述图片进行预处理，送入深度学习模型；

图片识别模块，用于对预处理后的图片提取高维特征，识别并定位出图片中包含的病斑的类别和位置；

结果输出模块，用于将识别出的疫病病斑的位置及其类别作为标记叠加到图片上，形成检测结果图片，以供用户查看。

模型自定义训练模块，用于添加无标注的马铃薯病害数据作为输入投进网络训练。