CN116385717A - 叶面病害识别方法、装置、电子设备、存储介质及产品 - Google Patents

叶面病害识别方法、装置、电子设备、存储介质及产品 Download PDF

Info

Publication number
CN116385717A
CN116385717A CN202310171603.7A CN202310171603A CN116385717A CN 116385717 A CN116385717 A CN 116385717A CN 202310171603 A CN202310171603 A CN 202310171603A CN 116385717 A CN116385717 A CN 116385717A
Authority
CN
China
Prior art keywords
foliar
disease
image
disease identification
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310171603.7A
Other languages
English (en)
Inventor
魏新鹏
王龙龙
段丹丹
王春山
郭旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaoguan Rural Credit Technology Co ltd
Hebei Agricultural University
Research Center of Information Technology of Beijing Academy of Agriculture and Forestry Sciences
Original Assignee
Shaoguan Rural Credit Technology Co ltd
Hebei Agricultural University
Research Center of Information Technology of Beijing Academy of Agriculture and Forestry Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaoguan Rural Credit Technology Co ltd, Hebei Agricultural University, Research Center of Information Technology of Beijing Academy of Agriculture and Forestry Sciences filed Critical Shaoguan Rural Credit Technology Co ltd
Priority to CN202310171603.7A priority Critical patent/CN116385717A/zh
Publication of CN116385717A publication Critical patent/CN116385717A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Abstract

本发明提供的叶面病害识别方法、装置、电子设备、存储介质及产品，属于图像处理技术领域，包括：获取目标叶面图像；将所述目标叶面图像输入至病害识别模型，确定由所述病害识别模型输出的所述目标叶面图像的病害类别；所述病害识别模型是基于带有叶斑标注框标签和病害类别标签的样本叶面图像训练后得到的。本发明提供的叶面病害识别方法、装置、电子设备、存储介质及产品，利用病害识别模型对叶面图像进行识别，通过对图像中的叶斑进行标注，从而可以有效地过滤掉复杂背景信息，突出病害特征，能够轻易且准确地识别出蔬菜叶部病害。

Description

叶面病害识别方法、装置、电子设备、存储介质及产品
技术领域
本发明涉及图像处理技术领域，尤其涉及一种叶面病害识别方法、装置、电子设备、存储介质及产品。
背景技术
在蔬菜生产中，病害仍然是影响蔬菜品质和产量的重要因素。然而，传统的蔬菜病害识别方法速度慢、主观性强、误判率高，已不能满足现代农业生产的需要。
由于结合深度学习的病虫害图像识别具有快速、精确、实时等特点，相较于传统人工诊断和识别方法具有无法比拟的优越性，已经成为现代蔬菜产业的迫切要求和发展趋势。
然而，由于复杂背景信息淹没了病害特征，导致复杂背景下蔬菜叶部病害识别困难。
发明内容
本发明提供的叶面病害识别方法、装置、电子设备、存储介质及产品，用以解决现有技术中由于复杂背景信息淹没了病害特征，导致复杂背景下蔬菜叶部病害识别困难的缺陷，实现有效地过滤掉复杂背景信息，突出病害特征，能够轻易且准确地识别出蔬菜叶部病害。
本发明提供一种叶面病害识别方法，包括：
获取目标叶面图像；
将所述目标叶面图像输入至病害识别模型，确定由所述病害识别模型输出的所述目标叶面图像的病害类别；所述病害识别模型是基于带有叶斑标注框标签和病害类别标签的样本叶面图像训练后得到的。
根据本发明提供的一种叶面病害识别方法，所述病害识别模型包括：特征提取网络、兴趣区域建议网络、分类器和输出层；
所述特征提取网络，用于对所述目标叶面图像进行多个尺度的特征提取，确定多个特征图像；
所述兴趣区域建议网络，用于对每个特征图像中的叶斑进行分割，确定多个病害特征；
所述分类器，用于对每个病害特征进行分类，确定所述目标叶面图像的病害的至少一个分类结果；
所述输出层，用于根据所述至少一个分类结果，生成所述病害类别。
根据本发明提供的一种叶面病害识别方法，所述特征提取网络中嵌入有通道注意力模块。
根据本发明提供的一种叶面病害识别方法，在所述将所述目标叶面图像输入至病害识别模型之前，方法还包括：
获取多个样本叶面图像；
确定任一样本叶面图像的叶斑标注框标签，以及所述任一样本叶面图像的病害类别标签；
将所述任一样本叶面图像、所述任一样本叶面图像的叶斑标注框标签，以及所述任一样本叶面图像的病害类别标签的组合，作为一个训练样本，以获取多个训练样本；
利用所述多个训练样本，对所述病害识别模型进行训练。
根据本发明提供的一种叶面病害识别方法，所述利用所述多个训练样本，对所述病害识别模型进行训练，包括：
利用所述多个训练样本对待训练模型进行预训练，获取预训练模型；
将所述预训练模型的权重参数迁移至目标神经网络；
利用所述多个训练样本对所述目标神经网络进行训练，获取所述病害识别模型。
根据本发明提供的一种叶面病害识别方法，所述获取多个样本叶面图像，包括：
获取多个初始叶面图像；
对所述多个初始叶面图像进行图像增强，获取多个增强叶面图像；
对各增强叶面图像进行降噪处理，获取所述多个样本叶面图像。
本发明还提供一种叶面病害识别装置，包括：
获取模块，用于获取目标叶面图像；
确定模块，用于将所述目标叶面图像输入至病害识别模型，确定由所述病害识别模型输出的所述目标叶面图像的病害类别；所述病害识别模型是基于带有叶斑标注框标签和病害类别标签的样本叶面图像训练后得到的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述叶面病害识别方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述叶面病害识别方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述叶面病害识别方法。
本发明提供的叶面病害识别方法、装置、电子设备、存储介质及产品，利用病害识别模型对叶面图像进行识别，通过对图像中的叶斑进行标注，从而可以有效地过滤掉复杂背景信息，突出病害特征，能够轻易且准确地识别出蔬菜叶部病害。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的叶面病害识别方法的流程示意图之一；
图2是本发明提供的叶面病害识别方法的流程示意图之二；
图3是本发明提供的叶面病害识别装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
复杂背景下黄瓜叶部病害识别的主要困难在于，病害图像中常包含其他植株、土壤、地膜、水管等各种背景，且背景中含有与病状或病症相似的元素，甚至复杂背景信息淹没了病害特征。因此，直接使用现有的经典分类模型对复杂背景下的病害图像进行识别，效果并不理想。
为了克服图像中复杂背景对病害识别准确率的影响，通过4层特征提取之后输入分类层确定所述图像对应的玉米叶病害类型，可以实现复杂环境下的玉米叶病害图像的识别。由于只有4层特征提取，网络结构简单，在对复杂背景下病斑特征提取时，简单网络无法学习到细微的特征。特别是在区分“类内差异大，类间差异小”的相似病害识别时，由于简单网络结构导致的细粒度病害特征学习不充分，常常无法正确识别相似病害。
或是设计9层的网络模型，并开发了APP，实现基于图像识别的马铃薯病害检测，在训练集上的识别的准确率为86％，准确率太低，无法满足生产上的要求。
针对上述问题，本发明提供一种基于区域建议和渐进学习的复杂背景黄瓜叶部病害识别模型。
下面结合图1至图4描述本发明的实施例所提供的叶面病害识别方法、装置、电子设备、存储介质及产品。
图1是本发明提供的叶面病害识别方法的流程示意图之一，如图1所示，包括但不限于以下步骤：
首先，在步骤S1中，获取目标叶面图像。
其中，目标叶面图像可以是黄瓜、番茄等蔬菜作物的叶面图像，在本发明后续实施例中均以对黄瓜叶面的病害进行识别为例进行说明，其不视为对本发明保护范围的限定。
目标叶面图像中包含黄瓜的叶面信息，叶面上包含有叶斑。
相机可以对田间黄瓜的叶部病害进行拍摄，可以将拍摄的RGB图像直接作为目标叶面图像，也可以对拍摄的图像进行降噪和尺寸归一化等预处理操作之后，作为目标叶面图像。
目标叶面图像的采集时间可以选在光照较好的时间段，或是对图像采集设备进行补光。
进一步地，在步骤S2中，将所述目标叶面图像输入至病害识别模型，确定由所述病害识别模型输出的所述目标叶面图像的病害类别；所述病害识别模型是基于带有叶斑标注框标签和病害类别标签的样本叶面图像训练后得到的。
将获取到的目标叶面图像输入至病害识别模型，病害识别模型对目标叶面图像中的叶斑进行特征提取和定位，可以得到目标叶面图像对应的病害类别并输出。
例如，目标叶面图像中的叶面可能出现黄棕色或黑色斑点、叶卷缩、枯萎、早期落叶等症状，对应地，病害类别可能是黄化病、叶斑病、煤烟病、白粉病等。
可选地，所述病害识别模型包括：特征提取网络、兴趣区域建议网络、分类器和输出层；
所述特征提取网络，用于对所述目标叶面图像进行多个尺度的特征提取，确定多个特征图像；
所述兴趣区域建议网络，用于对每个特征图像中的叶斑进行分割，确定多个病害特征；
所述分类器，用于对每个病害特征进行分类，确定所述目标叶面图像的病害的至少一个分类结果；
所述输出层，用于根据所述至少一个分类结果，生成所述病害类别。
图2是本发明提供的叶面病害识别方法的流程示意图之二，如图2所示，特征提取网络中包含3个基础网络结构(Basic networkstructure)，兴趣区域建议网络(Region ofInterest Proposal Network，RoIPN)中包含4个扩展网络结构(Extended networkstructure)。
兴趣区域建议网络以弱监督的方式将目标叶面图像的关键区域从背景中分离出来，实现了由远及近的观察效果，解决了直接输入固定大小图像时，模型无法快速关注到更细粒度的特征区域问题，既能省去传统方法中代价昂贵的人工标注环节，又能为下一阶段的特征提取网络提供更具区分性的区域。
特征提取网络可以是ResNet或是DenseNet等具有特征提取功能的神经网络，通过在框架中嵌入主流的特征提取网络，能够提供兴趣区域建议的功能。
在第一行的基础网络结构对目标进行特征提取之后，可以利用第一行的扩展网络结构初步划定兴趣区域(即病斑区域)并裁剪，得到第一特征图像Crop1。
Crop1是第一次兴趣区域的裁剪，在对目标叶面图像进行颜色、纹理、形状等特征提取之后，可以初步定位到一个病斑区域并裁剪，此时，将目标叶面图像中与叶片无关的背景切掉一部分。
进一步地，将Crop1输入至第二行的基础网络结构，在第二行的基础网络结构进行颜色、纹理、形状等特征提取之后，可以利用第二行的扩展网络结构进一步划定兴趣区域(即病斑区域)并裁剪，得到第二特征图像Crop2。
Crop2是第二次兴趣区域的裁剪。在对第一特征图像进行特征提取之后，可以更具体地定位到一个病斑区域并裁剪，此时，Crop2更逼近病斑所在区域。
进一步地，将Crop2输入至第三行的基础网络结构，在第三行的基础网络结构进行颜色、纹理、形状等特征提取之后，可以利用第三行的扩展网络结构进一步建议兴趣区域，即划定具体的一个病斑或是一簇病斑并裁剪，得到第三特征图像。
此外，将三个特征图像的特征进行融合拼接，计算出特征的权重，可以得到第四特征图像。
分类器包括：原始分类器(Classifier_original)、第一次裁剪分类器(Classifier_crop1)、第二次裁剪分类器(Classifier_crop2)和原始拼接分类器Classifier_concat_original)，分别对4个特征图像进行分类，并输出每个特征图像对应的分类结果；
输出层(Output)根据分类结果，确定最终的病害类别并输出。
根据本发明提供的叶面病害识别方法，通过利用RoIPN提供的兴趣区域与渐进式学习网络相结合，通过渐进式学习网络，能够逐步提取更准确的病斑特征，使病害识别模型逐渐关注更细粒度的区域，从而得到多尺度的特征；在复杂背景下进行病害识别的过程中，由于其杂乱无章的背景信息的存在，降低了图像信噪比，从而加大了病害识别模型提取病害特征的难度，定位病害部位在目标叶面图像中的区域对于特征提取十分重要。
针对以上本发明使用弱监督方式对目标叶面图像中的关键区域进行定位，由于只需要目标叶面图像的标签作为监督信息，可以节省大量的标注成本，网络通过RoIPN后得到三个输出，如式(1)所示：
[cx,cy,cl]＝f(Wa*X)；
其中，(cx，cy)为裁剪区域的中心点坐标；tl为裁剪区域边长的一半；f(Wa*X)为RoIPN结构，RoIPN结构由两层全连接层和两层激活层构成，第一层全连接层由激活函数Relu()激活，第二层全连接层由激活函数Sigmoid()激活；Wa代表网络中所有层的网络参数；X代表输入图像；*代表网络中的卷积操作、池化操作和激活操作。
为了RoIPN输出的坐标信息可以得到优化，将在网络中神经元激活最多的区域进行框选得到掩码区域并与原图像进行逐元素相乘得到网络经过RoIPN后的注意力区域，并且由坐标信息可以得到最终的裁剪区域，如式(2)所示：
cx(tl)＝cx-cl,cy(tl)＝cy-cl；
在输入下一级网络之前将裁剪区域使用双线性插值法进行裁剪，双线性插值变换如式(3)所示：
cx(br)＝cx+cl,cy(br)＝cy+cl；
其中，tl代表裁剪区域的左上角；br代表裁剪区域的右下角；cx和cy分别代表裁剪区域的x轴坐标和y轴坐标。
网络的原始大小为448×448，经过RoIPN后裁剪至224×224。
Figure BDA0004099542300000091
其中，m＝[i/λ]+α；n＝[j/λ]+β；λ为上采样参数，它的值为放大或者缩小尺寸除以cl；Xamp为双线性插值之后的图像；Xatt为图像经过RoIPN得到的裁剪图像；[·]和{·}分别代表整数部分和小数部分。
可选地，所述特征提取网络中嵌入有通道注意力模块。
由于RoIPN输出为坐标信息，并且由坐标信息裁剪图像得到下一级网络的输入，所以衡量通过RoIPN得到的坐标信息并不能使用多分类损失函数(如交叉熵损失函数)，损失函数如式(4)所示：
Figure BDA0004099542300000092
其中，LAPN(·)为RoIPN损失函数；
Figure BDA0004099542300000093
和/>
Figure BDA0004099542300000094
分别代表s级网络和s+1网络通过标签t预测样本类别的概率；margin为附加的临界值，例如，margin＝0.05；当max{·}不为0时，表示通过s级网络提取出的注意力区域输入到s+1级网络后得到的结果取得了比s级网络更高的准确率。
使用如式(4)所示的损失函数可以很好的衡量此一级网络中RoIPN得到的坐标信息。
如图2所示，病害识别模型中共有3个普通分类输出通道和1个联合分类输出通道，普通分类输出通道为特征提取网络不同级别的分类输出，联合分类输出通道为特征提取网络不同级别提取的特征进行特征融合之后的分类输出。由于普通分类输出的特征提取程度不同，在融合到联合分类输出通道时的权重也应不同，3个普通分类输出通道的最后一层卷积层各有128个通道，即使在同一级别的特征提取每个通道的重要性也各不相同，甚至更高级别的普通分类输出通道可能会比更低级别的普通分类输出通道特征表现力差。在本发明中应用通道注意力机制Squeeze-and-Excitation(SE)block进行特征选择。
SE block共有两个部分，第一个部分为Squeeze，为了获取特征图的全局特征，在Squeeze部分SE block采用全局平均池化操作，如式(5)所示：
Figure BDA0004099542300000101
其中，zc为全局平均池化后的结果；uc为c个特征图；H和W分别为特征图的高和宽。
在进行完Squeeze操作之后，SE block为了获取通道之间的依赖关系，需要对zc进行特征激活，如式(6)所示：
s＝Fex(z,w)＝σ(W2δ(W1z))；
其中，s为对平均池化结果zc激活后的结果；W1和W2分别为2层全连接层之后的结果；σ代表sigmoid激活函数；δ代表ReLU激活函数。
最终，将权重值s与原特征图对应元素分别相乘得到不同权重大小的特征图。
病害识别模型中的基础特征提取网络采用ResNet18网络，在网络特征图大小分别为28×28、14×14和7×7时连接两层额外的基础卷积层，基础卷积层由卷积核大小为3×3，步长为1的二维卷积、批量归一化层和ReLU激活层组成。为了区分不同程度输出特征图通道之间的重要性，在基础卷积层引入通道注意力机制，在每级特征网络输出后共分为两个任务：
第一个任务连接全连接层，输出在本级别特征提取后的分类结果，分类器使用softmax函数；
第二个任务连接RoIPN输出本级别特征提取后的注意力区域，并将提取的注意力区域作为下一级网络的输入。
由此，可以让病害识别模型从低分辨率图像开始学习整体特征，然后病害识别模型从RoIPN提取的局部高分辨率的图像中再进一步学习细腻的特征。这种渐进式训练可以帮助病害识别模型首先发现病害图像中大尺度结构，然后将注意力转移到越来越细粒度的细节上，而不必同时学习所有尺度。
根据本发明提供的叶面病害识别方法，为了客观评估不同粒度特征对分类结果的贡献程度，引入了通道注意力机制，从而得到不同粒度特征对分类结果贡献程度的定量表达。
本发明提供了复杂背景下黄瓜病害识别框架，便于集成最新的CNN网络实现特征提取和区域建议。将RoIPN网络提供的兴趣区域与渐进式学习网络相结合，使模型逐渐关注更细粒度的区域，从而得到多尺度的特征，有助于解决不同病害或者统一病害不同发展阶段的病斑大小不一、单一尺度特征无法识别的难题。在自采集的6种复杂背景蔬菜病害数据集中取得平均识别准确率为94.79％，为复杂背景下的蔬菜病害识别提供了可靠方法。
可选地，所述获取多个样本叶面图像，包括：
获取多个初始叶面图像；
对所述多个初始叶面图像进行图像增强，获取多个增强叶面图像；
对各增强叶面图像进行降噪处理，获取所述多个样本叶面图像。
首先，为了增加原始数据集的多样性需要对原始数据集进行预处理，由于原始数据集为实地拍摄并且考虑了真实应用中的情况，因此只对原始数据集进行位置方面的增强，对每个初始叶面图像进行数据预处理，共有三种方式：平移缩放旋转(Shift ScaleRotate)，随机裁剪缩放(Random Sized Crop)和垂直翻转(Horizontal Flip)，并且统一将原始图像重新调整大小为448×448像素，获取多个增强叶面图像，再对每个增强叶面图像进行滤波降噪，最终得到多个样本叶面图像。
根据本发明提供的叶面病害识别方法，通过将图像增强应用于样本图像，进而提高了病害识别模型的鲁棒性。
可选地，在所述将所述目标叶面图像输入至病害识别模型之前，方法还包括：
获取多个样本叶面图像；
确定任一样本叶面图像的叶斑标注框标签，以及所述任一样本叶面图像的病害类别标签；
将所述任一样本叶面图像、所述任一样本叶面图像的叶斑标注框标签，以及所述任一样本叶面图像的病害类别标签的组合，作为一个训练样本，以获取多个训练样本；
利用所述多个训练样本，对所述病害识别模型进行训练。
使用标注框对每个样本叶面图像中的每个病斑或每簇病斑进行标记，作为叶斑标注框标签，并确定每个样本叶面图像对应的病害类别，作为病害类别标签。
将每个样本叶面图像，以及每个样本叶面图像对应的叶斑标注框标签和病害类别标签的组合作为一个训练样本，以获取每个样本叶面图像对应的训练样本。
可选地，所述利用所述多个训练样本，对所述病害识别模型进行训练，包括：
利用所述多个训练样本对待训练模型进行预训练，获取预训练模型；
将所述预训练模型的权重参数迁移至目标神经网络；
利用所述多个训练样本对所述目标神经网络进行训练，获取所述病害识别模型。
将病害识别模型的基础分类网络结构的学习率为0.0002，兴趣区域建议网络结构学习率为0.002，分类网络优化器采用Adam，RoIPN优化器采用SGD。
整个病害识别模型分为分类网络和兴趣区域建议网络两部分构成。在整个网络训练之前，先对兴趣区域建议网络RoIPN进行10轮次的预训练。
在预训练之后，将兴趣区域建议网络的参数迁移至病害识别模型，再对整个病害识别模型进行50轮次的训练。
在训练完成后，对病害识别模型测试，在测试集上对网络进行测试，测试结果可以是混淆矩阵。
根据本发明提供的叶面病害识别方法，通过对病害识别模型中的兴趣区域建议网络进行预训练，能够加快训练速度，使得模型收敛更快，同时使得病害识别模型有更好的预测效果。
本发明提供的叶面病害识别方法，利用病害识别模型对叶面图像进行识别，通过对图像中的叶斑进行标注，从而可以有效地过滤掉复杂背景信息，突出病害特征，能够轻易且准确地识别出蔬菜叶部病害。
下面对本发明提供的叶面病害识别装置进行描述，下文描述的叶面病害识别装置与上文描述的叶面病害识别方法可相互对应参照。
图3是本发明提供的叶面病害识别装置的结构示意图，如图3所示，包括：
获取模块301，用于获取目标叶面图像；
确定模块302，用于将所述目标叶面图像输入至病害识别模型，确定由所述病害识别模型输出的所述目标叶面图像的病害类别；所述病害识别模型是基于带有叶斑标注框标签和病害类别标签的样本叶面图像训练后得到的。
在装置运行过程中，获取模块301获取目标叶面图像；确定模块302将所述目标叶面图像输入至病害识别模型，确定由所述病害识别模型输出的所述目标叶面图像的病害类别；所述病害识别模型是基于带有叶斑标注框标签和病害类别标签的样本叶面图像训练后得到的。
本发明提供的叶面病害识别装置，利用病害识别模型对叶面图像进行识别，通过对图像中的叶斑进行标注，从而可以有效地过滤掉复杂背景信息，突出病害特征，能够轻易且准确地识别出蔬菜叶部病害。
图4是本发明提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(CommunicationsInterface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行叶面病害识别方法，该方法包括：获取目标叶面图像；将所述目标叶面图像输入至病害识别模型，确定由所述病害识别模型输出的所述目标叶面图像的病害类别；所述病害识别模型是基于带有叶斑标注框标签和病害类别标签的样本叶面图像训练后得到的。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的叶面病害识别方法，该方法包括：获取目标叶面图像；将所述目标叶面图像输入至病害识别模型，确定由所述病害识别模型输出的所述目标叶面图像的病害类别；所述病害识别模型是基于带有叶斑标注框标签和病害类别标签的样本叶面图像训练后得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的叶面病害识别方法，该方法包括：获取目标叶面图像；将所述目标叶面图像输入至病害识别模型，确定由所述病害识别模型输出的所述目标叶面图像的病害类别；所述病害识别模型是基于带有叶斑标注框标签和病害类别标签的样本叶面图像训练后得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种叶面病害识别方法，其特征在于，包括：
获取目标叶面图像；
将所述目标叶面图像输入至病害识别模型，确定由所述病害识别模型输出的所述目标叶面图像的病害类别；所述病害识别模型是基于带有叶斑标注框标签和病害类别标签的样本叶面图像训练后得到的。
2.根据权利要求1所述的叶面病害识别方法，其特征在于，所述病害识别模型包括：特征提取网络、兴趣区域建议网络、分类器和输出层；
所述特征提取网络，用于对所述目标叶面图像进行多个尺度的特征提取，确定多个特征图像；
所述兴趣区域建议网络，用于对每个特征图像中的叶斑进行分割，确定多个病害特征；
所述分类器，用于对每个病害特征进行分类，确定所述目标叶面图像的病害的至少一个分类结果；
所述输出层，用于根据所述至少一个分类结果，生成所述病害类别。
3.根据权利要求2所述的叶面病害识别方法，其特征在于，所述特征提取网络中嵌入有通道注意力模块。
4.根据权利要求1-3中任一项所述的叶面病害识别方法，其特征在于，在所述将所述目标叶面图像输入至病害识别模型之前，方法还包括：
获取多个样本叶面图像；
确定任一样本叶面图像的叶斑标注框标签，以及所述任一样本叶面图像的病害类别标签；
将所述任一样本叶面图像、所述任一样本叶面图像的叶斑标注框标签，以及所述任一样本叶面图像的病害类别标签的组合，作为一个训练样本，以获取多个训练样本；
利用所述多个训练样本，对所述病害识别模型进行训练。
5.根据权利要求4所述的叶面病害识别方法，其特征在于，所述利用所述多个训练样本，对所述病害识别模型进行训练，包括：
利用所述多个训练样本对待训练模型进行预训练，获取预训练模型；
将所述预训练模型的权重参数迁移至目标神经网络；
利用所述多个训练样本对所述目标神经网络进行训练，获取所述病害识别模型。
6.根据权利要求4所述的叶面病害识别方法，其特征在于，所述获取多个样本叶面图像，包括：
获取多个初始叶面图像；
对所述多个初始叶面图像进行图像增强，获取多个增强叶面图像；
对各增强叶面图像进行降噪处理，获取所述多个样本叶面图像。
7.一种叶面病害识别装置，其特征在于，包括：
获取模块，用于获取目标叶面图像；
确定模块，用于将所述目标叶面图像输入至病害识别模型，确定由所述病害识别模型输出的所述目标叶面图像的病害类别；所述病害识别模型是基于带有叶斑标注框标签和病害类别标签的样本叶面图像训练后得到的。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述叶面病害识别方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述叶面病害识别方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述叶面病害识别方法。
CN202310171603.7A 2023-02-15 2023-02-15 叶面病害识别方法、装置、电子设备、存储介质及产品 Pending CN116385717A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310171603.7A CN116385717A (zh) 2023-02-15 2023-02-15 叶面病害识别方法、装置、电子设备、存储介质及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310171603.7A CN116385717A (zh) 2023-02-15 2023-02-15 叶面病害识别方法、装置、电子设备、存储介质及产品

Publications (1)

Publication Number Publication Date
CN116385717A true CN116385717A (zh) 2023-07-04

Family

ID=86975822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310171603.7A Pending CN116385717A (zh) 2023-02-15 2023-02-15 叶面病害识别方法、装置、电子设备、存储介质及产品

Country Status (1)

Country Link
CN (1) CN116385717A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292174A (zh) * 2023-09-06 2023-12-26 中化现代农业有限公司 苹果病害识别方法、装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292174A (zh) * 2023-09-06 2023-12-26 中化现代农业有限公司 苹果病害识别方法、装置、电子设备和存储介质
CN117292174B (zh) * 2023-09-06 2024-04-19 中化现代农业有限公司 苹果病害识别方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
Bergmann et al. Improving unsupervised defect segmentation by applying structural similarity to autoencoders
CN114120037B (zh) 一种基于改进yolov5模型的发芽马铃薯图像识别方法
CN108830326B (zh) 一种mri图像的自动分割方法及装置
Soomro et al. Boosting sensitivity of a retinal vessel segmentation algorithm with convolutional neural network
CN113392775B (zh) 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
CN107437092A (zh) 基于三维卷积神经网络的视网膜oct图像的分类算法
CN106803247A (zh) 一种基于多级筛选卷积神经网络的微血管瘤自动检测方法
CN106295124A (zh) 利用多种图像检测技术综合分析基因子图相似概率量的方法
CN106600595A (zh) 一种基于人工智能算法的人体特征尺寸自动测量方法
CN111967464B (zh) 一种基于深度学习的弱监督目标定位方法
CN114998210B (zh) 一种基于深度学习目标检测的早产儿视网膜病变检测系统
CN112926652B (zh) 一种基于深度学习的鱼类细粒度图像识别方法
CN113989662A (zh) 一种基于自监督机制的遥感图像细粒度目标识别方法
CN114287878A (zh) 一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法
Ngugi et al. A new approach to learning and recognizing leaf diseases from individual lesions using convolutional neural networks
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN114399799A (zh) 一种基于YOLOv5网络的口罩佩戴检测方法
Nagamani et al. Tomato leaf disease detection using deep learning techniques
CN116385717A (zh) 叶面病害识别方法、装置、电子设备、存储介质及产品
Monigari et al. Plant leaf disease prediction
Mahapatra Retinal image quality classification using neurobiological models of the human visual system
Banerjee et al. CNN-SVM Model for Accurate Detection of Bacterial Diseases in Cucumber Leaves
CN108154199A (zh) 一种基于深度学习的高精度快速单类目标检测方法
CN113657294B (zh) 一种基于计算机视觉的作物病虫害检测方法及系统
Kundur et al. Ensemble Efficient Net and ResNet model for Crop Disease Identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination