CN114492657A - 植物疾病分类方法、装置、电子设备及存储介质 - Google Patents

植物疾病分类方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114492657A
CN114492657A CN202210122780.1A CN202210122780A CN114492657A CN 114492657 A CN114492657 A CN 114492657A CN 202210122780 A CN202210122780 A CN 202210122780A CN 114492657 A CN114492657 A CN 114492657A
Authority
CN
China
Prior art keywords
image
classified
attention
classification
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210122780.1A
Other languages
English (en)
Inventor
陈海波
罗志鹏
牛康宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyan Technology Beijing Co ltd
Original Assignee
Shenyan Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyan Technology Beijing Co ltd filed Critical Shenyan Technology Beijing Co ltd
Priority to CN202210122780.1A priority Critical patent/CN114492657A/zh
Publication of CN114492657A publication Critical patent/CN114492657A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本申请提供了植物疾病分类方法、装置、电子设备及存储介质，所述方法包括：将第一待分类图像分别输入分类模型的多个注意力提取网络，以获得所述第一待分类图像的多个注意力提取结果；其中，所述第一待分类图像为拍摄一株植物获得的图像；对所述第一待分类图像的多个注意力提取结果进行加权融合，以获得所述第一待分类图像的注意力融合结果；将所述第一待分类图像及其注意力融合结果输入所述分类模型的分类网络，以获得指示所述第一待分类图像所对应的植物疾病类别的分类信息。本植物疾病分类方法通过多个注意力提取网络分别进行注意力提取，并对提取结果进行加权融合，可以得到细化的植物疾病分类结果。

Description

植物疾病分类方法、装置、电子设备及存储介质
技术领域
本申请涉及图像分类方法技术领域，尤其涉及植物疾病分类方法、装置、电子设备及存储介质。
背景技术
农作物病害是制约农业发展的主要因素之一，准确、高效地识别病害对于保证农作物的正常生长具有重要的意义。
为了准确、高效地识别农作物的病害，本领域技术人员逐步研究发现基于计算机视觉技术对此有较大改善，一般通过在大量农业场景的监控视频中，获取大量正常生长的植物叶片和发生病虫害的植物叶片，从正常生长的植物叶片和发生病虫害的植物叶片中各抽取部分图片作为样本，对每幅叶片图像提取特征(包括颜色特征、HSV特征、边缘特征和HOG特征)，将这些特征组合成特征向量；然后对每幅叶片图像的特征向量用SVM的机器学习方法进行训练，训练后形成一个分类器，然后将大量的植物叶片图像用这个分类器进行检测，检测植物叶片是否发生病虫害。相比于生物学方面的植物病虫害检测方法，上述对植物病虫害的检测方法具有更好的实时性。
但在植物疾病分类领域，不同的叶子病变情况长相非常相似，或者同一疾病类别的植物由于姿态、背景以及拍摄角度的不同，存在较大的疾病类别的类内差异。现有的方法只能检测出植物是否发生病虫害，对病虫害子类别间细微的类间差异无能为力。
发明内容
本申请的目的在于提供一种植物疾病分类方法、装置、电子设备及计算机可读存储介质，以弥补现有技术中对于检测植物疾病的类内差异方法的空白。
本申请的目的采用以下技术方案实现：
第一方面，本申请提供了一种植物疾病分类方法，所述方法包括：将第一待分类图像分别输入分类模型的多个注意力提取网络，以获得所述第一待分类图像的多个注意力提取结果；其中，所述第一待分类图像为拍摄一株植物获得的图像；对所述第一待分类图像的多个注意力提取结果进行加权融合，以获得所述第一待分类图像的注意力融合结果；将所述第一待分类图像及其注意力融合结果输入所述分类模型的分类网络，以获得指示所述第一待分类图像所对应的植物疾病类别的分类信息。
该技术方案的有益效果在于：采用多个注意力提取网络对待分类图像进行注意力提取，相比于单个的注意力提取网络进行注意力提取，多特征提取网络下有更高的泛化性；将得到的注意力提取结果进行加权融合，并将融合后的注意力提取结果和第一待分类图像输入分类模型的分类网络，注意力机制可以减少对不关注区域在分类网络中的比重，使分类网络更关注图像中细小的差别，实现更精确的图像分类其输入的细小差别，减小了图像分类的难度，提高了分类的准确度，可以得到更细化的植物疾病分类结果。由此，本实施例提供的植物疾病分类方法，可以得到细化的植物疾病分类结果。
在一些可选的实施例中，所述分类模型的多个注意力提取网络包括第一注意力提取网络至第四注意力提取网络；所述将第一待分类图像分别输入分类模型的多个注意力提取网络，得到所述第一待分类图像的多个注意力提取结果，包括：将第一待分类图像分别输入所述分类模型的第一注意力提取网络，得到所述第一待分类图像的第一注意力提取结果；将第一待分类图像分别输入所述分类模型的第二注意力提取网络，得到所述第一待分类图像的第二注意力提取结果；将第一待分类图像分别输入所述分类模型的第三注意力提取网络，得到所述第一待分类图像的第三注意力提取结果；将第一待分类图像分别输入所述分类模型的第四注意力提取网络，得到所述第一待分类图像的第四注意力提取结果。
该技术方案的有益效果在于：将第一待分类图像分别输入四个注意力提取网络，得到四个注意力提取结果，将四个注意力提取结果用于待分类图像的分类，所得到的第一待分类图像对应的分类结果更准确。
在一些可选的实施例中，所述第一注意力提取网络是SE_ResNeXt50，所述第二注意力提取网络是SE_ResNeXt101，所述第三注意力提取网络是SENet154，所述第四注意力提取网络是DenseNet201。
该技术方案的有益效果在于：利用上述第一注意力提取网络至第四注意力提取网络，可以发现待分类图像的细微差异的区域，进而促进分类模型实现更加准确的图像分类。
在一些可选的实施例中，所述方法还包括以下步骤：将第i待分类图像分别输入所述分类模型的多个注意力提取网络，得到所述第i待分类图像的多个注意力提取结果；所述第i待分类图像的获取方式是以下任意一种：所述第i待分类图像和所述第一待分类图像是拍摄同一株植物获得的；所述第i待分类图像是对所述第一待分类图像进行数据增强得到的；其中，i为整数，1＜i≤N，N是大于1的整数；对所述第i待分类图像的多个注意力提取结果进行加权融合，以获得所述第i待分类图像的注意力融合结果；将所述第i待分类图像及其注意力融合结果输入所述分类模型的分类网络，以获得指示所述第i待分类图像所对应的植物疾病类别的分类信息；基于所述第一待分类图像至所述第N待分类图像对应的植物疾病类别，确定所述第一待分类图像对应的最终植物疾病类别。
该技术方案的有益效果在于：基于所述第一待分类图像至所述第N待分类图像对应的植物疾病类别，确定所述第一待分类图像对应的最终植物疾病类别，所确定的最终植物疾病类别更准确。
在一些可选的实施例中，当N＝4时，所述第二待分类图像至所述第N待分类图像的获取过程包括以下步骤：对所述第一待分类图像进行随机裁剪，以获得第二待分类图像；对所述第一待分类图像进行随机裁剪和水平翻转，以获得第三待分类图像；对所述第一待分类图像进行随机裁剪和垂直翻转，以获得第四待分类图像。
该技术方案的有益效果在于：通过对第一待分类图像进行随机裁剪、水平翻转和垂直翻转中的一种或多种处理得到第一待分类图像至第四待分类图像，实现数据增广的目地，所获得的最终植物疾病类别更准确。
在一些可选的实施例中，N＝2或3，所述第i待分类图像和所述第一待分类图像是拍摄同一株植物的全部或者局部得到的，所述同一株植物是木薯。
该技术方案的有益效果在于：对同一株木薯的多个待分类图片分别输入分类模型的多个注意力提取网络，得到多个待分类图像对应的植物疾病类别，基于多个待分类图像对应的植物疾病类别，所获得的木薯的最终植物疾病类别更准确。
在一些可选的实施例中，所述分类模型的训练过程如下：获取训练图像以及指示所述训练图像所对应的植物疾病的标注类别的标注信息；将所述训练图像分别输入所述分类模型的多个注意力提取网络，以获得所述训练图像的多个注意力提取结果；对所述训练图像的多个注意力提取结果进行加权融合，以获得所述训练图像的注意力融合结果；将所述训练图像及其注意力融合结果输入所述分类模型的分类网络，以获得指示所述训练图像所对应的植物疾病的预测类别的分类信息；利用所述训练图像的分类信息和标注信息训练所述分类模型。
该技术方案的有益效果在于：先进行注意力提取，将训练集分别输入多个注意力提取网络，再对多个注意力提取结果进行加权融合；然后进行分类，将注意力融合结果和训练图像输入分类网络，获得训练图像的分类信息；最后利用训练图像的分类信息和标注信息训练分类模型，所得到的分类模型效果更好。该方法智能化水平较高。
在一些可选的实施例中，所述分类模型的训练过程还包括：使用垂直翻转、水平翻转、随机旋转、随机裁剪、随机擦除和抠图中的至少一种方式，对所述训练集进行数据增强；所述利用所述训练图像的分类信息和标注信息训练所述分类模型，包括：将所述训练集拆分为k部分，使用k折交叉验证的方式，利用数据增强后的多个所述训练图像的分类信息和标注信息训练所述分类模型。
该技术方案的有益效果在于：针对训练集样本过少的情况，对数据集采取垂直翻转、水平翻转、随机旋转、随机裁剪、随机擦除和抠图中的至少一种方式对训练集进行数据增强，可以进一步降低分类模型过拟合的风险，并提高分类模型的鲁棒性。将训练集拆分为k部分使用k折交叉验证，交叉验证有效地利用了有限的数据，并且评估结果能够尽可能接近模型在测试集上的表现，增强了分类模型的鲁棒性，降低了分类模型过拟合的风险。由此，通过有限的训练集，训练得到的分类模型具有较强的鲁棒性和较低的过拟合风险。
在一些可选的实施例中，在对所述分类模型进行训练的过程中，使用Mixu p方式，并在训练过程中采用label smoothing对预测类别进行平滑处理。
该技术方案的有益效果在于：由此，通过Mixup方式，可以增加了分类信息和标注信息的扰动，从而提升了模型的泛化能力，可以降低所训练出的分类模型的过拟合风险；使用label smooth对预测类别进行平滑处理，使所训练的分类模型的预测值也会放在概率较低的类别。
在一些可选的实施例中，在对所述分类模型进行训练的过程中，以Adam为优化器，使用交叉熵损失函数作为所述分类模型的损失函数。
该技术方案的有益效果在于：交叉熵损失函数能够衡量同一个随机变量中的两个不同概率分布的差异程度，Adam作为优化器，并以交叉熵函数为分类模型的损失函数来训练分类模型，对系统计算的需求少。
第二方面，本申请提供了一种植物疾病分类装置，所述装置包括：
第一提取模块，用于将第一待分类图像分别输入分类模型的多个注意力提取网络，以获得所述第一待分类图像的多个注意力提取结果；其中，所述第一待分类图像为拍摄一株植物获得的图像；
第一融合模块，用于对所述第一待分类图像的多个注意力提取结果进行加权融合，以获得所述第一待分类图像的注意力融合结果；
第一分类模块，用于将所述第一待分类图像及其注意力融合结果输入所述分类模型的分类网络，以获得指示所述第一待分类图像所对应的植物疾病类别的分类信息。
在一些可选的实施例中，所述分类模型的多个注意力提取网络包括第一注意力提取网络至第四注意力提取网络；所述第一提取模块包括：
第一提取单元，用于将第一待分类图像分别输入所述分类模型的第一注意力提取网络，得到所述第一待分类图像的第一注意力提取结果；
第二提取单元，用于将第一待分类图像分别输入所述分类模型的第二注意力提取网络，得到所述第一待分类图像的第二注意力提取结果；
第三提取单元，用于将第一待分类图像分别输入所述分类模型的第三注意力提取网络，得到所述第一待分类图像的第三注意力提取结果；
第四提取单元，用于将第一待分类图像分别输入所述分类模型的第四注意力提取网络，得到所述第一待分类图像的第四注意力提取结果。
在一些可选的实施例中，所述第一注意力提取网络是SE_ResNeXt50，所述第二注意力提取网络是SE_ResNeXt101，所述第三注意力提取网络是SENet154，所述第四注意力提取网络是DenseNet201。
在一些可选的实施例中，所述植物疾病分类装置还包括：
第二提取模块，用于将第i待分类图像分别输入所述分类模型的多个注意力提取网络，得到所述第i待分类图像的多个注意力提取结果；所述第i待分类图像的获取方式是以下任意一种：所述第i待分类图像和所述第一待分类图像是拍摄同一株植物获得的；所述第i待分类图像是对所述第一待分类图像进行数据增强得到的；其中，i为整数，1＜i≤N，N是大于1的整数；
第二融合模块，用于对所述第i待分类图像的多个注意力提取结果进行加权融合，以获得所述第i待分类图像的注意力融合结果；
第二分类模块，用于将所述第i待分类图像及其注意力融合结果输入所述分类模型的分类网络，以获得指示所述第i待分类图像所对应的植物疾病类别的分类信息；
类别确定模块，用于基于所述第一待分类图像至所述第N待分类图像对应的植物疾病类别，确定所述第一待分类图像对应的最终植物疾病类别。
在一些可选的实施例中，N＝4，所述类别确定模块包括：
类别确定单元，用于基于所述第一待分类图像至所述第四待分类图像对应的植物疾病类别，确定所述第一待分类图像对应的最终植物疾病类别，其中，所述第二待分类图像是对所述第一待分类图像进行随机裁剪得到的，所述第三待分类图像是对所述第一待分类图像进行随机裁剪和水平翻转得到的，所述第四待分类图像是对所述第一待分类图像进行随机裁剪和垂直翻转得到的。
在一些可选的实施例中，N＝2或3，所述第i待分类图像和所述第一待分类图像是拍摄同一株植物的全部或者局部得到的，所述同一株植物是木薯。
在一些可选的实施例中，所述分类模型的训练过程如下：获取训练图像以及指示所述训练图像所对应的植物疾病的标注类别的标注信息；将所述训练图像分别输入所述分类模型的多个注意力提取网络，以获得所述训练图像的多个注意力提取结果；对所述训练图像的多个注意力提取结果进行加权融合，以获得所述训练图像的注意力融合结果；将所述训练图像及其注意力融合结果输入所述分类模型的分类网络，以获得指示所述训练图像所对应的植物疾病的预测类别的分类信息；利用所述训练图像的分类信息和标注信息训练所述分类模型。
在一些可选的实施例中，所述分类模型的训练过程还包括：使用垂直翻转、水平翻转、随机旋转、随机裁剪、随机擦除和抠图中的至少一种方式，对所述训练集进行数据增强；所述利用所述训练图像的分类信息和标注信息训练所述分类模型，包括：将所述训练集拆分为k部分，使用k折交叉验证的方式，利用数据增强后的多个所述训练图像的分类信息和标注信息训练所述分类模型。
在一些可选的实施例中，在对所述分类模型进行训练的过程中，使用Mixu p方式，并在训练过程中采用label smoothing对预测类别进行平滑处理。
在一些可选的实施例中，在对所述分类模型进行训练的过程中，以Adam为优化器，使用交叉熵损失函数作为所述分类模型的损失函数。
第三方面，本申请提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述植物疾病分类方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述植物疾病分类方法的步骤。
附图说明
下面结合附图和实施例对本申请进一步说明。
图1是本申请实施例提供的一种植物疾病分类方法的流程示意图；
图2是本申请实施例提供的一种得到多个注意力提取结果的流程示意图；
图3是本申请实施例提供的一种第三注意力提取网络的部分结构示意图；
图4是本申请实施例提供的一种第四注意力提取网络的部分结构示意图；
图5是本申请实施例提供的另一种植物疾病分类方法的流程示意图；
图6是本申请实施例提供的一种分类模型的训练过程的流程示意图；
图7是本申请实施例提供的一种数据集中的木薯叶的示意图；
图8是本申请实施例提供的一种木薯的疾病进行分类的网络流程示意图；
图9是本申请实施例提供的一种半监督学习方法的流程示意图；
图10是本申请实施例提供的一种植物疾病分类装置的结构示意图；
图11是本申请实施例提供的一种第一提取模块的结构示意图；
图12是本申请实施例提供的另一种植物疾病分类装置的结构示意图；
图13是本申请实施例提供的一种电子设备的结构框图；
图14是本申请实施例提供的一种用于实现植物疾病分类方法的程序产品的结构示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本申请做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“第五”、“第六”、“第七”、“第八”、“第九”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
参见图1，本申请实施例提供了一种植物疾病分类方法，所述方法包括步骤S101～S103。
步骤S101：将第一待分类图像分别输入分类模型的多个注意力提取网络，以获得所述第一待分类图像的多个注意力提取结果；其中，所述第一待分类图像为拍摄一株植物获得的图像。第一待分类图像可以是拍摄的植物的全部所获得的图像，也可以是拍摄植物的局部所获得的图像。
步骤S102：对所述第一待分类图像的多个注意力提取结果进行加权融合，以获得所述第一待分类图像的注意力融合结果。
步骤S103：将所述第一待分类图像及其注意力融合结果输入所述分类模型的分类网络，以获得指示所述第一待分类图像所对应的植物疾病类别的分类信息。
其中，植物可以是木薯、玉米、水稻等农作物。植物疾病类别例如是白粉类病、煤污病、锈粉病、霜霉病、白绢病、炭疽病等。
采用多个注意力提取网络对待分类图像进行注意力提取，相比于单个的注意力提取网络进行注意力提取，多特征提取网络下有更高的泛化性；将得到的注意力提取结果进行加权融合，并将融合后的注意力提取结果和第一待分类图像输入分类模型的分类网络，注意力机制可以减少对不关注区域在分类网络中的比重，使分类网络更关注图像中细小的差别，实现更精确的图像分类其输入的细小差别，减小了图像分类的难度，提高了分类的准确度，可以得到更细化的植物疾病分类结果。由此，本实施例提供的植物疾病分类方法，可以得到细化的植物疾病分类结果。
本申请实施例对分类模型中的注意力提取网络的数量不做限定，其可以是2个、3个、4个、5个、6个等。
参见图2，在一些实施方式中，所述分类模型的多个注意力提取网络包括第一注意力提取网络至第四注意力提取网络，所述步骤S101可以包括步骤S201～S204。
步骤S201：将第一待分类图像分别输入所述分类模型的第一注意力提取网络，得到所述第一待分类图像的第一注意力提取结果。
步骤S202：将第一待分类图像分别输入所述分类模型的第二注意力提取网络，得到所述第一待分类图像的第二注意力提取结果。
步骤S203：将第一待分类图像分别输入所述分类模型的第三注意力提取网络，得到所述第一待分类图像的第三注意力提取结果。
步骤S204：将第一待分类图像分别输入所述分类模型的第四注意力提取网络，得到所述第一待分类图像的第四注意力提取结果。
本实施例对步骤S101包括的步骤S201、步骤S202、步骤S203、步骤S204没有先后顺序的限制。由此，将第一待分类图像分别输入四个注意力提取网络，得到四个注意力提取结果，将四个注意力提取结果用于待分类图像的分类，所得到的第一待分类图像对应的分类结果更准确。
在一具体应用中，所述第一注意力提取网络可以是SE_ResNeXt50，所述第二注意力提取网络可以是SE_ResNeXt101，所述第三注意力提取网络可以是SE Net154，所述第四注意力提取网络可以是DenseNet201。
其中，当第一注意力提取网络SE_ResNeXt50和第二注意力提取网络SE_ResNeXt101时，深层网络可以直接得到浅层网络的网络特征，使得模型学习更加容易，并且解决了注意力提取网络因为深度的增加而导致的梯度消失和梯度爆炸的问题。当第三注意力提取网络是SENet154时，可以通过对不同通道之间的关系进行建模，以自适应的校准通道的相应特征。当第四注意力提取网络是DenseNet201时，可以利用第四注意力提取网络的特征重用和类似残差神经网络(ResNet)的旁路(Bypass)的方式，实现减少了网络参数的效果，缓解了梯度消失的问题，进而提高了模型识别能力。
由此，利用上述第一注意力提取网络至第四注意力提取网络，可以发现待分类图像的细微差异的区域，进而促进分类模型实现更加准确的图像分类。
参见图3，当第三注意力提取网络为SENet154时，第三注意力提取网络可以包含压缩和激发模块(Sequeeze and Excitation block)，将左侧尺寸为h×c×w的特征图通过一个挤压操作(squeeze)，对每个通道产生一个通道描述子(1×1×C)。同时对通道描述子进行累加操作，累加操作可以是激励操作(Excitation)。该激励操作的输出对每个通道有修正权重的结果，在右侧输出尺寸为h×c×w的特征图，所输出的特征图可以直接用到网络的后续层。压缩和激发模块(Sequeeze and Excitation block)将学习到的权重作用在输入的左侧特征图上，通过一个尺度(Scale)后输出的右侧的特征图和输入的特征图维度是相同的。
该压缩和激发模块于传统网络的最大区别在于其侧重于构建通道之间的依赖关系，利用global average pooling(GAP，全局池化层)来压缩特征图，并用激励操作对前者进行非线性变换，最后再叠加到输入特征上，可以自适应的校准通道的相应特征。批归一化-线性修正单元-卷积层
第四注意力提取网络DenseNet201的重要组成部分可以是DenseBlock(密度块)模块。参见图4的DenseBlock(密度块)模块示例，BN-Relu-Conv表示按照BN(BatchNormalization，批归一化)、ReLu(Rectified Linear Units，线性修正)和Conv(convolution，卷积)的卷积层，对于DenseBlock模块的每一层，前面所有层的特征映射作为当前层输入，而当前层的特征映射为后续层输入，形成全互链接。每层提取出来的特征映射都可以供后续层使用，可以缓解梯度消失、增强特征传播和降低参数数量。
参见图5，在一些实施方式中，所述植物疾病分类方法还可以包括步骤S104～S107。
步骤S104：将第i待分类图像分别输入所述分类模型的多个注意力提取网络，得到所述第i待分类图像的多个注意力提取结果；所述第i待分类图像的获取方式是以下任意一种：所述第i待分类图像和所述第一待分类图像是拍摄同一株植物获得的；所述第i待分类图像是对所述第一待分类图像进行数据增强得到的；其中，i为整数，1＜i≤N，N是大于1的整数。
步骤S105：对所述第i待分类图像的多个注意力提取结果进行加权融合，以获得所述第i待分类图像的注意力融合结果。
步骤S106：将所述第i待分类图像及其注意力融合结果输入所述分类模型的分类网络，以获得指示所述第i待分类图像所对应的植物疾病类别的分类信息。
步骤S107：基于所述第一待分类图像至所述第N待分类图像对应的植物疾病类别，确定所述第一待分类图像对应的最终植物疾病类别。
由此，基于所述第一待分类图像至所述第N待分类图像对应的植物疾病类别，确定所述第一待分类图像对应的最终植物疾病类别，所确定的最终植物疾病类别更准确。
在一具体应用中，当N＝4时，所述第二待分类图像至所述第N待分类图像的获取过程包括以下步骤：
对所述第一待分类图像进行随机裁剪，以获得第二待分类图像；
对所述第一待分类图像进行随机裁剪和水平翻转，以获得第三待分类图像；
对所述第一待分类图像进行随机裁剪和垂直翻转，以获得第四待分类图像。
由此，通过对第一待分类图像进行随机裁剪、水平翻转和垂直翻转中的一种或多种处理得到第二待分类图像至第四待分类图像，实现数据增广的目的，所获得的最终植物疾病类别更准确。
在另一具体应用中，所述第i待分类图像和所述第一待分类图像是拍摄同一株植物的全部或者局部得到的。也就是说，针对同一株植物，并非拍摄一张图像，而是拍摄多张图像，通过多张图像分别进行分类并得到对应的植物疾病类别，再基于多张图片的分类结果，获取最终植物疾病类别，所得到的分类结果更准确。
在一个实例中，步骤S107可以包括：基于所述第一待分类图像至所述第N待分类图像对应的植物疾病类别，确定其中出现频率最高的植物疾病类别作为所述第一待分类图像对应的最终植物疾病类别。举例说明，N＝3，第一待分类图像对应的植物疾病类别是锈粉病；第二待分类图像对应的植物疾病类别是霜霉病；第三待分类图像对应的植物疾病类别是霜霉病，则确定其中出现频率最高的霜霉病作为第一待分类图像对应的最终植物疾病类别。
在另一个实例中，步骤S107可以包括：基于所述第一待分类图像至所述第N待分类图像对应的植物疾病类别及其置信度，确定其中置信度最高的植物疾病类别作为所述第一待分类图像对应的最终植物疾病类别。举例说明，N＝3，第一待分类图像对应的植物疾病类别是锈粉病，置信度是0.95；第二待分类图像对应的植物疾病类别是霜霉病，置信度是0.91；第三待分类图像对应的植物疾病类别是炭疽病，置信度是0.98，则确定其中置信度最高的炭疽病作为第一待分类图像对应的最终植物疾病类别。
在一些实施方式中，N＝2或3，所述第i待分类图像和所述第一待分类图像是拍摄同一株植物的全部或者局部得到的，所述同一株植物是木薯。
当N＝2时，可以通过第一待分类图像和第二待分类图像分别通过分类模型的注意力网络和分类网络，并基于所获得的植物疾病类别确定最终的植物疾病类别。第一待分类图像和第二待分类图像是拍摄同一株木薯的全部或局部得到的。
当N＝3时，可以通过第一待分类图像、第二待分类图像和第三待分类图像分别通过分类模型的注意力网络和分类网络，并基于所获得的植物疾病类别确定最终的植物疾病类别。第一待分类图像、第二待分类图像和第三待分类图像是拍摄同一株木薯的全部或局部得到的。
由此，对同一株木薯的多个待分类图片分别输入分类模型的多个注意力提取网络，得到多个待分类图像对应的植物疾病类别，基于多个待分类图像对应的植物疾病类别，所获得的木薯的最终植物疾病类别更准确。
参见图6，在一些实施方式中，所述分类模型的训练过程可以包括步骤S301～S305。
步骤S301：获取训练图像以及指示所述训练图像所对应的植物疾病的标注类别的标注信息。
步骤S302：将所述训练图像分别输入所述分类模型的多个注意力提取网络，以获得所述训练图像的多个注意力提取结果。
步骤S303：对所述训练图像的多个注意力提取结果进行加权融合，以获得所述训练图像的注意力融合结果。
步骤S304：将所述训练图像及其注意力融合结果输入所述分类模型的分类网络，以获得指示所述训练图像所对应的植物疾病的预测类别的分类信息。
步骤S305：利用所述训练图像的分类信息和标注信息训练所述分类模型。
上述分类模型的训练过程可以利用一个训练数据(包括训练图像以及指示训练图像所对应的植物疾病的标注类别的标注信息的训练数据)对待训练的分类模型进行训练，还可以利用多个训练数据重复进行训练过程，直到满足预设的结束训练条件。满足预设结束条件时视为分类模型训练完成，此时，以训练完成的分类模型作为最终的分类模型。作为示例，预设结束条件可以是训练次数达到预设时间阈值、训练时间达到预设时间阈值、损失收敛至最小值等。在达到预设的结束训练条件之前，可以一直对分类模型进行训练。
传统的分类模型训练使用的是one-hot vector(独热向量类型)的方法，但是这样易导致过拟合使得模型泛化能力下降；同时这种做法会将所属类别和非所属类别之间的差距拉大，因此很难调优模型。
本申请的实施方式中，先进行注意力提取，将训练集分别输入多个注意力提取网络，再对多个注意力提取结果进行加权融合；然后进行分类，将注意力融合结果和训练图像输入分类网络，获得训练图像的分类信息；最后利用训练图像的分类信息和标注信息训练分类模型，所得到的分类模型效果更好。该方法智能化水平较高。
在一些实施方式中，所述分类模型的训练过程还可以包括：使用垂直翻转、水平翻转、随机旋转、随机裁剪、随机擦除和抠图中的至少一种方式，对所述训练集进行数据增强。所述步骤S305可以包括：将所述训练集拆分为k部分，使用k折交叉验证的方式，利用数据增强后的多个所述训练图像的分类信息和标注信息训练所述分类模型。
在实际的分类模型的训练中，存在数据集本身不够丰富的情况。例如，进行木薯的分类模型训练，因为木薯主要种植于农业现代化水平较低的热带地区，只有较少的数据累积，很难通过海量数据和暴力计算来进行分类模型训练以建立高精度模型。
本申请的实施方式中，针对训练集样本过少的情况，对数据集采取垂直翻转、水平翻转、随机旋转、随机裁剪、随机擦除和抠图中的至少一种方式对训练集进行数据增强，可以进一步降低分类模型过拟合的风险，并提高分类模型的鲁棒性。将训练集拆分为k部分并使用k折交叉验证，交叉验证有效地利用了有限的数据，并且评估结果能够尽可能接近模型在测试集上的表现，增强了分类模型的鲁棒性，降低了分类模型过拟合的风险。由此，通过有限的训练集，训练得到的分类模型具有较强的鲁棒性和较低的过拟合风险。
在一个具体应用中，考虑到k值对输出值与真实值之间的偏差(bias)和方差(variance)的影响：k越大时偏差越小、方差越大，所训练的分类模型容易过拟合；k越小、偏差越大、方差越小，所训练的分类模型容易欠拟合，当k取值为5时，偏差和方差的值相对更平衡。
在一些实施方式中，对所述分类模型进行训练的过程中，可以使用Mixup方式，并在训练过程中采用label smoothing对预测类别进行平滑处理。
由此，通过Mixup方式，可以增加了分类信息和标注信息的扰动，从而提升了模型的泛化能力，可以降低所训练出的分类模型的过拟合风险；使用label smooth对预测类别进行平滑处理，使所训练的分类模型的预测值也会放在概率较低的类别。
在一个具体应用中，利用训练图像的分类信息和标注信息进行分类模型的训练，可以使用mixup方式的插值手段增加分类模型的泛化能力。例如，将两张训练图像按照一定的比例融合起来作为输入，计算损失时候，针对两张样本的标注信息分别进行计算，然后按照比例加权求和。其中，mixup方式作为一种抑制过拟合的策略，可以通过增加一些数据上的扰动，从而提升了分类模型的泛化能力。Mixup的计算公式可以为：
Figure BDA0003499161290000141
Figure BDA0003499161290000142
其中，xi、xj是当前批次与下一个批次的训练图像，yi、yj是当前批次和下一个批次的标注信息，λ∈[0,1]，
Figure BDA0003499161290000143
是混合后的训练图像，
Figure BDA0003499161290000144
是混合后的标注信息。
在一个具体应用中，使用label smooth对训练图像的预测类别进行软化和平滑处理，其公式如下：
q′(k|x)＝(1-ε)δk，y+εu(k)
其中，等号左侧是一种新的预测的分布；等号右侧前半部分是对原分布乘一个权重，ε是一个取值在0到1范围内超参。u是一个均匀分布，k表示模型的类别数。这种方式使预测类别有ε概率来自于均匀分布，(1-ε)概率来自于原分布。这就相当于在原标注信息上增加噪声，让分类模型的预测值不要过度集中于概率较高的类别，把一些概率放在概率较低的类别。
在一些实施方式中，对所述分类模型进行训练的过程中，可以以Adam为优化器，使用交叉熵损失函数作为所述分类模型的损失函数。由此，交叉熵损失函数能够衡量同一个随机变量中的两个不同概率分布的差异程度，Adam作为优化器，并以交叉熵函数为分类模型的损失函数来训练分类模型，对系统计算的需求少。
在一个具体应用中，选用Adam为优化器，使用交叉熵损失函数作为所述分类模型的损失函数的训练方法包括：
1、训练以Adam为优化器，学习率设置为阶梯状，共四个取值，[3*e-4,1*e-4,1*e-5,1*e-6]，设置patience为4来衰减学习率，即模型连续4个时期在验证集上效果没有提升则衰减学习率，训练总的时期可以在20次左右。其中，patie nce可以是监测的性能指标经过几个时期的训练之后没有变化就进行学习率衰减的时期数的预定值。可以并行训练一个模型，批大小(batchsize)可以设为32。
2、网络的损失函数使用交叉熵损失函数，损失函数(Lce)的计算公式为：
Figure BDA0003499161290000151
其中，q是真实概率分布，p是预测概率分布，N是分类结果类别数量。
参见图8，本申请实施例还提供了一种对木薯的疾病进行分类的网络流程示意图，数据集中的木薯叶如图7所示。其中CBB标签用于指示有黄斑、带有黄色边框的褐色斑点、黄色的叶子；CBSD标签用于指示有大的黄色斑块；CGM标签用于指示有不规则的黄绿色斑块、叶缘扭曲、发育不良；CMD标签用于指示有严重的形状变形。Healthy标签用于指示叶子无病虫害。
参见图8，首先对原始数据进行数据增强，增强后的数据采用label smoothi ng对预测类别进行平滑处理。
然后将待分类图像分别输入分类模型的多个注意力提取网络(SE_ResNeXt50、SE_ResNeXt101、SENet154和DenseNet201)，进行特征提取。
再将四个不同尺度的特征图进行加权融合，输出(output)融合数据集，完成一个数据的训练过程。
还可以继续使用模型重复训练未标记的数据(train unlabeled data)，直至满足训练时预设的结束训练条件。
参见图9，本申请实施例还提供了一种半监督学习方法，所述半监督学习方法包括以下步骤：
1.使用标记数据训练模型(1.train the model with labeled data)，将带标识的训练数据(labeled data)放入模型(Model)中；
2.使用训练过的模型对未标识的训练数据(unlabeled data)进行预测(2.usethe trained model to predict labels for the unlabeled data)；
3.使用伪数据集(pseudo-labeled data)和标记数据集重新训练模型(3.retrained the model with the pseudo and labeled datasets together)。
使用半监督方法对模型进行训练，所得到的分类模型有比较高的准确性。
参见图10，本申请实施例还提供了一种植物疾病分类装置，所述装置包括：
第一提取模块101，用于将第一待分类图像分别输入分类模型的多个注意力提取网络，以获得所述第一待分类图像的多个注意力提取结果；其中，所述第一待分类图像为拍摄一株植物获得的图像；
第一融合模块102，用于对所述第一待分类图像的多个注意力提取结果进行加权融合，以获得所述第一待分类图像的注意力融合结果；
第一分类模块103，用于将所述第一待分类图像及其注意力融合结果输入所述分类模型的分类网络，以获得指示所述第一待分类图像所对应的植物疾病类别的分类信息。
参见图11，在一些实施方式中，所述第一提取模块101可以包括：
第一提取单元201，用于将第一待分类图像分别输入所述分类模型的第一注意力提取网络，得到所述第一待分类图像的第一注意力提取结果；
第二提取单元202，用于将第一待分类图像分别输入所述分类模型的第二注意力提取网络，得到所述第一待分类图像的第二注意力提取结果；
第三提取单元203，用于将第一待分类图像分别输入所述分类模型的第三注意力提取网络，得到所述第一待分类图像的第三注意力提取结果；
第四提取单元204，用于将第一待分类图像分别输入所述分类模型的第四注意力提取网络，得到所述第一待分类图像的第四注意力提取结果。
在一些可选的实施例中，所述第一注意力提取网络是SE_ResNeXt50，所述第二注意力提取网络是SE_ResNeXt101，所述第三注意力提取网络是SENet154，所述第四注意力提取网络是DenseNet201。
参见图12，在一些实施方式中，所述植物疾病分类装置还可以包括：
第二提取模块104，用于将第i待分类图像分别输入所述分类模型的多个注意力提取网络，得到所述第i待分类图像的多个注意力提取结果；所述第i待分类图像的获取方式是以下任意一种：所述第i待分类图像和所述第一待分类图像是拍摄同一株植物获得的；所述第i待分类图像是对所述第一待分类图像进行数据增强得到的；其中，i为整数，1＜i≤N，N是大于1的整数；
第二融合模块105，用于对所述第i待分类图像的多个注意力提取结果进行加权融合，以获得所述第i待分类图像的注意力融合结果；
第二分类模块106，用于将所述第i待分类图像及其注意力融合结果输入所述分类模型的分类网络，以获得指示所述第i待分类图像所对应的植物疾病类别的分类信息；
类别确定模块107，用于基于所述第一待分类图像至所述第N待分类图像对应的植物疾病类别，确定所述第一待分类图像对应的最终植物疾病类别。
在一些实施方式中，N＝4，所述类别确定模块107可以包括：
类别确定单元，用于基于所述第一待分类图像至所述第四待分类图像对应的植物疾病类别，确定所述第一待分类图像对应的最终植物疾病类别，其中，所述第二待分类图像是对所述第一待分类图像进行随机裁剪得到的，所述第三待分类图像是对所述第一待分类图像进行随机裁剪和水平翻转得到的，所述第四待分类图像是对所述第一待分类图像进行随机裁剪和垂直翻转得到的。
在一些实施方式中，N＝2或3，所述第i待分类图像和所述第一待分类图像是拍摄同一株植物的全部或者局部得到的，所述同一株植物是木薯。
参见图6，在一些实施方式中，所述分类模型的训练过程可以包括步骤S301～S305。
步骤S301：获取训练图像以及指示所述训练图像所对应的植物疾病的标注类别的标注信息。
步骤S302：将所述训练图像分别输入所述分类模型的多个注意力提取网络，以获得所述训练图像的多个注意力提取结果。
步骤S303：对所述训练图像的多个注意力提取结果进行加权融合，以获得所述训练图像的注意力融合结果。
步骤S304：将所述训练图像及其注意力融合结果输入所述分类模型的分类网络，以获得指示所述训练图像所对应的植物疾病的预测类别的分类信息。
步骤S305：利用所述训练图像的分类信息和标注信息训练所述分类模型。
在一些实施方式中，所述分类模型的训练过程还包括：使用垂直翻转、水平翻转、随机旋转、随机裁剪、随机擦除、抠图中的至少一种方式，对所述训练集进行数据增强；所述利用所述训练图像的分类信息和标注信息训练所述分类模型，包括：将所述训练集拆分为k部分，使用k折交叉验证的方式，利用数据增强后的多个所述训练图像的分类信息和标注信息训练所述分类模型。
在一些实施方式中，所述利用所述训练图像的分类信息和标注信息训练所述分类模型，包括：使用Mixup方式，利用多个所述训练图像的分类信息和标注信息训练所述分类模型，并在训练过程中采用label smoothing对预测类别进行平滑处理。
在一些实施方式中，所述利用所述训练图像的分类信息和标注信息训练所述分类模型，包括：以Adam为优化器，使用交叉熵损失函数作为所述分类模型的损失函数，利用所述训练图像的分类信息和标注信息训练所述分类模型。
参见图13，本申请实施例还提供了一种电子设备200，电子设备200包括至少一个存储器210、至少一个处理器220以及连接不同平台系统的总线230。
存储器210可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)211和/或高速缓存存储器212，还可以进一步包括只读存储器(ROM)213。
其中，存储器210还存储有计算机程序，计算机程序可以被处理器220执行，使得处理器220执行本申请实施例中植物疾病分类方法或者模型训练方法的步骤，其具体实现方式与上述植物疾病分类方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
存储器210还可以包括具有至少一个程序模块215的实用工具214，这样的程序模块215包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
相应的，处理器220可以执行上述计算机程序，以及可以执行实用工具214。
总线230可以为表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
电子设备200也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信，还可与一个或者多个能够与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入输出接口250进行。并且，电子设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本申请实施例还提供了一种计算机可读存储介质，其具体实现方式与上述植物疾病分类方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
该计算机可读存储介质用于存储计算机程序或者分类模型；所述计算机程序被执行时实现本申请实施例中植物疾病分类方法的步骤。
图14示出了本实施例提供的用于实现上述植物疾病分类方法或者模型训练方法的程序产品300，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品300不限于此，在本申请中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品300可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言诸如Java、C++等，还包括常规的过程式程序设计语言诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本申请从使用目的上，效能上，进步及新颖性等观点进行阐述，已符合专利法所强调的功能增进及使用要件，本申请以上的说明书及说明书附图，仅为本申请的较佳实施例而已，并非以此局限本申请，因此，凡一切与本申请构造，装置，特征等近似、雷同的，即凡依本申请专利申请范围所作的等同替换或修饰等，皆应属本申请的专利申请保护的范围之内。

Claims (13)

1.一种植物疾病分类方法，其特征在于，所述方法包括：
将第一待分类图像分别输入分类模型的多个注意力提取网络，以获得所述第一待分类图像的多个注意力提取结果；其中，所述第一待分类图像为拍摄一株植物获得的图像；
对所述第一待分类图像的多个注意力提取结果进行加权融合，以获得所述第一待分类图像的注意力融合结果；
将所述第一待分类图像及其注意力融合结果输入所述分类模型的分类网络，以获得指示所述第一待分类图像所对应的植物疾病类别的分类信息。
2.根据权利要求1所述的植物疾病分类方法，其特征在于，所述分类模型的多个注意力提取网络包括第一注意力提取网络至第四注意力提取网络；
所述将第一待分类图像分别输入分类模型的多个注意力提取网络，得到所述第一待分类图像的多个注意力提取结果，包括：
将第一待分类图像分别输入所述分类模型的第一注意力提取网络，得到所述第一待分类图像的第一注意力提取结果；
将第一待分类图像分别输入所述分类模型的第二注意力提取网络，得到所述第一待分类图像的第二注意力提取结果；
将第一待分类图像分别输入所述分类模型的第三注意力提取网络，得到所述第一待分类图像的第三注意力提取结果；
将第一待分类图像分别输入所述分类模型的第四注意力提取网络，得到所述第一待分类图像的第四注意力提取结果。
3.根据权利要求2所述的植物疾病分类方法，其特征在于，所述第一注意力提取网络是SE_ResNeXt50，所述第二注意力提取网络是SE_ResNeXt101，所述第三注意力提取网络是SENet154，所述第四注意力提取网络是DenseNet201。
4.根据权利要求1所述的植物疾病分类方法，其特征在于，还包括以下步骤：
将第i待分类图像分别输入所述分类模型的多个注意力提取网络，得到所述第i待分类图像的多个注意力提取结果；所述第i待分类图像的获取方式是以下任意一种：所述第i待分类图像和所述第一待分类图像是拍摄同一株植物获得的；所述第i待分类图像是对所述第一待分类图像进行数据增强得到的；其中，i为整数，1＜i≤N，N是大于1的整数；
对所述第i待分类图像的多个注意力提取结果进行加权融合，以获得所述第i待分类图像的注意力融合结果；
将所述第i待分类图像及其注意力融合结果输入所述分类模型的分类网络，以获得指示所述第i待分类图像所对应的植物疾病类别的分类信息；
基于所述第一待分类图像至所述第N待分类图像对应的植物疾病类别，确定所述第一待分类图像对应的最终植物疾病类别。
5.根据权利要求4所述的植物疾病分类方法，其特征在于，当N＝4时，所述第二待分类图像至所述第N待分类图像的获取过程包括以下步骤：
对所述第一待分类图像进行随机裁剪，以获得第二待分类图像；
对所述第一待分类图像进行随机裁剪和水平翻转，以获得第三待分类图像；
对所述第一待分类图像进行随机裁剪和垂直翻转，以获得第四待分类图像。
6.根据权利要求4所述的植物疾病分类方法，其特征在于，N＝2或3，所述第i待分类图像和所述第一待分类图像是拍摄同一株植物的全部或者局部得到的，所述同一株植物是木薯。
7.根据权利要求1所述的植物疾病分类方法，其特征在于，所述分类模型的训练过程如下：
获取训练图像以及指示所述训练图像所对应的植物疾病的标注类别的标注信息；
将所述训练图像分别输入所述分类模型的多个注意力提取网络，以获得所述训练图像的多个注意力提取结果；
对所述训练图像的多个注意力提取结果进行加权融合，以获得所述训练图像的注意力融合结果；
将所述训练图像及其注意力融合结果输入所述分类模型的分类网络，以获得指示所述训练图像所对应的植物疾病的预测类别的分类信息；
利用所述训练图像的分类信息和标注信息训练所述分类模型。
8.根据权利要求7所述的植物疾病分类方法，其特征在于，所述分类模型的训练过程还包括：
使用垂直翻转、水平翻转、随机旋转、随机裁剪、随机擦除、抠图中的至少一种方式，对所述训练集进行数据增强；
所述利用所述训练图像的分类信息和标注信息训练所述分类模型，包括：
将所述训练集拆分为k部分，使用k折交叉验证的方式，利用数据增强后的多个所述训练图像的分类信息和标注信息训练所述分类模型。
9.根据权利要求7所述的植物疾病分类方法，其特征在于，在对所述分类模型进行训练的过程中，使用Mixup方式，并在训练过程中采用label smoothin g对预测类别进行平滑处理。
10.根据权利要求7所述的植物疾病分类方法，其特征在于，在对所述分类模型进行训练的过程中，以Adam为优化器，使用交叉熵损失函数作为所述分类模型的损失函数。
11.一种植物疾病分类装置，其特征在于，所述装置包括：
第一提取模块，用于将第一待分类图像分别输入分类模型的多个注意力提取网络，以获得所述第一待分类图像的多个注意力提取结果；其中，所述第一待分类图像为拍摄一株植物获得的图像；
第一融合模块，用于对所述第一待分类图像的多个注意力提取结果进行加权融合，以获得所述第一待分类图像的注意力融合结果；
第一分类模块，用于将所述第一待分类图像及其注意力融合结果输入所述分类模型的分类网络，以获得指示所述第一待分类图像所对应的植物疾病类别的分类信息。
12.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1-10任一项所述植物疾病分类方法的步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-10任一项所述植物疾病分类方法的步骤。
CN202210122780.1A 2022-02-09 2022-02-09 植物疾病分类方法、装置、电子设备及存储介质 Pending CN114492657A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210122780.1A CN114492657A (zh) 2022-02-09 2022-02-09 植物疾病分类方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210122780.1A CN114492657A (zh) 2022-02-09 2022-02-09 植物疾病分类方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114492657A true CN114492657A (zh) 2022-05-13

Family

ID=81477925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210122780.1A Pending CN114492657A (zh) 2022-02-09 2022-02-09 植物疾病分类方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114492657A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035605A (zh) * 2022-08-10 2022-09-09 广东履安实业有限公司 基于深度学习的动作识别方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035605A (zh) * 2022-08-10 2022-09-09 广东履安实业有限公司 基于深度学习的动作识别方法、装置、设备及存储介质
CN115035605B (zh) * 2022-08-10 2023-04-07 广东履安实业有限公司 基于深度学习的动作识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Zhang et al. Real-time sow behavior detection based on deep learning
CN108288051B (zh) 行人再识别模型训练方法及装置、电子设备和存储介质
CN111052128B (zh) 用于检测和定位视频中的对象的描述符学习方法
CN110598620A (zh) 模型训练方法和装置、目标检测方法和装置
CN110378911B (zh) 基于候选区域和邻域分类器的弱监督图像语义分割方法
CN112419202B (zh) 基于大数据及深度学习的野生动物图像自动识别系统
CN113111716B (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN116051574A (zh) 一种半监督分割模型构建与图像分析方法、设备及系统
CN112668608B (zh) 一种图像识别方法、装置、电子设备及存储介质
CN114492657A (zh) 植物疾病分类方法、装置、电子设备及存储介质
CN111539390A (zh) 一种基于Yolov3的小目标图像识别方法、设备和系统
CN115240647A (zh) 声音事件检测方法、装置、电子设备及存储介质
CN114494999B (zh) 一种双分支联合型目标密集预测方法及系统
CN116416055A (zh) 农业贷款评估方法、装置、存储介质及电子设备
WO2022127333A1 (zh) 图像分割模型的训练方法、图像分割方法、装置、设备
CN113705328A (zh) 基于面部特征点与面部运动单元的抑郁检测方法和系统
CN112784691A (zh) 一种目标检测模型训练方法、目标检测方法和装置
Ji et al. Influence of embedded microprocessor wireless communication and computer vision in Wushu competition referees’ decision support
CN116612420B (zh) 弱监督视频时序动作检测方法、系统、设备及存储介质
CN112084953B (zh) 一种人脸属性识别的方法、系统、设备及可读存储介质
CN113705439B (zh) 基于弱监督和度量学习的行人属性识别方法
CN116777452B (zh) 智能电表的预付费系统及其方法
CN117058498B (zh) 分割图评估模型的训练方法、分割图的评估方法及装置
CN117216545A (zh) 对象活动识别模型的训练方法、对象活动识别方法及装置
CN117216618A (zh) 基于ai模型的反欺诈识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination