CN114022872A - 基于动态神经网络的多种类农作物叶病识别方法 - Google Patents
基于动态神经网络的多种类农作物叶病识别方法 Download PDFInfo
- Publication number
- CN114022872A CN114022872A CN202111120666.7A CN202111120666A CN114022872A CN 114022872 A CN114022872 A CN 114022872A CN 202111120666 A CN202111120666 A CN 202111120666A CN 114022872 A CN114022872 A CN 114022872A
- Authority
- CN
- China
- Prior art keywords
- image
- dynamic
- neural network
- images
- leaf disease
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 89
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 26
- 230000007246 mechanism Effects 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 30
- 230000011218 segmentation Effects 0.000 claims abstract description 18
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000003709 image segmentation Methods 0.000 claims abstract description 9
- 238000012360 testing method Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013145 classification model Methods 0.000 description 4
- 230000001788 irregular Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于动态神经网络的多种类农作物叶病识别方法，首先，随机选取部分农作物叶病图像数据进行像素级标记，训练用于图像分割的卷积神经网络；然后，使用训练好的卷积神经网络对农作物叶病图像进行自动分割，提取图像中的有效信息；最后，设计动态神经网络，包括动态卷积模块、浅层分类器和早退机制三大部分，实现基于动态网络结构的叶病识别。本方案方法能够实现对农作物叶病图像有效信息自动分割提取和多种类农作物叶病的识别，采用的动态神经网络能够根据农作物叶病的复杂程度动态调整网络结构，在满足较高识别准确度率的情况下，减少计算资源的使用。
Description
技术领域
本发明属于植物病害检测领域，具体涉及一种基于动态神经网络的多种类农作物叶病识别方法。
背景技术
农作物的病害一直以来都是农业种植户困扰，传统判断农作物叶病类型的方式是通过肉眼观察，这种方式需要专家到现场进行观察和判断，有着一定的局限性。及时有效地分析出农作物的病害的类别，有助于迅速进行相应的病害防治措施，从而减少经济损失。
目前，有很多基于深度学习的农作物叶病识别方法，它们大都是对某一种特定农作物，针对不同的病害设计特征提取方法，进而进行该特定作物病害的识别。但是，针对多种农作物进行病害识别的技术比较少，种农作物叶病识别方法主要存在以下三个方面的难点：(1)农作物叶病图像中存在大量的环境信息，需要在尽可能保证该种作物叶片和病斑信息完整的同时，去除掉其他的背景信息；(2)多种农作物的叶部病斑大小不一、形状不规则，使用固定的卷积核难以提取多种农作物病斑的有效特征；(3)较轻的叶病病状使用简单的网络即可识别，固定网络结构的识别方法往往造成了计算资源的浪费，需要满足使用较少计算资源达到较高准确度率。
对于植物叶部病害而言，植物叶部病害根据不同时期的症状，病斑轮廓会随着病情的持续逐渐扩散而加重，表征不规则。采用传统固定网络结构的方法无法根据植物叶病的复杂程度进行动态的调整，它只会按照事先设计好的网络结构去计算，最后输出预测结果，对于较为复杂的农作物叶病的图片识别效果较差，而且训练时间和计算资源损耗往往非常大。
发明内容
本发明为解决传统固定网络结构无法更好的识别多种农作物叶病等问题，提出一种基于动态神经网络的多种类农作物叶病识别方法，可以动态调整模型的网络结构，具有较强的鲁棒性，对多种农作物叶病的识别具有较好的表现效果。
本发明是采用以下的技术方案实现的：一种基于动态神经网络的多种类农作物叶病识别方法，包括以下步骤：
步骤A、随机选取部分农作物叶病图像数据进行像素级标记，训练用于图像分割的卷积神经网络；
步骤B、基于训练好的卷积神经网络对农作物叶病图像进行自动分割，提取图像中的有效信息；
步骤C、设计动态神经网络模型，包括动态卷积模块、浅层分类器和早退机制，实现基于动态网络结构的叶病识别，包括：
步骤C1、将步骤B中分割后的图像进行图像增强，并对增强的图像进行标准化；
步骤C2、构建动态卷积模块进行特征提取：动态卷积模块包括注意力机制层和动态卷积核，将增强后的图像输入到注意力机制层进行特征提取，得到注意力机制判定的关键特征，然后通过SoftMax计算出叶病的关键特征所占的比例，将注意力机制层计算得到的叶病关键特征所占比例与若干个卷积核相乘并最后相加，合并为动态卷积核，通过动态卷积核对输入图像进行叶病的特征提取；
步骤C3、构建浅层分类器，本方法主干网络是4层的动态卷积模块，每层动态卷积模块会接出浅层分类器和早退机制的分支，获取浅层分类结果和该浅层分类器的置信度；
步骤C4、构建早退机制，设定每层浅层分类器的置信度阈值，根据步骤C3中的得到置信度判断该浅层分类器的分类结果是否为最终结果，若不是，则采用更深层次的动态卷积模块进行特征提取，直到浅层分类结果为最终结果；然后计算最终结果的交叉熵损失并更新网络参数；
步骤C5、每个训练批次结束后，使用测试集评估植物叶部病害识别模型的准确率，将准确率最高的动态神经网络模型保存为最终模型，实现对多种类农作物叶病的识别。
进一步的，所述步骤A具体包括以下步骤：
步骤A1、构建用于叶病图像自动分割的卷积神经网络模型，初始化卷积神经网络模型的网络参数；
步骤A2、从每类叶病的图像中随机选取部分图像，将图像的叶片有效特征部分进行像素点标记并转化为0-1掩膜的有标记样本；将经过像素点标记的有标记样本记作：
其中，xb代表随机选取出的部分图像，B代表被选取图像的数量，
代表xb对应的0-1掩膜，掩膜中标记为1的像素点代表叶片部分，标记为0的像素点代表背景部分；
步骤A3、使用选取的原始图像和标记的样本训练卷积神经网络模型，采用Dice系数对有标记样本计算损失，更新网络参数。
进一步的，所述步骤B中，将数据集中所有农作物病害图像输入到训练好的分割网络中进行自动的分割和有效信息提取，所述有效信息是指祛除背景后的叶病图像，具体包括：
步骤B1：将所有分割后的图像
随机重排得到重排序列，采用索引指代混合后的所有样本,将混合序列的所有索引记为:
步骤B2：将S作为模型的输入，使数据集的所有图像更换为分割后的图像，分割后的图像表示为：
其中Sb代表模型输入的图像，
代表模型输出的0-1掩膜。
进一步的，所述步骤C1中，增强方式为随机裁剪后进行图像翻转，每个图像产生若干个增强的图像，对这些增强的图像进行标准化，具体包括：
(1)将经过多次数据增强后的样本记作：
其中，K是数据增强种类的数量，k代表当前样本的增强种类，
是步骤3中分割后的图像，
代表分割后的图像经过第k中数据增强后的图像数据；
(2)将每个增强的样本
标准化：
其中，channel代表输入图像的通道总数，
为输入图像的第n个通道上的二维特征矩阵，mean和std为固定值，V[n]代表标准化后的图像的第n个通道上的二维特征矩阵。
进一步的，所述步骤C2中：
(1)注意力机制层提取关健特征所占比例表示为：
其中，V[n]ij表示为图像V第n个通道上位置为(i,j)的像素点，MAX函数表示为对作用域取最大值，Conv2d表示为卷积核大小为1、步长为1、padding为0的卷积运算，DimReduce表示将自变量直接映射到一维空间的函数，Aj表示为A的第j个位置的数值，L为超参数；
(2)动态卷积核的权重和偏置表示为：
其中，W,b为卷积核的权重和偏置，
为动态卷积核的权重和偏置。
进一步的，所述步骤C3中，构建浅层分类器包括以下步骤：
Out＝DimReduce(BN(Conv1(BN(Conv3(BN(Conv1(Vi)))))))
其中，Vi为训练时生成的一个批次中的第i个特征图，m为固定值且其等于训练时的Batch Size，γ和β为增加缩放和平移变量，Conv1表示为卷积核大小为1、步长为1、padding为0的卷积运算，Conv3表示为卷积核大小为3、步长为1、padding为0的卷积运算，eps是为了提高计算的稳定性而引入的超参数，其值为1e-5。
进一步的，所述步骤C4中：
(1)早退机制表示为：
其中，Threshold为超参数，Switch为1时该浅层分类器的分类结果是否为最终结果，Switch为0时，动态神经网络将采用一个更深层次的网络进行预测；
(2)计算交叉熵损失表示为：
其中，q(x)为模型对样本x置信度的概率分布，p(x)为样本的真实概率分布，n为分类结果的维度。
与现有技术相比，本发明的优点和积极效果在于：
1、本方案采用动态神经网络对多种类农作物叶病进行识别，实现了多种农作物叶病图像分割和识别的一体化，分割和识别速度达到每张11ms，能够满足实时性要求；
2、采用动态卷积核，根据叶病病斑的复杂程度动态调整卷积核，对多种农作物大小不一、形状不规则的叶部病斑进行有效的特征提取；在对复杂度不同的样本特征提取时可以表现出非常好的效果，实验结果表明，在不同的有干扰测试集上，本方法均能取得较好的试验效果。
3、本发明的动态神经网络的多种类农作物叶病识别方法能够降低计算资源使用，本方法在特征提取模块后添加了浅层分类器和早退机制，可以降低识别算法的网络深度，在兼顾模型性能的同时减少了网络的参数量，试验结果表明，本方法的准确度有显著提升并且计算资源消耗有所降低。
附图说明
图1为本发明实施例所述多种类农作物叶病识别方法的原理示意图；
图2为本发明实施例所述多种类农作物叶病识别方法的识别网络示意图；
图3为本发明实施例动态卷积结构示意图；
图4为本发明实施例分割网络示意图；
图5为本发明实施例所述识别方法分割得到的叶部图像示意图。
具体实施方式
为了能够更加清楚地理解本发明的上述目的、特征和优点，下面结合附图及实施例对本发明做进一步说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例。
本发明使用分割的卷积网络对叶病图像的背景进行消除和有效信息的提取，利用动态卷积模块，根据植物叶部病害的严重程度自适应的调整卷积核来提取病害特征，再引入浅层分类器和早退机制动态调整网络结构，实现了多种农作物叶病病害的自动分割和识别，包括：
步骤一、随机选取部分农作物叶病图像数据进行像素级标记，构建并训练用于图像分割的卷积神经网络模型；
步骤二、基于训练好的卷积神经网络模型对农作物叶病图像进行自动分割，提取图像中的有效信息；
步骤三、设计动态神经网络结构，包括动态卷积模块、浅层分类器和早退机制，实现基于动态网络结构的叶病识别。
具体的，如图1所示，对本发明方案详细介绍如下：
一、构建并训练卷积神经网络模型，用于图像分割：
首先构建用于图像分割的卷积神经网络模型，对于每个病害类别，从每类病害的图像中随机选取部分图像，将图像的叶片特征部分的像素点标记并转化为0-1掩膜，标记过0-1掩膜的图像为有标记样本，使用有标记样本训练U-Net：
(1)将经过像素点标记的有标记样本记作：
其中，xb代表随机选取出的部分图像,B代表被选取图像的数量，
代表xb对应的0-1掩膜，掩膜中标记为1的像素点代表叶片部分，标记为0的像素点代表背景部分；
(2)采用Dice系数对有标记样本计算损失，更新参数，Dice系数表示为:
其中∣x∩y∣表示x和y集合的交集元素个数，∣x∣为样本的标签掩膜中标记为1的像素个数，∣y∣为U-Net对样本预测结果中标记为1的像素个数；
使用Dice系数计算的损失表示为：
DiceLoss＝1-Dice Coefficient。
二、基于训练好的卷积神经网络对农作物叶病图像进行自动分割，提取图像中的有效信息：
将数据集中所有农作物病害图像输入到训练好的图像分割网络中进行分割，具体包括：
(1)将所有分割后的图像
随机重排得到重排序列，采用索引指代混合后的所有样本，将混合序列的所有索引记为:
(2)将S作为卷积神经网络模型的输入，使数据集的所有图像更换为分割后的图像，分割后的图像表示为：
其中Sb代表模型输入的图像，
代表模型输出的0-1掩膜，
是分割后的图像，N为训练集的总数，b表示第b个样本。
三、构建动态神经网络结构，本方法主干网络是4层的动态卷积模块，在每层动态卷积模块会接出浅层分类器和早退机制的分支，最终实现基于动态网络结构的叶病识别：
1、将分割后的图像进行图像增强：
首先将步骤二中分割后的图像行多次图像增强，增强方式为随机裁剪后进行图像翻转，每个图像产生若干个增强的图像，对这些增强的图像进行标准化，即数据转换为标准高斯分布，即逐个通道的对图像进行标准化，将待处理的原始图像转换成均值为0、标准差为1的唯一标准形式，用于训练植物叶部病害识别网络，包括：
(1)将经过多次数据增强后的样本记作：
其中，K是数据增强种类的数量，k代表当前样本的增强种类，
是分割后的图像，
代表分割后的图像经过第k中数据增强后的图像数据；
(2)将每个增强的样本
标准化：
其中，channel代表输入图像的通道总数，
为输入图像的第n个通道上的二维特征矩阵，mean和std为固定值，分别为[0.485,0.456,0.406]和[0.229,0.224,0.225]，V[n]代表标准化后的图像的第n个通道上的二维特征矩阵。
2、构建动态卷积模块，如图2所示，初始化网络参数，具体包括：
(1)动态卷积模块包括注意力机制层和动态卷积核两部分，将增强后的图像或者训练生成的特征图输入到注意力机制层进行特征提取，得到注意力机制判定的关键特征，注意力机制层对输入的图像或特征图进行Avgpool和Relu操作，通过SoftMax计算出关键特征所占的比例，分别将关键特征所占比例与若干个卷积核的参数相乘并最后相加合并为动态卷积，通过动态卷积对图像中的有效信息进行特征提取；
(2)将注意力机制层提取关健特征所占比例表示为：
其中，V[n]ij表示为图像V第n个通道上位置为(i，j)的像素点，MAX函数表示为对作用域取最大值，Conv2d表示为卷积核大小为1、步长为1、padding为0的卷积运算，DimReduce表示将自变量直接映射到一维空间的函数，Aj表示为A的第j个位置的数值，L为超参数；
(3)将动态卷积核的权重和偏置表示为：
其中，W，b为卷积核的权重和偏置，
为动态卷积核的权重和偏置。
3、构建浅层分类器，获取浅层分类结果和该层分类器的置信度：
在每层动态卷积模块提取完叶病特征后，将动态卷积提取的特征图输入到浅层分类器中，通过BN和Relu操作再进行特征提取，得到一个维度为512×2×2的特征图并将其映射到2048维，然后经过全连接层和Softmax层计算并得到一个1000维的浅层分类结果和该结果的置信度。
构建浅分类器的具体步骤为：
Out＝DimReduce(BN(Conv1(BN(Conv3(BN(Conv1(Vi)))))))
其中，Vi为训练时生成的一个批次中的第i个特征图，m为固定值且等于BatchSize，γ和β为增加缩放和平移变量，Conv1表示为卷积核大小为1、步长为1、padding为0的卷积运算，Conv3表示为卷积核大小为3、步长为1、padding为0的卷积运算，eps是为了提高计算的稳定性而引入的超参数，其值为1e-5；
4、构建早退机制，对每层浅层分类器获得的置信度进行阈值判断，若是最终结果，则直接输出该结果；若不是，则将特征图输入到下一层的动态卷积模块进行识别，直到最深的一个或下一层的浅层分类结果为最终结果，计算最终结果的交叉熵损失，使用学习率衰减法更新网络参数步骤，具体包括：
(1)将早退机制表示为：
其中，Threshold为超参数，Switch为1时该浅层分类器的分类结果是否为最终结果，Switch为0时，动态卷积网络将采用一个更深层次的网络进行预测；
(2)将计算交叉熵损失表示为：
其中，q(x)为模型对样本x置信度的概率分布，p(x)为样本的真实概率分布，n为分类结果的维度；
学习率衰减法表示为：
Learning rate＝0.1*Counter*Learning rate+(1-Counter)*Learning rate
其中，Best Accuracy为超参数且初始化为0.80，Accuracy为每个批次结束后模型在验证集上的准确率，表示为：
5、每个训练批次训练结束后，使用测试集评估植物叶部病害识别模型的准确率，将准确率最高的模型保存为最终模型，基于最终的模型对农作物叶病进行识别。
实验验证：
下面采用PlantVillage植物叶部病害公共数据集对本发明的方法进行测试，结果如下：
使用数据集中12种农作物的29种常见叶部病害图像25214张，其中训练分割网络的数据集中有手动标记0-1掩膜的有标记样本435张，训练动态卷积神经网络的数据集18910张，测试数据集6232张，将图像统一输入尺寸为256×256像素。从29类病害的样本中每类选15张进行手动标记0-1掩膜，用于训练图像分割网络。
为评估本方法的分类性能需要训练5种模型：
使用435张手动标记过0-1掩膜的图像训练图像分割网络，使用18910张图像类别标注样本训练动态卷积神经网络；
使用18910张图像类别标注的样本训练VGG19分类模型；
使用经过分割网络处理后的18910张图像类别标注的样本训练VGG19分类模型，简称U-VGG19；
使用18910张图像类别标注的样本训练ResNet分类模型；
使用经过分割网络处理后的18910张图像类别标注的样本训练ResNet分类模型，简称U-ResNet；
对测试数据集分别进行亮度和添加的噪声操作，模拟实际拍摄场景可能会出现的干扰。在原始图像和添加干扰的测试集上进行测试，得到分类准确率：
表1：分类准确率对比
下面对病害识别结果进行说明：
在原始图像测试集上，本发明方法的准确率要高于其他四种方法，识别准确率高达98.04％。为了减少外界噪音的影响，本发明方法的分割网络用于其他网络方法，识别效果均有所提升，证明了本发明方法的分割网络可以有效的降低环境因素的影响，提高有效图像的提取效果。在降低30％亮度的干扰测试集上，本发明方法的识别准确率比本发明的方法在不同干扰测试集上的识别准确率均高于其他四种模型，证明本方法对于光照和噪声具有较强的鲁棒性。
如图5所示的某种类别的病害图像经过分割后得到的叶部图像，可以看到叶部特征被完整地保留了下来，将其输入到识别网络中，可以极大的降低图像背景和噪声带来的性能损失，从而表现出良好的识别性能。
采用神经网络的常用的3个评价指标评估识别效果，分别为：模型的复杂度，即参数量(Parameters，Params)，内存使用量(Memory Access Cost，MACs)和平均准确率(Average accuracy)，用18910张经过分割网络处理后的样本图像上分别对VGG-19、GoogleNet、ResNet50、加入动态卷积模块的ResNet50简称D-ResNet50、ResNet101加入动态卷积模块的ResNet101简称D-ResNet101和动态网络模型进行训练，在测试集进行评估，模型的识别效果如下：
表2模型识别效果对比
下面对病害识别结果进行说明：
在分割网络处理后的样本图像的测试集上，本发明方法的准确率要高于其他四种方法，识别准确率高达98.04％。本发明方法的动态卷积核在引入到ResNet网络中，比原始网络的参数量有了较大的缩小，计算准确度也有将近4个百分点的提升，证明了引入动态卷积模块在减少计算的参数量情况下，增强特征的提取。本方法在加入动态卷积核的基础上，又引入了浅层分类器和早退机制可引导特征提取网络更有效地提取特征，提升模型的识别性能。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (7)
1.基于动态神经网络的多种类农作物叶病识别方法，其特征在于，包括以下步骤：
步骤A、随机选取部分农作物叶病图像数据进行像素级标记，训练用于图像分割的卷积神经网络；
步骤B、基于训练好的卷积神经网络对农作物叶病图像进行自动分割，提取图像中的有效信息；
步骤C、设计动态神经网络模型，包括动态卷积模块、浅层分类器和早退机制，实现基于动态网络结构的叶病识别，包括：
步骤C1、将步骤B中分割后的图像进行图像增强，并对增强的图像进行标准化；
步骤C2、构建动态卷积模块进行特征提取：动态卷积模块包括注意力机制层和动态卷积核，将增强后的图像输入到注意力机制层进行特征提取，得到注意力机制判定的关键特征，然后通过SoftMax计算出叶病的关键特征所占的比例，将注意力机制层计算得到的叶病关键特征所占比例与若干个卷积核相乘并最后相加，合并为动态卷积核，通过动态卷积核对输入图像进行叶病的特征提取；
步骤C3、构建浅层分类器，获取浅层分类结果和该浅层分类器的置信度；
步骤C4、构建早退机制，设定每层浅层分类器的置信度阈值，根据步骤C3中的得到置信度判断该浅层分类器的分类结果是否为最终结果，若不是，则采用更深层次的动态卷积模块进行特征提取，直到浅层分类结果为最终结果；然后计算最终结果的交叉熵损失并更新网络参数；
步骤C5、每个训练批次结束后，使用测试集评估植物叶部病害识别模型的准确率，将准确率最高的动态神经网络模型保存为最终模型，实现对多种类农作物叶病的识别。
2.根据权利要求1所述的基于动态神经网络的多种类农作物叶病识别方法，其特征在于：所述步骤A具体包括以下步骤：
步骤A1、构建用于叶病图像自动分割的卷积神经网络模型，初始化卷积神经网络模型的网络参数；
步骤A2、从每类叶病的图像中随机选取部分图像，将图像的叶片有效特征部分进行像素点标记并转化为0-1掩膜的有标记样本；将经过像素点标记的有标记样本记作：
其中，xb代表随机选取出的部分图像，B代表被选取图像的数量，
代表xb对应的0-1掩膜，掩膜中标记为1的像素点代表叶片部分，标记为0的像素点代表背景部分；
步骤A3、使用选取的原始图像和标记的样本训练卷积神经网络模型，采用Dice系数对有标记样本计算损失，更新网络参数。
3.根据权利要求1所述的基于动态神经网络的多种类农作物叶病识别方法，其特征在于：所述步骤B中，将数据集中所有农作物病害图像输入到训练好的分割网络中进行自动的分割和有效信息提取，所述有效信息是指祛除背景后的叶病图像，具体包括：
步骤B1：将所有分割后的图像
随机重排得到重排序列，采用索引指代混合后的所有样本，将混合序列的所有索引记为：
步骤B2：将S作为模型的输入，使数据集的所有图像更换为分割后的图像，分割后的图像表示为：
其中Sb代表模型输入的图像，
代表模型输出的0-1掩膜。
4.根据权利要求1所述的基于动态神经网络的多种类农作物叶病识别方法，其特征在于：所述步骤C1中，增强方式为随机裁剪后进行图像翻转，每个图像产生若干个增强的图像，对这些增强的图像进行标准化，具体包括：
(1)将经过多次数据增强后的样本记作：
其中，K是数据增强种类的数量，k代表当前样本的增强种类，
是步骤3中分割后的图像，
代表分割后的图像经过第k中数据增强后的图像数据；
(2)将每个增强的样本
标准化：
其中，channel代表输入图像的通道总数，
为输入图像的第n个通道上的二维特征矩阵，mean和std为固定值，V[n]代表标准化后的图像的第n个通道上的二维特征矩阵。
5.根据权利要求1所述的基于动态神经网络的多种类农作物叶病识别方法，其特征在于：所述步骤C2中：
(1)注意力机制层提取关健特征所占比例表示为：
其中，V[n]ij表示为图像V第n个通道上位置为(i，j)的像素点，MAX函数表示为对作用域取最大值，Conv2d表示为卷积核大小为1、步长为1、padding为0的卷积运算，DimReduce表示将自变量直接映射到一维空间的函数，Aj表示为A的第j个位置的数值，L为超参数；
(2)动态卷积核的权重和偏置表示为：
其中，W，b为卷积核的权重和偏置，
为动态卷积核的权重和偏置。
6.根据权利要求1所述的基于动态神经网络的多种类农作物叶病识别方法，其特征在于：所述步骤C3中，构建浅层分类器包括以下步骤：
Out＝DimReduce(BN(Connv1(BN(Conv3(BN(Conv21(Vi)))))))
其中，Vi为训练时生成的一个批次中的第i个特征图，m为固定值且其等于训练时的Batch Size，γ和β为增加缩放和平移变量，Conv1表示为卷积核大小为1、步长为1、padding为0的卷积运算，Conv3表示为卷积核大小为3、步长为1、padding为0的卷积运算，eps是超参数。
7.根据权利要求1所述的基于动态神经网络的多种类农作物叶病识别方法，其特征在于：所述步骤C4中：
(1)早退机制表示为：
其中，Threshold为超参数，Switch为1时该浅层分类器的分类结果是否为最终结果，Switch为0时，动态神经网络将采用一个更深层次的动态卷积模块进行特征提取；
(2)计算交叉熵损失表示为：
其中，q(x)为模型对样本x置信度的概率分布，p(x)为样本的真实概率分布，n为分类结果的维度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111120666.7A CN114022872B (zh) | 2021-09-24 | 2021-09-24 | 基于动态神经网络的多种类农作物叶病识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111120666.7A CN114022872B (zh) | 2021-09-24 | 2021-09-24 | 基于动态神经网络的多种类农作物叶病识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114022872A true CN114022872A (zh) | 2022-02-08 |
| CN114022872B CN114022872B (zh) | 2024-05-10 |
Family
ID=80055091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111120666.7A Active CN114022872B (zh) | 2021-09-24 | 2021-09-24 | 基于动态神经网络的多种类农作物叶病识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114022872B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114549962A (zh) * | 2022-03-07 | 2022-05-27 | 重庆锐云科技有限公司 | 一种园林植物叶病分类方法 |
| CN114882301A (zh) * | 2022-07-11 | 2022-08-09 | 四川大学 | 基于感兴趣区域的自监督学习医学图像识别方法及装置 |
| CN116310391A (zh) * | 2023-05-18 | 2023-06-23 | 安徽大学 | 一种用于茶叶病害的识别方法 |
| CN117882546A (zh) * | 2024-03-13 | 2024-04-16 | 山西诚鼎伟业科技有限责任公司 | 一种面向农业作业机器人的智能化种植方法 |
| CN117882546B (zh) * | 2024-03-13 | 2024-05-24 | 山西诚鼎伟业科技有限责任公司 | 一种面向农业作业机器人的智能化种植方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107168527A (zh) * | 2017-04-25 | 2017-09-15 | 华南理工大学 | 基于区域卷积神经网络的第一视角手势识别与交互方法 |
| CN107480774A (zh) * | 2017-08-11 | 2017-12-15 | 山东师范大学 | 基于集成学习的动态神经网络模型训练方法和装置 |
| CN110287941A (zh) * | 2019-07-03 | 2019-09-27 | 哈尔滨工业大学 | 一种基于概念学习的透彻感知与动态理解方法 |
| CN112183635A (zh) * | 2020-09-29 | 2021-01-05 | 南京农业大学 | 一种多尺度反卷积网络实现植物叶部病斑分割与识别方法 |
| WO2021023202A1 (zh) * | 2019-08-07 | 2021-02-11 | 交叉信息核心技术研究院(西安)有限公司 | 一种卷积神经网络的自蒸馏训练方法、设备和可伸缩动态预测方法 |
-
2021
- 2021-09-24 CN CN202111120666.7A patent/CN114022872B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107168527A (zh) * | 2017-04-25 | 2017-09-15 | 华南理工大学 | 基于区域卷积神经网络的第一视角手势识别与交互方法 |
| CN107480774A (zh) * | 2017-08-11 | 2017-12-15 | 山东师范大学 | 基于集成学习的动态神经网络模型训练方法和装置 |
| CN110287941A (zh) * | 2019-07-03 | 2019-09-27 | 哈尔滨工业大学 | 一种基于概念学习的透彻感知与动态理解方法 |
| WO2021023202A1 (zh) * | 2019-08-07 | 2021-02-11 | 交叉信息核心技术研究院(西安)有限公司 | 一种卷积神经网络的自蒸馏训练方法、设备和可伸缩动态预测方法 |
| CN112183635A (zh) * | 2020-09-29 | 2021-01-05 | 南京农业大学 | 一种多尺度反卷积网络实现植物叶部病斑分割与识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| 张彤彤;董军宇;赵浩然;李琼;孙鑫;: "基于知识蒸馏的轻量型浮游植物检测网络", 应用科学学报, no. 03, 30 May 2020 (2020-05-30) * |
| 张飞云: "基于量子神经网络和组合特征参数的玉米叶部病害识别", 南方农业学报, vol. 44, no. 8, 30 September 2013 (2013-09-30) * |
| 李丽华;胡小龙;: "基于深度学习的文本情感分析", 湖北大学学报(自然科学版), no. 02, 5 March 2020 (2020-03-05) * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114549962A (zh) * | 2022-03-07 | 2022-05-27 | 重庆锐云科技有限公司 | 一种园林植物叶病分类方法 |
| CN114882301A (zh) * | 2022-07-11 | 2022-08-09 | 四川大学 | 基于感兴趣区域的自监督学习医学图像识别方法及装置 |
| CN114882301B (zh) * | 2022-07-11 | 2022-09-13 | 四川大学 | 基于感兴趣区域的自监督学习医学图像识别方法及装置 |
| CN116310391A (zh) * | 2023-05-18 | 2023-06-23 | 安徽大学 | 一种用于茶叶病害的识别方法 |
| CN116310391B (zh) * | 2023-05-18 | 2023-08-15 | 安徽大学 | 一种用于茶叶病害的识别方法 |
| CN117882546A (zh) * | 2024-03-13 | 2024-04-16 | 山西诚鼎伟业科技有限责任公司 | 一种面向农业作业机器人的智能化种植方法 |
| CN117882546B (zh) * | 2024-03-13 | 2024-05-24 | 山西诚鼎伟业科技有限责任公司 | 一种面向农业作业机器人的智能化种植方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114022872B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114022872A (zh) | 基于动态神经网络的多种类农作物叶病识别方法 | |
| CN106778902B (zh) | 基于深度卷积神经网络的奶牛个体识别方法 | |
| CN108388896A (zh) | 一种基于动态时序卷积神经网络的车牌识别方法 | |
| CN113011357B (zh) | 基于时空融合的深度伪造人脸视频定位方法 | |
| CN109410184B (zh) | 基于稠密对抗网络半监督学习的直播色情图像检测方法 | |
| CN111476713A (zh) | 基于多深度卷积神经网络融合的天气图像智能识别方法及系统 | |
| CN113139977B (zh) | 一种基于YOLO和U-Net的口腔曲断影像智齿分割方法 | |
| CN113919443B (zh) | 一种基于图像分析烟叶成熟度状态概率计算方法 | |
| CN111369498A (zh) | 一种基于改进生成对抗网络的种苗生长势评估的数据增强方法 | |
| CN107256398A (zh) | 基于特征融合的奶牛个体识别方法 | |
| CN112017192A (zh) | 基于改进U-Net网络的腺体细胞图像分割方法及系统 | |
| CN110689039A (zh) | 一种基于四通道卷积神经网络的树干纹理识别方法 | |
| CN114693616A (zh) | 一种基于改进目标检测模型与卷积神经网络的水稻病害检测方法、设备和介质 | |
| CN113283538B (zh) | 一种基于卷积神经网络的昆虫分类及计数方法 | |
| CN113643297B (zh) | 一种基于神经网络的计算机辅助牙龄分析方法 | |
| CN114882278A (zh) | 一种基于注意力机制和迁移学习的轮胎花纹分类方法和装置 | |
| CN114092699A (zh) | 基于迁移学习的群猪图像分割的方法及系统 | |
| Bairwa et al. | Classification of Fruits Based on Shape, Color and Texture using Image Processing Techniques | |
| CN112270220B (zh) | 一种基于深度学习的缝纫手势识别方法 | |
| CN115311491A (zh) | 一种基于课程学习及空间注意力的骨折假阳性筛除方法 | |
| CN111709427B (zh) | 一种基于稀疏卷积核的果实分割方法 | |
| CN114565626A (zh) | 基于PSPNet改进的肺部CT图像分割算法 | |
| CN110378953A (zh) | 一种智能识别猪群圈内空间分布行为的方法 | |
| Godse et al. | Detecting jute plant disease using image processing and machine learning | |
| CN113808055B (zh) | 基于混合膨胀卷积的植物识别方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |