CN112036335B - 一种反卷积引导的半监督植物叶部病害识别与分割方法 - Google Patents
一种反卷积引导的半监督植物叶部病害识别与分割方法 Download PDFInfo
- Publication number
- CN112036335B CN112036335B CN202010915753.0A CN202010915753A CN112036335B CN 112036335 B CN112036335 B CN 112036335B CN 202010915753 A CN202010915753 A CN 202010915753A CN 112036335 B CN112036335 B CN 112036335B
- Authority
- CN
- China
- Prior art keywords
- sample
- samples
- model
- marked
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 112
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000011218 segmentation Effects 0.000 title claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 59
- 238000002156 mixing Methods 0.000 claims abstract description 19
- 230000003902 lesion Effects 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 238000009826 distribution Methods 0.000 claims description 33
- 238000013527 convolutional neural network Methods 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 230000001965 increasing effect Effects 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 230000008707 rearrangement Effects 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 4
- 230000010354 integration Effects 0.000 abstract description 2
- 241000196324 Embryophyta Species 0.000 description 36
- 230000006870 function Effects 0.000 description 13
- 238000000605 extraction Methods 0.000 description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种反卷积引导的半监督植物叶部病害识别与分割方法，使用少量病害类别标注和病斑的像素级标注，通过反卷积实现病害种类的识别和病斑区域的分割。本方法通过一致性正则化、熵最小化方法生成无标记样本的类别预测标签；将有标记样本和无标记样本进行图像混合，利用新生成的图像进行半监督病害分类；对类别信息进行上采样，利用少量像素级标记进行半监督病斑分割。在模型训练的过程中，使用指数加权平均更新模型参数，使模型在测试数据上更加鲁棒。本发明适用于标签样本数量不足的植物叶部病害识别与分割的情况，实现了识别与分割的一体化，模型在光线不足、有异物遮挡叶片图像中具有较强的泛化能力，识别和分割速度能够满足实时性要求。
Description
技术领域
本发明属于植物病害检测领域，尤其是一种反卷积引导的半监督植物叶部病害识别与分割方法。
背景技术
病害是影响农作物生长的主要原因之一，及时分析作物病斑特征，有助于迅速给出相应的病害防治指导建议，以消除病害警情。目前，对于植物病害分类，主要存在两类方法。一种是使用人工设计的植物病害特征提取方式，对提取到的特征使用机器学习方法分类，这种方法一般需要先分割出病斑或病叶，增加了前期工作量，且每次都要针对不同的病害组合设计特征提取方法，缺乏鲁棒性，也难以区分相似病害。第二种方法是使用深度卷积神经网络自动提取病害特征进行分类，但是这些端到端的分类器需要大量有标记数据，且卷积神经网络的特征学习过程不透明，容易过拟合，若卷积学习到无用特征则会对病害识别产生干扰。对于植物病害分割，目前主要使用语义分割网络，将图像分为背景和病斑区域，语义分割网络虽可同时分割不同类别的病害，但有两点不足：第一，语义分割网络需要大量的像素级标注；第二，多种病害的病斑相似，在做病斑分割时，只能分成背景和病斑2类，难以对确定病斑所属的病害种类。
针对于上述情况，半监督方法和卷积神经网络的可解释性受到了越来越多的重视。对于植物叶部病害图像而言，病害类别标记需要请病害专家标注，病斑位置的像素级标记需要通过肉眼使用手工标注，这些标记的获取是一项极为耗时耗力的工作。而半监督可以有效缓解这一问题，它利用大量无标记和少量有标记样本进行训练，节省了人工标注的大量开销。对于卷积神经网络而言，传统模型的特征提取过程无法进行人工干预，产生过拟合现象时，模型会对无关特征过度关注。而模型的可解释性可解决这个问题，目前常使用反卷积、导向反向传播和梯度加权类激活映射等方法对卷积神经网络的学习能力进行可视化，来度量当前模型的可解释性。
发明内容
本发明所解决的技术问题在于提供一种反卷积引导的半监督植物叶部病害识别与分割方法，使用少量病害类别标注和病斑的像素级标注，通过反卷积实现病害种类的识别和病斑区域的分割，引导病害识别网络的特征提取部分具有可解释性，提高了病害识别的泛化能力，适用于基于机器视觉的植物叶部病害预警系统。
实现本发明目的的技术解决方案为：
一种反卷积引导的半监督植物叶部病害识别与分割方法，包括以下步骤：
步骤1：构建卷积神经网络模型，初始化卷积神经网络模型的网络参数，并构建与卷积神经网络模型同样参数的指数加权平均(Exponentially weighted moving average，EMA)模型，通过对新模型参数与待更新的模型参数进行加权求和，可得到更加平滑、抖动性更小的新变量，使模型在测试数据上更加鲁棒；
步骤2：植物叶部图像中带有图像级标签或像素级标签的图像为有标记样本，既无图像级标签也无像素级标签的图像为无标记样本，将分为有标记样本和无标记样本用于卷积神经网络模型训练，对有标记样本进行一次图像增强，对无标记样本进行多次图像增强，增强方式为随机裁剪后进行图像翻转，每个无标记样本产生若干个增强的样本；
对若干个增强的样本进行一致性正则化，即计算增强的样本的平均概率分布，再通过熵最小化得到无标记样本类别预测的伪标签，用于训练植物叶部病害识别网络；
步骤3：训练植物叶部病害识别网络时，对于每个训练批次，将增强后的有标记样本和进行K次增强的无标记样本使用同样的比例进行图像混合以及标签混合，有标签和无标签的比例与无标签增强次数有关，混合的图像和标签是对原始图像增加了一定的扰动，利用扰动后的数据进行训练可增加模型的泛化能力；将得到的混合图像输入卷积神经网络，利用混合图像进行半监督病害分类，得到病害类别信息并输出；
采用交叉熵和L2正则化分别对有标记样本和无标记样本计算损失，并使用指数加权平均法EMA更新网络参数并输入卷积神经网络；
步骤4：对植物叶部病害识别网络输出的预测病害类别信息进行上采样；
步骤5：对于每个病害类别，从每类病害的有标记样本中选择若干张图像进行像素级标记，使用所选的像素级标记样本进行半监督病斑分割，得到病斑分割图；
计算每个像素的二分类交叉熵损失，使用权值衰减法更新网络参数；
步骤6：将EMA模型作为每个训练批次的最终模型，每个训练批次训练结束后，使用测试集评估其识别准确率和分割精度。
进一步的，本发明的反卷积引导的半监督植物叶部病害识别与分割方法，步骤2具体包括：
步骤2-1：将经过一次数据增强的有标记样本记为：
其中，xb为有标记样本的图像数据，B表示批大小，b代表此批次的第b个样本，代表有标记样本经过数据增强后的图像数据；
将无标记样本经过K种数据增强，得到若干个增强的样本分别记为：
将无标记样本经过K种数据增强，得到增强的样本，分别记为：
其中，K是数据增强种类的总量，k代表当前样本的增强种类，ub是无标记样本的图像数据，代表无标记样本经过第k种数据增强后的图像数据；
步骤2-2：将每个增强的样本输入到分类器，采用softmax函数获取类别的概率分布，并计算类别的平均概率分布/>
其中，pmodel(y|x；θ)代表一个模型，其为输入x和当前网络参数θ生成一个概率分布，y为当前样本的真实标签；
步骤2-3：对类别的平均概率分布采用锐化函数处理，得到无标记样本的类别预测伪标签qb：
其中，T是温度参数，Sharpen(·)为锐化函数。
进一步的，本发明的反卷积引导的半监督植物叶部病害识别与分割方法，步骤2-3中的锐化函数为：
其中，Nc为图像级标签的总类别数，T是温度参数，用于对分类熵进行调节；p是类别的概率分布；i代表当前样本，pj代表当前样本在第j个类别的概率分布。
进一步的，本发明的反卷积引导的半监督植物叶部病害识别与分割方法，步骤3具体包括：
步骤3-1：将有标记样本和无标记样本按顺序混合得到混合序列，并对混合序列随机重排得到重排序列，采用索引指代混合后的有标记样本和无标记样本，将混合序列的索引记为：
其中，和/>是经过数据增强后的样本图像数据，pb和qb分别是有标记样本和无标记样本的独热(one-hot)编码；有标记样本的索引记为/> 为有标记样本的总数；无标记样本的索引记为/> 为无标记样本的总数；Concat(·)为向量拼接操作，Shuffle(·)代表随机重排操作；
步骤3-2：将混合序列中的样本及标签(x1,p1)与重排序列中的样本及标签(x2,p2)按权重相加，得到x′和p′，且满足：
λ～Beta(α,α)
λ′～max(λ,1-λ)
x′＝λ′x1+(1-λ′)x2
p′＝λ′p1+(1-λ′)p2
其中，λ为通过超参数为α的Beta函数抽样得到的权重因子，Beta(α,α)抽样得到的λ值集中在0或1附近，取接近1的值作为λ′对序列进行混合，可使混合图像x′和混合标签p′更接近未打乱的混合序列。
将混合操作的所有步骤统称为MixUp操作，混合后的有标记样本X′和混合后的无标记样本U′可表示为：
其中，MixUp(·)代表上述的重排操作和混合操作，X′是经过混合的有标记样本，代表索引Si中的第i个有标记样本；U′是经过混合的无标记样本，/>代表索引/>的第i个无标记样本；
步骤3-3：将X′和U′作为模型的输入，并对有标记样本计算交叉熵损失LX：
其中，H(·,·)代表两个分布之间的交叉熵，x′是经过混合后的有标记样本，p′是x′对应的混合标签；pmodel(y|x′；θ)是混合后的有标记样本经过识别模型得到的概率分布预测；
对无标记样本计算L2正则化损失LU：
其中，Nc为图像级标签的总类别数，|| ||代表L2正则化，u′是经过混合后的有标记样本，q′是u′对应的混合标签；pmodel(y|u′；θ)是混合后的无标记样本经过识别模型得到的概率分布预测，|U′|为混合后的无标记样本总数；
步骤3-4：根据交叉熵损失LX和L2正则化损失LU得到半监督分类损失函数为：
Lcls＝LX+λULU
其中，λU将从0开始随着设定的迭代次数iter线性增加至设定的最大值λmax；步骤3-5：每个训练批次的数据训练结束后，使用自适应矩估计(Adam)优化器更新训练模型的参数ω，在半监督分类训练中不使用Pytorch中Adam的默认权值衰减方法，而是使用ω＝(1-wd)*ω更新训练网络的参数，wd为权重衰减；
训练模型参数更新完成后，开始更新EMA模型参数ωEMA，更新公式为：
ωEMA＝αEMA*ωEMA+(1-αEMA)*ω
其中，αEMA是EMA的衰减率。
进一步的，本发明的反卷积引导的半监督植物叶部病害识别与分割方法，步骤4具体包括：
步骤4-1：使用反向全连接对类别向量映射为高维向量，并重塑为特征图形式F＝(H,W,C)。其中，Nc为图像级标签的总类别数，/>为当前样本经过识别模型预测后输出的第i类别的概率分布，H和W是特征图的高度和宽度，C为特征图通道数；
步骤4-2：将反向全连接前后特征向量和特征图对应相加，即识别模型输出的256个神经元与反向全连接后的256个神经元、识别模型输出的512通道×7像素×7像素的特征图与反向全连接后512通道×7像素×7像素的特征图，通过向量加法进行特征融合；
步骤4-3：采用最近邻插值法与卷积相结合进行反卷积，每次上采样将特征图尺寸扩大两倍，并通过向量拼接进行识别阶段与分割阶段的特征融合，此特征融合与步骤4-2不同，即通过将两个同样尺寸的特征图进行拼接后，再进行卷积操作压缩至原特征通道数实现的。
进一步的，本发明的反卷积引导的半监督植物叶部病害识别与分割方法，步骤5具体包括：
其中，Lseg为分割阶段的损失函数，N为有病斑标记的训练样本总数，P为输出分割图的像素点个数，为第i个训练样本第j个像素的真实类别，/>为第i个训练样本的分割图中第j个像素的值。
进一步的，本发明的反卷积引导的半监督植物叶部病害识别与分割方法，α＝0.75，λmax＝75，wd＝0.00005，αEMA＝0.999。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1、本发明的反卷积引导的半监督植物叶部病害识别与分割方法利用预测的类别信息和少量病斑标注信息，实现了病害识别和病斑分割网络的一体化，识别和分割速度达到每张13ms，能够满足实时性要求。
2、本发明的反卷积引导的半监督植物叶部病害识别与分割方法适用于类别标签数量较少、病斑像素级标注较少的植物叶部病害图像的识别和分割中，借助极少的标签信息就能进行分类和分割，且相较于其他方法能够显著提高模型的泛化能力，实验结果表明，在不同的有干扰测试集上，本方法均能取得较好的试验效果。
3、本发明的反卷积引导的半监督植物叶部病害识别与分割方法能够缓解特征提取不透明的问题，本方法得到的图像分割区域相较于其他方法更加平滑和清晰，实验结果表明，本方法的分割精度相较于其他方法显著提高。
附图说明
图1是本发明的反卷积引导的半监督植物叶部病害识别与分割方法的流程图。
图2是本发明的反卷积引导的半监督植物叶部病害识别与分割方法的网络结构示意图。
图3是本发明的反卷积引导的半监督植物叶部病害识别与分割方法的无标记样本伪标签预测过程示意图。
图4是本发明的反卷积引导的半监督植物叶部病害识别与分割方法的有标记样本和无标记样本的图像混合过程示意图。
图5是本发明实施例1的病斑分割示意图，其中(a)是原始图像，(b)是真实的病斑标注图像，(c)、(d)分别是U-Net、SegNet模型的分割示意图，(e)、(f)是本发明方法得到的分割示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参分为四个阶段，即预测无标记样本的类别标签，半监督图像分类，对类别预测向量上采样，半监督病斑分割。考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
一种反卷积引导的半监督植物叶部病害识别与分割方法，分为四个阶段：预测无标记样本的类别标签、半监督病害分类、对类别预测向量上采样、半监督病斑分割，如图1所示，具体包括以下步骤：
步骤1：构建卷积神经网络模型，如图2所示，初始化卷积神经网络模型的网络参数，并构建与卷积神经网络模型同样参数的指数加权平均(EMA)模型，通过对新模型参数与待更新的模型参数进行加权求和，可得到更加平滑、抖动性更小的新变量，使模型在测试数据上更加鲁棒。
步骤2：植物叶部图像中带有图像级标签和像素级标签的图像作为有标记样本，既无图像级标签也无像素级标签的图像为无标记样本。将有标记样本和无标记样本用于卷积神经网络模型训练，对每个有标记样本进行一次图像增强，对无标记样本进行多次图像增强，增强方式为随机裁剪后进行图像翻转，每个无标记样本会产生若干个增强的样本。对若干增强的样本进行一致性正则化，即计算被增强的样本的平均概率分布，通过熵最小化得到无标记样本类别预测的伪标签，用于训练植物叶部病害识别网络。具体包括：
步骤2-1：将经过一次数据增强的有标记样本记为：
其中，x为有标记样本的图像数据，B表示批大小，b代表此批次的第b个样本，代表有标记样本经过数据增强后的图像数据。
将无标记样本经过K种数据增强，得到若干个增强的样本分别记为：
其中，K是数据增强种类的总量，k代表当前样本的增强种类；ub是无标记样本的图像数据，代表无标记样本经过第k种数据增强后的图像数据。
步骤2-2：将每个增强的样本输入到分类器，采用softmax函数获取类别的概率分布，并计算类别的平均概率分布/>
其中，pmodel(y|x；θ)代表一个模型，其为输入x和当前网络参数θ生成一个概率分布，y为当前样本的真实标签。
步骤2-3：对类别的平均概率分布采用锐化函数处理，得到无标记样本的类别预测伪标签qb：
其中，T是温度参数，Sharpen(·)为锐化函数。
其中，锐化函数为：
其中，Nc为图像级标签的总类别数，T是温度参数，用于对分类熵进行调节；p是类别的概率分布；i代表当前样本，pj代表当前样本在第j个类别的概率分布。
步骤3：训练植物叶部病害识别网络时，对于每个训练批次，将增强后的有标记样本和进行K次增强的无标记样本进行图像混合以及标签混合，混合的图像和标签相对原始图像增加了一定的扰动，利用扰动后的数据进行训练可增加模型的泛化能力。将得到的混合图像输入卷积神经网络，利用混合图像进行半监督病害分类，得到病害类别信息并输出；
采用交叉熵和L2正则化分别对有标记样本和无标记样本计算损失，并使用指数加权平均法EMA更新网络参数并输入卷积神经网络。具体包括：
步骤3-1：将有标记样本和无标记样本按顺序混合得到混合序列，并对混合序列随机重排得到重排序列，为了更好地指代混合后的有标记样本和无标记样本，采用将混合序列的索引记为：
其中，和/>是经过数据增强后的样本图像数据，pb和qb分别是有标记样本和无标记样本的独热(one-hot)编码；有标记样本的索引记为/> 为有标记样本的总数；无标记样本的索引记为/> 为无标记样本的总数；Concat(·)为向量拼接操作，Shuffle(·)代表随机重排操作；
步骤3-2：将混合序列中的样本及标签(x1,p1)与重排序列中的样本及标签(x2,p2)按权重相加，得到x′和p′，且满足：
λ～Beta(α,α)
λ′～max(λ,1-λ)
x′＝λ′x1+(1-λ′)x2
p′＝λ′p1+(1-λ′)p2
其中，λ为通过超参数为α的Beta函数抽样得到的权重因子，α取0.75，Beta(0.75,0.75)抽样得到的λ值集中在0或1附近，取接近1的值作为λ′对序列进行混合，可使混合图像x′和混合标签p′更接近未打乱的混合序列。
将混合操作的所有步骤统称为MixUp操作，混合后的有标记样本X′和混合后的无标记样本U′可表示为：
其中，MixUp(·)代表上述的重排操作和混合操作，X′是经过混合的有标记样本，代表索引Si中的第i个有标记样本；U′是经过混合的无标记样本，/>代表索引/>的第i个无标记样本。
步骤3-3：将X′和U′作为模型的输入，并对有标记样本计算交叉熵损失LX：
其中，H(p,q)代表p和q两个分布之间的交叉熵，x′是经过混合后的有标记样本，p′是x′对应的混合标签；pmodel(y|x′；θ)是混合后的有标记样本经过识别模型得到的概率分布预测。
对无标记样本计算L2正则化损失LU：
其中，Nc为图像级标签的总类别数，|| ||代表L2正则化，u′是经过混合后的有标记样本，q′是u′对应的混合标签；pmodel(y|u′；θ)是混合后的无标记样本经过识别模型得到的概率分布预测，|U′|为混合后的无标记样本总数。
步骤3-4：根据交叉熵损失LX和L2正则化损失LU得到半监督分类损失函数为：
Lcls＝LX+λULU
其中，λU将从0开始随着设定的迭代次数iter线性增加至设定的最大值，最大值λmax设置为75。
步骤3-5：每个训练批次的数据训练结束后，使用自适应矩估计(Adam)优化器更新训练模型的参数ω，在半监督分类训练中不使用Pytorch中Adam的默认权值衰减方法，而是使用ω＝(1-wd)*ω更新训练网络的参数，权重衰减wd为0.00005。
训练模型参数更新完成后，开始更新EMA模型参数ωEMA，更新公式为：
ωEMA＝αEMA*ωEMA+(1-αEMA)*ω
其中，αEMA是EMA的衰减率，αEMA设置为0.999。
步骤4：对植物叶部病害识别网络输出的预测病害类别信息进行上采样；
步骤4-1：使用反向全连接对类别向量映射为高维向量，并重塑为特征图形式F＝(H,W,C)。其中，Nc为图像级标签的总类别数，/>为当前样本经过识别模型预测后输出的第i类别的概率分布。H和W是特征图的高度和宽度，C为特征图通道数；
步骤4-2：将反向全连接前后特征向量和特征图对应相加，即识别模型输出的256个神经元与反向全连接后的256个神经元、识别模型输出的512通道×7像素×7像素的特征图与反向全连接后512通道×7像素×7像素的特征图，通过向量加法进行特征融合；
步骤4-3：采用最近邻插值法与卷积相结合进行反卷积，每次上采样将特征图尺寸扩大两倍，并通过向量拼接进行识别阶段与分割阶段的特征融合，本步骤中的特征融合与步骤4-2中的特征融合不同，是通过将两个同样尺寸的特征图进行拼接后，再进行卷积操作压缩至原特征通道数实现的。
步骤5：对于每个病害类别，从每类病害的有标记样本中选择5张进行像素级标记，共标记9类病害的45张样本，使用这45张像素级标记样本进行半监督病斑分割，得到病斑分割图；
计算每个像素的二分类交叉熵损失，使用权值衰减法更新网络参数。具体包括：
其中，Lseg为分割阶段的损失函数，N为有病斑标记的训练样本总数，P为输出分割图的像素点个数，为第i个训练样本第j个像素的真实类别，/>为第i个训练样本的分割图中第j个像素的值。
步骤6：将EMA模型作为每个训练批次的最终模型，每个训练批次训练结束后，使用测试集评估其识别准确率和分割精度。
实施例1
本实施例采用PlantVillage植物叶部病害公共数据集对本发明的方法进行测试，结果如下：
使用数据集中10种番茄叶部病害图像18160张，其中训练数据集有标记样本200张、无标记样本12516张，共12716张，测试数据集5444张，将图像统一输入尺寸为224像素×224像素。健康叶片不需要病斑标注，所以从9类病害的有标记样本中每类选5张共45张样本训练分割模型，测试集中每类选25张共225张样本评估分割精度。
对测试数据集分别进行降低亮度和添加果实遮挡的操作，模拟实际拍摄场景可能会出现的干扰。
为评估本模型的分类性能需要训练3种模型：
(1)使用200幅有类别标记的病害图像分别训练全监督分类的VGGNet，简称S-VGGNet(Supervised VGGNet)；
(2)使用200幅有类别标记和12516幅无类别标记训练半监督分类的VGGNet，简称SemiS-VGGNet(Semi-Supervised VGGNet)；
(3)有类别标记和无类别标记的数量不变，增加45幅病斑的像素级标记训练有反卷积引导的半监督VGGNet，简称DGSemiS-VGGNet(Deconvolution-Guided Semi-Supervised VGGNet)，此方法为本发明方法。
在各模型中VGGNet的卷积层后加入批归一化(Batch Normalization，BN)层后再训练3种模型，共训练6种模型。在原图测试集和有干扰的测试集上进行测试，得到分类准确率如下：
下面对病害识别结果进行说明：
无BN层时，2个半监督模型SemiS-VGGNet和DGSemiS-VGGNet在有遮挡的数据集上识别准确率骤降至60％以下，而S-VGGNet模型的识别准确率为72.26％；2个半监督模型在加入BN层后识别准确率为90％以上，说明MixMatch半监督学习方法在有BN层的模型中泛化能力更强。降低30％亮度时，2个半监督模型加入BN层前后的识别准确率变化不大；而其他的测试结果中，三种模型在加入BN层后的识别准确率均有提高，尤其是加入BN层后的SemiS-VGGNet模型，在降低50％亮度的测试集上的识别结果明显提升，说明BN层可以提高模型的泛化能力。在无BN层和降低50％光照时，DGSemiS-VGGNet的识别结果明显优于SemiS-VGGNet；而在有遮挡的情况下，有反卷积的模型识别率较高，说明在光照不足和有遮挡干扰时反卷积能够使模型更关注病斑部位，并且光照不足时，加入BN后能够加强SemiS-VGGNet在光照不足时的识别能力。
使用语义分割网络常用4种评价指标评估病斑分割效果，分别为：像素准确率(Pixel accuracy，PA)、平均像素准确率(Mean pixel accuracy，MPA)、平均交并比(Meanintersection over union，MIoU)和频权交并比(Frequency weighted intersectionover union，FWIoU)。用45幅病斑标注训练U-Net和SegNet模型，在测试集上评估U-Net、SegNet、DGSemiS-VGGNet和DGSemiS-VGGNet+BN四种模型的分割结果如下：
如图5所示是分割得到的病斑图像，其中(a)是原始图像，(b)是真实的病斑标注图像，(c)、(d)分别是U-Net、SegNet模型的分割示意图，(e)、(f)是本发明方法得到的分割示意图。可以看出使用本发明方法所得到的病斑分割图，在边缘清晰性上优于其他方法。
DGSemiS-VGGNet的分割精度明显高于U-Net和SegNet，说明添加全连接层并使用无标记样本的数据训练识别模型，可以使特征提取部分得到更精确的病斑区域，进而使分割模型得到更好的分割结果。加入BN层的DGSemiS-VGGNet分割精度更高，说明优秀的识别模型会提高分割精度。U-Net和SegNet会得到一些不属于病斑的小像素点，而DGSemiS-VGGNet得到的无效斑点较少，分割结果更加精确。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进应视为本发明的保护范围。
Claims (6)
1.一种反卷积引导的半监督植物叶部病害识别与分割方法，其特征在于，包括以下步骤：
步骤1：构建卷积神经网络模型，初始化卷积神经网络模型的网络参数，并构建与卷积神经网络模型同样参数的指数加权平均EMA模型；
步骤2：植物叶部图像中带有图像级标签或像素级标签的图像为有标记样本，既无图像级标签也无像素级标签的图像为无标记样本，将有标记样本和无标记样本用于卷积神经网络模型训练，对有标记样本进行一次图像增强，对无标记样本进行多次图像增强，增强方式为随机裁剪后进行图像翻转，每个无标记样本产生若干个增强的样本；
对若干个增强的样本进行一致性正则化，即计算增强的样本的平均概率分布，再通过熵最小化得到无标记样本类别预测的伪标签，用于训练植物叶部病害识别网络；
步骤3：训练植物叶部病害识别网络时，对于每个训练批次，将增强后的有标记样本和进行K次增强的无标记样本进行图像混合以及标签混合，将得到的混合图像输入卷积神经网络，利用混合图像进行半监督病害分类，得到病害类别信息并输出；
采用交叉熵和L2正则化分别对有标记样本和无标记样本计算损失，并使用指数加权平均法更新网络参数并输入卷积神经网络；具体包括：
步骤3-1：将有标记样本和无标记样本按顺序混合得到混合序列，并对混合序列随机重排得到重排序列，采用索引指代混合后的有标记样本和无标记样本，将混合序列的索引记为：
其中，和/>是经过数据增强后的样本图像数据，pb和qb分别是有标记样本和无标记样本的独热编码；有标记样本的索引记为/> 为有标记样本的总数；无标记样本的索引记为/> 为无标记样本的总数；Concat(·)为向量拼接操作，Shuffle(·)代表随机重排操作；
步骤3-2：将混合序列中的样本及标签(x1,p1)与重排序列中的样本及标签(x2,p2)按权重相加，得到x′和p′，且满足：
λ～Beta(α,α)
λ′～max(λ,1-λ)
x′＝λ′x1+(1-λ′)x2
p′＝λ′p1+(1-λ′)p2
其中，λ为通过超参数为α的Beta函数抽样得到的权重因子，Beta(α,α)抽样得到的λ值集中在0或1附近，取接近1的值作为λ′对序列进行混合，使混合图像x′和混合标签p′更接近未打乱的混合序列；
将混合操作的所有步骤统称为MixUp操作，混合后的有标记样本X′和混合后的无标记样本U′可表示为：
其中，MixUp(·)代表上述的重排操作和混合操作，X′是经过混合的有标记样本，代表索引Si中的第i个有标记样本；U′是经过混合的无标记样本，/>代表索引/>的第i个无标记样本；
步骤3-3：将X′和U′作为模型的输入，并对有标记样本计算交叉熵损失LX：
其中，H(·,·)代表两个分布之间的交叉熵，x′是经过混合后的有标记样本，p′是x′对应的混合标签；pmodel(y|x′；θ)是混合后的有标记样本经过识别模型得到的概率分布预测；
对无标记样本计算L2正则化损失LU：
其中，Nc为图像级标签的总类别数，|| ||代表L2正则化，u′是经过混合后的有标记样本，q′是u′对应的混合标签；pmodel(y|u′；θ)是混合后的无标记样本经过识别模型得到的概率分布预测，|U′|为混合后的无标记样本总数；
步骤3-4：根据交叉熵损失LX和L2正则化损失LU得到半监督分类损失函数为：
Lcls＝LX+λULU
其中，λU将从0开始随着设定的迭代次数iter线性增加至设定的最大值λmax；
步骤3-5：每个训练批次的数据训练结束后，使用自适应矩估计优化器更新训练模型的参数ω，在半监督分类训练中使用ω＝(1-wd)*ω更新训练网络的参数，wd为权重衰减；
训练模型参数更新完成后，开始更新EMA模型参数ωEMA，更新公式为：
ωEMA＝αEMA*ωEMA+(1-αEMA)*ω
其中，αEMA是EMA的衰减率；
步骤4：对植物叶部病害识别网络输出的预测病害类别信息进行上采样；
步骤5：对于每个病害类别，从每类病害的有标记样本中选择若干张图像进行像素级标记，使用所选的像素级标记样本进行半监督病斑分割，得到病斑分割图；
计算每个像素的二分类交叉熵损失，使用权值衰减法更新网络参数；
步骤6：将EMA模型作为每个训练批次的最终模型，每个训练批次训练结束后，使用测试集评估其识别准确率和分割精度。
2.根据权利要求1所述的反卷积引导的半监督植物叶部病害识别与分割方法，其特征在于，步骤2具体包括：
步骤2-1：将经过一次数据增强的有标记样本记为：
其中，xb为有标记样本的图像数据，B表示批大小，b代表此批次的第b个样本，代表有标记样本经过数据增强后的图像数据；
将无标记样本经过K种数据增强，得到若干个增强的样本分别记为：
其中，K是数据增强种类的总量，k代表当前样本的增强种类，ub是无标记样本的图像数据，代表无标记样本经过第k种数据增强后的图像数据；
步骤2-2：将每个增强的样本输入到分类器，采用softmax函数获取类别的概率分布，并计算类别的平均概率分布/>
其中，pmodel(y|x；θ)代表一个模型，其为输入x和当前网络参数θ生成一个概率分布，y为当前样本的真实标签；
步骤2-3：对类别的平均概率分布采用锐化函数处理，得到无标记样本的类别预测伪标签qb：
其中，T是温度参数，Sharpen(·)为锐化函数。
3.根据权利要求2所述的反卷积引导的半监督植物叶部病害识别与分割方法，其特征在于，步骤2-3中的锐化函数为：
其中，Nc为图像级标签的总类别数，T是温度参数，用于对分类熵进行调节；p是类别的概率分布；i代表当前样本，pj代表当前样本在第j个类别的概率分布。
4.根据权利要求1所述的反卷积引导的半监督植物叶部病害识别与分割方法，其特征在于，步骤4具体包括：
步骤4-1：使用反向全连接对类别向量映射为高维向量，并重塑为特征图形式F＝(H,W,C)，其中，Nc为图像级标签的总类别数，/>为当前样本经过识别模型预测后输出的第i类别的概率分布，H和W是特征图的高度和宽度，C为特征图通道数；
步骤4-2：将反向全连接前后特征向量和特征图对应相加，即识别模型输出的256个神经元与反向全连接后的256个神经元、识别模型输出的512通道×7像素×7像素的特征图与反向全连接后512通道×7像素×7像素的特征图，通过向量加法进行特征融合；
步骤4-3：采用最近邻插值法与卷积相结合进行反卷积，每次上采样将特征图尺寸扩大两倍，并通过向量拼接进行识别阶段与分割阶段的特征融合，即通过将两个同样尺寸的特征图进行拼接后再卷积压缩至原特征通道数。
5.根据权利要求1所述的反卷积引导的半监督植物叶部病害识别与分割方法，其特征在于，步骤5具体包括：
其中，Lseg为分割阶段的损失函数，N为有病斑标记的训练样本总数，P为输出分割图的像素点个数，为第i个训练样本第j个像素的真实类别，/>为第i个训练样本的分割图中第j个像素的值。
6.根据权利要求1所述的反卷积引导的半监督植物叶部病害识别与分割方法，其特征在于，α＝0.75，λmax＝75，wd＝0.00005，αEMA＝0.999。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010915753.0A CN112036335B (zh) | 2020-09-03 | 2020-09-03 | 一种反卷积引导的半监督植物叶部病害识别与分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010915753.0A CN112036335B (zh) | 2020-09-03 | 2020-09-03 | 一种反卷积引导的半监督植物叶部病害识别与分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112036335A CN112036335A (zh) | 2020-12-04 |
| CN112036335B true CN112036335B (zh) | 2023-12-26 |
Family
ID=73592312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010915753.0A Active CN112036335B (zh) | 2020-09-03 | 2020-09-03 | 一种反卷积引导的半监督植物叶部病害识别与分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112036335B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112613575B (zh) * | 2020-12-30 | 2024-02-09 | 清华大学 | 一种图像分类模型的数据集扩充方法、训练方法及装置 |
| CN112686912B (zh) * | 2021-01-05 | 2022-06-10 | 南开大学 | 基于逐步学习和混合样本的急性脑卒中病变分割方法 |
| CN112801107A (zh) * | 2021-02-01 | 2021-05-14 | 联想(北京)有限公司 | 一种图像分割方法和电子设备 |
| CN113222903A (zh) * | 2021-04-20 | 2021-08-06 | 山东师范大学 | 一种全切片组织病理图像分析方法及系统 |
| CN113378736B (zh) * | 2021-06-18 | 2022-08-05 | 武汉大学 | 基于变换一致性正则化的遥感影像半监督语义分割方法 |
| CN113344896B (zh) * | 2021-06-24 | 2023-01-17 | 鹏城实验室 | 一种胸部ct图像病灶分割模型的训练方法及系统 |
| CN113516130B (zh) * | 2021-07-19 | 2024-01-05 | 闽江学院 | 基于熵最小化的半监督图像语义分割方法 |
| CN113516194B (zh) * | 2021-07-20 | 2023-08-08 | 海南长光卫星信息技术有限公司 | 高光谱遥感影像半监督分类方法、装置、设备及存储介质 |
| CN113780096B (zh) * | 2021-08-17 | 2023-12-01 | 北京数慧时空信息技术有限公司 | 基于半监督深度学习的植被类地物提取方法 |
| CN114049357B (zh) * | 2021-09-08 | 2024-06-14 | 匀熵科技(无锡)有限公司 | 一种基于特征集关联度的乳腺超声分割方法 |
| CN113688959B (zh) * | 2021-10-26 | 2022-02-18 | 寿光得峰生态农业有限公司 | 一种基于人工智能的植物病虫害诊断方法及系统 |
| CN113962995B (zh) * | 2021-12-21 | 2022-04-19 | 北京鹰瞳科技发展股份有限公司 | 一种白内障模型的训练方法及白内障识别方法 |
| CN114758132B (zh) * | 2022-04-29 | 2024-06-07 | 重庆邮电大学 | 一种基于卷积神经网络的果树病虫害识别方法及系统 |
| CN115082797B (zh) * | 2022-07-05 | 2023-08-22 | 安徽农业大学 | 一种大田环境下早期小麦赤霉病监测预警方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086799A (zh) * | 2018-07-04 | 2018-12-25 | 江苏大学 | 一种基于改进卷积神经网络模型AlexNet的作物叶片病害识别方法 |
| CN109359664A (zh) * | 2018-08-23 | 2019-02-19 | 广州市心鉴智控科技有限公司 | 自我学习更新训练样本的高效质检模型构建方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10755428B2 (en) * | 2017-04-17 | 2020-08-25 | The United States Of America, As Represented By The Secretary Of The Navy | Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model |
-
2020
- 2020-09-03 CN CN202010915753.0A patent/CN112036335B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086799A (zh) * | 2018-07-04 | 2018-12-25 | 江苏大学 | 一种基于改进卷积神经网络模型AlexNet的作物叶片病害识别方法 |
| CN109359664A (zh) * | 2018-08-23 | 2019-02-19 | 广州市心鉴智控科技有限公司 | 自我学习更新训练样本的高效质检模型构建方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| Discriminant Feature Extraction using Disease Segmentation for Automatic Leaf Disease Diagnosis;Raihan Kabir等;《ICCA 2020: Proceedings of the International Conference on Computing Advancements》;1-7 * |
| 反卷积引导的番茄叶部病害识别及病斑分割模型;任守纲 等;《农业工程学报》;第第36卷卷(第第12期期);186-195 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112036335A (zh) | 2020-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112036335B (zh) | 一种反卷积引导的半监督植物叶部病害识别与分割方法 | |
| CN111126386B (zh) | 场景文本识别中基于对抗学习的序列领域适应方法 | |
| US20170337415A1 (en) | Learning Pixel Visual Context from Object Characteristics to Generate Rich Semantic Images | |
| CN108230339A (zh) | 一种基于伪标签迭代标注的胃癌病理切片标注补全方法 | |
| CN112036231B (zh) | 一种基于车载视频的车道线和路面指示标志检测与识别方法 | |
| CN106340016A (zh) | 一种基于细胞显微镜图像的dna定量分析方法 | |
| CN110264454B (zh) | 基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法 | |
| CN108305253A (zh) | 一种基于多倍率深度学习的病理全切片诊断方法 | |
| CN110853009A (zh) | 基于机器学习的视网膜病理图像分析系统 | |
| CN108830149A (zh) | 一种目标细菌的检测方法及终端设备 | |
| CN117015796A (zh) | 处理组织图像的方法和用于处理组织图像的系统 | |
| CN114140445B (zh) | 基于重点关注区域提取的乳腺癌病理图像识别方法 | |
| CN106203496A (zh) | 基于机器学习的水文曲线提取方法 | |
| CN113160185A (zh) | 一种利用生成边界位置指导宫颈细胞分割的方法 | |
| CN114387270B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN111476794A (zh) | 一种基于unet的宫颈病理组织分割方法 | |
| CN116883650A (zh) | 一种基于注意力和局部拼接的图像级弱监督语义分割方法 | |
| Gui et al. | Adaptive single image dehazing method based on support vector machine | |
| CN111815563A (zh) | 一种U-Net与区域增长PCNN相结合的视网膜视盘分割方法 | |
| CN113077438B (zh) | 针对多细胞核彩色图像的细胞核区域提取方法及成像方法 | |
| CN115641317B (zh) | 面向病理图像的动态知识回溯多示例学习及图像分类方法 | |
| CN115423802A (zh) | 基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法 | |
| CN115115878A (zh) | 一种结合随机遮挡和byol结构的高光谱图像分类方法及其装置 | |
| CN114624715A (zh) | 一种基于自注意力时空神经网络模型的雷达回波外推方法 | |
| Hasan et al. | Nuclei segmentation in er-ihc stained histopathology images using mask r-cnn |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |