CN114973005A - 一种基于RePMMS-Net的绿豆叶斑病识别方法 - Google Patents

一种基于RePMMS-Net的绿豆叶斑病识别方法 Download PDF

Info

Publication number
CN114973005A
CN114973005A CN202210740190.5A CN202210740190A CN114973005A CN 114973005 A CN114973005 A CN 114973005A CN 202210740190 A CN202210740190 A CN 202210740190A CN 114973005 A CN114973005 A CN 114973005A
Authority
CN
China
Prior art keywords
image
feature
feature vector
repmms
leaf spot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210740190.5A
Other languages
English (en)
Inventor
高尚兵
李洁
余骥远
唐琪
陈新
缪奕可
曹鹏
袁星星
杨瑞杰
陈浩霖
任珂
张海艳
刘步实
李少凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaiyin Institute of Technology
Jiangsu Academy of Agricultural Sciences
Original Assignee
Huaiyin Institute of Technology
Jiangsu Academy of Agricultural Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaiyin Institute of Technology, Jiangsu Academy of Agricultural Sciences filed Critical Huaiyin Institute of Technology
Priority to CN202210740190.5A priority Critical patent/CN114973005A/zh
Publication of CN114973005A publication Critical patent/CN114973005A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于RePMMS‑Net的绿豆叶斑病识别方法，预先获取绿豆叶斑病图像，通过人工标注制作绿豆叶斑病数据集；构建并行多分支多尺度卷积核模块PMMS，并重复使用PMMS模块，进行特征重复学习，得到最终图像的特征向量；将图像的特征向量输入全局平均池化层，输出最终的特征向量作为softmax分类器的输入；构建softmax分类器，将输入的特征向量转化为关于类别的概率向量输出；构建RePMMS‑Net网络模型，并训练该网络，即通过不断迭代前向传播过程、反向传播过程优化网络的参数；使用训练好的RePMMS‑Net网络模型对测试图像中的目标进行识别。本发明提出的病斑识别模型，能充分挖掘图像中的特征；增强了模型的适应性，提高了分类精度，具有良好的泛化性能和较好的鲁棒性。

Description

一种基于RePMMS-Net的绿豆叶斑病识别方法
技术领域
本发明属于图像处理及植物叶片病害识别领域，具体涉及一种基于RePMMS-Net的绿豆叶斑病识别方法。
背景技术
绿豆是我国历史悠久又广泛种植的小杂粮作物，随着人们生活水平的提高和膳食结构的改变，绿豆以其丰富的营养及医疗保健作用越来越受到人们的青睐，加之绿豆适应性广，播期范围大，生长期短，经济效益高，深受农民的欢迎。但是，由于不利的气候条件的影响和粗放的栽培管理，使绿豆病虫害逐年加重。叶斑病是绿豆重要病害之一，该病主要危害叶片，导致叶片枯萎和脱落，发病后期可致植株早衰，在绿豆生育期内均可发生。及时有效地分析农作物的病斑特征，有助于迅速判断作物的病害类型和程度、提供相应的病害防治指导建议，从而减少经济损失。
但是不同程度的绿豆叶斑病具有一定的相似性，传统的绿豆叶斑病识别主要以工作人员肉眼观察为主，这种方法不但效率低下，而且判定标准往往带有主观性；还有一些传统的机器学习方法需要人工提取病斑特征，对病害表征相似的提取特征能力有限，且不同病害常常需要提取不同的特征，故此类方法不具有普适性。因此，探求一种自动化、低成本、高准确率的方法来实现对绿豆叶斑病的准确识别有着重要的现实意义。
发明内容
发明目的：发明提出一种基于RePMMS-Net的绿豆叶斑病识别方法，解决由于不同程度的绿豆叶斑病病斑相似，导致的识别率较低的问题，实现绿豆叶斑病识别的自动化，提高对绿豆不同程度的叶斑病识别的准确率。
技术方案：本发明提出一种基于RePMMS-Net的绿豆叶斑病识别方法，具体包括以下步骤：
(1)预先获取绿豆叶斑病图像，通过人工标注制作绿豆叶斑病数据集；
(2)对步骤(1)获取的绿豆叶斑病数据集进行预处理，进一步扩充图像样本集，增加样本的多样性；
(3)构建并行多分支多尺度卷积核模块PMMS：首先使用多路并行分支，对经步骤(2)处理过的图像进行多分支多尺度的特征提取，得到多分支多尺度图像的特征向量；然后，将得到的图像的特征向量对应的卷积块分别进行上采样和下采样处理，并且进行融合，得到包含不同分支的卷积块信息的融合图像的特征向量；最后，将得到的特征融合后的图像的特征向量输入到卷积层中，减少输出特征图的通道数目；
(4)重复使用PMMS模块，进行特征重复学习，得到最终图像的特征向量；
(5)将步骤(4)得到的图像的特征向量输入全局平均池化层，输出最终的特征向量作为softmax分类器的输入；
(6)使用步骤(5)得到的图像特征向量作为输入，构建softmax分类器，将输入的特征向量转化为关于类别的概率向量输出，每个概率分量对应一个训练对应的类别概率；
(7)通过步骤(3)至(6)构建RePMMS-Net网络模型，并训练该网络，即通过不断迭代前向传播过程、反向传播过程优化网络的参数；
(8)使用训练好的RePMMS-Net网络模型对测试图像中的目标进行识别。
进一步地，所述步骤(2)包括以下步骤：
(21)翻转变换：沿水平或垂直方向翻转原始图像；
(22)旋转：将原始图像随机旋转一定的角度；
(23)缩放变形：按照一定的比例放大或缩小原始图像；
(24)随机裁剪：从原始图像样本中随机选取一部分，然后将选取的部分放大到原图像大小；
(25)对经过(21)-(24)步骤处理后的图片进行随机选取叠加，添加到原始图像样本集中。
进一步地，所述步骤(3)包括以下步骤：
(31)编码格式转换：
将图像进行编码转换为张量：
Batch RGB-Images→(batch，channel，height，width)
其中，batch代表一次输入的图像张数；channel代表RGB三通道取3；height是输入图像的高，width代表输入图像的宽；
(32)构建多路并行分支模块：
采用三个分支构建多路并行分支模块，三个分支分别由一个3×3卷积核、两个3×3卷积核和三个3×3卷积核构成；
对第一个分支输出的特征图进行下采样，对第三个分支输出的特征图上采样，将两个分支输出的特征图的高宽变成与第二个分支输出的特征图的高宽同样的大小；
(33)构建多分支融合模块：
将三个分支得到的三个特征图的特征向量进行连接融合，得到特征融合后的图像的特征向量；将特征融合后的图像的特征向量通过一个1×1卷积来进行通道压缩，并行添加的1×1卷积包含激活函数。
进一步地，所述步骤(6)实现过程如下：
输入的特征向量用
Figure BDA0003717622870000031
表示：
Figure BDA0003717622870000032
参数m代表特征向量的维度大小，权值矩阵w为：
Figure BDA0003717622870000033
其中参数n代表训练设置的类别数；
类别yj对应的权值向量为：
Figure BDA0003717622870000034
类别向量
Figure BDA0003717622870000035
为：
Figure BDA0003717622870000036
类别yj对应的softmax分类输出概率为：
Figure BDA0003717622870000037
softmax分类器最终输出为类别对应的概率向量：
Figure BDA0003717622870000038
在应用模型时，取最大的Pj对应的类别yj最为最终判定的分类结果。
进一步地，所述步骤(7)包括以下步骤：
(71)构建RePMMS-Net网络模型，将步骤(3)-(4)所述的四个PMMS模块进行连接，然后在其后连接一个全局平均池化层，最后连接一个softmax分类器；
(72)卷积神经网络进行前向传播，方法如下：
Figure BDA0003717622870000039
其中，
Figure BDA0003717622870000041
表示网络的m层和m-1层之间的权重矩阵，
Figure BDA0003717622870000042
表示偏移参数，p(m)表示m层的节点数目，
Figure BDA0003717622870000043
表示非线性激活函数ReLU函数；
(73)根据每个图片的真实标签信息和前向传播得到预测信息，计算网络的损失函数；
(74)执行反向传播过程，计算损失函数关于某一节点的偏导数，使用梯度下降法更新网络的权重参数，方法如下：
Figure BDA0003717622870000044
Figure BDA0003717622870000045
其中，m表示层数，i表示神经元在层中的序号，j表示一个神经元输入的序号，α表示学习率；反向传播过程更新网络权重参数结束后，跳转前向传播；
(75)保存训练好的RePMMS-Net模型。
有益效果：与现有技术相比，本发明的有益效果：
1、使用深度学习中卷积神经网络提取图像特征，而不是传统的人为定义特征，适应性更强，检测效果更好；
2、采用并行多分支多尺度卷积核进行特征提取并融合，提高了对绿豆叶斑病相似的病斑特征的提取能力，提出采用三个分支构建多路并行分支模块，三个分支分别由一个3×3卷积核、两个3×3卷积核和三个3×3卷积核构成，丰富了特征图感受野，进一步提高对不同大小特征的提取能力，采用这样卷积核可以在保证一定精度的同时尽量减少模型的参数量；
3、重复使用PMMS模块，实现了特征的进一步提取，提升了网络模型的特征提取能力；
4、使用全局平均池化层代替传统的全连接层，大大减少了模型的参数量；
5、本发明提出的网络模型与常见的卷积神经网络模型相比较，网络结构更加合理，收敛速度更快，在参数量小于其他卷积神经网络模型的情况下，提高了分类精度，具有良好的泛化性能和较好的鲁棒性。
附图说明
图1是本发明的流程图；
图2是本发明采用的图像预处理效果示意图；
图3是本发明提出的PMMS模块结构示意图；
图4是本发明提出的RePMMS-Net网络结构示意图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
如图1所示，本发明提出一种基于RePMMS-Net的绿豆叶斑病识别方法，包括以下步骤：
步骤1：获取拍摄到的绿豆叶斑病图像，通过人工标注制作绿豆叶斑病数据集。对图像进行预处理，进一步扩充图像样本集，增加样本的多样性。
沿水平或垂直方向翻转原始图像，将原始图像随机旋转一定的角度；按照一定的比例放大或缩小原始图像；从原始图像样本中随机选取一部分，然后将选取的部分放大到原图像大小；图片预处理效果如图2所示，对处理后的图片进行随机选取叠加，添加到原始图像样本集中，以达到增加样本的多样性的目的。
步骤2：构建PMMS模块(Parallel multi-branch multi-scale convolutionkernel module，并行多分支多尺度卷积核模块)，如图3所示：首先使用多路并行分支，对处理过的图像进行多分支多尺度的特征提取，得到多分支多尺度图像的特征向量；然后，将得到的图像的特征向量对应的卷积块分别进行上采样和下采样处理，并且进行融合，得到包含不同分支的卷积块信息的融合图像的特征向量；最后，将得到的特征融合后的图像的特征向量输入到卷积层中，减少输出特征图的通道数目；重复使用PMMS模块3次，进行特征重复学习，得到最终图像的特征向量。
编码格式转换：
将图像进行编码转换为张量，具体如下：
Batch RGB-Images→(batch，channel，height，width)
其中，batch代表一次输入的图像张数；channel代表RGB三通道取3；height是输入图像的高，同时width代表输入图像的宽。
构建多路并行分支模块：采用三个分支构建多路并行分支模块，三个分支分别由一个3×3卷积核、两个3×3卷积核和三个3×3卷积核构成，进一步提高对不同大小特征的提取能力，采用这样卷积核可以在保证一定精度的同时尽量减少模型的参数量；对第一个分支输出的特征图进行下采样，对第三个分支输出的特征图上采样，将两个分支输出的特征图的高宽变成与第二个分支输出的特征图的高宽同样的大小。
对处理过后的大小为224×224×3的绿豆叶片图像进行卷积核数量为24、大小为3×3、步长为1、padding＝1的卷积操作，得到特征向量(224,224,24)；然后对其进行卷积核数量为2、步长为2的最大池化操作，输出特征向量(112,112,24)，作为多路并行分支模块的第一个分支。
对同一张绿豆叶片图像进行卷积核数量为24、大小为3×3、步长为2、padding＝1的卷积操作，然后经过ReLU激活函数，得到特征向量(112,112,24)；然后对其进行然后对其进行卷积核数量为24、大小为3×3、步长为1、padding＝1的卷积操作，然后经过ReLU激活函数，得到特征向量(112,112,24)，作为多路并行分支模块的第二个分支。
对同一张绿豆叶片图像进行卷积核数量为48、大小为3×3、步长为2、padding＝1的卷积操作，然后经过ReLU激活函数，得到特征向量(112,112,48)；然后对其进行卷积核数量为48、大小为3×3、步长为2、padding＝1的卷积操作，然后经过ReLU激活函数，得到特征向量(56,56,48)；然后对其进行然后对其进行卷积核数量为48、大小为3×3、步长为1、padding＝1的卷积操作，得到特征向量(56,56,48)；然后对其进行上采样操作，输出特征向量(112,112,48)，作为多路并行分支模块的第三个分支。
构建多分支融合模块：将三个分支得到的三个特征图的特征向量进行连接融合，得到特征融合后的图像的特征向量；将特征融合后的图像的特征向量通过一个1×1卷积来进行通道压缩，并行添加的1×1卷积包含激活函数。
将得到的三个分支的特征向量进行连接融合操作，得到特征融合后的图像的特征向量(112,112,96)；将得到的特征向量(112,112,96)通过卷积核数量为3、大小为1×1的卷积核来进行通道压缩，得到特征向量(112,112,3)，作为下一个PMMS模块的输入。
第一次重复PMMS模块：对上一个PMMS模块得到的特征向量进行卷积核数量为24、大小为3×3、步长为1、padding＝1的卷积操作，得到特征向量(112,112,24)；然后对其进行卷积核数量为2、步长为2的最大池化操作，输出特征向量(56,56,24)，作为多路并行分支模块的第一个分支。对上一个PMMS模块得到的特征向量进行卷积核数量为24、大小为3×3、步长为2、padding＝1的卷积操作，然后经过ReLU激活函数，得到特征向量(56,56,24)；然后对其进行然后对其进行卷积核数量为24、大小为3×3、步长为1、padding＝1的卷积操作，然后经过ReLU激活函数，得到特征向量(56,56,24)，作为多路并行分支模块的第二个分支。对上一个PMMS模块得到的特征向量进行卷积核数量为48、大小为3×3、步长为2、padding＝1的卷积操作，然后经过ReLU激活函数，得到特征向量(56,56,48)；然后对其进行然后对其进行卷积核数量为48、大小为3×3、步长为2、padding＝1的卷积操作，然后经过ReLU激活函数，得到特征向量(28,28,48)；然后对其进行卷积核数量为48、大小为3×3、步长为1、padding＝1的卷积操作，得到特征向量(28,28,48)；然后对其进行上采样操作，输出特征向量(56,56,48)，作为多路并行分支模块的第三个分支。得到的三个分支的特征向量进行连接融合操作，得到特征融合后的图像的特征向量(56,56,96)。将特征向量(56,56,96)通过卷积核数量为3、大小为1×1的卷积核来进行通道压缩，得到特征向量(56,56,3)，作为下一个PMMS模块的输入。
第二次重复PMMS模块；对上一个PMMS模块得到的特征向量进行卷积核数量为24、大小为3×3、步长为1、padding＝1的卷积操作，得到特征向量(56,56,24)；然后对其进行卷积核数量为2、步长为2的最大池化操作，输出特征向量(28,28,24)，作为多路并行分支模块的第一个分支。对上一个PMMS模块得到的特征向量进行卷积核数量为24、大小为3×3、步长为2、padding＝1的卷积操作，然后经过ReLU激活函数，得到特征向量(28,28,24)；然后对其进行然后对其进行卷积核数量为24、大小为3×3、步长为1、padding＝1的卷积操作，然后经过ReLU激活函数，得到特征向量(28,28,24)，作为多路并行分支模块的第二个分支。对上一个PMMS模块得到的特征向量进行卷积核数量为48、大小为3×3、步长为2、padding＝1的卷积操作，然后经过ReLU激活函数，得到特征向量(28,28,48)；然后对其进行然后对其进行卷积核数量为48、大小为3×3、步长为2、padding＝1的卷积操作，然后经过ReLU激活函数，得到特征向量(14,14,48)；然后对其进行卷积核数量为48、大小为3×3、步长为1、padding＝1的卷积操作，得到特征向量(14,14,48)；然后对其进行上采样操作，输出特征向量(28,28,48)，作为多路并行分支模块的第三个分支。将得到的三个分支的特征向量进行连接融合操作，得到特征融合后的图像的特征向量(28,28,96)。将特征向量(28,28,96)通过卷积核数量为3、大小为1×1的卷积核来进行通道压缩，得到特征向量(28,28,3)，作为下一个PMMS模块的输入。
第三次重复PMMS模块：对上一个PMMS模块得到的特征向量进行卷积核数量为24、大小为3×3、步长为1、padding＝1的卷积操作，得到特征向量(28,28,24)；然后对其进行卷积核数量为2、步长为2的最大池化操作，输出特征向量(14,14,24)，作为多路并行分支模块的第一个分支。对上一个PMMS模块得到的特征向量进行卷积核数量为24、大小为3×3、步长为2、padding＝1的卷积操作，然后经过ReLU激活函数，得到特征向量(14,14,24)；然后对其进行然后对其进行卷积核数量为24、大小为3×3、步长为1、padding＝1的卷积操作，然后经过ReLU激活函数，得到特征向量(14,14,24)，作为多路并行分支模块的第二个分支。对上一个PMMS模块得到的特征向量进行卷积核数量为48、大小为3×3、步长为2、padding＝1的卷积操作，然后经过ReLU激活函数，得到特征向量(14,14,48)；然后对其进行然后对其进行卷积核数量为48、大小为3×3、步长为2、padding＝1的卷积操作，然后经过ReLU激活函数，得到特征向量(7,7,48)；然后对其进行卷积核数量为48、大小为3×3、步长为1、padding＝1的卷积操作，得到特征向量(7,7,48)；然后对其进行上采样操作，输出特征向量(14,4,48)，作为多路并行分支模块的第三个分支；将得到的三个分支的特征向量进行连接融合操作，得到特征融合后的图像的特征向量(14,14,96)。将得到的特征向量(14,14,96)通过卷积核数量为3、大小为1×1的卷积核来进行通道压缩，得到特征向量(14,4,3)，作为全局平均池化层的输入。
步骤3：将图像的特征向量输入全局平均池化层，该层用于替换常用的全连接结构，可以大大减少模型的参数，输出最终的特征向量作为softmax分类器的输入。
将得到的特征向量输入全局平均池化层，使得池化后的每个通道上的大小是一个1x1的，也就是每个通道上只有一个像素点，将其作为softmax分类器的输入。
步骤4：使用得到的图像特征向量作为输入，构建softmax分类器，将输入的特征向量转化为关于类别的概率向量输出，每个概率分量对应一个训练对应的类别概率。
输入的特征向量用
Figure BDA0003717622870000091
表示：
Figure BDA0003717622870000092
参数m代表特征向量的维度大小，权值矩阵w为：
Figure BDA0003717622870000093
其中参数n代表训练设置的类别数；类别yj对应的权值向量为：
Figure BDA0003717622870000094
类别向量
Figure BDA0003717622870000095
为：
Figure BDA0003717622870000096
类别yj对应的softmax分类输出概率为：
Figure BDA0003717622870000097
softmax分类器最终输出为类别对应的概率向量：
Figure BDA0003717622870000098
在应用模型时，取最大的Pj对应的类别yj最为最终判定的分类结果。
步骤5：通过步骤(2)-(4)构建RePMMS-Net(Repeat parallel multi-branchmulti-scale convolution kernel module network)网络模型，如图4所示，并训练该网络，即通过不断迭代前向传播过程、反向传播过程优化网络的参数。
前向传播即计算输入图像在神经网络每一次的输出。深层神经网络包含一个输入层，多个中间层，一个输出层，每一层可以表示为非线性映射过程。样本x在第m层的输入计算公式如下：
Figure BDA0003717622870000099
其中，
Figure BDA00037176228700000910
表示网络的m层和m-1层之间的权重矩阵，
Figure BDA00037176228700000911
表示偏移参数，p(m)表示m层的节点数目，
Figure BDA00037176228700000912
表示非线性激活函数ReLU函数。
前向传播结束之后，计算网络的损失函数，将得到的损失函数值和阈值比较，如果损失函数值小于阈值或者此时的迭代次数大于最大迭代次数，则结束训练。否则执行反向传播。反向传播过程通过计算损失函数关于某一节点的偏导数，使用梯度下降算法更新网络的权重参数。网络权重的更新参数如下：
Figure BDA0003717622870000101
Figure BDA0003717622870000102
其中，m表示层数，i表示神经元在层中的序号，j表示一个神经元输入的序号，α表示学习率。反向传播过程更新网络权重参数结束后，跳转前向传播。
步骤6：使用训练好的RePMMS-Net模型对测试图像中的目标进行检测。
将待检测的图像调整到224×224的大小，根据已经训练好的RePMMS-Net模型输入图像进行卷积计算，然后输出识别准确率。
表1为本发明和AlexNet对比的实验效果表
Modelname Accuracy Modelsize
RePMMS-Net 95.50％ 52.42MB
AlexNet 85.74％ 76.18MB
如表1所示，基于本发明实施例的上述方法，对绿豆叶斑病识别的准确率在95.50％左右。

Claims (5)

1.一种基于RePMMS-Net的绿豆叶斑病识别方法，其特征在于，包括以下步骤：
(1)预先获取绿豆叶斑病图像，通过人工标注制作绿豆叶斑病数据集；
(2)对步骤(1)获取的绿豆叶斑病数据集进行预处理，进一步扩充图像样本集，增加样本的多样性；
(3)构建并行多分支多尺度卷积核模块PMMS：首先使用多路并行分支，对经步骤(2)处理过的图像进行多分支多尺度的特征提取，得到多分支多尺度图像的特征向量；然后，将得到的图像的特征向量对应的卷积块分别进行上采样和下采样处理，并且进行融合，得到包含不同分支的卷积块信息的融合图像的特征向量；最后，将得到的特征融合后的图像的特征向量输入到卷积层中，减少输出特征图的通道数目；
(4)重复使用PMMS模块，进行特征重复学习，得到最终图像的特征向量；
(5)将步骤(4)得到的图像的特征向量输入全局平均池化层，输出最终的特征向量作为softmax分类器的输入；
(6)使用步骤(5)得到的图像特征向量作为输入，构建softmax分类器，将输入的特征向量转化为关于类别的概率向量输出，每个概率分量对应一个训练对应的类别概率；
(7)通过步骤(3)至(6)构建RePMMS-Net网络模型，并训练该网络，即通过不断迭代前向传播过程、反向传播过程优化网络的参数；
(8)使用训练好的RePMMS-Net网络模型对测试图像中的目标进行识别。
2.根据权利要求1所述的基于RePMMS-Net的绿豆叶斑病识别方法，其特征在于，所述步骤(2)包括以下步骤：
(21)翻转变换：沿水平或垂直方向翻转原始图像；
(22)旋转：将原始图像随机旋转一定的角度；
(23)缩放变形：按照一定的比例放大或缩小原始图像；
(24)随机裁剪：从原始图像样本中随机选取一部分，然后将选取的部分放大到原图像大小；
(25)对经过(21)-(24)步骤处理后的图片进行随机选取叠加，添加到原始图像样本集中。
3.根据权利要求1所述的基于RePMMS-Net的绿豆叶斑病识别方法，其特征在于，所述步骤(3)包括以下步骤：
(31)编码格式转换：
将图像进行编码转换为张量：
Batch RGB-Images→(batch，channel，height，width)
其中，batch代表一次输入的图像张数；channel代表RGB三通道取3；height是输入图像的高，width代表输入图像的宽；
(32)构建多路并行分支模块：
采用三个分支构建多路并行分支模块，三个分支分别由一个3×3卷积核、两个3×3卷积核和三个3×3卷积核构成；
对第一个分支输出的特征图进行下采样，对第三个分支输出的特征图上采样，将两个分支输出的特征图的高宽变成与第二个分支输出的特征图的高宽同样的大小；
(33)构建多分支融合模块：
将三个分支得到的三个特征图的特征向量进行连接融合，得到特征融合后的图像的特征向量；将特征融合后的图像的特征向量通过一个1×1卷积来进行通道压缩，并行添加的1×1卷积包含激活函数。
4.根据权利要求1所述的基于RePMMS-Net的绿豆叶斑病识别方法，其特征在于，所述步骤(6)实现过程如下：
输入的特征向量用
Figure FDA0003717622860000021
表示：
Figure FDA0003717622860000022
参数m代表特征向量的维度大小，权值矩阵w为：
Figure FDA0003717622860000023
其中参数n代表训练设置的类别数；
类别yj对应的权值向量为：
Figure FDA0003717622860000024
类别向量
Figure FDA0003717622860000025
为：
Figure FDA0003717622860000026
类别yj对应的softmax分类输出概率为：
Figure FDA0003717622860000027
softmax分类器最终输出为类别对应的概率向量：
Figure FDA0003717622860000031
在应用模型时，取最大的Pj对应的类别yj最为最终判定的分类结果。
5.根据权利要求1所述的基于RePMMS-Net的绿豆叶斑病识别方法，其特征在于，所述步骤(7)包括以下步骤：
(71)构建RePMMS-Net网络模型，将步骤(3)-(4)所述的四个PMMS模块进行连接，然后在其后连接一个全局平均池化层，最后连接一个softmax分类器；
(72)卷积神经网络进行前向传播，方法如下：
Figure FDA0003717622860000032
其中，
Figure FDA0003717622860000033
表示网络的m层和m-1层之间的权重矩阵，
Figure FDA0003717622860000034
表示偏移参数，p(m)表示m层的节点数目，
Figure FDA0003717622860000035
表示非线性激活函数ReLU函数；
(73)根据每个图片的真实标签信息和前向传播得到预测信息，计算网络的损失函数；
(74)执行反向传播过程，计算损失函数关于某一节点的偏导数，使用梯度下降法更新网络的权重参数，方法如下：
Figure FDA0003717622860000036
Figure FDA0003717622860000037
其中，m表示层数，i表示神经元在层中的序号，j表示一个神经元输入的序号，α表示学习率；反向传播过程更新网络权重参数结束后，跳转前向传播；
(75)保存训练好的RePMMS-Net模型。
CN202210740190.5A 2022-06-28 2022-06-28 一种基于RePMMS-Net的绿豆叶斑病识别方法 Pending CN114973005A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210740190.5A CN114973005A (zh) 2022-06-28 2022-06-28 一种基于RePMMS-Net的绿豆叶斑病识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210740190.5A CN114973005A (zh) 2022-06-28 2022-06-28 一种基于RePMMS-Net的绿豆叶斑病识别方法

Publications (1)

Publication Number Publication Date
CN114973005A true CN114973005A (zh) 2022-08-30

Family

ID=82965014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210740190.5A Pending CN114973005A (zh) 2022-06-28 2022-06-28 一种基于RePMMS-Net的绿豆叶斑病识别方法

Country Status (1)

Country Link
CN (1) CN114973005A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372881A (zh) * 2023-12-08 2024-01-09 中国农业科学院烟草研究所(中国烟草总公司青州烟草研究所) 一种烟叶病虫害智能识别方法、介质及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372881A (zh) * 2023-12-08 2024-01-09 中国农业科学院烟草研究所(中国烟草总公司青州烟草研究所) 一种烟叶病虫害智能识别方法、介质及系统
CN117372881B (zh) * 2023-12-08 2024-04-05 中国农业科学院烟草研究所(中国烟草总公司青州烟草研究所) 一种烟叶病虫害智能识别方法、介质及系统

Similar Documents

Publication Publication Date Title
CN110378435B (zh) 一种基于卷积神经网络的苹果叶片病害识别的方法
CN109344883A (zh) 一种基于空洞卷积的复杂背景下果树病虫害识别方法
CN111696101A (zh) 一种基于SE-Inception的轻量级茄科病害识别方法
CN111507319A (zh) 一种基于深度融合卷积网络模型的农作物病害识别方法
CN115272828B (zh) 一种基于注意力机制的密集目标检测模型训练方法
CN113361373A (zh) 一种农业场景下的航拍图像实时语义分割方法
CN113657326A (zh) 一种基于多尺度融合模块和特征增强的杂草检测方法
CN107153840A (zh) 一种基于卷积神经的农作物害虫图像识别方法
CN112464766A (zh) 一种农田地头自动识别方法及系统
Liu et al. Deep learning based research on quality classification of shiitake mushrooms
CN114693616A (zh) 一种基于改进目标检测模型与卷积神经网络的水稻病害检测方法、设备和介质
CN114973005A (zh) 一种基于RePMMS-Net的绿豆叶斑病识别方法
Borman et al. Classification of Medicinal Wild Plants Using Radial Basis Function Neural Network with Least Mean Square
CN111563542A (zh) 一种基于卷积神经网络的植物自动分类方法
CN114677606B (zh) 基于注意力机制和双分支网络的柑橘细粒度病害识别方法
CN111832480A (zh) 一种基于光谱特征的油菜种植区遥感识别方法
CN116883364A (zh) 一种基于CNN和Transformer的苹果叶片病害识别方法
CN116310338A (zh) 一种基于实例和语义分割的单株荔枝红叶梢分割方法
CN112580519B (zh) 基于自适应混合特征重校准的深度学习模型的大豆损伤识别方法
CN115661544A (zh) 基于N-MobileNetXt的菠菜幼苗水分胁迫等级分类系统及方法
CN115170987A (zh) 一种基于图像分割和配准融合对葡萄进行病害检测的方法
CN115828181A (zh) 基于深度学习算法的马铃薯病害种类识别方法
CN115439842A (zh) 一种基于深度学习的桑葚菌核病严重度的检测方法
CN114937030A (zh) 一种用于智慧农业种植生菜的表型参数计算方法
CN114549536A (zh) 一种基于注意力机制的微生物菌落分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination