CN117392552B - 一种基于双路径卷积神经网络的叶片病害识别方法及系统 - Google Patents
一种基于双路径卷积神经网络的叶片病害识别方法及系统 Download PDFInfo
- Publication number
- CN117392552B CN117392552B CN202311711480.8A CN202311711480A CN117392552B CN 117392552 B CN117392552 B CN 117392552B CN 202311711480 A CN202311711480 A CN 202311711480A CN 117392552 B CN117392552 B CN 117392552B
- Authority
- CN
- China
- Prior art keywords
- dual
- neural network
- characteristic information
- convolutional neural
- blade
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 96
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 96
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000000605 extraction Methods 0.000 claims description 27
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 14
- 230000009977 dual effect Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 20
- 230000007547 defect Effects 0.000 description 18
- 230000005284 excitation Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000001125 extrusion Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012272 crop production Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提出的一种基于双路径卷积神经网络的叶片病害识别方法及系统，该方法包括：采集作物叶片的待识别图像，将待识别图像输入预先训练过的双路径卷积神经网络中，以获取叶片特征信息，再根据叶片特征信息，在预先设置的叶片病害数据库中对叶片病害类型进行判定，以最终预测识别的叶片病害类型。本发明提出的基于双路径卷积神经网络的叶片病害识别方法，通过设计一种独特的双路径卷积神经网络进行叶片图像的特征提取，确保了模型中具有更宽的信道宽度，从而能够在相同的深度上包含更多的信道，极大地的提高了模型的精度，实现了准确鉴定作物叶片病害的要求。
Description
技术领域
本发明涉及图像识别领域，特别涉及一种基于双路径卷积神经网络的叶片病害识别方法及系统。
背景技术
叶片病害会导致作物的产量下降、死亡率上升，阻碍粮食的整体产量与质量，叶片病害的影响程度取决于各种因素，包括特定的疾病类型、作物品种所表现出的抗药性、普遍的气候条件和有效的农业管理做法的实施，因此准确识别叶片病害对减轻其对作物生产的影响至关重要。
然而由于病害种类繁多、难以识别、病害周期短等因素，使得叶片病害的识别具有极大的挑战性，传统上，对作物病害的鉴定依赖于通过专业人员进行实地抽样后，在实验室中对叶片样本直接地观察或分析，以确定叶片样本存在的病害类型，近年来，随着人工智能技术的发展，机器学习和计算机视觉技术得以精确识别作物病害，通过分析和处理来自作物病害数据集的图像数据，然后构建机器学习模型，从这些图像中提取基本特征，进而实现准确而快速的识别，并且随着机器学习技术的成熟，该方法已成功地开始应用于农业疾病的识别。
然而，传统的机器学习方法在农业疾病图像识别方面存在一定的局限性，往往因为方法的复杂性，导致面对大规模的数据集时并不是很适应，并且对数据源的要求很高，如图像的清晰度和照明条件，都可能会显著影响识别的准确性，同时现有的深度学习算法模型依然不能满足准确地鉴定叶片病害的要求。
发明内容
基于此，本发明的目的是提供一种基于双路径卷积神经网络的叶片病害识别方法及系统，通过设计一种独特的双路径卷积神经网络进行叶片图像的特征提取，确保了模型中具有更宽的信道宽度，从而能够在相同的深度上包含更多的信道，极大地的提高了模型的精度，实现了准确鉴定作物叶片病害的要求。
本发明提出的基于双路径卷积神经网络的叶片病害识别方法，包括：
采集作物叶片的待识别图像；
将所述待识别图像输入预先训练过的双路径卷积神经网络中，以获取叶片特征信息；
根据所述叶片特征信息，在预先设置的叶片病害数据库中对叶片病害类型进行判定，以最终预测识别叶片病害类型；
所述将所述待识别图像输入预先训练过的双路径卷积神经网络中，以获取叶片特征信息的步骤包括：
将所述待识别图像输入基础卷积块，以获取基础特征信息；
对所述基础特征信息进行一次降采样操作后分为完全相同的三份基础特征信息，进而再输入TBP块中；
将所述三份基础特征信息分别输入所述TBP块的三个分支中，所述三个分支分别为瓶颈结构分支、逆瓶颈结构分支、非卷积分支；
获取所述三个分支提取的全部特征信息，并将所述全部特征信息合并为多尺度特征信息。
综上，根据上述基于双路径卷积神经网络的叶片病害识别方法，通过设计一种独特的双路径卷积神经网络进行叶片图像的特征提取，确保了模型中具有更宽的信道宽度，从而能够在相同的深度上包含更多的信道，极大地的提高了模型的精度，实现了准确鉴定作物叶片病害的要求。具体为，通过设计一种新的双路径结构的特征提取网络，此双路径结构允许模型在相同的深度上有更多的通道，从而提高了模型的精度，在双路径结构中，还集成了一种三分支并行模块，称为TBP块，其中包括瓶颈块分支、逆瓶颈块分支和非卷积分支，并且每个分支后面都跟着ReLU层和BN层，可促进多尺度的特征提取，从而确保了优秀的特征提取能力，同时保持了较低的计算成本，再引入一种通道注意机制SE块，增强了模型对不同通道特征的关注，从而提高了模型的表征能力，又引入一种新的残差块，称为W残差块，在W残差块中采用DW卷积代替了规则卷积，通过这种深度可分离卷积显著减少了随模型深度增加而带来的计算代价，从而显著降低了模型的计算成本，将采集到的作物叶片图像输入上述双路径卷积神经网络中以进行特征提取，将提取到的特征映射展平为一维特征向量，通过分类器匹配数据库中对应的病害类型，极大地提高了叶片病害的识别准确度，实现了作物叶片病害的精准识别。
进一步的，所述将所述待识别图像输入预先训练过的双路径卷积神经网络中，以获取叶片特征信息的步骤之前包括：
将采集到的作物叶片的待识别图像进行两次降采样操作；
将两次降采样后的图像分为完全相同的两份待识别图像，并将所述两份待识别图像分别输入双路径卷积神经网络的不同通道中。
进一步的，所述获取所述三个分支提取的全部特征信息，并将所述全部特征信息合并为多尺度特征信息的步骤之后包括：
对多尺度特征信息进行一次降采样操作后分为完全相同的两份多尺度特征信息，进而再输入SE块；
将所述两份多尺度特征信息分别输入SE块的两个分支中，所述两个分支分别为加权分支和原始分支；
所述多尺度特征信息输入加权分支后，通过全局平均池化层将所述多尺度特征信息压缩为标量；
将所述标量通过两个全连接层，以学习通道之间的权重；
将加权分支获取的权重与原始分支获取的多尺度特征信息相乘合并，以获取加权特征信息。
进一步的，所述将加权分支获取的权重与原始分支获取的多尺度特征信息相乘合并，以获取加权特征信息的步骤之后包括：
对加权特征信息进行一次降采样操作后分为完全相同的两份加权特征信息，进而再输入W残差块；
将所述两份加权特征信息分别输入W残差块的两个分支中，所述两个分支分别为深度可分离卷积分支和原始分支；
所述加权特征信息输入深度可分离卷积分支后，通过深度卷积层和点卷积层获取深度特征；
将深度可分离卷积分支获取的深度特征和原始分支获取的加权特征信息合并，以获取深层特征信息。
进一步的，所述将深度可分离卷积分支获取的深度特征和原始分支获取的加权特征信息合并，以获取深层特征信息的步骤之后还包括：
对深层特征信息进行一次降采样操作；
将双路径卷积神经网络两个通道获取的所述深层特征信息进行合并，以获取叶片特征信息。
进一步的，所述根据所述叶片特征信息，在预先设置的叶片病害数据库中对叶片病害类型进行判定，以最终预测识别叶片病害类型的步骤包括：
将叶片特征信息输入自适应池化层和全连接层，以将所述叶片特征信息展平，获取一个一维特征向量；
将所述一维特征向量输入识别分类器，通过softmax函数将所述一维特征向量映射到不同类别的概率分布上，再通过交叉熵损失函数来最小化双路径卷积神经网络模型输出的概率分布与真实标签的概率分布之间的差异，获取概率最高的类别，并将所述类别与预先设置的叶片病害数据库中的病害类别进行对应并输出最终预测识别叶片病害类型。
本发明提出的一种基于双路径卷积神经网络的叶片病害识别系统，包括：
数据采集模块，用于采集作物叶片的待识别图像；
特征提取模块，用于将所述待识别图像输入预先训练过的双路径卷积神经网络中，以获取叶片特征信息，所述将所述待识别图像输入预先训练过的双路径卷积神经网络中，以获取叶片特征信息的单元包括：将所述待识别图像输入基础卷积块，以获取基础特征信息，对所述基础特征信息进行一次降采样操作后分为完全相同的三份基础特征信息，进而再输入TBP块中，将所述三份基础特征信息分别输入所述TBP块的三个分支中，所述三个分支分别为瓶颈结构分支、逆瓶颈结构分支、非卷积分支，获取所述三个分支提取的全部特征信息，并将所述全部特征信息合并为多尺度特征信息；
病害识别模块，用于根据所述叶片特征信息，在预先设置的叶片病害数据库中对叶片病害类型进行判定，以最终预测识别叶片病害类型。
本发明另一方面，还提供一种存储介质，包括所述存储介质存储一个或多个程序，所述程序被执行时实现如上述的基于双路径卷积神经网络的叶片病害识别方法。
本发明另一方面还提供一种计算机设备，所述计算机设备包括存储器和处理器，其中：
所述存储器用于存放计算机程序；
所述处理器用于执行所述存储器中存放的所述计算机程序时，实现如上述的基于双路径卷积神经网络的叶片病害识别方法。
附图说明
图1为本发明第一实施例提出的基于双路径卷积神经网络的叶片病害识别方法的流程图；
图2为本发明第二实施例提出的基于双路径卷积神经网络的叶片病害识别方法的流程图；
图3为本发明第三实施例提出的基于双路径卷积神经网络的叶片病害识别系统的结构示意图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干个实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参阅图1，所示为本发明第一实施例提出的基于双路径卷积神经网络的叶片病害识别方法的流程图，该种基于双路径卷积神经网络的叶片病害识别方法包括步骤S01至步骤S03，其中：
步骤S01：采集作物叶片的待识别图像；
步骤S02：将待识别图像输入预先训练过的双路径卷积神经网络中，以获取叶片特征信息；
需要说明的，本实施例中输入双路径卷积神经网络DualNet的图像大小为224×224，经过两次降采样操作后，特征映射被输入到一个双路径结构中，进行特征提取，特征映射在双路径卷积神经网络中经历多个TBP块、W残差块和SE块，然后进行合并，合并后的特征映射被展平为一维向量，并输入完全连接的层以获得最终输出，双路径卷积神经网络DualNet的详细参数见下表1：
表1
双路径卷积神经网络DualNet的定义如下：
，
其中，i表示层数，表示第i层输入张量，/>表示张量的形状，/>和/>表示空间维度，/>表示通道维度，/>是算子，/>表示/>阶段内的/>重复/>次数，双路径卷积神经网络DualNet通过对空间维度进行降采样，增加通道数量，逐渐将特征图大小从224×224×3减少到7×7×1024；
双路径卷积神经网络的双路径结构定义如下：
，
其中为算子，/>为输入张量，在双路径结构中，每个路径都由/>个卷积层组成，表示张量的形状，/>和/>表示空间维度，/>表示通道维度；
本发明设计的TBP块由三个分支组成，其中两个分支分别采用瓶颈结构和逆瓶颈结构，TBP块中的3×3卷积使用了DW卷积和PW卷积，减少了模型参数并加快了计算速度，DW卷积可以有效地从图像中提取空间特征，点态卷积可以提高网络的非线性性，从而提高模型的泛化能力和分类性能，第三个分支只包含归一化层和激活函数，用于提取不同尺度的特征，在整个双路径卷积神经网络模型中的分支块的重复率为1：1：2：1，TBP块的定义如下：
，
其中为算子，/>为输入张量，/>表示三个分支末尾的归一化层和激活函数，在TBP块中，有两个卷积分支和一个非卷积分支，/>表示张量的形状，/>和/>表示空间维度，/>表示通道维度。
本发明提出的新残差结构，用DW卷积替换了残差块内的3×3规则卷积，与常规的残差块相比，W残差块的计算成本显著降低，使用数学公式来验证这一点，首先将规则残差块中的普通卷积定义为：
，
其中为卷积核，其下标表示卷积核的空间维数和信道数，/>表示输出，/>表示输入，下标表示/>和/>表示特征图的大小和信道数，则标准卷积的计算代价为：
，
计算代价取决于卷积核的大小/>，输入通道数/>，输入特征图/>大小，输出通道数/>，
将W残差块中的DW卷积定义为：
，
当卷积核的特征映射大小为/>时，/>中的第m个滤波器在/>中的第m个通道上运行，产生作用于输出特征映射/>的第m个通道的滤波特征，W残差块中的DW卷积由深度卷积和点态卷积组成，其中深度卷积的计算代价为：
，
点向卷积是1x1的卷积，它结合和混合输出通道来生成最终的特征，W残差块中DW卷积的计算代价为：
，
与常规残差块的卷积计算相比，W残差块中改进的深度卷积只产生了计算成本的一小部分：
，
由此可见与常规残差块相比，W残差块可以显著降低计算开销；
本实施例中的挤压激励块，即SE块，由挤压部分和激励部分组成，在其结构上首先构造了一个特征映射转换的计算单元，从输入特征映射/>到输出特征映射/>，表示为输入滤波器集，/>作为第c个滤波器的参数，输出为/>，从而可以得到以下输出：
，
其中，“”表示卷积，/>表示一个二维卷积核，c为滤波器参数的序数，它在与对应的单个通道/>上运行，/>表示卷积后的通道数，/>表示第s个输入，s表示输入的序数,压缩部分通过使用全局池来处理通道依赖关系，该操作使得计算/>的第c个元素如下：
，
上述公式中，H和W分别代表分别表示特征图的高和宽，为上一步输出的特征映射，/>代表挤压函数计算，此步骤将H×W×C的输入转换为1×1×C的输出，转换/>的输出可以解释为通过合并局部特征信息来表示整个特征映射，后续的激励操作旨在全面捕获通道特定的依赖关系，为了达到这一目的，采用了如下激活门机制：
，
在这里，代表激励函数计算，/>表示sigmoid激活函数，/>表示RELU激活函数，S为门控单元，/>和/>分别是两个全连接层的权重矩阵，目的是减少模型的复杂性，以方便应用，激励部分的最终输出是通过活化重新缩放S获得的，激励部分可定义为：
，
其中，是/>中的某个特征通道对应的特征图像，/>表示激励部分的最终的输出，/>，/>表示标量/>与特征映射/>之间的通道级乘法，将上述SE模块集成到本发明的DualNet中，使得DualNet模型的性能显著提高。
步骤S03：根据叶片特征信息，在预先设置的叶片病害数据库中对叶片病害类型进行判定，以最终预测识别的叶片病害类型；
需要说明的，在本实施例中，预先设置的叶片病害数据库采用了植物村数据集，该数据集作为研究叶片病害鉴定算法的重要资源，通过康奈尔大学和种植园村项目的合作开发，包含了来自全球不同地区的各种植物疾病图像集合，该数据集包括精心整理的54,305张高质量图像，包括14种不同的植物疾病和健康状况，其中每幅图像都经过了经验丰富的植物病理学家的严格验证和标记，确保了较高的准确性和可靠性，此外，该数据集还包括每个图像的有价值的元数据，如植物类型、疾病类型和地理位置。
综上，根据上述基于双路径卷积神经网络的叶片病害识别方法，通过设计一种独特的双路径卷积神经网络进行叶片图像的特征提取，确保了模型中具有更宽的信道宽度，从而能够在相同的深度上包含更多的信道，极大地的提高了模型的精度，实现了准确鉴定作物叶片病害的要求。具体为，通过设计一种新的双路径结构的特征提取网络，此双路径结构允许模型在相同的深度上有更多的通道，从而提高了模型的精度，在双路径结构中，还集成了一种三分支并行模块，称为TBP块，其中包括瓶颈块分支、逆瓶颈块分支和非卷积分支，并且每个分支后面都跟着ReLU层和BN层，可促进多尺度的特征提取，从而确保了优秀的特征提取能力，同时保持了较低的计算成本，再引入一种通道注意机制SE块，增强了模型对不同通道特征的关注，从而提高了模型的表征能力，又引入一种新的残差块，称为W残差块，在W残差块中采用DW卷积代替了规则卷积，通过这种深度可分离卷积显著减少了随模型深度增加而带来的计算代价，从而显著降低了模型的计算成本，将采集到的作物叶片图像输入上述双路径卷积神经网络中以进行特征提取，将提取到的特征映射展平为一维特征向量，通过分类器匹配数据库中对应的病害类型，极大地提高了叶片病害的识别准确度，实现了作物叶片病害的精准识别。
请参阅图2，所示为本发明第二实施例提出的基于双路径卷积神经网络的叶片病害识别方法的流程图，该种基于双路径卷积神经网络的叶片病害识别方法包括步骤S11至步骤S16，其中：
步骤S11：采集作物叶片待识别图像并进行两次降采样操作后，将待识别图像分为完全相同的两份并分别输入双路径卷积神经网络的不同通道中；
需要说明的，本发明提出的双路径卷积神经网络，其双通道性能与传统的单路径网络的单通道性能相比，在训练准确率、验证准确率、测试准确率、精确率、F1值、召回率这几项性能指标具有提升，对比结果见下表2：
表2
由以上的对比数据可见，双路径模型的测试准确率达到了99.6464%相比于传统的单路径模型的测试准确率99.4696%，显著提高了0.1768%，双路径模型的精确率达到了0.994556相比于传统的单路径模型的的精确率0.992，显著提高了0.2556%，同时在训练准确率、验证准确率、测试准确率、精确率、F1值、召回率这几项性能指标中，均相较于单路径结构模型有显著提升。
步骤S12：提取待识别图像的基础特征信息并进行一次降采样操作后输入TBP块中，将基础特征信息分为完全相同的三份并分别输入TBP块的三个分支中，以合并获取多尺度特征信息；
步骤S13：将多尺度特征信息进行一次降采样操作后输入SE块，将多尺度特征信息分为完全相同的两份并输入SE块的两个分支中，以合并获取加权特征信息；
需要说明的，本发明的双路径卷积神经网络中，加入了注意机制模块，即SE块，来提高模型的性能，相比于其他注意机制模块，在训练准确率、验证准确率、测试准确率、召回率、精确率和F1值这几项性能指标的比较上，本发明所加入的SE块均显著优于其他注意机制模块，比较结果见下表3：
表3
由上述对比结果可见，SE块在测试准确率上相比于常见的NAM块，从99.5249%提高到99.6464%，提高了0.12%，相比于未加入注意机制块的模型，验证准确率也从99.4135%提高到99.7344%，增加了0.32%，其他性能指标也均有显著提升。
步骤S14：将加权特征信息进行一次降采样操作后输入W残差块中，将加权特征信息分为完全相同的两份并输入W残差块的两个分支中，以合并获取深层特征信息；
步骤S15：将深层特征信息进行一次降采样操作后合并获取叶片特征信息后，将叶片特征信息输入自适应池化层和全连接层，以将叶片特征展平，获取一个一维特征向量；
步骤S16：将一维特征向量输入识别分类器，以从叶片病害数据库中对应获取最终预测识别的叶片病害类型；
需要说明的，本发明所提出的DualNet模型，与传统的其他网络模型在准确率和计算量方面进行比较，结果见下表4：
表4
由上述数据可见，本发明所提出的DualNet模型在计算量和准确率方面均优于其他经典的分类网络模型，DualNet的准确率为99.646%，且计算量仅为0.4G，值得注意的是，本发明提出的DualNet的在准确率指标上，比排名第二的GoogLeNet高出0.376%，具有显著的性能提升，而同时还将计算量降低了三倍以上，可见DualNet的性能完全满足了轻量级和高精度性能模型的要求。
综上，根据上述基于双路径卷积神经网络的叶片病害识别方法，通过设计一种独特的双路径卷积神经网络进行叶片图像的特征提取，确保了模型中具有更宽的信道宽度，从而能够在相同的深度上包含更多的信道，极大地的提高了模型的精度，实现了准确鉴定作物叶片病害的要求。具体为，通过设计一种新的双路径结构的特征提取网络，此双路径结构允许模型在相同的深度上有更多的通道，从而提高了模型的精度，在双路径结构中，还集成了一种三分支并行模块，称为TBP块，其中包括瓶颈块分支、逆瓶颈块分支和非卷积分支，并且每个分支后面都跟着ReLU层和BN层，可促进多尺度的特征提取，从而确保了优秀的特征提取能力，同时保持了较低的计算成本，再引入一种通道注意机制SE块，增强了模型对不同通道特征的关注，从而提高了模型的表征能力，又引入一种新的残差块，称为W残差块，在W残差块中采用DW卷积代替了规则卷积，通过这种深度可分离卷积显著减少了随模型深度增加而带来的计算代价，从而显著降低了模型的计算成本，将采集到的作物叶片图像输入上述双路径卷积神经网络中以进行特征提取，将提取到的特征映射展平为一维特征向量，通过分类器匹配数据库中对应的病害类型，极大地提高了叶片病害的识别准确度，实现了作物叶片病害的精准识别。
请参阅图3，所示为本发明第三实施例提出的基于双路径卷积神经网络的叶片病害识别系统的结构示意图，该系统包括：
数据采集模块10，用于采集作物叶片的待识别图像；
特征提取模块20，用于将待识别图像输入预先训练过的双路径卷积神经网络中，以获取叶片特征信息；
病害识别模块30，用于根据叶片特征信息，在预先设置的叶片病害数据库中对叶片病害类型进行判定，以最终预测识别的叶片病害类型。
进一步的，数据采集模块10包括：
图像采集单元101，用于采集作物叶片的待识别图像。
进一步的，特征提取模块20包括：
特征提取单元201，用于将待识别图像输入预先训练过的双路径卷积神经网络中，以获取叶片特征信息。
进一步的，病害识别模块30包括：
病害识别单元301，用于根据叶片特征信息，在预先设置的叶片病害数据库中对叶片病害类型进行判定，以最终预测识别的叶片病害类型。
本发明另一方面还提出计算机存储介质，其上存储有一个或多个程序，该程序给处理器执行时实现上述的基于双路径卷积神经网络的叶片病害识别方法。
本发明另一方面还提出一种计算机设备，包括存储器和处理器，其中所述存储器用于存放计算机程序，所述处理器用于执行所述存储器上所存放的计算机程序，以实现上述的基于双路径卷积神经网络的叶片病害识别方法。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种基于双路径卷积神经网络的叶片病害识别方法，其特征在于，包括：
采集作物叶片的待识别图像；
将所述待识别图像输入预先训练过的双路径卷积神经网络中，以获取叶片特征信息；
根据所述叶片特征信息，在预先设置的叶片病害数据库中对叶片病害类型进行判定，以最终预测识别叶片病害类型；
所述双路径卷积神经网络为双路径卷积神经网络DualNet，所述双路径卷积神经网络DualNet定义如下：
，
其中，i表示层数，表示第i层输入张量，/>表示张量的形状，/>和/>表示空间维度，/>表示通道维度，/>是算子，/>表示/>阶段内的/>重复/>次数；
所述双路径卷积神经网络的双路径结构定义如下：
，
其中为算子，/>为输入张量，在所述双路径结构中，每个路径都由/>个卷积层组成，表示张量的形状，/>和/>表示空间维度，/>表示通道维度；
所述将所述待识别图像输入预先训练过的双路径卷积神经网络中，以获取叶片特征信息的步骤包括：
将所述待识别图像输入基础卷积块，以获取基础特征信息；
对所述基础特征信息进行一次降采样操作后分为完全相同的三份基础特征信息，进而再输入TBP块中，所述TBP块的定义如下：
，
其中为算子，/>为输入张量，/>表示三个分支末尾的归一化层和激活函数，表示张量的形状，/>和/>表示空间维度，/>表示通道维度；
将所述三份基础特征信息分别输入所述TBP块的三个分支中，所述三个分支分别为瓶颈结构分支、逆瓶颈结构分支、非卷积分支；
获取所述三个分支提取的全部特征信息，并将所述全部特征信息合并为多尺度特征信息。
2.根据权利要求1所述的基于双路径卷积神经网络的叶片病害识别方法，其特征在于，所述将所述待识别图像输入预先训练过的双路径卷积神经网络中，以获取叶片特征信息的步骤之前包括：
将采集到的作物叶片的待识别图像进行两次降采样操作；
将两次降采样后的图像分为完全相同的两份待识别图像，并将所述两份待识别图像分别输入双路径卷积神经网络的不同通道中。
3.根据权利要求1所述的基于双路径卷积神经网络的叶片病害识别方法，其特征在于，所述获取所述三个分支提取的全部特征信息，并将所述全部特征信息合并为多尺度特征信息的步骤之后包括：
对多尺度特征信息进行一次降采样操作后分为完全相同的两份多尺度特征信息，进而再输入SE块；
将所述两份多尺度特征信息分别输入SE块的两个分支中，所述两个分支分别为加权分支和原始分支；
所述多尺度特征信息输入加权分支后，通过全局平均池化层将所述多尺度特征信息压缩为标量；
将所述标量通过两个全连接层，以学习通道之间的权重；
将加权分支获取的权重与原始分支获取的多尺度特征信息相乘合并，以获取加权特征信息。
4.根据权利要求3所述的基于双路径卷积神经网络的叶片病害识别方法，其特征在于，所述将加权分支获取的权重与原始分支获取的多尺度特征信息相乘合并，以获取加权特征信息的步骤之后包括：
对加权特征信息进行一次降采样操作后分为完全相同的两份加权特征信息，进而再输入W残差块；
将所述两份加权特征信息分别输入W残差块的两个分支中，所述两个分支分别为深度可分离卷积分支和原始分支；
所述加权特征信息输入深度可分离卷积分支后，通过深度卷积层和点卷积层获取深度特征；
将深度可分离卷积分支获取的深度特征和原始分支获取的加权特征信息合并，以获取深层特征信息。
5.根据权利要求4所述的基于双路径卷积神经网络的叶片病害识别方法，其特征在于，所述将深度可分离卷积分支获取的深度特征和原始分支获取的加权特征信息合并，以获取深层特征信息的步骤之后还包括：
对深层特征信息进行一次降采样操作；
将双路径卷积神经网络两个通道获取的所述深层特征信息进行合并，以获取叶片特征信息。
6.根据权利要求1所述的基于双路径卷积神经网络的叶片病害识别方法，其特征在于，所述根据所述叶片特征信息，在预先设置的叶片病害数据库中对叶片病害类型进行判定，以最终预测识别叶片病害类型的步骤包括：
将叶片特征信息输入自适应池化层和全连接层，以将所述叶片特征信息展平，获取一个一维特征向量；
将所述一维特征向量输入识别分类器，通过softmax函数将所述一维特征向量映射到不同类别的概率分布上，再通过交叉熵损失函数来最小化双路径卷积神经网络模型输出的概率分布与真实标签的概率分布之间的差异，获取概率最高的类别，并将所述类别与预先设置的叶片病害数据库中的病害类别进行对应并输出最终预测识别叶片病害类型。
7.一种基于双路径卷积神经网络的叶片病害识别系统，其特征在于，包括：
数据采集模块，用于采集作物叶片的待识别图像；
特征提取模块，用于将所述待识别图像输入预先训练过的双路径卷积神经网络中，以获取叶片特征信息，所述双路径卷积神经网络为双路径卷积神经网络DualNet，所述双路径卷积神经网络DualNet定义如下：
，
其中，i表示层数，表示第i层输入张量，/>表示张量的形状，/>和/>表示空间维度，/>表示通道维度，/>是算子，/>表示/>阶段内的/>重复/>次数，
所述双路径卷积神经网络的双路径结构定义如下：
，
其中为算子，/>为输入张量，在所述双路径结构中，每个路径都由/>个卷积层组成，表示张量的形状，/>和/>表示空间维度，/>表示通道维度，所述将所述待识别图像输入预先训练过的双路径卷积神经网络中，以获取叶片特征信息的单元包括：将所述待识别图像输入基础卷积块，以获取基础特征信息，对所述基础特征信息进行一次降采样操作后分为完全相同的三份基础特征信息，进而再输入TBP块中，所述TBP块的定义如下：
，
其中为算子，/>为输入张量，/>表示三个分支末尾的归一化层和激活函数，表示张量的形状，/>和/>表示空间维度，/>表示通道维度，将所述三份基础特征信息分别输入所述TBP块的三个分支中，所述三个分支分别为瓶颈结构分支、逆瓶颈结构分支、非卷积分支，获取所述三个分支提取的全部特征信息，并将所述全部特征信息合并为多尺度特征信息；
病害识别模块，用于根据所述叶片特征信息，在预先设置的叶片病害数据库中对叶片病害类型进行判定，以最终预测识别叶片病害类型。
8.一种存储介质，其特征在于，包括：所述存储介质存储一个或多个程序，所述程序被处理器执行时实现如权利要求1-6任一项所述的基于双路径卷积神经网络的叶片病害识别方法。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，其中：
所述存储器用于存放计算机程序；
所述处理器用于执行所述存储器中存放的所述计算机程序时，实现权利要求1-6任一项所述的基于双路径卷积神经网络的叶片病害识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311711480.8A CN117392552B (zh) | 2023-12-13 | 2023-12-13 | 一种基于双路径卷积神经网络的叶片病害识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311711480.8A CN117392552B (zh) | 2023-12-13 | 2023-12-13 | 一种基于双路径卷积神经网络的叶片病害识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117392552A CN117392552A (zh) | 2024-01-12 |
| CN117392552B true CN117392552B (zh) | 2024-02-20 |
Family
ID=89468870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311711480.8A Active CN117392552B (zh) | 2023-12-13 | 2023-12-13 | 一种基于双路径卷积神经网络的叶片病害识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117392552B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086799A (zh) * | 2018-07-04 | 2018-12-25 | 江苏大学 | 一种基于改进卷积神经网络模型AlexNet的作物叶片病害识别方法 |
| CN110070518A (zh) * | 2019-03-15 | 2019-07-30 | 南京航空航天大学 | 一种基于双路径支持下的高光谱图像超分辨率制图方法 |
| AU2020102885A4 (en) * | 2020-10-20 | 2020-12-17 | Xijing University | Disease recognition method of winter jujube based on deep convolutional neural network and disease image |
| AU2020103613A4 (en) * | 2020-11-23 | 2021-02-04 | Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences | Cnn and transfer learning based disease intelligent identification method and system |
| CN114332302A (zh) * | 2021-12-02 | 2022-04-12 | 广东工业大学 | 一种基于多尺度自注意力网络的点云补全系统及方法 |
| WO2023056889A1 (zh) * | 2021-10-09 | 2023-04-13 | 百果园技术(新加坡)有限公司 | 模型训练和场景识别方法、装置、设备及介质 |
-
2023
- 2023-12-13 CN CN202311711480.8A patent/CN117392552B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086799A (zh) * | 2018-07-04 | 2018-12-25 | 江苏大学 | 一种基于改进卷积神经网络模型AlexNet的作物叶片病害识别方法 |
| CN110070518A (zh) * | 2019-03-15 | 2019-07-30 | 南京航空航天大学 | 一种基于双路径支持下的高光谱图像超分辨率制图方法 |
| AU2020102885A4 (en) * | 2020-10-20 | 2020-12-17 | Xijing University | Disease recognition method of winter jujube based on deep convolutional neural network and disease image |
| AU2020103613A4 (en) * | 2020-11-23 | 2021-02-04 | Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences | Cnn and transfer learning based disease intelligent identification method and system |
| WO2023056889A1 (zh) * | 2021-10-09 | 2023-04-13 | 百果园技术(新加坡)有限公司 | 模型训练和场景识别方法、装置、设备及介质 |
| CN114332302A (zh) * | 2021-12-02 | 2022-04-12 | 广东工业大学 | 一种基于多尺度自注意力网络的点云补全系统及方法 |
Non-Patent Citations (6)
| Title |
|---|
| 应自炉 ; 商丽娟 ; 徐颖 ; 刘健 ; .面向图像超分辨率的紧凑型多径卷积神经网络算法研究.信号处理.2018,(06),全文. * |
| 张善文 ; 谢泽奇 ; 张晴晴 ; .卷积神经网络在黄瓜叶部病害识别中的应用.江苏农业学报.2018,(01),全文. * |
| 戚琦 ; 马迎新 ; 王敬宇 ; 孙海峰 ; 廖建新 ; .面向算力受限边缘环境的双分支多尺度感知人脸检测网络.通信学报.2020,(08),全文. * |
| 方晨晨 ; 石繁槐 ; .基于改进深度残差网络的番茄病害图像识别.计算机应用.2020,(S1),全文. * |
| 李丹 ; .基于迁移学习和改进残差神经网络的黄瓜叶部病害识别方法.农业工程.2020,(06),全文. * |
| 赵丽萍 ; 袁霄 ; 祝承 ; 赵晓琦 ; 杨仕虎 ; 梁平 ; 鲁小丫 ; 谭颖 ; .面向图像分类的残差网络进展研究.计算机工程与应用.2020,(20),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117392552A (zh) | 2024-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110120040B (zh) | 切片图像处理方法、装置、计算机设备和存储介质 | |
| CN110321963B (zh) | 基于融合多尺度多维空谱特征的高光谱图像分类方法 | |
| CN111488921B (zh) | 一种全景数字病理图像智能分析系统及方法 | |
| Rudolph et al. | Efficient identification, localization and quantification of grapevine inflorescences and flowers in unprepared field images using Fully Convolutional Networks | |
| Bhatt et al. | Detection of diseases and pests on images captured in uncontrolled conditions from tea plantations | |
| CN111814685A (zh) | 基于双支路卷积自编码器的高光谱图像分类方法 | |
| Ninomiya | High-throughput field crop phenotyping: current status and challenges | |
| CN108038499A (zh) | 一种基于深度学习的树种分类方法与系统 | |
| CN115439654A (zh) | 动态约束下的弱监督农田地块精细化分割方法及系统 | |
| CN111352926B (zh) | 数据处理的方法、装置、设备及可读存储介质 | |
| Li et al. | Improving model robustness for soybean iron deficiency chlorosis rating by unsupervised pre-training on unmanned aircraft system derived images | |
| CN113838524B (zh) | S-亚硝基化位点预测方法、模型训练方法及存储介质 | |
| CN114241309A (zh) | 一种基于ShuffleNetV2-Unet的水稻纹枯病识别方法和系统 | |
| Liu et al. | DS-MENet for the classification of citrus disease | |
| CN117392552B (zh) | 一种基于双路径卷积神经网络的叶片病害识别方法及系统 | |
| CN116977862A (zh) | 一种植物生长阶段视频检测方法 | |
| Rudolph et al. | Efficient identification, localization and quantification of grapevine inflorescences in unprepared field images using fully convolutional networks | |
| CN116385717A (zh) | 叶面病害识别方法、装置、电子设备、存储介质及产品 | |
| Mulmule et al. | Classification of overlapping cells in microscopic cervical images: a transfer learning approach | |
| CN116091763A (zh) | 苹果叶部病害图像语义分割系统及分割方法、设备和介质 | |
| CN115170987A (zh) | 一种基于图像分割和配准融合对葡萄进行病害检测的方法 | |
| Gunes et al. | Classification of hazelnuts with CNN based deep learning system | |
| Sun et al. | The image recognition of urban greening tree species based on deep learning and CAMP-MKNet model | |
| CN112084889A (zh) | 一种图像行为识别方法、装置、计算设备及存储介质 | |
| Li et al. | Production evaluation of citrus fruits based on the yolov5 compressed by knowledge distillation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |