CN116311230A - 一种面向真实场景下的玉米叶片病害识别方法及装置 - Google Patents
一种面向真实场景下的玉米叶片病害识别方法及装置 Download PDFInfo
- Publication number
- CN116311230A CN116311230A CN202310556136.XA CN202310556136A CN116311230A CN 116311230 A CN116311230 A CN 116311230A CN 202310556136 A CN202310556136 A CN 202310556136A CN 116311230 A CN116311230 A CN 116311230A
- Authority
- CN
- China
- Prior art keywords
- layer
- msdcnext
- corn leaf
- model
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 240000008042 Zea mays Species 0.000 title claims abstract description 142
- 235000002017 Zea mays subsp mays Nutrition 0.000 title claims abstract description 142
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 title claims abstract description 140
- 235000005822 corn Nutrition 0.000 title claims abstract description 140
- 201000010099 disease Diseases 0.000 title claims abstract description 127
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 127
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 58
- 238000010191 image analysis Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 30
- 230000004927 fusion Effects 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 description 16
- 230000007246 mechanism Effects 0.000 description 9
- 230000035929 gnawing Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 241000346285 Ostrinia furnacalis Species 0.000 description 4
- 241000233679 Peronosporaceae Species 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 2
- 235000016383 Zea mays subsp huehuetenangensis Nutrition 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000009973 maize Nutrition 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种面向真实场景下的玉米叶片病害识别方法及装置，包括：获取训练样本集；构建MSDCNeXt模型，所述模型包括多个阶段的MSDCNeXt block堆叠模块，每个阶段的MSDCNeXt block堆叠模块后面设有降采样层，MSDCNeXt block内部采用瓶颈结构的残差模块；基于训练样本集训练所述MSDCNeXt模型，获取玉米叶片病害识别模型；通过训练完成的玉米叶片病害识别模型进行玉米叶片图像分析，获取玉米叶片病害识别结果。本发明通过MSDCNeXt模型提高了玉米叶片病害图像识别准确率。
Description
技术领域
本发明涉及玉米叶片病害识别技术，具体涉及一种面向真实场景下的玉米叶片病害识别方法及装置。
背景技术
目前在玉米病害图像识别研究方面，大部分是针对公开数据集上的原始图像集进行识别和模型构建，那么研究工作大多数是基于简单背景的情况，将此模型直接用来识别实际环境下的病害图像时会产生泛化能力弱，准确率无法达到应用需求等方面的问题。自然场景下的植物病害存在背景复杂、病害区域小和病害区域与背景差异小等问题，造成了玉米识别精度不高。通过总结可以发现，现有的针对真实环境的玉米病害识别研究工作大多数是基于简单背景的情况。然而，由于真实场景下面向实际应用时，需要识别的大部分是噪声大、复杂背景的玉米病害图像。现有的识别模型在面向真实场景下的玉米病害图像识别时往往无法获得满足高准确率的实际应用需求。
发明内容
针对上述现有技术存在的问题，本发明提供了一种面向真实场景下的玉米叶片病害识别方法及装置，通过构建的MSDCNeXt网络并进行训练样本训练，实现在面向真实场景下的玉米病害图像识别时获得满足高准确率的实际应用需求。该技术方案包括：
一方面，提供了一种面向真实场景下的玉米叶片病害识别方法，包括：
获取训练样本集；
构建MSDCNeXt模型，所述模型包括依次连接的Stem层、多个阶段的MSDCNeXtblock堆叠模块和分类识别模块，所述Stem层用于对模型输入进行降采样，多个阶段的MSDCNeXt block堆叠模块用于提取玉米叶片图像特征，分类识别模块用于输出玉米叶片病害识别结果，每个阶段的MSDCNeXt block堆叠模块后面设有降采样层，所述的MSDCNeXtblock内部采用瓶颈结构的残差模块，分类识别模块包括一个全局平均池化层和一个多分类的全连接层；
基于训练样本集训练所述MSDCNeXt模型，获取玉米叶片病害识别模型；
针对待识别的玉米叶片图像，通过训练完成的玉米叶片病害识别模型进行图像分析，获取玉米叶片病害识别结果。
可选的，在一些实施方式中，所述MSDCNeXt模型，包括4个阶段的MSDCNeXt block堆叠模块，4个阶段中MSDCNeXt block堆叠个数比例为1：1：3：1。
可选的，在一些实施方式中，所述MSDCNeXt block，包括依次连接的第一层卷积网络、第二层卷积网络、第三层卷积网络，所述第一层卷积网络、第二层卷积网络、第三层卷积网络的通道数采用瓶颈结构，第一层卷积网络输入、第三层卷积网络输出的通道数均大于第二层卷积网络的通道数。
可选的，在一些实施方式中，所述MSDCNeXt block，第二层卷积网络采用多尺度特征融合结构，第二层卷积网络包括至少3个不同尺度的特征提取结构，基于提取得到的至少3个不同尺度特征图进行融合。
可选的，在一些实施方式中，所述MSDCNeXt block，第二层卷积网络的特征提取结构至少包括：
第一尺度特征提取结构：包括k1层深度可分离卷积层；
第二尺度特征提取模块：包括k2层深度可分离卷积层；
第三尺度特征提取模块：包括k3层深度可分离卷积层,所述k1、k2、k3表征深度可分离卷积层的层数，且k1、k2、k3取值不同。
可选的，在一些实施方式中，所述MSDCNeXt block，第二层卷积网络中的每一层深度可分离卷积层中采用小核卷积，卷积核尺寸采用3*3。
可选的，在一些实施方式中，
所述第一层卷积网络采用级联的1*1卷积层和GELU激活函数层，
第二层卷积网络中的每一层深度可分离卷积层之后连接一层Layernorm归一化层；
所述第三层卷积网络采用级联的1*1卷积层、Layer Scale层和Drop Path层。
可选的，在一些实施方式中，所述MSDCNeXt block，还包括与第三层卷积网络输出端连接的注意力模块。
可选的，在一些实施方式中，所述获取训练样本集，包括基于Mixup数据增强算法扩增训练样本及训练样本的分布范围。
又一方面，提供了一种面向真实场景下的玉米叶片病害识别装置，包括：
训练数据获取单元，用于获取训练样本集；
训练模型获取单元，用于构建MSDCNeXt模型，所述模型包括依次连接的Stem层、多个阶段的MSDCNeXt block堆叠模块和分类识别模块，所述Stem层用于对模型输入进行降采样，多个阶段的MSDCNeXt block堆叠模块用于提取玉米叶片图像特征，分类识别模块用于输出玉米叶片病害识别结果，每个阶段的MSDCNeXt block堆叠模块后面设有降采样层，所述的MSDCNeXt block内部采用瓶颈结构的残差模块，分类识别模块包括一个全局平均池化层和一个多分类的全连接层；
模型训练单元，用于基于训练样本集训练所述MSDCNeXt模型，获取玉米叶片病害识别模型；
玉米叶片病害识别单元，用于针对待识别的玉米叶片图像，通过训练完成的玉米叶片病害识别模型进行图像分析，获取玉米叶片病害识别结果。
本发明的一种面向真实场景下的玉米叶片病害识别方法及装置，具备如下有益效果：本发明的MSDCNeXt网络，通过多个阶段的MSDCNeXt block堆叠模块、每个阶段的MSDCNeXt block堆叠模块后面设有降采样层、MSDCNeXt block内部采用瓶颈结构，在多个阶段的MSDCNeXt block堆叠模块提取特征后，接入一个全局平均池化层降低特征映射的空间维度，最后连接一个多分类的全连接层得到类别输出，减小模型计算量和复杂性的同时提高了玉米叶片病害图像识别的准确性。
附图说明
图1是本申请实施例中一种面向真实场景下的玉米叶片病害识别方法的流程示意图；
图2是本申请实施例中MSDCNeXt网络的结构示意图；
图3是本申请实施例MSDCNeXt网络中MSDCNeXt block的结构示意图；
图4是本申请实施例MSDCNeXt block中第二层卷积网络即多尺度特征融合结构的结构示意图；
图5是本申请实施例各类玉米病害实例示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的一种面向真实场景下的玉米叶片病害识别方法，包括如下步骤：
步骤1，获取训练样本集；
步骤2，构建MSDCNeXt模型，所述模型包括依次连接的Stem层、多个阶段的MSDCNeXt block堆叠模块和分类识别模块，所述Stem层用于对模型输入进行降采样，多个阶段的MSDCNeXt block堆叠模块用于提取玉米叶片图像特征，分类识别模块用于输出玉米叶片病害识别结果，每个阶段的MSDCNeXt block堆叠模块后面设有降采样层，所述的MSDCNeXt block内部采用瓶颈结构的残差模块，分类识别模块包括一个全局平均池化层和一个多分类的全连接层，本申请实施例中采用八分类的全连接层；
步骤3，基于训练样本集训练所述MSDCNeXt模型，获取玉米叶片病害识别模型；
步骤4，针对待识别的玉米叶片图像，通过训练完成的玉米叶片病害识别模型进行图像分析，获取玉米叶片病害识别结果。
本申请实施例中，MSDCNeXt网络的Stem层表示位于输入之后的一个降采样层，该Stem层采用一个4*4卷积层和Layer Norm层级联，通过该Stem层对输入图像进行下采样操作，获得图像丰富的特征表示。
残差模块是一种将输入进行卷积处理之后再和输入叠加的图像特征提取结构。在进行卷积处理过程中，可以采用逆瓶颈结构或者瓶颈结构，其中瓶颈结构是指对输入通道数较大的特征图先进行一个压缩通道数的处理，减小通道数，再进行卷积特征提取，通常在进行卷积特征提取之后会加一层通道数复原的处理，即两头粗中间细的结构。逆瓶颈结构则相反，即为两头小中间宽的结构，中间层维度大于两头（输入和输出）维度，例如，可以是中间层维度是输入维度的4倍宽。
本申请实施例中，MSDCNeXt block内部采用瓶颈结构，即两头粗中间细的结构，减小计算量。每个阶段的MSDCNeXt block堆叠模块后面设有降采样层，该降采样层包括级联的一个Laryer Normalization和一个卷积核大小为2步距为2的卷积层，通过在每个阶段之后单独设置降采样层，有利于提高玉米叶片病害识别模型准确率。
在多个阶段的MSDCNeXt block堆叠模块提取特征后，接入一个全局平均池化层降低特征映射的空间维度，最后连接一个八分类的全连接层得到类别输出，该全连接层用于输出健康叶片、霜霉病、大斑病、普通锈病、玉米螟啃食叶片、蝗虫啃食叶片、北叶枯病、灰斑病8种分类结果。
本申请实施例中，通过多个阶段的MSDCNeXt block堆叠模块、每个阶段的MSDCNeXt block堆叠模块后面设有降采样层、MSDCNeXt block内部采用瓶颈结构，减小模型计算量和复杂性的同时提高了玉米叶片病害图像识别的准确性。
进一步的，在上述步骤2中，MSDCNeXt模型，包括4个阶段的MSDCNeXt block堆叠模块，4个阶段中MSDCNeXt block堆叠个数比例为1：1：3：1。
本申请实施例中，第一个阶段堆叠3个MSDCNeXt block，第二个阶段堆叠3个MSDCNeXt block，第三个阶段堆叠9个MSDCNeXt block，第四个阶段堆叠3个MSDCNeXtblock。第三个阶段堆叠占比最高，有利于提高玉米叶片病害识别模型准确率。
进一步的，在上述步骤2中，MSDCNeXt block包括依次连接的第一层卷积网络、第二层卷积网络、第三层卷积网络，所述第一层卷积网络、第二层卷积网络、第三层卷积网络的通道数采用瓶颈结构，第一层卷积网络输入、第三层卷积网络输出的通道数均大于第二层卷积网络的通道数。
本申请实施例中，MSDCNeXt block采用瓶颈结构，三层卷积网络中输入维度和输出维度较大，即“大维度-小维度-大维度”的结构，以减小计算量。在一种实施方式中，第一层卷积网络输入通道384，第三层卷积网络输出的通道数384，第二层卷积网络输入输出通道数为96。
进一步的，在上述步骤2中，MSDCNeXt block中，第二层卷积网络采用多尺度特征融合结构，第二层卷积网络包括至少3个不同尺度的特征提取结构，基于提取得到的至少3个不同尺度特征图进行融合。
本申请实施例中的MSDCNeXt block，采用三层依次为1x1 conv—>多尺度特征融合结构—>1x1 conv的结构，中间层在不同空间尺度上从玉米叶病图像中提取特征获取不同尺寸的特征图并进行融合，提高精细特征表征能力，实现丰富的语义特征表达能力。
进一步的，在上述步骤2中，MSDCNeXt block中，第二层卷积网络的特征提取结构至少包括：
第一尺度特征提取结构：包括k1层深度可分离卷积层；
第二尺度特征提取模块：包括k2层深度可分离卷积层；
第三尺度特征提取模块：包括k3层深度可分离卷积层,所述k1、k2、k3表征深度可分离卷积层的层数，且k1、k2、k3取值不同。
本申请实施例中，多尺度特征融合结构中用于提取不同尺度特征图的结构采用深度可分离卷积，同时通过不同层深度可分离卷积堆叠实现不同尺度的特征图提取，增加模型的非线性提取特征能力，同时提高特征提取速度。
进一步的，在上述步骤2中，MSDCNeXt block中，第二层卷积网络中的每一层深度可分离卷积层中采用小核卷积，卷积核尺寸采用3*3。
一般的，卷积核尺寸有7*7、5*5、3*3、1*1等，申请实施例中，结合上述尺度特征提取模块采用多层堆叠的方式，本申请的卷积核采用对GPU加速的更友好的小尺度卷积核，在一种实施方式中，采用3*3卷积核，进而，如果上述k1、k2、k3分别取值1、3、5，则本申请中第一尺度特征提取结构实现3*3卷积，第二尺度特征提取模块实现5*5卷积，第三尺度特征提取模块实现7*7卷积，实现了不同尺度的特征图提取。
进一步的，在上述步骤2的MSDCNeXt block中第一层卷积网络采用级联的1*1卷积层和GELU激活函数层，第二层卷积网络中的每一层深度可分离卷积层之后连接一层Layernorm归一化层；第三层卷积网络采用级联的1*1卷积层、Layer Scale层和Drop Path层。
本申请实施例中，第一层卷积网络和第二层卷积网络之间采用了GELU激活函数，同时仅在第二层卷积网络中的每一层深度可分离卷积层之后采用Layernorm层，减少的Layernorm层和激活函数的使用，在减小模型计算量的同时保证模型准确率。
本申请实施例中，在上述步骤2中的MSDCNeXt block，还包括与第三层卷积网络输出端连接的注意力模块。
在自然环境中拍摄的玉米叶部病害照片有着复杂的背景，因此玉米叶片病害特征在图像中的位置对于正确识别玉米病害种类是至关重要的。为了解决玉米病害叶片的识别准确率不高问题，本申请实施例中，在MSDCNeXt block残差块中嵌入注意力模块，通过空间注意力、通道注意力等多种注意力机制从玉米病害图像中提取信息，注意力机制的引入去除了冗余背景信息的影响，最大限度保留玉米病害的特征信息，增强了病害特征在图像中的表现，提高了模型的识别性能。
在一种实施方式中，所述注意力模块采用CBAM注意力模块，CBAM结合空间注意力和通道注意力，有利于实现剔除冗余特征，提升特征的有效性，通过恒等映射缓解深层网络梯度弥散和梯度爆炸的问题，提高网络训练的收敛速度。
本申请实施例中，在上述步骤1中获取训练样本集，包括基于Mixup数据增强算法扩增训练样本及训练样本的分布范围。Mixup数据增强算法思想是从训练样本中随机挑选两张图片按一定的超参数混合后产生虚拟样本。虚拟样本在扩充了训练集的同时，又描述了训练数据中每个样本的邻域，扩大了训练样本分布的范围，当模型进行分类决策时使决策边界模糊化，从而提供更平滑的预测。Mixup通过线性结合两个训练样本和其对应的相关标签来产生虚拟样本。
对于上述步骤4，针对待识别的玉米叶片图像，通过训练完成的玉米叶片病害识别模型进行图像分析，获取玉米叶片病害识别结果，在一种实施方式中，将所述待识别的玉米叶片图像直接采用当前的玉米叶片病害识别模型进行图像分析，获取玉米叶片病害识别结果；考虑到本申请实施例中MSDCNeXt网络识别玉米叶片病害的适应性，该步骤4，还包括：
步骤41，基于待识别的玉米叶片图像输入当前玉米叶片病害识别模型，基于所述当前玉米叶片病害识别模型的分类识别模块获取所述待识别的玉米叶片图像属于各个第一类别的概率值，记为第一类别概率值序列，所述第一类别为当前玉米叶片病害识别模型识别类型范围内的类别；
步骤42，基于所述待识别的玉米叶片图像的第一类别概率值序列的分布特征判断玉米叶片图像的第一类别概率值序列是否异常；
步骤43，在所述待识别的玉米叶片图像的第一类别概率值序列的分布特征异常时，判定所述待识别的玉米叶片图像为第二类别，所述第二类别为超出当前玉米叶片病害识别模型识别类型范围的类别；
步骤44，在所述待识别的玉米叶片图像的第一类别概率值序列的分布特征正常时，判定所述待识别的玉米叶片图像为第一类别，直接采用当前的玉米叶片病害识别模型对所述待识别的玉米叶片图像进行图像分析，获取玉米叶片病害识别结果。
可以理解，本申请实施例中的当前玉米叶片病害识别模型是基于已知玉米叶片病害类型的样本图像经过训练得到的，例如，上述玉米叶片病害识别模型基于健康叶片、霜霉病、大斑病、普通锈病、玉米螟啃食叶片、蝗虫啃食叶片、北叶枯病、灰斑病8种叶片图像进行训练，则针对一个输入图像，分类识别模块会输出该输入图像属于8种已知叶片病害类型的各个概率值；进一步，对于上述多种霜霉病、大斑病、普通锈病、玉米螟啃食叶片、健康叶片等多种类型的叶片图像，同一类型的叶片图像在输入当前玉米叶片病害识别模型（即训练完成的玉米叶片病害识别模型）后，得到的第一类别概率值序列分布特征具有一致性；
在上述步骤43中，当所述待识别的玉米叶片图像的第一类别概率值序列的分布特征与已知叶片病害类型对应的第一类别概率值序列的分布特征不一致时，则判定所述待识别的玉米叶片图像为第二类别；可以理解，该不一致性可以基于第一类别概率值序列的分布特征的统计值例如均值、方差、标准差等进行异常判断分析得到，也可以基于第一类别概率值序列的分布特征经过神经网络提取深层隐藏特征，基于该深层隐藏特征进行异常判断分析得到，此时，该提取深层隐藏特征的该神经网络在训练当前玉米叶片病害识别模型时同时训练得到。
上述步骤43中，当判定所述待识别的玉米叶片图像为第二类别时，可以采用人工识别方法或者预设自动识别方式进行识别，并且基于该第二类型的玉米叶片图像在当前玉米叶片病害识别模型基础上重新训练玉米叶片病害识别模型，获取新的玉米叶片病害识别模型，可以理解，新的玉米叶片病害识别模型识别类型多于当前玉米叶片病害识别模型。
本申请实施例提供了一种面向真实场景下的玉米叶片病害识别装置，该装置包括：
训练数据获取单元，用于获取训练样本集；
训练模型获取单元，用于构建MSDCNeXt模型，所述模型包括依次连接的Stem层、多个阶段的MSDCNeXt block堆叠模块和分类识别模块，所述Stem层用于对模型输入进行降采样，多个阶段的MSDCNeXt block堆叠模块用于提取玉米叶片图像特征，分类识别模块用于输出玉米叶片病害识别结果，每个阶段的MSDCNeXt block堆叠模块后面设有降采样层，所述的MSDCNeXt block内部采用瓶颈结构的残差模块，分类识别模块包括一个全局平均池化层和一个八分类的全连接层；
模型训练单元，用于基于训练样本集训练所述MSDCNeXt模型，获取玉米叶片病害识别模型；
玉米叶片病害识别单元，用于针对待识别的玉米叶片图像，通过训练完成的玉米叶片病害识别模型进行图像分析，获取玉米叶片病害识别结果。
上述玉米叶片病害图像识别装置中的各个功能单元可全部或部分通过软件、硬件及其组合来实现。上述各功能单元可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个功能单元对应的操作。
下面对上述面向真实场景下的玉米叶片病害识别方法的实施效果进行说明。
（1）构建数据集，包括自建数据集以及Plant Village数据集中的玉米病害图像，其中图像种类包括健康叶片、霜霉病、大斑病、普通锈病、玉米螟啃食叶片、蝗虫啃食叶片、北叶枯病、灰斑病8种；
（2）玉米叶病害种类的识别通过玉米病理学专家判断与确认得到类别标签，将玉米病害图像数据集按7:3划分为训练集和测试集，对训练集和测试集的图像进行预处理与图像增强操作，其中8种玉米病害图像及其标注数据如图5所示；
（3）将训练集输入预先构建的MSDCNeXt模型进行训练，得到训练后的玉米叶片病害模型；
（4）将测试集中的玉米病害图像输入到训练后的玉米叶片病害模型，训练后的玉米叶片病害模型输出玉米叶片病害类别，通过比对预测类别以及原始类别标签得到玉米病害识别准确率。
为了分析不同模块对模型的重要性，在玉米病害图像数据集上进行了消融实验。选择了三个组成部分进行消融实验，这三个部分分别是MSDCNeXt block、注意力模块和数据增强算法。表1显示了8个实验方案的玉米叶片病害识别性能。
| 实验 | Block | 注意力模块 | 数据增强算法 | 识别准确率Acc |
| 实验1 | ConvNeXt Block | None | None | 0.925 |
| 实验2 | ConvNeXt Block | None | Mixup | 0.938 |
| 实验3 | ConvNeXt Block | CBAM | None | 0.937 |
| 实验4 | ConvNeXt Block | CBAM | Mixup | 0.938 |
| 实验5 | MSDCNeXt Block | None | None | 0.958 |
| 实验6 | MSDCNeXt Block | None | Mixup | 0.95 |
| 实验7 | MSDCNeXt Block | CBAM | None | 0.957 |
| 实验8 | MSDCNeXt Block | CBAM | Mixup | 0.967 |
表1 MSDCNeXt网络模型消融实验结果
从表1中可知，本申请实施例的MSDCNeXt网络显然准确率均优于对比模型，其中方案8的平均准确率达到96.7%。从表1中可知，添加Mixup数据增强的方式获得了更好的识别结果，说明该数据增强可以进一步提高复杂背景下玉米叶片病害的识别性能。其次，通过尝试相同的数据增强方法和相同的注意力机制方法，并比较MSDCNeXt-Block和ConvNeXtt-Block的实验，我们发现使用本申请实施例的MSDCNeXt-Block的多尺度特征融合形式构造的网络模型的识别性能最好。该结果表明，使用本申请实施例的基于多尺度特征融合形式的MSDCNeXt-Block可以提高对玉米叶片病害特征的提取能力。最后，通过使用相同的数据增强方法和相同的多尺度组合进行实验。在所有实验中，使用MSDCNeXt-Block的多尺度模块，添加Mixup数据增强方法，选用CBAM注意力机制方法所得到的模型准确率最高，如表1所示。
| 不同注意力机制 | Batch_size | epoch | Accuracy(%) |
| CA-MSDCNeXt | 32 | 500 | 0.957 |
| SE-MSDCNeXt | 32 | 500 | 0.96 |
| CBAM-MSDCNeXt | 32 | 500 | 0.967 |
表2 MSDCNeXt网络使用不同注意力模块的比较
表2显示了使用SE、CA和CABM这三种注意力机制的MSDCNeXt模型的性能比较。实验表明，当使用CABM注意力机制时，玉米叶片病害的识别效果最好。
本申请实施例为了提高玉米叶片病害识别的检测精度，提出了一种新的网络体系结构MSDCNeXt用于在复杂的背景下识别玉米病害，该MSDCNeXt是一个多尺度特征提取网络，在MSDCNeXt中通过多尺度特征和注意力机制提高网络的表征能力，在不同空间尺度上从玉米叶病图像中提取特征，以减少复杂背景的影响，通过在残差块前嵌入注意力模块，空间和通道注意力机制来从玉米病害图像中提取信息，以减少复杂背景的影响，最大限度保留玉米病害的特征信息。
本发明不局限于上述具体的实施方式，本领域的普通技术人员从上述构思出发，不经过创造性的劳动，所做出的种种变换，均落在本发明的保护范围之内。
Claims (10)
1.一种面向真实场景下的玉米叶片病害识别方法，其特征在于，包括：
获取训练样本集；
构建MSDCNeXt模型，所述模型包括依次连接的Stem层、多个阶段的MSDCNeXt block堆叠模块和分类识别模块，所述Stem层用于对模型输入进行降采样，多个阶段的MSDCNeXtblock堆叠模块用于提取玉米叶片图像特征，分类识别模块用于输出玉米叶片病害识别结果，每个阶段的MSDCNeXt block堆叠模块后面设有降采样层，所述的MSDCNeXt block内部采用瓶颈结构的残差模块，分类识别模块包括一个全局平均池化层和一个多分类的全连接层；
基于训练样本集训练所述MSDCNeXt模型，获取玉米叶片病害识别模型；
针对待识别的玉米叶片图像，通过训练完成的玉米叶片病害识别模型进行图像分析，获取玉米叶片病害识别结果。
2.根据权利要求1所述的一种面向真实场景下的玉米叶片病害识别方法，其特征在于，所述MSDCNeXt模型，包括4个阶段的MSDCNeXt block堆叠模块，4个阶段中MSDCNeXt block堆叠个数比例为1：1：3：1。
3.根据权利要求2所述的一种面向真实场景下的玉米叶片病害识别方法，其特征在于，所述MSDCNeXt block，包括依次连接的第一层卷积网络、第二层卷积网络、第三层卷积网络，所述第一层卷积网络、第二层卷积网络、第三层卷积网络的通道数采用瓶颈结构，第一层卷积网络输入、第三层卷积网络输出的通道数均大于第二层卷积网络的通道数。
4.根据权利要求3所述的一种面向真实场景下的玉米叶片病害识别方法，其特征在于，所述MSDCNeXt block，第二层卷积网络采用多尺度特征融合结构，第二层卷积网络包括至少3个不同尺度的特征提取结构，基于提取得到的至少3个不同尺度特征图进行融合。
5.根据权利要求4所述的一种面向真实场景下的玉米叶片病害识别方法，其特征在于，所述MSDCNeXt block，第二层卷积网络的特征提取结构至少包括：
第一尺度特征提取结构：包括k1层深度可分离卷积层；
第二尺度特征提取模块：包括k2层深度可分离卷积层；
第三尺度特征提取模块：包括k3层深度可分离卷积层,所述k1、k2、k3表征深度可分离卷积层的层数，且k1、k2、k3取值不同。
6.根据权利要求5所述的一种面向真实场景下的玉米叶片病害识别方法，其特征在于，所述MSDCNeXt block，第二层卷积网络中的每一层深度可分离卷积层中采用小核卷积，卷积核尺寸采用3*3。
7.根据权利要求3所述的一种面向真实场景下的玉米叶片病害识别方法，其特征在于，
所述第一层卷积网络采用级联的1*1卷积层和GELU激活函数层，
第二层卷积网络中的每一层深度可分离卷积层之后连接一层Layernorm归一化层；
所述第三层卷积网络采用级联的1*1卷积层、Layer Scale层和Drop Path层。
8.根据权利要求3所述的一种面向真实场景下的玉米叶片病害识别方法，其特征在于，所述MSDCNeXt block，还包括与第三层卷积网络输出端连接的注意力模块。
9.根据权利要求1所述的一种面向真实场景下的玉米叶片病害识别方法，其特征在于，所述获取训练样本集，包括基于Mixup数据增强算法扩增训练样本及训练样本的分布范围。
10.一种面向真实场景下的玉米叶片病害识别装置，其特征在于，包括：
训练数据获取单元，用于获取训练样本集；
训练模型获取单元，用于构建MSDCNeXt模型，所述模型包括依次连接的Stem层、多个阶段的MSDCNeXt block堆叠模块和分类识别模块，所述Stem层用于对模型输入进行降采样，多个阶段的MSDCNeXt block堆叠模块用于提取玉米叶片图像特征，分类识别模块用于输出玉米叶片病害识别结果，每个阶段的MSDCNeXt block堆叠模块后面设有降采样层，所述的MSDCNeXt block内部采用瓶颈结构的残差模块，分类识别模块包括一个全局平均池化层和一个多分类的全连接层；
模型训练单元，用于基于训练样本集训练所述MSDCNeXt模型，获取玉米叶片病害识别模型；
玉米叶片病害识别单元，用于针对待识别的玉米叶片图像，通过训练完成的玉米叶片病害识别模型进行图像分析，获取玉米叶片病害识别结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310556136.XA CN116311230B (zh) | 2023-05-17 | 2023-05-17 | 一种面向真实场景下的玉米叶片病害识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310556136.XA CN116311230B (zh) | 2023-05-17 | 2023-05-17 | 一种面向真实场景下的玉米叶片病害识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116311230A true CN116311230A (zh) | 2023-06-23 |
| CN116311230B CN116311230B (zh) | 2023-08-18 |
Family
ID=86803532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310556136.XA Active CN116311230B (zh) | 2023-05-17 | 2023-05-17 | 一种面向真实场景下的玉米叶片病害识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116311230B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104318227A (zh) * | 2014-11-19 | 2015-01-28 | 天津工业大学 | 基于Curvelet-SC玉米病害识别方法 |
| CN108038517A (zh) * | 2018-01-02 | 2018-05-15 | 东北农业大学 | 基于改进卷积神经网络模型Cifar10的玉米叶片病害识别方法 |
| CN110148120A (zh) * | 2019-05-09 | 2019-08-20 | 四川省农业科学院农业信息与农村经济研究所 | 一种基于cnn与迁移学习的病害智能识别方法及系统 |
| EP3620052A1 (en) * | 2018-12-12 | 2020-03-11 | Bayer Aktiengesellschaft | Use of phenoxypyridinyl-substituted (1h-1,2,4-triazol-1-yl)alcohols for controlling fungicidal diseases in maize |
| CN110929610A (zh) * | 2019-11-12 | 2020-03-27 | 上海五零盛同信息科技有限公司 | 基于cnn模型和迁移学习的植物病害识别方法及系统 |
| CN111626300A (zh) * | 2020-05-07 | 2020-09-04 | 南京邮电大学 | 基于上下文感知的图像语义分割模型及建模方法 |
| AU2020103613A4 (en) * | 2020-11-23 | 2021-02-04 | Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences | Cnn and transfer learning based disease intelligent identification method and system |
| CN113469064A (zh) * | 2021-07-05 | 2021-10-01 | 安徽大学 | 复杂环境下的玉米叶病害图像的识别方法及系统 |
| CN115019303A (zh) * | 2022-07-27 | 2022-09-06 | 安徽大学 | 基于自注意力机制的草莓病害图像识别方法 |
-
2023
- 2023-05-17 CN CN202310556136.XA patent/CN116311230B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104318227A (zh) * | 2014-11-19 | 2015-01-28 | 天津工业大学 | 基于Curvelet-SC玉米病害识别方法 |
| CN108038517A (zh) * | 2018-01-02 | 2018-05-15 | 东北农业大学 | 基于改进卷积神经网络模型Cifar10的玉米叶片病害识别方法 |
| EP3620052A1 (en) * | 2018-12-12 | 2020-03-11 | Bayer Aktiengesellschaft | Use of phenoxypyridinyl-substituted (1h-1,2,4-triazol-1-yl)alcohols for controlling fungicidal diseases in maize |
| CN110148120A (zh) * | 2019-05-09 | 2019-08-20 | 四川省农业科学院农业信息与农村经济研究所 | 一种基于cnn与迁移学习的病害智能识别方法及系统 |
| CN110929610A (zh) * | 2019-11-12 | 2020-03-27 | 上海五零盛同信息科技有限公司 | 基于cnn模型和迁移学习的植物病害识别方法及系统 |
| CN111626300A (zh) * | 2020-05-07 | 2020-09-04 | 南京邮电大学 | 基于上下文感知的图像语义分割模型及建模方法 |
| AU2020103613A4 (en) * | 2020-11-23 | 2021-02-04 | Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences | Cnn and transfer learning based disease intelligent identification method and system |
| CN113469064A (zh) * | 2021-07-05 | 2021-10-01 | 安徽大学 | 复杂环境下的玉米叶病害图像的识别方法及系统 |
| CN115019303A (zh) * | 2022-07-27 | 2022-09-06 | 安徽大学 | 基于自注意力机制的草莓病害图像识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| BAO WENXIA 等: "Identification of maize leaf diseases using improved convolutional neural network", 《农业工程学报》, vol. 37, no. 6 * |
| XIHAI ZHANG 等: "Identification of Maize Leaf Diseases Using Improved Deep Convolutional Neural Networks", 《IEEE ACCESS》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116311230B (zh) | 2023-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107564025B (zh) | 一种基于深度神经网络的电力设备红外图像语义分割方法 | |
| CN110660062B (zh) | 一种基于PointNet的点云实例分割方法及系统 | |
| CN112906720B (zh) | 基于图注意力网络的多标签图像识别方法 | |
| CN110348384B (zh) | 一种基于特征融合的小目标车辆属性识别方法 | |
| CN111062278B (zh) | 基于改进残差网络的异常行为识别方法 | |
| CN112132844A (zh) | 基于轻量级的递归式非局部自注意力的图像分割方法 | |
| CN112288011A (zh) | 一种基于自注意力深度神经网络的图像匹配方法 | |
| CN111401149B (zh) | 基于长短期时域建模算法的轻量级视频行为识别方法 | |
| CN112801169A (zh) | 一种基于改进yolo算法的伪装目标检测方法 | |
| CN107679539B (zh) | 一种基于局部感知野的单卷积神经网络局部信息与全局信息整合方法 | |
| CN112446357B (zh) | 一种基于胶囊网络的sar自动目标识别方法 | |
| CN113762138A (zh) | 伪造人脸图片的识别方法、装置、计算机设备及存储介质 | |
| CN115909052A (zh) | 一种基于混合卷积神经网络的高光谱遥感图像分类方法 | |
| CN109472733A (zh) | 基于卷积神经网络的图像隐写分析方法 | |
| CN111815526A (zh) | 基于图像滤波和cnn的有雨图像雨条纹去除方法及系统 | |
| CN113392728B (zh) | 一种基于ssa锐化注意机制的目标检测方法 | |
| CN114170657A (zh) | 融合注意力机制与高阶特征表示的面部情感识别方法 | |
| Wang et al. | Effective light field de-occlusion network based on swin transformer | |
| CN116311230B (zh) | 一种面向真实场景下的玉米叶片病害识别方法及装置 | |
| CN115810106A (zh) | 一种复杂环境下茶叶嫩梢品级精准识别方法 | |
| CN114067314B (zh) | 一种基于神经网络的花生霉变识别方法及系统 | |
| CN115761888A (zh) | 基于nl-c3d模型的塔吊操作人员异常行为检测方法 | |
| CN115775226A (zh) | 基于Transformer的医学图像分类方法 | |
| CN115049054A (zh) | 基于特征图响应的通道自适应分段动态网络剪枝方法 | |
| CN111461135B (zh) | 利用卷积神经网络集成的数字图像局部滤波取证方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |