CN116894983B - 基于知识蒸馏的细粒度农业病虫害图像识别方法及系统 - Google Patents
基于知识蒸馏的细粒度农业病虫害图像识别方法及系统 Download PDFInfo
- Publication number
- CN116894983B CN116894983B CN202311134941.XA CN202311134941A CN116894983B CN 116894983 B CN116894983 B CN 116894983B CN 202311134941 A CN202311134941 A CN 202311134941A CN 116894983 B CN116894983 B CN 116894983B
- Authority
- CN
- China
- Prior art keywords
- model
- fine
- crop
- student model
- student
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000607479 Yersinia pestis Species 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000013140 knowledge distillation Methods 0.000 title claims abstract description 53
- 241000238631 Hexapoda Species 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000002372 labelling Methods 0.000 claims abstract description 9
- 238000003062 neural network model Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 16
- 238000004821 distillation Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 230000005284 excitation Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 4
- 201000010099 disease Diseases 0.000 abstract description 23
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 23
- 230000000694 effects Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 2
- 241000220225 Malus Species 0.000 description 9
- 241000196324 Embryophyta Species 0.000 description 7
- 235000021016 apples Nutrition 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 244000144730 Amygdalus persica Species 0.000 description 2
- 235000006040 Prunus persica var persica Nutrition 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 240000005308 Juniperus chinensis Species 0.000 description 1
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Business, Economics & Management (AREA)
- Marine Sciences & Fisheries (AREA)
- Animal Husbandry (AREA)
- Mining & Mineral Resources (AREA)
- Agronomy & Crop Science (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Catching Or Destruction (AREA)
Abstract
本发明涉及图像处理技术领域，尤其是提供一种基于知识蒸馏的细粒度农业病虫害图像识别方法及系统，其中识别方法包括：基于深度神经网络模型对农作物虫害图像信息集合分别进行学习，构建目标品种农作物虫害的细粒度分类老师模型；根据目标品种农作物种类数量构建学生模型；选取目标品种农作物虫害的细粒度分类老师模型及目标农作物虫害图像信息，利用知识蒸馏方法训练学生模型；基于训练后的学生模型对多目标农作物虫害图像信息进行细粒度分类和标注。其目的在于，实现针对目标农作物不同病虫害进行识别的图像识别，提升识别准确性的技术效果。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种基于知识蒸馏的细粒度农业病虫害图像识别方法及系统。
背景技术
植物病虫害是指植物在生长发育过程中，由于遭受其它生物侵害或受外部环境条件（非生物因素）的影响，导致植物的正常生理机能受到破坏，组织形态发生改变，甚至导致死亡的现象；其中，农作物的病虫害对农业生产效益存在巨大影响，因此有必要针对农业病虫害进行防治，而如何准确地识别农作物病虫害是防治农作物病虫害的重要先决条件；传统依赖人眼识别农作物病虫害的方式不仅耗时、准确度较低，而且针对农作物病虫害的诊断需要大量专业知识，依赖于专业人员的协助，人力成本高的同时具有很大的主观性。
随着深度学习技术的发展，现有技术延伸出了通过搭建神经网络对物品进行特征提取和识别分类工作，使机器识别具有较高的准确度；目前基于神经网络的识别方法在针对特定农作物的识别存在不足，尤其是同时对同种农作物的不同病虫害的识别准确性较低，因此需要一种可针对目标农作物不同病虫害进行细粒度分类识别的图像识别方法，同时提升对农作物病虫害识别的准确性，以满足农业病虫害识别任务。
发明内容
本发明的目的在于提供一种基于知识蒸馏的细粒度农业病虫害图像识别方法及系统，用以实现针对目标农作物不同病虫害进行识别的图像识别，提升识别准确性的技术效果。
本发明第一方面技术方案提供了一种基于知识蒸馏的细粒度农业病虫害图像识别方法，包括如下步骤：
基于深度神经网络模型对农作物虫害图像信息集合分别进行学习，构建目标品种农作物虫害的细粒度分类老师模型；
根据目标品种农作物种类数量构建学生模型；
选取目标品种农作物虫害的细粒度分类老师模型及目标农作物虫害图像信息，利用知识蒸馏方法训练学生模型；
基于训练后的学生模型对多目标农作物虫害图像信息进行细粒度分类和标注。
进一步地，构建目标品种农作物虫害的细粒度分类老师模型具体包括：
选取EfficientNetB1模型为细粒度分类老师模型，基于flatten展平操作以及矩阵乘法对EfficientNetB1模型中MBConv模块的SE压缩与激励模块进行优化；
优化后的EffiFlatNetB1模型，基于自注意力机制获取目标品种农作物图像的位置关系权重矩阵集合。
进一步地，自注意力机制的表达式为：
式中，表示农作物虫害图像样本信息在SE模块中获取的中间值，将中间值的长、宽二维数据通过flatten操作展平后的一维向量；/>表示/>的格式，/>表示图像样本信息的层数，/>表一维向量的特征数，/>表示矩阵转置，/>为/>的转置。
进一步地，构建学生模型具体包括：
选取优化后的ResNet8网络为学生模型，ResNet8网络的优化过程包括：
删除ResNet8网络中的平均池化层和全连接层，引入BCNN模块并通过双线性池化操作获取学生模型的检测权重。
进一步地，BCNN模块的表达式为：
式中，表示输入BCNN模块的值，即农作物虫害信息输入ResNet8网络的输出值；表示/>的格式，/>表示图像的高度，/>表示图像的宽度。
进一步地，利用知识蒸馏方法训练学生模型包括：
确定知识蒸馏的温度变量为T；
计算细粒度分类老师模型、学生模型在温度变量为T的条件下蒸馏后的置信度；
获取细粒度分类老师模型、学生模型在真实标签下的损失值；
基于真实标签损失值以及细粒度分类老师模型损失值计算总体损失值；
基于总体损失值对学生模型的参数进行更新。
进一步地，知识蒸馏的表达式为：
式中，表示细粒度分类老师模型在温度变量为/>的条件下softmax层输出在第/>类上的值，即细粒度分类老师模型蒸馏后的置信度；/>表示细粒度分类老师模型的logits向量；
式中 ，表示学生模型在温度变量为/>的条件下softmax层输出在第/>类上的值，即学生模型蒸馏后的置信度；/>表示学生模型的logits向量。
进一步地损失函数的表达式为：
式中，表示损失函数的值，/>表示学生模型对原始数据的学习权重，/>表示学生模型对第/>个细粒度分类老师模型的学习权重，/>表示学生模型对原始数据学习的置信度的损失值，/>表示学生模型对第j个细粒度分类老师模型的损失值。
进一步地，学生模型对第个细粒度分类老师模型的损失值以及学生模型对原始数据学习的置信度的损失值的表达式为：
式中，表示农作物样本种类总数；/>表示在第/>类上的ground truth值，即真实正负标签，/>，若农作物样本种类与分类种类相同，/>。
本发明第二方面技术方案提供了一种基于知识蒸馏的细粒度农业病虫害图像识别系统，包括多个细粒度分类老师模型和学生模型，该系统还包括：
训练模块，配置为基于深度神经网络模型对农作物虫害图像信息集合分别进行学习，构建目标品种农作物虫害的细粒度分类老师模型；
数据采集模块：配置为获取农作物虫害图像信息；
知识蒸馏模块，配置通过知识蒸馏方法对学生模型进行知识蒸馏，计算细粒度分类老师模型、学生模型在温度变量为T的条件下蒸馏后的置信度、真实标签下的损失值以及细粒度分类老师模型损失值计算总体损失值；
更新模块，配置为基于总体损失值对学生模型的参数进行更新；
标注模块，配置为基于学生模型检测结果获取判定区域的热力图标注。
本发明的有益效果至少包括：
相较于现有技术中针对多种农作物病虫害进行全部识别，识别过程中分支较多的方法，本发明采用知识蒸馏进行模型压缩以及双线性融合强化细粒度识别方法，利用知识蒸馏方法训练学生模型，在减少了识别过程中参数量、计算量的同时保证识别的准确度，对农作物虫害的识别分类准确度较高，能够满足实际生产中针对特定农作物病虫害识别分类的需求，尤其是在面对指定的一种或多种农作物病虫害时能够便捷地适配，减少了过多的无用且不符合实际生产的分类标准，同时，针对相同品种的农作物进行识别时能够很好地区分不同的病虫害情况，便于后续的防治工作。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的基于知识蒸馏的细粒度农业病虫害图像识别方法的步骤示意图；
图2为本发明实施例提供的基于知识蒸馏的细粒度农业病虫害图像识别方法的流程示意图；
图3为本发明实施例提供的基于知识蒸馏的细粒度农业病虫害图像识别系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参看图1和图2所示，本发明第一方面技术方案提供了一种基于知识蒸馏的细粒度农业病虫害图像识别方法，包括如下步骤：
步骤S100：基于深度神经网络模型对农作物虫害图像信息集合分别进行学习，构建目标品种农作物虫害的细粒度分类老师模型；其中，目标品种农作物虫害的细粒度分类老师模型具体指对同一品种农作物的不同病虫害的细粒度分类老师模型，例如，如图1所示，当某个细粒度分类老师模型训练目标品种农作物为苹果的病虫害细粒度分类老师模型时，则只选取含有健康苹果、黑星病苹果、黑腐病苹果、桧胶锈病苹果等常见苹果病虫害的图像数据进行训练，不包含非苹果类病虫害的图像数据和分类项；
步骤S100中，构建目标品种农作物虫害的细粒度分类老师模型具体包括：
步骤S110：选取EfficientNetB1模型为细粒度分类老师模型，基于flatten展平操作以及矩阵乘法对EfficientNetB1模型中MBConv模块的SE压缩与激励模块进行优化；其中，EfficientNetB1模型为现有卷积神经网络模型，其具有较高的图像识别准确率，可提高农作物虫害图像的识别准确度，基于flatten展平操作以及矩阵乘法对EfficientNetB1模型中MBConv模块的SE压缩与激励模块进行优化，其中展平操作可以将MBConv模块中高维的数据转换为一维向量，减少了参数的数量和复杂度，从而降低了计算成本；通过矩阵乘法，可以对SE压缩与激励模块进行优化，使其能够更好地利用特征之间的关系，矩阵乘法可以将特征之间的相关性进行建模，有助于提取更具代表性的特征，从而提升模型的分类能力，优化后的SE压缩与激励模块能够更好地捕捉农作物虫害图像中的重要特征，从而提高模型在识别农作物虫害方面的准确性和鲁棒性。
步骤S120：优化后的EffiFlatNetB1模型，基于自注意力机制获取目标品种农作物图像的位置关系权重矩阵集合；步骤S120中，利用自注意力机制捕捉目标品种农作物图像中不同位置之间的关系权重，相较于现有技术中农作物图像识别数据无交互的方法，本实施例提供的技术方案具有农作物虫害图像样本信息所有位置信息的双线性融合，进而可提高对于农作物虫害细粒度图像分类的能力；
在步骤S120中，自注意力机制的表达式为：
（1）
公式（1）中，表示农作物虫害图像样本信息在SE模块中获取的中间值，将中间值的长、宽二维数据通过flatten操作展平后的一维向量；/>表示/>的格式，/>表示图像样本信息的层数，/>表一维向量的特征数，/>表示矩阵转置，/>为/>的转置；
步骤S200：根据目标品种农作物种类数量构建学生模型；具体的，当需要进行病虫害分裂的农作物不多于3种时，学生模型选用ResNet8+BCNN，每增加3种农作物，则相应增加6层ResNet的网络层数，即当农作物多于3种小于6种时，采用ResNet14，以此类推；
在步骤S200中，构建学生模型具体包括：
步骤S210：选取优化后的ResNet8网络为学生模型，ResNet8网络的优化过程包括：
步骤S220：删除ResNet8网络中的平均池化层和全连接层，引入BCNN模块并通过双线性池化操作获取学生模型的检测权重；在步骤S220中，删除ResNet8网络中的平均池化层和全连接层可减少模型的参数数量和复杂度，有助于减轻过拟合风险，避免特征的空间信息丢失，从而在图像识别中保留更多的细节；BCNN模块是一种基于双线性池化操作的特征融合方法，将BCNN模块集成到ResNet8网络中，以捕捉图像特征的空间关系；
在步骤S220中，BCNN模块的表达式为：
（2）
公式（2）中，表示输入BCNN模块的值，即农作物虫害信息输入ResNet8网络的输出值；/>表示/>的格式，/>表示图像的高度，/>表示图像的宽度；实际运用时，BCNN模块会将/>维度合并，将新维度的输入同其自身的转置进行矩阵乘，由于矩阵运算的关系，会除以/>保持结果数量级一致性；实际运用时，由于公式（1）、公式（2）中细粒度分类老师模型和学生模型均采用了双线性融合方法，因此步骤S220可与上述步骤S120所匹配；
步骤S300：选取目标品种农作物虫害的细粒度分类老师模型及目标农作物虫害图像信息，利用知识蒸馏方法训练学生模型；其中，学生模型的训练应采用与细粒度分类老师模型目标农作物病虫害图像信息匹配的图像进行训练，例如：选用的细粒度分类老师模型是对苹果和桃子的分类模型，则学生模型训练时需要利用包含对苹果分类和对桃子分类图像进行训练；例如：需要针对苹果叶和西红柿叶的病虫害进行识别，则利用细粒度分类老师模型分别获取两种农作物的检测权重，再通过知识蒸馏方法得到可以同时检测两种农作物的病虫害的学生模型，用于实际操作中的检测和定位；需要说明的是，在利用知识蒸馏时，还需对不同的细粒度分类老师模型进行标签权重的修正，例如：真实训练图像是某特定品种农作物病虫害时，则增加对应的细粒度分类老师模型知识蒸馏损失值的学习权重，减少其他细粒度分类老师模型的权重；知识蒸馏方法可以通过利用细粒度分类老师模型的知识来训练学生模型，从而实现模型的压缩、提升性能和加强泛化能力的目的。
在步骤S300中，利用知识蒸馏方法训练学生模型包括：
步骤S310：确定知识蒸馏的温度变量为T，温度变量T用于控制蒸馏过程中软化类别分布的参数，通常T的值越高，软化效果越明显，学生模型更容易学习到细粒度分类老师模型的知识，可以根据具体的任务和数据集来选择合适的T值；
步骤S320：计算细粒度分类老师模型、学生模型在温度变量为T的条件下蒸馏后的置信度，即使用softmax函数分别对细粒度分类老师模型和学生模型的logits向量除以温度变量T进行归一化操作，得到每个类别的概率分布，知识蒸馏的表达式为：
（3）
公式（3）中，表示细粒度分类老师模型在温度变量为/>的条件下softmax层输出在第/>类上的值，即细粒度分类老师模型蒸馏后的置信度；/>表示细粒度分类老师模型的logits向量；/>同样表示老师模型的logits向量，/>为/>的下界；
（4）
公式（4）中 ，表示学生模型在温度变量为/>的条件下softmax层输出在第/>类上的值，即学生模型蒸馏后的置信度；/>表示学生模型的logits向量/>同样表示学生模型的logits向量，/>为/>的下界。
步骤S330：获取细粒度分类老师模型、学生模型在真实标签下的损失值，损失函数的表达式为：
（5）
公式（5）中，表示损失函数的值，/>表示学生模型对原始数据的学习权重，/>表示学生模型对第/>个细粒度分类老师模型的学习权重，/>表示学生模型对原始数据学习的置信度的损失值，/>表示学生模型对第/>个细粒度分类老师模型的损失值；其中，原始数据的学习权重为学生模型直接对原始数据进行学习的结果的占比，该权越大，学生模型则更依赖于直接对原始数据学习，不依赖与细粒度分类老师模型的蒸馏，本实施例中，/>的取值优选0.5；/>数值的设定方法为：若细粒度分类老师模型进行细粒度分类的农作物类别和对应的农作物数据为同类，则将/>的数值设定为0.4，反之/>，其中，/>指参与知识蒸馏的细粒度分类老师模型的数量；
在步骤S330中，学生模型对第个细粒度分类老师模型的损失值以及学生模型对原始数据学习的置信度的损失值的表达式为：
（6）
（7）
公式（6）和公式（7）中，表示农作物样本种类总数；/>表示在第/>类上的groundtruth值，即真实正负标签，/>，若农作物样本种类与分类种类相同，/>。
步骤S340：基于真实标签损失值以及细粒度分类老师模型损失值计算总体损失值；
步骤S350：基于总体损失值对学生模型的参数进行更新，通过多次迭代更新优化学生模型的参数，以获得一个最小化的总体损失函数L，进而提升学生模型的识别性能；
步骤S400：基于训练后的学生模型对多目标农作物虫害图像信息进行细粒度分类和标注，其中，目标农作物虫害信息的标准优选XGradCAM组件获取判定区域的热力图标注，达到人为可识别验证的效果，作为能够协助使用者的判定依据，具有一定可解释性，可二次验证的特点
综上，本申请提供的基于知识蒸馏的细粒度农业病虫害图像识别方法，基于神经网络构建细粒度分类老师模型针对病虫害分别进行细粒度分类学习，利用知识蒸馏技术将不同病虫害分类模型融合，通过混合病虫害图像数据进行训练，实现对病虫害图像的准确分类，具有较高的识别准确率；通过知识蒸馏技术进行二次学习减少网络参数，在保证识别精度的基础上大幅降低其参数与资源消耗，使其适合于部署在以ARM为计算平台的嵌入式设备中，方便农业生产者和技术人员方便、快速、准确地在现场进行农作物病虫害识别。
本发明第二方面技术方案提供了一种基于知识蒸馏的细粒度农业病虫害图像识别系统，包括多个细粒度分类老师模型和学生模型，该系统还包括：
训练模块，配置为基于深度神经网络模型对农作物虫害图像信息集合分别进行学习，构建目标品种农作物虫害的细粒度分类老师模型；
数据采集模块：配置为获取农作物虫害图像信息；
知识蒸馏模块，配置通过知识蒸馏方法对学生模型进行知识蒸馏，计算细粒度分类老师模型、学生模型在温度变量为T的条件下蒸馏后的置信度、真实标签下的损失值以及细粒度分类老师模型损失值计算总体损失值；
更新模块，配置为基于总体损失值对学生模型的参数进行更新；
标注模块，配置为基于学生模型检测结果获取判定区域的热力图标注。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.基于知识蒸馏的细粒度农业病虫害图像识别方法，其特征在于，包括如下步骤：
步骤S100：基于深度神经网络模型对农作物虫害图像信息集合分别进行学习，构建目标品种农作物虫害的细粒度分类老师模型，具体实现为：
选取EfficientNetB1模型为细粒度分类老师模型，基于flatten展平操作以及矩阵乘法对EfficientNetB1模型中MBConv模块的SE压缩与激励模块进行优化；
优化后的EffiFlatNetB1模型，基于自注意力机制获取目标品种农作物图像的位置关系权重矩阵集合，自注意力机制的表达式为：
式中，表示农作物虫害图像样本信息在SE模块中获取的中间值，将中间值的长、宽二维数据通过flatten操作展平后的一维向量；/>表示/>的格式，/>表示图像样本信息的层数，/>表一维向量的特征数，/>表示矩阵转置，/>为/>的转置；
步骤S200：根据目标品种农作物种类数量构建学生模型；
步骤S300：选取目标品种农作物虫害的细粒度分类老师模型及目标农作物虫害图像信息，利用知识蒸馏方法训练学生模型；
步骤S400：基于训练后的学生模型对多目标农作物虫害图像信息进行细粒度分类和标注。
2.根据权利要求1所述的基于知识蒸馏的细粒度农业病虫害图像识别方法，其特征在于，构建学生模型具体包括：
选取优化后的ResNet8网络为学生模型，ResNet8网络的优化过程包括：
删除ResNet8网络中的平均池化层和全连接层，引入BCNN模块并通过双线性池化操作获取学生模型的检测权重。
3.根据权利要求2所述的基于知识蒸馏的细粒度农业病虫害图像识别方法，其特征在于，BCNN模块的表达式为：
式中，表示输入BCNN模块的值，即农作物虫害信息输入ResNet8网络的输出值；)表示/>的格式，/>表示图像的高度，/>表示图像的宽度。
4.根据权利要求1至3任一项所述的基于知识蒸馏的细粒度农业病虫害图像识别方法，其特征在于，利用知识蒸馏方法训练学生模型包括：
确定知识蒸馏的温度变量为T；
计算细粒度分类老师模型、学生模型在温度变量为T的条件下蒸馏后的置信度；
获取细粒度分类老师模型、学生模型在真实标签下的损失值；
基于真实标签损失值以及细粒度分类老师模型损失值计算总体损失值；
基于总体损失值对学生模型的参数进行更新。
5.根据权利要求4所述的基于知识蒸馏的细粒度农业病虫害图像识别方法，其特征在于，知识蒸馏的表达式为：
式中，表示细粒度分类老师模型在温度变量为/>的条件下softmax层输出在第/>类上的值，即细粒度分类老师模型蒸馏后的置信度；/>表示细粒度分类老师模型的logits向量；
式中 ，表示学生模型在温度变量为/>的条件下softmax层输出在第/>类上的值，即学生模型蒸馏后的置信度；/>表示学生模型的logits向量。
6.根据权利要求5所述的基于知识蒸馏的细粒度农业病虫害图像识别方法，其特征在于，损失函数的表达式为：
式中，表示损失函数的值，/>表示学生模型对原始数据的学习权重，/>表示学生模型对第/>个细粒度分类老师模型的学习权重，/>表示学生模型对原始数据学习的置信度的损失值，/>表示学生模型对第/>个细粒度分类老师模型的损失值。
7.根据权利要求6所述的基于知识蒸馏的细粒度农业病虫害图像识别方法，其特征在于，学生模型对第个细粒度分类老师模型的损失值以及学生模型对原始数据学习的置信度的损失值的表达式为：
式中，表示农作物样本种类总数；/>表示在第/>类上的ground truth值，即真实正负标签，/>，若农作物样本种类与分类种类相同，/>。
8.一种基于知识蒸馏的细粒度农业病虫害图像识别系统，其特征在于，采用权利要求1至7任一项所述的基于知识蒸馏的细粒度农业病虫害图像识别方法，包括多个细粒度分类老师模型和学生模型，该系统还包括：
训练模块，配置为基于深度神经网络模型对农作物虫害图像信息集合分别进行学习，构建目标品种农作物虫害的细粒度分类老师模型；
数据采集模块：配置为获取农作物虫害图像信息；
知识蒸馏模块，配置通过知识蒸馏方法对学生模型进行知识蒸馏，计算细粒度分类老师模型、学生模型在温度变量为T的条件下蒸馏后的置信度、真实标签下的损失值以及细粒度分类老师模型损失值计算总体损失值；
更新模块，配置为基于总体损失值对学生模型的参数进行更新；
标注模块，配置为基于学生模型检测结果获取判定区域的热力图标注。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311134941.XA CN116894983B (zh) | 2023-09-05 | 2023-09-05 | 基于知识蒸馏的细粒度农业病虫害图像识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311134941.XA CN116894983B (zh) | 2023-09-05 | 2023-09-05 | 基于知识蒸馏的细粒度农业病虫害图像识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116894983A CN116894983A (zh) | 2023-10-17 |
| CN116894983B true CN116894983B (zh) | 2023-11-21 |
Family
ID=88312399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311134941.XA Active CN116894983B (zh) | 2023-09-05 | 2023-09-05 | 基于知识蒸馏的细粒度农业病虫害图像识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116894983B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112241762A (zh) * | 2020-10-19 | 2021-01-19 | 吉林大学 | 一种用于病虫害图像分类的细粒度识别方法 |
| CN113065558A (zh) * | 2021-04-21 | 2021-07-02 | 浙江工业大学 | 一种结合注意力机制的轻量级小目标检测方法 |
| CN113177612A (zh) * | 2021-05-24 | 2021-07-27 | 同济大学 | 一种基于cnn少样本的农业病虫害图像识别方法 |
| CN113610163A (zh) * | 2021-08-09 | 2021-11-05 | 安徽工业大学 | 一种基于知识蒸馏的轻量级苹果叶片病害识别方法 |
| CN113837073A (zh) * | 2021-09-22 | 2021-12-24 | 广西大学 | 一种基于卷积神经网络的核桃虫害识别系统及检测方法 |
| CN114565826A (zh) * | 2022-04-28 | 2022-05-31 | 南京绿色科技研究院有限公司 | 一种农业病虫害识别诊断方法、系统及装置 |
| CN115131627A (zh) * | 2022-07-01 | 2022-09-30 | 贵州大学 | 一种轻量化植物病虫害目标检测模型的构建和训练方法 |
| CN115249357A (zh) * | 2022-07-25 | 2022-10-28 | 重庆师范大学 | 基于半监督SPM-YOLOv5的套袋柑橘检测方法 |
| CN115713755A (zh) * | 2023-01-09 | 2023-02-24 | 三亚中国农业科学院国家南繁研究院 | 一种高效精准的草地贪夜蛾的图像识别方法 |
| CN116129189A (zh) * | 2023-02-15 | 2023-05-16 | 中南民族大学 | 一种植物病害识别方法、设备、存储介质及装置 |
| CN116579423A (zh) * | 2023-04-23 | 2023-08-11 | 华南理工大学 | 一种基于知识蒸馏的轨迹目标点预测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220319708A1 (en) * | 2021-03-31 | 2022-10-06 | Welch Allyn, Inc. | Automated disease identification based on ophthalmic images |
| US20230081118A1 (en) * | 2021-09-13 | 2023-03-16 | Vinbrain Joint Stock Company | Model training method and system |
-
2023
- 2023-09-05 CN CN202311134941.XA patent/CN116894983B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112241762A (zh) * | 2020-10-19 | 2021-01-19 | 吉林大学 | 一种用于病虫害图像分类的细粒度识别方法 |
| CN113065558A (zh) * | 2021-04-21 | 2021-07-02 | 浙江工业大学 | 一种结合注意力机制的轻量级小目标检测方法 |
| CN113177612A (zh) * | 2021-05-24 | 2021-07-27 | 同济大学 | 一种基于cnn少样本的农业病虫害图像识别方法 |
| CN113610163A (zh) * | 2021-08-09 | 2021-11-05 | 安徽工业大学 | 一种基于知识蒸馏的轻量级苹果叶片病害识别方法 |
| CN113837073A (zh) * | 2021-09-22 | 2021-12-24 | 广西大学 | 一种基于卷积神经网络的核桃虫害识别系统及检测方法 |
| CN114565826A (zh) * | 2022-04-28 | 2022-05-31 | 南京绿色科技研究院有限公司 | 一种农业病虫害识别诊断方法、系统及装置 |
| CN115131627A (zh) * | 2022-07-01 | 2022-09-30 | 贵州大学 | 一种轻量化植物病虫害目标检测模型的构建和训练方法 |
| CN115249357A (zh) * | 2022-07-25 | 2022-10-28 | 重庆师范大学 | 基于半监督SPM-YOLOv5的套袋柑橘检测方法 |
| CN115713755A (zh) * | 2023-01-09 | 2023-02-24 | 三亚中国农业科学院国家南繁研究院 | 一种高效精准的草地贪夜蛾的图像识别方法 |
| CN116129189A (zh) * | 2023-02-15 | 2023-05-16 | 中南民族大学 | 一种植物病害识别方法、设备、存储介质及装置 |
| CN116579423A (zh) * | 2023-04-23 | 2023-08-11 | 华南理工大学 | 一种基于知识蒸馏的轨迹目标点预测方法 |
Non-Patent Citations (4)
| Title |
|---|
| A Facial Landmark Detection Method Based on Deep Knowledge Transfer;Pengcheng Gao 等;《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》;第34卷(第3期);1342-1353 * |
| 基于知识蒸馏与注意力机制的番茄病害图像识别研究;黄梓锋;《中国优秀硕士学位论文全文数据库农业科技辑》(第02期);D046-521 * |
| 网络监督数据下的细粒度图像识别综述;魏秀参 等;《中国图象图形学报》;2057-2077 * |
| 融合多头注意力的轻量级作物病虫害识别方法;赵法川 等;《华南农业大学学报》;1-17 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116894983A (zh) | 2023-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109977780A (zh) | 一种基于深度学习算法的硅藻的检测与识别方法 | |
| CN109344738A (zh) | 农作物病虫草害识别方法及装置 | |
| CN117557914B (zh) | 一种基于深度学习的农作物病虫害识别方法 | |
| CN116051996A (zh) | 一种基于多模态信息的二阶段农作物生长预测方法 | |
| Prashanthi et al. | Plant disease detection using Convolutional neural networks | |
| Sagarika et al. | Paddy plant disease classification and prediction using convolutional neural network | |
| CN116649191A (zh) | 基于plc的远程施肥灌溉控制系统及其方法 | |
| Monigari et al. | Plant leaf disease prediction | |
| Bonik et al. | A Convolutional Neural Network Based Potato Leaf Diseases Detection Using Sequential Model | |
| Mahbub et al. | Detect bangladeshi mango leaf diseases using lightweight convolutional neural network | |
| Bharathi et al. | An Experimental Analysis of Crop Yield Prediction using Modified Deep Learning Strategy | |
| CN116994295B (zh) | 基于灰度样本自适应选择门的野生动物类别识别方法 | |
| Kumar et al. | Plant Disease Detection and Crop Recommendation Using CNN and Machine Learning | |
| CN116894983B (zh) | 基于知识蒸馏的细粒度农业病虫害图像识别方法及系统 | |
| Rekha et al. | Disease Detection in Tomato Plants Using CNN | |
| CN115661544A (zh) | 基于N-MobileNetXt的菠菜幼苗水分胁迫等级分类系统及方法 | |
| CN114973005A (zh) | 一种基于RePMMS-Net的绿豆叶斑病识别方法 | |
| CN115063602A (zh) | 基于改进yolox-s网络的农作物病虫害识别方法 | |
| CN114937030A (zh) | 一种用于智慧农业种植生菜的表型参数计算方法 | |
| CN114663791A (zh) | 一种非结构化环境下面向剪枝机器人的枝条识别方法 | |
| Poorni et al. | Detection of rice leaf diseases using convolutional neural network | |
| CN109308936B (zh) | 一种粮食作物产地的识别方法、识别装置及终端识别设备 | |
| Reddy et al. | Convolutional Neural Networks for the Intuitive Identification of Plant Diseases | |
| Dixit et al. | Approaches to Identify Paddy Plant Diseases Using Deep Learning: A Review | |
| AU2021100096A4 (en) | Ai-based crop recommendation system for smart farming towards agriculture 5.0 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |