CN115131627B - 一种轻量化植物病虫害目标检测模型的构建和训练方法 - Google Patents
一种轻量化植物病虫害目标检测模型的构建和训练方法 Download PDFInfo
- Publication number
- CN115131627B CN115131627B CN202210769212.0A CN202210769212A CN115131627B CN 115131627 B CN115131627 B CN 115131627B CN 202210769212 A CN202210769212 A CN 202210769212A CN 115131627 B CN115131627 B CN 115131627B
- Authority
- CN
- China
- Prior art keywords
- model
- training
- knowledge
- constructing
- neck
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 73
- 238000012549 training Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 40
- 241000607479 Yersinia pestis Species 0.000 title claims abstract description 33
- 201000010099 disease Diseases 0.000 title claims abstract description 32
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 32
- 238000010276 construction Methods 0.000 title claims description 6
- 238000000605 extraction Methods 0.000 claims abstract description 76
- 238000004821 distillation Methods 0.000 claims abstract description 32
- 241000238631 Hexapoda Species 0.000 claims abstract description 17
- 238000013140 knowledge distillation Methods 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000013508 migration Methods 0.000 abstract description 6
- 230000005012 migration Effects 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000002708 enhancing effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012271 agricultural production Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Catching Or Destruction (AREA)
Abstract
本发明公开了一种轻量化植物病虫害目标检测模型的构建和训练方法，包括：S1数据集增强，S2搭建知识提取模块，S3嵌入知识提取模块，S4训练教师模型和生成数据集，S5搭建学生模型，S6准备蒸馏训练，S7计算蒸馏损失，将S1和S4中生成的数据集整合作为训练数据，将学生模型检测头的输出与标签传入S5中的损失函数，求这部分损失与S7中的蒸馏损失加权和，以此进行反向传播和参数更新，当模型指标达预期时停止训练，否则返回S8。本发明训练时间短、训练算力要求低、数据利用率高、知识迁移针对性强和适合植物病虫害目标检测任务。
Description
技术领域
本发明属于计算机视觉技术领域，具体来说是涉及一种基于知识蒸馏的轻量化植物病虫害目标检测模型的构建和训练方法。
背景技术
植物病虫害治理是农业生产中的重要一环，及时发现植物病虫害能够大大提升治理效果，同时能显著降低治理成本。传统的植物病虫害检测方法主要依靠人工检测，这种方法具有主观性，而且需要检测者具备较高的专业知识和丰富的经验。
随着人工智能和计算机视觉技术的发展，许多解决方案被提出，其中最主流的方法之一是利用计算机视觉中的分类及目标检测任务对植物病虫害进行检测。现有的视觉分类任务在充足的标注样本下能够获得较高的检测精度，但由于分类模型自身的局限性难以在大规模农田中应用。此外，对于现有的使用目标检测对植物病虫害进行识别的模型而言，模型的参数量较大，检测精度和时间互逆，并且对硬件性能要求比较高。虽然目标检测相比分类更具实践难度，但更符合现实农业生产环境的要求。
近年来虽然有许多公共植物病虫害图像数据集问世，但适用于植物病虫害检测的图像量很小，而且仅涉及较少的植物病虫害类别。同时，大部分性能强大的目标检测模型，仅适用于PC端设备，当运用在移动设备上时其性能将大幅降低。在移动设备上难以实现实时目标检测的原因是检测模型无法将海量的参数部署到移动设备中。因此，为解决上述问题，中国专利公开号CN 110826344A于2022年3月1日公开了一种神经网络模型压缩方法、语料翻译方法及其装置，其教师模型与学生模型使用相同的数据集A，教师模型使用数据集A的源数据与目标数据(标签)，学生模型只使用数据集A的源数据，而不使用目标数据(标签)，转而使用教师模型的输出作为目标数据(标签)，即教师模型和学生模型使用相同的数据集数据，教师模型使用数据集的标签进行训练，学生模型使用教师模型的输出作为标签进行训练。由于没能利用数据集A的目标标签，造成了数据浪费。因为学生模型只使用教师模型的输出作为标签进行学习，即学生模型以教师模型的输出作为拟合目标，这使得教师模型的性能上限决定了学生模型的性能上限。这样做降低了学生模型通过数据能够学习得到的知识的上限。且使用的多级教师模型蒸馏方法过于复杂，训练周期过长，训练同等规模的目标模型其需要的算力资源过大。由于使用多级教师，即教师之间存在一定的依赖关系，也不利于后期改进。中国专利公开号CN 113850012A于2021年12月28日公开的一种数据处理模型生成方法、装置、介质及电子设备，其通过数据增强，得到两份样本数据，分别用于教师模型和学生模型的训练，其中，教师模型和学生模型都由相似的两部分结构组成，这两部分结构是主干特征提取网络A于预测网络连接的网络和主干特征提取网络B，其中主干特征提取网络A和主干特征提取网络B是孪生网络(结构相同，共享权重)，换句话说，学生和教师由一对孪生网络和预测网络组成。教师的输出作为学生的训练目标。学生的两部分结构也会进行蒸馏训练。可以理解为学生会进行自蒸馏训练和教师-学生蒸馏训练。由于直接利用预测网络和主干特征提取网络的输出作为训练目标进行学习，学习的方位宽泛，但也一次缺乏针对性，难以对特定知识进行学习。由于将预测网络的输出作为训练目标，该发明能应用于所有的分类任务，但由于目标检测的输出有定位和分类信息，需要考虑空间位置关系，导致该发明不能直接应用于目标检测任务。
发明内容
本发明的目的在于克服上述缺点而提供的一种训练时间短、训练算力要求低、数据利用率高、知识迁移针对性强和适合植物病虫害目标检测任务的轻量化植物病虫害目标检测模型的构建和训练方法。
本发明提出的一种轻量化植物病虫害目标检测模型的构建和训练方法，包括以下步骤：
S1数据集增强：整合现有数据集，进行数据增强；
S2搭建知识提取模块：搭建用于从特征图中提取知识的模块；
S3嵌入知识提取模块：将检测精度优秀的目标检测模型作为知识蒸馏所需的教师模型，将S2中提取知识模块预置于教师模型的颈部输出部分，即检测头与模型颈部之间；
S4训练教师模型和生成数据集：利用教师模型生成植物病虫害分类数据集的目标检测标签；
S5搭建学生模型：将教师模型的颈部和检测头(包含参数)嫁接给学生模型；在学生模型的检测头与颈部之间预置S2中提取知识模块，构建学生模型检测输出与标签的损失函数，固定学生模型的检测头；
S6准备蒸馏训练：固定教师模型参数，开启预置S2中提取知识模块，构建以在S2与S5中预置提取知识模块提取到的知识为输入的损失函数；
S7计算蒸馏损失：将S3和S5中预置的提取知识模块提取到的教师模型和学生模型的非检测头知识传入S6中的损失函数，计算蒸馏损失；
S8计算总损失及反向传播：将S1和S4中生成的数据集整合作为训练数据，将学生模型检测头的输出与标签传入S5中的损失函数，求这部分损失与S7中的蒸馏损失加权和，以此进行反向传播和参数更新，当模型指标达预期时停止训练，否则返回S8。
上述的一种轻量化植物病虫害目标检测模型的构建和训练方法，其中S2搭建知识提取模块的方法包括：对特征图进行通道平均、再乘以宽高即可获取空间注意力掩码搭建空间注意力提取模块，对特征图进行宽高平均、再乘以通道数即可获取通道注意力掩码搭建通道注意力提取模块，和利用标签定位区分前背景生成“01”二值掩码搭建分离前背景模块，分别提取空间注意力、通道注意力特征知识和分离前景与背景，利用标签计算每一个目标对应的负面积因子即目标所占面积的倒数，再为特征图的每一个特征点乘以特征点对应目标的负面积因子搭建消除目标面积影响的模块消除前景个体面积的影响。
上述的一种轻量化植物病虫害目标检测模型的构建和训练方法，其中S3嵌入知识提取模块的方法为：在教师模型的颈部输出部分接入S2中搭建的各个模块，当进行蒸馏训练时，教师模型的前向传播只进行到颈部，教师模型与学生模型颈部的特征图传入知识提取模块，继而计算蒸馏损失。
上述的一种轻量化植物病虫害目标检测模型的构建和训练方法，其中S4训练教师模型和生成数据集的方法为：利用S1中整合增强的数据集训练教师模型，数据集为其前向传播过程提供最初输入，从主干特征提取网络传递到颈部网络，最后到头部与数据集提供的标签计算训练损失，待训练完成后，利用教师模型对植物病虫害分类数据集进行检测，将检测结果转换为目标检测标签，由此生成新的检测数据集。
上述的一种轻量化植物病虫害目标检测模型的构建和训练方法，其中S5搭建学生模型：考虑轻量化的模块构建主干特征提取网络，嫁接教师模型的颈部和头部网络来搭建学生模型，学生模型复制教师模型的颈部和头部的参数，并固定头部网络的参数，在学生模型颈部的输出部分接入S2中搭建的模块。
上述的一种轻量化植物病虫害目标检测模型的构建和训练方法，其中S6准备蒸馏训练：固定教师模型参数，截断教师模型颈部到头部的输出，开启在S3中接入的知识提取模块。
本发明与现有技术相比，具有明显的有益效果，从以上技术方案可知：本发明利用教师模型和适用于分类任务的数据集生成使用与目标检测数据集，并将其应用于目标模型的训练，利用了现有数据，有效扩展了训练数据。在学生模型(目标模型)迁移了教师模型的检测头和颈部网络，使得学生模型具有与教师模型相近的检测精度上限。原始图片经过主干特征提取网络和颈部网络的变换为感兴趣区域明显的特征图，这些特征图能够有效引导检测头去关注感兴趣的目标。对主干特征提取网络进行蒸馏训练，使得目标模型的主干特征提取网络能够输出与教师模型的主干特征提取网络输出的特征图的感兴趣区域相似。
本发明将大模型知识迁移到小模型进行简化，聚焦于迁移主干特征提取网络的知识迁移。由于主干特征提取网络的输出是特征图，对其进行蒸馏训练难度低，并且可进行针对性知识蒸馏。搭建知识提取模块从特征图中针对性地获取知识，由此可实现针对性的知识蒸馏，后续可以通过知识提取模块改进蒸馏效果从而提升模型训练效果。除通过对教师模型的主干特征提取网络进行知识蒸馏的方式获取知识外，也利用标签进行学习，这使得目标模型性能的下限有了保障。综上所述，本发明所需材料易获得，操作简单，用该方法构建的模型可以部署在移动设备上并取得不错的检测效果。具有训练时间短、训练算力要求低、数据利用率高、知识迁移针对性强和适合植物病虫害目标检测任务的优势。
附图说明
图1是本发明的流程示意图；
图2是本发明实施例中教师模型的结构图示意图；
图3是本发明实施例中特征知识提取模块中的全局信息提取模块；
图4是本发明实施例中特征知识提取模块中的空间注意力提取模块；
图5是本发明实施例中特征知识提取模块中的通道注意力提取模块；
图6是本发明实施例中特征知识提取模块中的分离前背景模块；
图7是本发明实施例中特征知识提取模块中的消除目标面积影响模块；
图8是本发明实施例中的学生模型(目标网络)的结构示意图；
图9是本发明实施例中的学生模型的主干特征提取网络的结构示意图；
图10是本发明的学生模型主干特征提取网络“复杂版核心主干”模块的具体结构图；
图11是本发明的学生模型主干特征提取网络“简单版核心主干”模块的具体结构图；
图12是本实施例中的教师模型训练前向传播示意图；
图13是本实施例中蒸馏训练的前向传播示意图。
具体实施方式
以下结合附图及较佳实施例，对依据本发明提出的一种基于知识蒸馏的轻量化植物病虫害目标检测模型的构建和训练方法具体实施方式、结构、特征及其功效，详细说明如后。
实施例1：
参考图1，一种基于知识蒸馏的轻量化植物病虫害目标检测模型的构建和训练方法，包括以下步骤：
S1数据集增强:整合PlantDoc数据集和Northern Leaf Blight数据集，并使用yolov4中提出的Mosaic数据增强方式进行数据增强；
S2搭建知识提取模块：搭建全局信息提取模块(如图3，由卷积、激活函数、归一化方法、矩阵乘法运算和算数加法运算构成)提取教师模型和学生模型颈部输出的特征图的全局特征知识，搭建空间注意力提取模块(如图4，先对特征图进行通道平均，再乘以宽高即可获取空间注意力掩码)、通道注意力提取模块(如图5，先对特征图进行宽高平均，再乘以通道数即可获取通道注意力掩码)和分离前背景模块(如图6，利用标签定位区分前背景生成“01”二值掩码)分别提取空间注意力、通道注意力特征知识和分离前景与背景，搭建消除目标面积影响的模块(如图7，利用标签计算每一个目标对应的负面积因子即目标所占面积的倒数，再为特征图的每一个特征点乘以特征点对应目标的负面积因子)消除前景个体面积的影响；
S3：采取改进yolor模型的方式搭建教师模型(如图2，yolor模型的网络架构)，在改进的yolor的颈部(单阶段目标检测模型的结构可划分为主干特征提取网络、颈部网络和头部网络，其中颈部主要是是主干特征提取网络提取的特征能够适应头部网络)输出部分接入S2中搭建的各个模块(参见图13，教师模型的前向传播仅进行到颈部，教师模型与学生模型颈部传入知识提取模块，继而计算蒸馏损失，同时利用学生模型头部输出与标签计算训练损失，再利用两者的加权和进行训练)。
S4：利用S1中整合增强的数据集和Adam优化算法训练教师模型，其前向传播过程如图12，数据集提供最初输入，从主干特征提取网络传递到颈部网络，最后到头部与数据集提供的标签计算训练损失，待训练完成后，利用教师模型对Plant-Village数据集进行检测，将检测结果转换为标签，由此生出了一个新的检测数据集；
S5：搭建学生模型(如图8，基于MobileNetV3的模块构建主干特征提取网络，嫁接yolor的颈部和头部网络)，其主干特征提取网络MobileDoubleNet(如图9，该网络提供多级特征)基于MobileNetv3的复杂版核心模块(如图10，各子模块均来自于MobileNetV3)和简单版核心模块(如图11,其子模块与图10中的相同)，迁移训练好的教师模型的颈部和头部结构作为学生模型的颈部和头部网络，并固定头部网络的参数，在学生模型颈部的输出部分接入S2中搭建的模块，将教师模型的损失函数测输出作为学生模型检与标签的损失函数；
S5中提到的教师模型的损失函数：
其中，yolor头部将输入特征图分划分K×K个网格，当真的有(即标签指出有)目标的中心落在第i个网格时为1否则为0，Ci表是第i个网格含有目标的概率的标签值，/>表是第i个网格含有目标的概率的预测值，pi(c)为第i个网格所含目标为c类的概率的标签值所组成的向量(含有目标时为独热向量，不含目标为零向量)，/>为第i个网格所负责预测的目标为c类的概率的标签值所组成的向量，classes为全部类别的集合。
S6：固定教师模型参数，截断教师模型颈部到头部的输出，开启在S3中接入的模块即在S2中提取知识模块，构建以在S2与S5中预置的知识提取模块提取到的知识的损失函数；
S6中的损失函数包含三个部分，其一为特征损失函数，该函数关注教师模型和学生模型在空间、通道和目标面积的差异，函数公式如下：
其中和/>代表教师模型和学生模型在原始图像的宽高维度上的某个特征点，Mi，j、Si，j、/>和/>分别代表/>分别经过分离前背景模块、消除目标面积影响的模块、空间注意力提取模块和通道注意力提取模块的输出，即提取到的特征知识，α和β为权重参数。
S6中的损失函数包含三个部分中的第二部分为注意力损失函数，该函数关注教师模型和学生模型的空间和通道注意力差异，函数公式如下：
其中γ为权重参数，l1代表L1损失函数即l1(A，B)＝∑|A_Bi|，和/>代表教师模型颈部特征经过空间注意力提取模块和通道注意力提取模块的输出，即教师模型的空间注意力知识和通道注意力知识，/>和/>代表学生模型颈部特征经过空间注意力提取模块和通道注意力提取模块的输出，即学生模型的空间注意力知识和通道注意力知识。
S6中的损失函数包含三个部分中的第三部分为全局语义损失，该函数关注教师模型与学生模型的全局语义差异，函数公式如下：
Lglobal＝λ∑(GCB(FT)-GCB(FS))2
其中λ是权重参数，GCB(FT)和GCB(FS)代表教师模型和学生模型的颈部输出的特征图经过全局信息提取模块后的输出。
S7：将S3和S5中预置的知识提取模块提取教师模型和学生模型非检测头的知识(即S2中设计的模块的输出)传入S6中设计的损失函数，计算蒸馏损失；
S7中的蒸馏损失计算公式：Ldistillation＝Lglobal+Lattention+Lfeature
S8：将学生模型检测头的输出与标签传入S5中设计的损失函数，求这部分损失与S7中的蒸馏损失加权和即总损失Ltotal，如图13，以此进行反向传播以进行蒸馏训练；
S8中总损失：Ltotal＝Ldistillation+ηLhead
其中η为权重参数。
模型参数更新方法采用SGD优化算法，公式如下：
其中θ代表模型参数，lr代表学习率，代表第i个样本对于的总损失，共m个样本。
本发明所构建的主干特征提取网络是一种基于轻量而且性能强大的深度卷积神经网络模型以适应检测头和轻量紧凑为目标改进的性能更加强大的模型，这将有利于将模型部署的移动终端等性能有限的设备上，有利于真正广泛地应用与农业生产中；同时搭配知识蒸馏方法在显著简化主干特征提取网络的同时使模型能够具备较好的性能，蒸馏的知识由知识提取模块提取，这有将便于进一步改进模型；再配合本发明提出的数据扩充方法，高效利用现有数据，更好地优化模型。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，任何未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (5)
1.一种轻量化植物病虫害目标检测模型的构建和训练方法，包括以下步骤：
S1数据集增强：整合PlantDoc数据集和Northern Leaf Blight数据集，进行数据增强；
S2搭建知识提取模块：搭建用于从特征图中提取知识的模块，其中S2搭建知识提取模块的方法包括：对特征图进行通道平均、再乘以宽高即可获取空间注意力掩码搭建空间注意力提取模块，对特征图进行宽高平均、再乘以通道数即可获取通道注意力掩码搭建通道注意力提取模块，和利用标签定位区分前背景生成“01”二值掩码搭建分离前背景模块，分别提取空间注意力、通道注意力特征知识和分离前景与背景，利用标签计算每一个目标对应的负面积因子即目标所占面积的倒数，再为特征图的每一个特征点乘以特征点对应目标的负面积因子搭建消除目标面积影响的模块消除前景个体面积的影响；
S3嵌入知识提取模块：将检测精度优秀的目标检测模型作为知识蒸馏所需的教师模型，将S2中提取知识模块预置于教师模型的颈部输出部分；
S4训练教师模型和生成数据集：利用教师模型生成植物病虫害分类数据集的目标检测标签；
S5搭建学生模型：在学生模型的颈部输出部分预置S2中的提取知识模块，嫁接教师模型的颈部与检测头给学生模型，构建学生模型检测输出与标签的损失函数，固定学生模型的检测头；
S6准备蒸馏训练：固定教师模型参数，开启预置S2中提取知识模块，构建以在S2与S5中预置提取知识模块提取到的知识为输入的损失函数；
S7计算蒸馏损失：将S3和S5中预置的提取知识模块提取到的教师模型和学生模型的非检测头知识传入S6中的损失函数，计算蒸馏损失；
S8计算总损失及反向传播：将S1和S4中生成的数据集整合作为训练数据，将学生模型检测头的输出与标签传入S5中的损失函数，求这部分损失与S7中的蒸馏损失加权和，以此进行反向传播和参数更新，当模型指标达预期时停止训练，否则返回S8。
2.如权利要求1所述的一种轻量化植物病虫害目标检测模型的构建和训练方法，其中S3嵌入知识提取模块的方法为：在教师模型的颈部输出部分接入S2中搭建的各个模块，当进行蒸馏训练时，教师模型的前向传播只进行到颈部，教师模型与学生模型颈部的特征图传入知识提取模块，继而计算蒸馏损失。
3.如权利要求1所述的一种轻量化植物病虫害目标检测模型的构建和训练方法，其中S4训练教师模型和生成数据集的方法为：利用S1中整合增强的数据集训练教师模型，数据集为其前向传播过程提供最初输入，从主干特征提取网络传递到颈部网络，最后到头部与数据集提供的标签计算训练损失，待训练完成后，利用教师模型对植物病虫害分类数据集进行检测，将检测结果转换为目标检测标签，由此生成新的检测数据集。
4.如权利要求1所述的一种轻量化植物病虫害目标检测模型的构建和训练方法，其中S5搭建学生模型：考虑轻量化的模块构建主干特征提取网络，嫁接教师模型的颈部和头部网络来搭建学生模型，学生模型复制教师模型的颈部和头部的参数，并固定头部网络的参数，在学生模型颈部的输出部分接入S2中搭建的模块。
5.如权利要求1所述的一种轻量化植物病虫害目标检测模型的构建和训练方法，其中S6准备蒸馏训练：固定教师模型参数，截断教师模型颈部到头部的输出，开启在S3中接入的知识提取模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210769212.0A CN115131627B (zh) | 2022-07-01 | 2022-07-01 | 一种轻量化植物病虫害目标检测模型的构建和训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210769212.0A CN115131627B (zh) | 2022-07-01 | 2022-07-01 | 一种轻量化植物病虫害目标检测模型的构建和训练方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115131627A CN115131627A (zh) | 2022-09-30 |
| CN115131627B true CN115131627B (zh) | 2024-02-20 |
Family
ID=83381394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210769212.0A Active CN115131627B (zh) | 2022-07-01 | 2022-07-01 | 一种轻量化植物病虫害目标检测模型的构建和训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115131627B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116894983B (zh) * | 2023-09-05 | 2023-11-21 | 云南瀚哲科技有限公司 | 基于知识蒸馏的细粒度农业病虫害图像识别方法及系统 |
| CN116994068A (zh) * | 2023-09-19 | 2023-11-03 | 湖北省长投智慧停车有限公司 | 一种基于知识蒸馏的目标检测方法及装置 |
| CN117237814B (zh) * | 2023-11-14 | 2024-02-20 | 四川农业大学 | 一种基于注意力机制优化的大规模果园虫情监测方法 |
| CN117557397B (zh) * | 2023-12-08 | 2024-06-11 | 广州德威生物科技有限公司 | 基于仓库害虫智能化ai监测的消杀控制方法及系统 |
| CN117611924B (zh) * | 2024-01-17 | 2024-04-09 | 贵州大学 | 一种基于图文子空间联合学习的植物叶片表型病害分类方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3076424A1 (en) * | 2019-03-22 | 2020-09-22 | Royal Bank Of Canada | System and method for knowledge distillation between neural networks |
| WO2021023202A1 (zh) * | 2019-08-07 | 2021-02-11 | 交叉信息核心技术研究院(西安)有限公司 | 一种卷积神经网络的自蒸馏训练方法、设备和可伸缩动态预测方法 |
| CN113610126A (zh) * | 2021-07-23 | 2021-11-05 | 武汉工程大学 | 基于多目标检测模型无标签的知识蒸馏方法及存储介质 |
| CN113743514A (zh) * | 2021-09-08 | 2021-12-03 | 庆阳瑞华能源有限公司 | 一种基于知识蒸馏的目标检测方法及目标检测终端 |
| WO2021248868A1 (zh) * | 2020-09-02 | 2021-12-16 | 之江实验室 | 基于知识蒸馏的预训练语言模型的压缩方法及平台 |
| CN114241282A (zh) * | 2021-11-04 | 2022-03-25 | 河南工业大学 | 一种基于知识蒸馏的边缘设备场景识别方法及装置 |
-
2022
- 2022-07-01 CN CN202210769212.0A patent/CN115131627B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3076424A1 (en) * | 2019-03-22 | 2020-09-22 | Royal Bank Of Canada | System and method for knowledge distillation between neural networks |
| WO2021023202A1 (zh) * | 2019-08-07 | 2021-02-11 | 交叉信息核心技术研究院(西安)有限公司 | 一种卷积神经网络的自蒸馏训练方法、设备和可伸缩动态预测方法 |
| WO2021248868A1 (zh) * | 2020-09-02 | 2021-12-16 | 之江实验室 | 基于知识蒸馏的预训练语言模型的压缩方法及平台 |
| CN113610126A (zh) * | 2021-07-23 | 2021-11-05 | 武汉工程大学 | 基于多目标检测模型无标签的知识蒸馏方法及存储介质 |
| CN113743514A (zh) * | 2021-09-08 | 2021-12-03 | 庆阳瑞华能源有限公司 | 一种基于知识蒸馏的目标检测方法及目标检测终端 |
| CN114241282A (zh) * | 2021-11-04 | 2022-03-25 | 河南工业大学 | 一种基于知识蒸馏的边缘设备场景识别方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| 基于深度特征蒸馏的人脸识别;葛仕明;赵胜伟;刘文瑜;李晨钰;;北京交通大学学报;20171215(第06期);全文 * |
| 基于特征蒸馏的实时人体动作识别;高璇;饶鹏;刘高睿;;工业控制计算机;20200825(第08期);全文 * |
| 基于知识蒸馏的轻量型浮游植物检测网络;张彤彤;董军宇;赵浩然;李琼;孙鑫;;应用科学学报;20200530(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115131627A (zh) | 2022-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115131627B (zh) | 一种轻量化植物病虫害目标检测模型的构建和训练方法 | |
| CN114067160B (zh) | 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法 | |
| CN114241282B (zh) | 一种基于知识蒸馏的边缘设备场景识别方法及装置 | |
| JP7331171B2 (ja) | 画像認識モデルをトレーニングするための方法および装置、画像を認識するための方法および装置、電子機器、記憶媒体、並びにコンピュータプログラム | |
| CN108536679B (zh) | 命名实体识别方法、装置、设备及计算机可读存储介质 | |
| CN109934261B (zh) | 一种知识驱动参数传播模型及其少样本学习方法 | |
| CN114092832B (zh) | 一种基于并联混合卷积网络的高分辨率遥感影像分类方法 | |
| US20230215166A1 (en) | Few-shot urban remote sensing image information extraction method based on meta learning and attention | |
| CN112966684A (zh) | 一种注意力机制下的协同学习文字识别方法 | |
| CN110991149A (zh) | 一种多模态实体链接方法和实体链接系统 | |
| CN113705218A (zh) | 基于字符嵌入的事件元素网格化抽取方法、存储介质及电子装置 | |
| CN115272777B (zh) | 面向输电场景的半监督图像解析方法 | |
| CN116912708A (zh) | 一种基于深度学习的遥感影像建筑物提取方法 | |
| CN113435254A (zh) | 一种基于哨兵二号影像的耕地深度学习提取方法 | |
| CN117593666B (zh) | 一种极光图像的地磁台站数据预测方法及系统 | |
| CN113793341B (zh) | 一种自动驾驶场景语义分割方法、电子设备及可读介质 | |
| CN111310995A (zh) | 基于卷积神经网络的业务预测方法以及装置 | |
| CN111126155A (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
| CN111832358A (zh) | 一种点云语义解析方法和装置 | |
| CN117197632A (zh) | 一种基于Transformer的电镜花粉图像目标检测方法 | |
| CN116824140A (zh) | 面向测试场景无掩码监督的小样本分割方法 | |
| CN116958852A (zh) | 视频与文本的匹配方法、装置、电子设备和存储介质 | |
| CN115168678A (zh) | 一种时序感知的异质图神经谣言检测模型 | |
| Anilkumar et al. | An improved beluga whale optimizer—Derived Adaptive multi-channel DeepLabv3+ for semantic segmentation of aerial images | |
| CN111898756A (zh) | 一种多目标信息关联神经网络损失函数计算方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |