CN114863248A - 一种基于深监督自蒸馏的图像目标检测方法 - Google Patents
一种基于深监督自蒸馏的图像目标检测方法 Download PDFInfo
- Publication number
- CN114863248A CN114863248A CN202210199571.7A CN202210199571A CN114863248A CN 114863248 A CN114863248 A CN 114863248A CN 202210199571 A CN202210199571 A CN 202210199571A CN 114863248 A CN114863248 A CN 114863248A
- Authority
- CN
- China
- Prior art keywords
- model
- distillation
- loss
- data set
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004821 distillation Methods 0.000 title claims abstract description 78
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 9
- 238000013140 knowledge distillation Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 239000000779 smoke Substances 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 206010027175 memory impairment Diseases 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深监督自蒸馏的图像目标检测方法。该方法通过深监督自蒸馏的方式来强化火灾检测模型对旧图像集特征知识的学习能力，并重点基于损失函数权重自适应方法，指导模型在训练过程中自动均衡新旧数据集的特征重要性。从而确保模型能够实现高效的增量更新，并进一步提升模型的泛化性能。本发明方法可以有效避免灾难性遗忘问题的发生，并以自适应的方式最大程度上均衡新旧数据集特征知识的重要性，可以在不增加模型参数量、不更改模型架构的情况下实现模型的增量更新，对于模型的更新换代以及泛化性能提升具有重要意义。
Description
发明领域
本发明属于计算机科学领域，涉及计算机视觉、目标检测、深度学习、增量学习(在线学习)领域，具体涉及一种基于深监督自蒸馏的图像目标检测方法。
背景技术
基于深度学习的目标检测模型性能是由数据驱动的，大规模、高质量的多源异质数据集有助于提升模型的泛化性能。然而，大量与日俱增的新数据会导致模型训练工作无法一劳永逸，需要不断进行模型训练以学习新增数据的特征分布。但是，在原有模型基础上基于离线学习的方式直接训练新增数据会出现灾难性遗忘问题，即模型学习新增数据的过程可能会遗忘掉之前学到的旧数据特征。因此，亟需一种高效的增量学习方法确保模型在保持旧数据特征不丢失的情况下学习到更多新增数据的特征。
目前，增量学习领域已经涌现出许多抑制灾难性遗忘现象的研究工作，包括模型修改、正则化、预演或重放、再平衡和知识蒸馏等方法。模型修改方法往往需要修改模型网络架构以适应新增数据；通过正则化约束参数权重的方法计算成本比较大且对于大规模数据集效果不明显；重放方法一般需要将之前的部分数据或数据特征再次输入模型进行训练，会增大内存消耗和延长训练时间；知识蒸馏方法通过将原有模型(教师模型)存储的旧数据的知识迁移到新模型(学生模型)中实现数据特征的继承，但是不恰当的知识蒸馏配置方案可能导致效果不佳；再平衡方法通过消除模型对新增数据的偏向来减轻灾难性遗忘，有助于提高增量学习性能，但是基于专家经验定义的平衡方法难以有效平衡模型对新旧数据的学习能力。
发明内容
为解决上述问题，本发明提出了一种基于深监督自蒸馏的图像目标检测方法。该方法通过深监督自蒸馏的方式来强化火灾检测模型对旧图像集特征知识的学习能力，并重点基于损失函数权重自适应方法，指导模型在训练过程中自动均衡新旧数据集的特征重要性。从而确保模型能够实现高效的增量更新，并进一步提升模型的泛化性能。该方法主要包括以下步骤：
步骤1，构建目标检测图像数据集，首先对所有数据进行数据清洗工作，并为目标图像标注标签；然后，根据数据集的具体收集情况将所有数据划分为旧数据集和新增数据集两个类别，以模拟现实环境中频繁增加和更新的流式数据状态，从而用来对比本发明方法与其他方法的检测效果以及解决灾难性遗忘问题的能力；
步骤2，搭建面向增量学习的深监督自蒸馏目标检测模型。该模型由两个架构完全一致的神经网络并行构成，分别称为教师模型和学生模型。教师模型主要负责学习旧数据集特征知识，并将其学到的知识传授给学生模型；而学生模型通过深监督的方式从教师模型中学习旧数据集特征知识，同时还会从新数据集中学习新的知识。设计权重自适应的深监督损失函数，其主要由基于深监督特征蒸馏损失、输出蒸馏损失和真值损失构成。
步骤3，训练教师模型。基于旧数据集训练教师模型，尽可能学习并储存旧数据集的特征分布知识，然后保存训练好的教师模型用于后续的学生模型损失函数的计算；
步骤4，训练学生模型。将新数据集同时作为教师模型和学生模型的输入数据，通过前向传播方式计算教师模型和学生模型的输出值，进而计算模型的深监督损失，包括教师模型特征图与学生模型特征图之间的损失(特征蒸馏损失)、教师模型预测结果与学生模型预测结果之间的损失(输出蒸馏损失)以及学生模型预测结果和真实值的损失(真值损失)，以实现后续的知识蒸馏和模型更新；
步骤5，知识蒸馏和模型更新。基于步骤4中深监督损失结果，通过反向传播的方式计算学生模型中所有权重的梯度，并根据权重的梯度对学生模型进行权重更新。然后，通过多次前向传播-反向传播过程对模型进行迭代训练，随着损失函数不断下降，逐步将新数据集的知识以及教师模型的知识蒸馏到学生模型之中，并逐步完善和优化学生模型参数，直至达到指定的迭代训练次数上限即为训练完成。通过这种深监督自蒸馏的方式，可以实现学生模型模型对新增数据集的增量学习以及模型的增量更新。利用训练好的学生模型对新数据集和旧数据集进行预测并评估其预测效果，完成面向增量学习的目标检测任务。
进一步的，在步骤2中，搭建面向增量学习的深监督自蒸馏目标检测模型的具体过程如下：
首先，选定多个教师模型和学生模型共有的特征图层作为特征蒸馏的关键层；然后，基于MSE(Mean Square Error，均方误差)设计特征蒸馏损失，以实现在教师模型和学生模型所有对应的关键层之间搭建多个用于特征蒸馏的桥梁，此损失称为深监督特征蒸馏损失；均方误差计算公式如下：
其中，yi表示第i个样本的标签真值，
表示第i个样本的预测值，n表示样本数量。
同时，基于MSE公式在教师模型与学生模型输出结果之间构建输出蒸馏损失，用于衡量教师模型和学生模型输出结果之间的差异；此外，基于MSE公式设计真值损失用于衡量学生模型输出结果与真值的差异。需要注意的是，我们对所有特征蒸馏损失和输出蒸馏损失设置了可学习的权重参数，以便网络自适应地去平衡新旧数据集之间特征的重要性。特征蒸馏损失、输出蒸馏损失、真值损失以及权重的偏差加权求和结果共同构成了整个模型的深监督损失函数；
进一步的，模型深监督损失函数的具体计算方式如下：
其中，Lf,Lo,Lgt分别表示特征蒸馏损失、输出蒸馏损失和真值损失，
表示第i个特征蒸馏损失的权重，wo表示输出蒸馏损失的权重。所有权重均由网络自适应学习获得，为防止权重变化幅度过大导致梯度消失或爆炸，对权重进行了如下约束：
n表示参与特征蒸馏的特征图层个数；wo∈(0.1,10)。同时，通过
和Obias来记录自适应权重与约束范围的偏差，
表示第i个特征蒸馏损失的权重偏差，Obias表示输出蒸馏损失的权重偏差。将这些偏差添加到损失函数中，从而可以通过反向传播过程促使模型自动调整权重参数去符合权重的约束范围。进而，保证教师模型记忆的旧数据集知识可以迁移到学生模型中，同时学生模型还可以学习到新数据集的特征分布。
与现有技术相比，本发明方法既利用深监督自蒸馏的方式避免旧数据集检测过程中灾难性遗忘现象的发生，又基于自适应权重的方式通过迭代反馈机制使得该方法可以更好地均衡新旧数据集的特征重要性，且不需要大量重复实验确定实验参数，提高了模型的泛化能力和检测性能。相比已有方法，该方法在平均精度以及查准率和查全率等评估指标上均表现出比较明显的性能提升。
附图说明
图1本发明提出的深监督自蒸馏图像目标检测网络架构图。
图2为本发明方法与已有方法在旧数据集上的预测结果图，其中(a)为离线学习方法在示例图像上的预测结果图，(b)为基于输出结果的自蒸馏方法在示例图像上的预测结果图，(c)为本发明方法在示例图像上的预测结果图，(d)为带有真值标签的示例图像。
具体实施方式
下面对结合附图对本发明作进一步的说明。
如图1所示，本发明提出了一种基于深监督自蒸馏的图像目标检测方法，主要包括以下步骤：
步骤1，构建目标检测图像数据集。本实施例收集了101087张包含火焰和烟雾的图像用于目标检测任务，首先对所有数据进行重复图像和损坏图像去除等数据清洗工作，然后对所有清洗后的数据进行图像标签标注工作；然后，将数据集中所有普通的计算机视觉图像归类为旧数据集，并将所有的遥感图像归类为新数据集以模拟现实环境中后续收集的新增数据，从而用来对比本发明方法与其他方法的目标检测效果以及解决灾难性遗忘问题的能力；
步骤2，搭建面向增量学习的深监督自蒸馏目标检测模型。本实施例基于YOLOv5s设计了一种基于深监督自蒸馏(DSSKD，Deeply Supervised Self KnowledgeDistillation)的图像目标检测方法DSSKD-YOLOv5s。如图1所示，它由两个架构完全一样的目标检测网络YOLOv5s构成，一个称为教师模型(图1上侧网络)，另一个称为学生模型(图1下侧网络)。教师模型负责学习旧数据集的特征知识，并将学到的知识传授给学生模型；学生模型负责从教师模型中学习旧数据集特征知识，同时还会学习新数据集中的特征知识。此外，本发明方法重点针对模型损失函数进行改进和优化，并设计了权重自适应的深监督损失函数，其主要由深监督特征蒸馏损失、输出蒸馏损失和真值损失构成。首先，在YOLOv5s的主干网络中选取8个结构最复杂的特征映射层以及检测模块的3个卷积层共11个特征图作为特征蒸馏的关键层；然后，基于公式1设计特征蒸馏损失、输出蒸馏损失和真值损失；同时，基于公式2-4进行模型损失函数的总体设计，并对所有特征蒸馏损失和输出蒸馏损失设置可学习的权重参数，以便网络自适应地平衡新旧数据集之间特征的重要性；
其中，yi表示第i个样本的标签真值，
表示第i个样本的预测值，n表示样本数量。
其中，Lf,Lo,Lgt分别表示特征蒸馏损失、输出蒸馏损失和真值损失，
表示第i个特征蒸馏损失的权重，wo表示输出蒸馏损失的权重。所有权重均由网络自适应学习获得，为防止权重变化幅度过大导致梯度消失或爆炸，对权重进行了如下约束：
n表示参与特征蒸馏的特征图层个数；wo∈(0.1,10)。同时，通过
和Obias来记录自适应权重与约束范围的偏差，
表示第i个特征蒸馏损失的权重偏差，Obias表示输出蒸馏损失的权重偏差。将这些偏差添加到损失函数中，从而可以通过反向传播过程促使模型自动调整权重参数去符合权重的约束范围。进而，保证教师模型记忆的旧数据集知识可以迁移到学生模型中，同时学生模型还可以学习到新数据集的特征分布。步骤3，训练教师模型。基于旧数据集训练教师模型，尽可能学习并储存旧数据集的特征分布知识，然后保存训练好的教师模型用于后续的学生模型损失函数的计算；
步骤4，训练学生模型。将新数据集同时作为教师模型和学生模型的输入数据，通过前向传播方式计算教师模型和学生模型的输出值。进而，计算模型的深监督损失，包括教师模型特征图与学生模型特征图之间的损失(特征蒸馏损失)、教师模型预测结果与学生模型预测结果之间的损失(输出蒸馏损失)以及学生模型预测结果和真实值的损失(真值损失)，以实现后续的知识蒸馏和模型更新；
步骤5，知识蒸馏和模型更新。基于步骤4中得到的深监督损失结果，通过反向传播的方式计算学生模型中所有权重的梯度，并根据权重的梯度对学生模型进行权重更新。然后，通过多次前向传播-反向传播过程对模型进行迭代训练，随着损失函数不断下降，逐步将新数据集的知识以及教师模型的知识蒸馏到学生模型之中，并逐步完善和优化学生模型参数，直至达到指定的迭代训练次数上限(本实施例设置为300)即为训练完成。通过这种深监督自蒸馏的方式，可以实现学生模型对新增数据集的增量学习以及模型的增量更新。利用训练好的学生模型对新数据集和旧数据集进行预测并评估其预测效果，完成面向增量学习的目标检测任务。
表1展示了本发明方法与已有方法在旧数据集和新数据集上的精度评估对比结果。其中OL-YOLOv5s为离线学习(Offline Learning，OL)方法，SKD-YOLOv5s为基于输出结果的自蒸馏(Self Knowledge Distillation，SKD)方法，DSSKD-YOLOv5s为本发明提出的深监督自蒸馏方法。在旧数据集上，OL-YOLOv5s表现出了明显的灾难性遗忘现象，仅达到了9.87％的平均精度均值；与其相比，本方法在总体精度上提升了34.83％，在查准率上获得了30.75％的精度提升，在查全率上获得了30.62％的精度提升；与SKD-YOLOv5s相比，在总体精度上提升了6.24％，在查准率和查全率分别获得了6.06％和4.38％的精度提升；在新数据集上，虽然OL-YOLOv5s获取了47.82％的最高平均精度均值，但本方法也达到了与其接近的平均精度均值45.11％，且比SKD-YOLOv5s高出了3.51％。值得注意的是，本发明方法在旧数据集和新数据集上均取得了极具竞争力的检测精度，表现出了最优的特征知识平衡能力。
表1不同目标检测方法精度对比
图2展示了本发明方法与已有方法在旧数据集上的预测结果图。在OL-YOLOv5s的预测结果(图2a)中，遗漏掉了大面积的火焰和烟雾目标，清晰地展现了离线学习方法普遍存在的灾难性遗忘现象；在SKD-YOLOv5s的预测结果(图2b)中，可以检测出图像中大部分的火焰和烟雾目标，但在图像左侧的火焰和右侧的烟雾边缘部分仍表现出了少量的漏检测现象；而在本发明方法DSSKD-YOLOv5s的预测结果(图2c)中，可以比较完整地检测到图像中所有火焰和烟雾存在的目标区域，与图像标签所标示区域基本一致，表现出了良好的检测效果。
综上所述，本发明方法同时在旧数据集和新数据集上取得了令人满意的查准率、查全率以及平均精度等精度评估结果以及可视化效果，有效避免了灾难性遗忘问题的发生，并以自适应的方式最大程度上均衡了新旧数据集特征知识的重要性，可以在不增加模型参数量、不更改模型架构的情况下实现模型的增量更新，对于模型的更新换代以及泛化性能提升具有重要意义。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (6)
1.一种基于深监督自蒸馏的图像目标检测方法，其特征在于，包括如下步骤：
步骤1，构建目标检测图像数据集，首先对所有数据进行数据清洗工作，并为目标图像标注标签；然后，根据数据集的具体收集情况将所有数据划分为旧数据集和新增数据集两个类别，以模拟现实环境中频繁增加和更新的流式数据状态；
步骤2，搭建面向增量学习的深监督自蒸馏目标检测模型，该模型由两个架构完全一致的神经网络并行构成，分别称为教师模型和学生模型；其中教师模型负责学习旧数据集特征知识，并将其学到的知识传授给学生模型；而学生模型通过深监督的方式从教师模型中学习旧数据集特征知识，同时还会从新数据集中学习新的知识；
步骤3，训练教师模型，基于旧数据集训练教师模型，尽可能学习并储存旧数据集的特征分布知识，然后保存训练好的教师模型用于后续的学生模型损失函数的计算；
步骤4，训练学生模型，将新数据集同时作为教师模型和学生模型的输入数据，通过前向传播方式计算教师模型和学生模型的输出值，进而计算模型的深监督损失函数，包括教师模型特征图与学生模型特征图之间的损失，即特征蒸馏损失，教师模型预测结果与学生模型预测结果之间的损失，即输出蒸馏损失，以及学生模型预测结果和真实值的损失，即真值损失，以实现后续的知识蒸馏和模型更新；
步骤5，知识蒸馏和模型更新，基于步骤4中深监督损失结果，通过反向传播的方式计算学生模型中所有权重的梯度，并根据权重的梯度对学生模型进行权重更新；然后，通过多次前向传播-反向传播过程对模型进行迭代训练，随着损失函数不断下降，逐步将新数据集的知识以及教师模型的知识蒸馏到学生模型之中，并逐步完善和优化学生模型参数，直至达到指定的迭代训练次数上限即为训练完成，利用训练好的学生模型对新数据集和旧数据集进行预测并评估其预测效果，完成面向增量学习的目标检测任务。
2.如权利要求1所述的一种基于深监督自蒸馏的图像目标检测方法，其特征在于：特征蒸馏损失的具体计算过程如下；
首先，选定多个教师模型和学生模型共有的特征图层作为特征蒸馏的关键层；然后，基于MSE设计特征蒸馏损失，以实现在教师模型和学生模型所有对应的关键层之间搭建多个用于特征蒸馏的桥梁，此模块称为深监督特征蒸馏模块；均方误差计算公式如下：
其中，yi表示第i个样本的标签真值，
表示第i个样本的预测值，n表示样本数量。
3.如权利要求1所述的一种基于深监督自蒸馏的图像目标检测方法，其特征在于：特征蒸馏损失、输出蒸馏损失、真值损失以及权重的偏差加权求和结果共同构成了整个模型的深监督损失函数；
模型深监督损失函数的具体计算方式如下：
其中，Lf,Lo,Lgt分别表示特征蒸馏损失、输出蒸馏损失和真值损失，
表示第i个特征蒸馏损失的权重，wo表示输出蒸馏损失的权重；所有权重均由网络自适应学习获得，为防止权重变化幅度过大导致梯度消失或爆炸，对权重进行了如下约束：
n表示参与特征蒸馏的特征图层个数；wo∈(0.1,10)；同时，通过
和Obias来记录自适应权重与约束范围的偏差，
表示第i个特征蒸馏损失的权重偏差，Obias表示输出蒸馏损失的权重偏差。
4.如权利要求1所述的一种基于深监督自蒸馏的图像目标检测方法，其特征在于：基于MSE公式在教师模型与学生模型输出结果之间构建输出蒸馏损失，用于衡量教师模型和学生模型输出结果之间的差异；此外，基于MSE公式设计真值损失用于衡量学生模型输出结果与真值的差异。
5.如权利要求1所述的一种基于深监督自蒸馏的图像目标检测方法，其特征在于：教师模型和学生模型均为目标检测网络YOLOv5s。
6.如权利要求2所述的一种基于深监督自蒸馏的图像目标检测方法，其特征在于：从YOLOv5s的主干网络中选取8个结构最复杂的特征映射层以及检测模块的3个卷积层共11个特征图作为特征蒸馏的关键层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210199571.7A CN114863248B (zh) | 2022-03-02 | 2022-03-02 | 一种基于深监督自蒸馏的图像目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210199571.7A CN114863248B (zh) | 2022-03-02 | 2022-03-02 | 一种基于深监督自蒸馏的图像目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114863248A true CN114863248A (zh) | 2022-08-05 |
| CN114863248B CN114863248B (zh) | 2024-04-26 |
Family
ID=82627663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210199571.7A Active CN114863248B (zh) | 2022-03-02 | 2022-03-02 | 一种基于深监督自蒸馏的图像目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114863248B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115272981A (zh) * | 2022-09-26 | 2022-11-01 | 山东大学 | 云边共学习输电巡检方法与系统 |
| CN115457006A (zh) * | 2022-09-23 | 2022-12-09 | 华能澜沧江水电股份有限公司 | 基于相似一致性自蒸馏的无人机巡检缺陷分类方法及装置 |
| CN115527083A (zh) * | 2022-09-27 | 2022-12-27 | 中电金信软件有限公司 | 图像标注方法、装置和电子设备 |
| CN116091895A (zh) * | 2023-04-04 | 2023-05-09 | 之江实验室 | 一种面向多任务知识融合的模型训练方法及装置 |
| CN116229209A (zh) * | 2023-02-14 | 2023-06-06 | 北京百度网讯科技有限公司 | 目标模型的训练方法、目标检测方法及装置 |
| CN117095257A (zh) * | 2023-10-16 | 2023-11-21 | 珠高智能科技(深圳)有限公司 | 多模态大模型微调方法、装置、计算机设备及存储介质 |
| CN117152154A (zh) * | 2023-10-31 | 2023-12-01 | 成都理工大学 | 一种基于双教师架构的类增量柔性电路板缺陷检测方法 |
| CN117268345A (zh) * | 2023-11-20 | 2023-12-22 | 启元实验室 | 一种高实时性单目深度估计测量方法、装置及电子设备 |
| CN117496509A (zh) * | 2023-12-25 | 2024-02-02 | 江西农业大学 | 一种融合多教师知识蒸馏的Yolov7柚子计数方法 |
| CN118152897A (zh) * | 2024-05-11 | 2024-06-07 | 云账户技术(天津)有限公司 | 敏感信息识别模型的训练方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111199242A (zh) * | 2019-12-18 | 2020-05-26 | 浙江工业大学 | 一种基于动态修正向量的图像增量学习方法 |
| US20200302295A1 (en) * | 2019-03-22 | 2020-09-24 | Royal Bank Of Canada | System and method for knowledge distillation between neural networks |
| CN113610126A (zh) * | 2021-07-23 | 2021-11-05 | 武汉工程大学 | 基于多目标检测模型无标签的知识蒸馏方法及存储介质 |
| WO2021248868A1 (zh) * | 2020-09-02 | 2021-12-16 | 之江实验室 | 基于知识蒸馏的预训练语言模型的压缩方法及平台 |
| CN113837238A (zh) * | 2021-09-02 | 2021-12-24 | 南京大学 | 一种基于自监督和自蒸馏的长尾图像识别方法 |
| CN113869512A (zh) * | 2021-10-09 | 2021-12-31 | 北京中科智眼科技有限公司 | 基于自监督与自蒸馏的补充标签学习方法 |
-
2022
- 2022-03-02 CN CN202210199571.7A patent/CN114863248B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200302295A1 (en) * | 2019-03-22 | 2020-09-24 | Royal Bank Of Canada | System and method for knowledge distillation between neural networks |
| CN111199242A (zh) * | 2019-12-18 | 2020-05-26 | 浙江工业大学 | 一种基于动态修正向量的图像增量学习方法 |
| WO2021248868A1 (zh) * | 2020-09-02 | 2021-12-16 | 之江实验室 | 基于知识蒸馏的预训练语言模型的压缩方法及平台 |
| CN113610126A (zh) * | 2021-07-23 | 2021-11-05 | 武汉工程大学 | 基于多目标检测模型无标签的知识蒸馏方法及存储介质 |
| CN113837238A (zh) * | 2021-09-02 | 2021-12-24 | 南京大学 | 一种基于自监督和自蒸馏的长尾图像识别方法 |
| CN113869512A (zh) * | 2021-10-09 | 2021-12-31 | 北京中科智眼科技有限公司 | 基于自监督与自蒸馏的补充标签学习方法 |
Non-Patent Citations (2)
| Title |
|---|
| MING WANG等: "Domain-incremental learning for fire detection in space-air-ground integrated observation network", 《INTERNATIONAL JOURNAL OF APPLIED EARTH OBSERVATION AND GEOINFORMATION》, 30 April 2023 (2023-04-30) * |
| 何丽;韩克平;朱泓西;刘颖;: "双分支迭代的深度增量图像分类方法", 模式识别与人工智能, no. 02, 15 February 2020 (2020-02-15) * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115457006A (zh) * | 2022-09-23 | 2022-12-09 | 华能澜沧江水电股份有限公司 | 基于相似一致性自蒸馏的无人机巡检缺陷分类方法及装置 |
| CN115457006B (zh) * | 2022-09-23 | 2023-08-22 | 华能澜沧江水电股份有限公司 | 基于相似一致性自蒸馏的无人机巡检缺陷分类方法及装置 |
| CN115272981A (zh) * | 2022-09-26 | 2022-11-01 | 山东大学 | 云边共学习输电巡检方法与系统 |
| CN115527083A (zh) * | 2022-09-27 | 2022-12-27 | 中电金信软件有限公司 | 图像标注方法、装置和电子设备 |
| CN115527083B (zh) * | 2022-09-27 | 2023-04-11 | 中电金信软件有限公司 | 图像标注方法、装置和电子设备 |
| CN116229209A (zh) * | 2023-02-14 | 2023-06-06 | 北京百度网讯科技有限公司 | 目标模型的训练方法、目标检测方法及装置 |
| CN116229209B (zh) * | 2023-02-14 | 2023-11-07 | 北京百度网讯科技有限公司 | 目标模型的训练方法、目标检测方法及装置 |
| CN116091895A (zh) * | 2023-04-04 | 2023-05-09 | 之江实验室 | 一种面向多任务知识融合的模型训练方法及装置 |
| CN117095257A (zh) * | 2023-10-16 | 2023-11-21 | 珠高智能科技(深圳)有限公司 | 多模态大模型微调方法、装置、计算机设备及存储介质 |
| CN117152154A (zh) * | 2023-10-31 | 2023-12-01 | 成都理工大学 | 一种基于双教师架构的类增量柔性电路板缺陷检测方法 |
| CN117152154B (zh) * | 2023-10-31 | 2024-01-26 | 成都理工大学 | 一种基于双教师架构的类增量柔性电路板缺陷检测方法 |
| CN117268345A (zh) * | 2023-11-20 | 2023-12-22 | 启元实验室 | 一种高实时性单目深度估计测量方法、装置及电子设备 |
| CN117268345B (zh) * | 2023-11-20 | 2024-03-29 | 启元实验室 | 一种高实时性单目深度估计测量方法、装置及电子设备 |
| CN117496509A (zh) * | 2023-12-25 | 2024-02-02 | 江西农业大学 | 一种融合多教师知识蒸馏的Yolov7柚子计数方法 |
| CN117496509B (zh) * | 2023-12-25 | 2024-03-19 | 江西农业大学 | 一种融合多教师知识蒸馏的Yolov7柚子计数方法 |
| CN118152897A (zh) * | 2024-05-11 | 2024-06-07 | 云账户技术(天津)有限公司 | 敏感信息识别模型的训练方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114863248B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114863248B (zh) | 一种基于深监督自蒸馏的图像目标检测方法 | |
| CN108280551B (zh) | 一种利用长短期记忆网络的光伏发电功率预测方法 | |
| CN106448151B (zh) | 一种短时交通流预测方法 | |
| CN103164742B (zh) | 一种基于粒子群优化神经网络的服务器性能预测方法 | |
| CN113361685B (zh) | 一种基于学习者知识状态演化表示的知识追踪方法及系统 | |
| CN106530082A (zh) | 基于多机器学习的股票预测方法及系统 | |
| CN111680786A (zh) | 一种基于改进权重门控单元的时序预测方法 | |
| CN112215446A (zh) | 一种基于神经网络的单位动态火灾风险评估方法 | |
| CN112541639A (zh) | 基于图神经网络和注意力机制的推荐系统评分预测方法 | |
| CN110097929A (zh) | 一种高炉铁水硅含量在线预测方法 | |
| CN112734002A (zh) | 一种基于数据层和模型层联合迁移学习的寿命预测方法 | |
| CN113743011A (zh) | 一种基于pso-bp神经网络的设备寿命预测方法和系统 | |
| CN114648147A (zh) | 一种基于ipso-lstm的风电功率预测方法 | |
| CN101285816A (zh) | 铜锍吹炼的过程参数软测量仪表及其软测量方法 | |
| CN114548350A (zh) | 一种基于樽海鞘群和bp神经网络的电力负荷预测方法 | |
| CN113807721A (zh) | 一种基于相近和相似机理的装备作战效能评估方法 | |
| CN116503029B (zh) | 用于自动驾驶的模块数据协同处理方法及系统 | |
| CN113836734A (zh) | 一种基于虚拟理想解的装备作战效能评估方法 | |
| CN116522065A (zh) | 一种基于深度学习的磨煤机健康度评估方法 | |
| CN116300755A (zh) | 基于mpc的含储热的供热系统双层优化调度方法及装置 | |
| Marushko | Using ensembles of neural networks with different scales of input data for the analysis of telemetry data | |
| CN114841461A (zh) | 基于时序缺失感知和多源因素融合的空气质量集成预测方法 | |
| CN113884936A (zh) | 一种基于issa耦合delm的锂离子电池健康状态预测方法 | |
| CN113988311A (zh) | 质量变量的预测方法、装置、终端及存储介质 | |
| CN113408183A (zh) | 基于预测模型的车辆基地短期复合预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |