CN116778300A - 一种基于知识蒸馏的小目标检测方法、系统和存储介质 - Google Patents

一种基于知识蒸馏的小目标检测方法、系统和存储介质 Download PDF

Info

Publication number
CN116778300A
CN116778300A CN202310752443.5A CN202310752443A CN116778300A CN 116778300 A CN116778300 A CN 116778300A CN 202310752443 A CN202310752443 A CN 202310752443A CN 116778300 A CN116778300 A CN 116778300A
Authority
CN
China
Prior art keywords
small target
yolov7l
target detection
distillation
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310752443.5A
Other languages
English (en)
Other versions
CN116778300B (zh
Inventor
常雨喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shumei Tianxia Beijing Technology Co ltd
Beijing Nextdata Times Technology Co ltd
Original Assignee
Shumei Tianxia Beijing Technology Co ltd
Beijing Nextdata Times Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shumei Tianxia Beijing Technology Co ltd, Beijing Nextdata Times Technology Co ltd filed Critical Shumei Tianxia Beijing Technology Co ltd
Priority to CN202310752443.5A priority Critical patent/CN116778300B/zh
Publication of CN116778300A publication Critical patent/CN116778300A/zh
Application granted granted Critical
Publication of CN116778300B publication Critical patent/CN116778300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于知识蒸馏的小目标检测方法、系统和存储介质，包括：利用包含多尺度特征图蒸馏和基于注意力机制的结果蒸馏的蒸馏方式，构建Yolov7L学生模型的蒸馏损失函数；基于多个训练样本，并根据训练好的Yolov7L教师模型、多尺度注意力模块和蒸馏损失函数，对Yolov7L学生模型进行训练，得到训练好的Yolov7L学生模型；其中，多尺度注意力模块用于优化训练好的Yolov7L教师模型的小目标检测结果；将待测图像输入至训练好的Yolov7L学生模型进行小目标检测，得到待测图像的小目标检测结果。本发明通过结合多尺度的特征图和引入注意力模块的知识蒸馏方法，提升了Yolov7模型的小目标识别精度。

Description

一种基于知识蒸馏的小目标检测方法、系统和存储介质
技术领域
本发明涉及深度学习技术领域，尤其涉及一种基于知识蒸馏的小目标检测方法、系统和存储介质。
背景技术
目前，小目标检测在自动驾驶、智慧医疗、缺陷检测和航拍图像分析等诸多领域发挥着重要作用。由于小目标的携带信息少、定位精度要求高、易被环境噪声淹没，现有算法针对小目标特性的优化设计不多，加之小目标自身特性所带来的难度，导致现有算法在小目标检测上普遍表现不佳。
知识蒸馏是一种经典的模型压缩方法，核心思想是通过引导轻量化的学生模型“模仿”性能更好、结构更复杂的教师模型，在不改变学生模型结构的情况下提高其性能。然而，由于小目标数据本身的特点，使用传统的知识蒸馏方法会导致下采样后对特征图的贡献很少，当教师模型的小目标识别结果较差时，可能会传递错误的暗知识。
因此，亟需提供一种技术方案解决上述问题。
发明内容
为解决上述技术问题，本发明提供了一种基于知识蒸馏的小目标检测方法、系统和存储介质。
本发明的一种基于知识蒸馏的小目标检测方法的技术方案如下：
S1、利用包含多尺度特征图蒸馏和基于注意力机制的结果蒸馏在内的知识蒸馏方式，构建待训练的Yolov7L学生模型的蒸馏损失函数；
S2、基于多个训练样本，并根据训练好的Yolov7L教师模型、多尺度注意力模块和所述蒸馏损失函数，对所述待训练的Yolov7L学生模型进行训练，得到训练好的Yolov7L学生模型；其中，所述多尺度注意力模块分别与所述训练好的Yolov7L教师模型和所述待训练的Yolov7L学生模型连接，所述多尺度注意力模块用于优化所述训练好的Yolov7L教师模型的小目标检测结果；
S3、将待测图像输入至所述训练好的Yolov7L学生模型进行小目标检测，得到所述待测图像的小目标检测结果。
本发明的一种基于知识蒸馏的小目标检测方法的有益效果如下：
本发明的方法通过结合多尺度的特征图和引入注意力模块的知识蒸馏方法，提升了Yolov7模型的小目标识别精度。
在上述方案的基础上，本发明的一种基于知识蒸馏的小目标检测方法还可以做如下改进。
进一步，步骤S2包括：
S21、将任一训练样本输入训练好的Yolov7L教师模型，得到所述任一训练样本的每个目标层的第一中间特征图、第一小目标检测结果和所述第一小目标检测结果的上一层的第一结果特征图；
S22、将所述任一训练样本输入待训练的Yolov7L学生模型，得到所述任一训练样本的每个目标层的第二中间特征图、第二小目标检测结果和所述第二小目标检测结果的上一层的第二结果特征图；
S23、将所述任一训练样本的第一结果特征图和第二结果特征图输入所述多尺度注意力模块进行处理，得到所述任一训练样本的第三小目标检测结果；
S24、将所述任一训练样本的第二小目标检测结果、第三小目标检测结果、每个第一中间特征图和每个第二中间特征图代入所述蒸馏损失函数进行损失计算，得到所述任一训练样本的蒸馏损失；
S25、重复执行步骤S21至步骤S24，直至得到每个训练样本的蒸馏损失；
S26、基于所有的蒸馏损失，对所述待训练的Yolov7L学生模型的参数和所述多尺度注意力模块的参数进行优化，得到优化后的Yolov7L学生模型和优化后的多尺度注意力模块，将所述优化后的Yolov7L学生模型作为所述待训练的Yolov7L学生模型，将所述优化后的多尺度注意力模块作为所述多尺度注意力模块，并返回执行步骤S21，直至所述优化后的Yolov7L学生模型满足预设迭代训练条件时，将所述优化后的Yolov7L学生模型确定为所述训练好的Yolov7L学生模型。
进一步，小目标检测结果包括：预测标注框、预测类别和前背景预测值，所述蒸馏损失函数为：Ltotal＝αLfeat+βLr+Ldet；Ltotal为蒸馏损失，Lfeat为多尺度特征图蒸馏损失，Lr为结果蒸馏损失，Ldet为所述待训练的Yolov7L学生模型的原始损失，α为第一超参数，βLr为第二超参数；
其中， 为第j个第一中间特征图，/>为第j个第二特征图，/>为/>和/>之间的L2正则化损失，n为目标层的数量；
其中，为第三小目标检测结果中的第i个尺度的注意力模块输出的预测标注框，/>为第二小目标检测结果中的预测标注框，/>为/>和/>之间的标注框损失，/>为第三小目标检测结果中的第i个尺度的注意力模块输出的预测类别，/>为第二小目标检测结果中的预测类别，/>为/>和/>之间的类别损失，/>为第三小目标检测结果中的第i个尺度的注意力模块输出的前背景预测值，/>为第二小目标检测结果中的前背景预测值，/>为/>和/>之间的前背景预测损失；m为所述多尺度注意力模块中的不同尺度的注意力模块的数量。
进一步，步骤S23包括：
基于计算公式组，并根据所述任一训练样本的第一结果特征图和第二结果特征图，分别得到所述任一训练样本的第三小目标检测结果中的第i个尺度的注意力模块输出的小目标检测结果；
其中，所述计算公式组为：IT为所述任一训练样本的第一结果特征图，IS为所述任一训练样本的第二结果特征图，Wi Q为第i个尺度下的第一权重矩阵，Wi K为第i个尺度下的第二权重矩阵，Wi V为第i个尺度下的第三权重矩阵，hi为第i个尺度的注意力模块输出的小目标检测结果，hi包含第i个尺度的注意力模块输出的预测标注框/>预测类别/>和前背景预测值/> 为Ki的转置矩阵，dk是输入隐藏层的维度。
进一步，还包括：
基于所述多个训练样本，对用于小目标检测的Yolov7L教师模型进行训练，得到所述训练好的Yolov7L教师模型。
本发明的一种基于知识蒸馏的小目标检测系统的技术方案如下：
包括：构建模块、训练模块和检测模块；
所述构建模块用于：利用包含多尺度特征图蒸馏和基于注意力机制的结果蒸馏在内的知识蒸馏方式，构建待训练的Yolov7L学生模型的蒸馏损失函数；
所述训练模块用于：基于多个训练样本，并根据训练好的Yolov7L教师模型、多尺度注意力模块和所述蒸馏损失函数，对所述待训练的Yolov7L学生模型进行训练，得到训练好的Yolov7L学生模型；其中，所述多尺度注意力模块分别与所述训练好的Yolov7L教师模型和所述待训练的Yolov7L学生模型连接，所述多尺度注意力模块用于优化所述训练好的Yolov7L教师模型的小目标检测结果；
所述检测模块用于：将待测图像输入至所述训练好的Yolov7L学生模型进行小目标检测，得到所述待测图像的小目标检测结果。
本发明的一种基于知识蒸馏的小目标检测系统的有益效果如下：
本发明的系统通过结合多尺度的特征图和引入注意力模块的知识蒸馏方法，提升了Yolov7模型的小目标识别精度。
在上述方案的基础上，本发明的一种基于知识蒸馏的小目标检测系统还可以做如下改进。
进一步，所述训练模块包括：第一训练模块、第二训练模块、第三训练模块、第四训练模块、第五训练模块和迭代训练模块；
所述第一训练模块用于：将任一训练样本输入训练好的Yolov7L教师模型，得到所述任一训练样本的每个目标层的第一中间特征图、第一小目标检测结果和所述第一小目标检测结果的上一层的第一结果特征图；
所述第二训练模块用于：将所述任一训练样本输入待训练的Yolov7L学生模型，得到所述任一训练样本的每个目标层的第二中间特征图、第二小目标检测结果和所述第二小目标检测结果的上一层的第二结果特征图；
所述第三训练模块用于：将所述任一训练样本的第一结果特征图和第二结果特征图输入所述多尺度注意力模块进行处理，得到所述任一训练样本的第三小目标检测结果；
所述第四训练模块用于：将所述任一训练样本的第二小目标检测结果、第三小目标检测结果、每个第一中间特征图和每个第二中间特征图代入所述蒸馏损失函数进行损失计算，得到所述任一训练样本的蒸馏损失；
所述第五训练模块用于：重复调用所述第一训练模块至所述第四训练模块，直至得到每个训练样本的蒸馏损失；
所述迭代训练模块用于：基于所有的蒸馏损失，对所述待训练的Yolov7L学生模型的参数和所述多尺度注意力模块的参数进行优化，得到优化后的Yolov7L学生模型和优化后的多尺度注意力模块，将所述优化后的Yolov7L学生模型作为所述待训练的Yolov7L学生模型，将所述优化后的多尺度注意力模块作为所述多尺度注意力模块，并返回调用所述第一训练模块，直至所述优化后的Yolov7L学生模型满足预设迭代训练条件时，将所述优化后的Yolov7L学生模型确定为所述训练好的Yolov7L学生模型。
进一步，小目标检测结果包括：预测标注框、预测类别和前背景预测值，所述蒸馏损失函数为：Ltotal＝αLfeat+βLr+Ldet；Ltotal为蒸馏损失，Lfeat为多尺度特征图蒸馏损失，Lr为结果蒸馏损失，Ldet为所述待训练的Yolov7L学生模型的原始损失，α为第一超参数，βLr为第二超参数；
其中， 为第j个第一中间特征图，/>为第j个第二特征图，/>为/>和/>之间的L2正则化损失，n为目标层的数量；
其中，为第三小目标检测结果中的第i个尺度的注意力模块输出的预测标注框，/>为第二小目标检测结果中的预测标注框，/>为/>和/>之间的标注框损失，/>为第三小目标检测结果中的第i个尺度的注意力模块输出的预测类别，/>为第二小目标检测结果中的预测类别，/>为/>和/>之间的类别损失，/>为第三小目标检测结果中的第i个尺度的注意力模块输出的前背景预测值，/>为第二小目标检测结果中的前背景预测值，/>为/>和/>之间的前背景预测损失；m为所述多尺度注意力模块中的不同尺度的注意力模块的数量。
进一步，所述第三训练模块具体用于：
基于计算公式组，并根据所述任一训练样本的第一结果特征图和第二结果特征图，分别得到所述任一训练样本的第三小目标检测结果中的第i个尺度的注意力模块输出的小目标检测结果；
其中，所述计算公式组为：IT为所述任一训练样本的第一结果特征图，IS为所述任一训练样本的第二结果特征图，Wi Q为第i个尺度下的第一权重矩阵，Wi K为第i个尺度下的第二权重矩阵，Wi V为第i个尺度下的第三权重矩阵，hi为第i个尺度的注意力模块输出的小目标检测结果，hi包含第i个尺度的注意力模块输出的预测标注框/>预测类别/>和前背景预测值/> 为Ki的转置矩阵，dk是输入隐藏层的维度。
本发明的一种存储介质的技术方案如下：
存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如本发明的一种基于知识蒸馏的小目标检测方法的步骤。
附图说明
图1示出了本发明提供的一种基于知识蒸馏的小目标检测方法的实施例的流程示意图；
图2示出了本发明提供的一种基于知识蒸馏的小目标检测方法中的实施例中的Yolov7L模型的结构示意图；
图3示出了本发明提供的一种基于知识蒸馏的小目标检测方法的实施例中的多尺度注意力模块的结构示意图；
图4示出了本发明提供的一种基于知识蒸馏的小目标检测系统的实施例的结构示意图。
具体实施方式
图1示出了本发明提供的一种基于知识蒸馏的小目标检测方法的实施例的流程示意图。如图1所示，包括如下步骤：
S1、利用包含多尺度特征图蒸馏和基于注意力机制的结果蒸馏在内的知识蒸馏方式，构建待训练的Yolov7L学生模型的蒸馏损失函数。
其中，①通常的多尺度特征图蒸馏用于将教师模型中间某一层的输出的暗知识传递给学生模型，而本实施例中的多尺度特征图蒸馏是将教师模型的多个不同尺度(中间不同层)的输出的暗知识传递给学生模型。②通常的结果蒸馏是把教师模型的预测结果传递给学生模型，作为一种辅助监督信息。而本实施例中的基于注意力机制的结果蒸馏设计了一个新的multi-scale注意力模块，通过计算对的注意力查询，来规避教师模型错误的知识，找到对学生模型更重要的知识。③图2示出了Yolov7L模型的结构示意图。Yolov7L模型的结构由特征提取器Backbone(在不同图像细粒度上聚合并形成图像特征的卷积神经网络)、特征图金字塔Neck(一系列混合和组合图像特征的网络层，并将图像特征传递到预测层)和输出层Head(对图像特征进行预测，生成边界框和预测类别)三部分构成。图2中的序号为对应层的序号。
需要说明的是，由于Yolov7L模型为现有模型，在此不过多赘述每部分的功能结构。
S2、基于多个训练样本，并根据训练好的Yolov7L教师模型、多尺度注意力模块和所述蒸馏损失函数，对所述待训练的Yolov7L学生模型进行训练，得到训练好的Yolov7L学生模型。
其中，①多尺度注意力模块分别与训练好的Yolov7L教师模型和待训练的Yolov7L学生模型连接。②多尺度注意力模块用于优化训练好的Yolov7L教师模型的小目标检测结果。③训练样本为：随机选取的用于模型训练的图像。每个训练样本中均包含至少一个小目标。
S3、将待测图像输入至所述训练好的Yolov7L学生模型进行小目标检测，得到所述待测图像的小目标检测结果。
其中，①待测图像为：随机选取的用于小目标检测的图像。②小目标检测结果包括：待测图像的预测标注框、预测类别和前背景预测值。
较优地，步骤S2包括：
S21、将任一训练样本输入训练好的Yolov7L教师模型，得到所述任一训练样本的每个目标层的第一中间特征图、第一小目标检测结果和所述第一小目标检测结果的上一层的第一结果特征图。
其中，①第一中间特征图的数量为多个(本实施例中为三个，即75层、81层和101层的特征图)。②第一结果特征图为：训练好的Yolov7L教师模型输出的小目标检测结果的上一层的特征图。
S22、将所述任一训练样本输入待训练的Yolov7L学生模型，得到所述任一训练样本的每个目标层的第二中间特征图、第二小目标检测结果和所述第二小目标检测结果的上一层的第二结果特征图。
其中，①第二中间特征图的数量为多个，与第一中间特征图的数量相同(本实施例中为三个，即75层、81层和101层的特征图)。②第二结果特征图为：待训练的Yolov7L学生模型输出的小目标检测结果的上一层的特征图。
S23、将所述任一训练样本的第一结果特征图和第二结果特征图输入所述多尺度注意力模块进行处理，得到所述任一训练样本的第三小目标检测结果。
其中，图3示出了多尺度注意力模块的结构图。
S24、将所述任一训练样本的第二小目标检测结果、第三小目标检测结果、每个第一中间特征图和每个第二中间特征图代入所述蒸馏损失函数进行损失计算，得到所述任一训练样本的蒸馏损失。
其中，蒸馏损失包括：学生模型的原有损失、多尺度特征图蒸馏损失和基于注意力机制的结果蒸馏损失。
S25、重复执行步骤S21至步骤S24，直至得到每个训练样本的蒸馏损失。
其中，每个训练样本均执行步骤S21至步骤S24，以得到每个训练样本的蒸馏损失。
S26、基于所有的蒸馏损失，对所述待训练的Yolov7L学生模型的参数和所述多尺度注意力模块的参数进行优化，得到优化后的Yolov7L学生模型和优化后的多尺度注意力模块，将所述优化后的Yolov7L学生模型作为所述待训练的Yolov7L学生模型，将所述优化后的多尺度注意力模块作为所述多尺度注意力模块，并返回执行步骤S21，直至所述优化后的Yolov7L学生模型满足预设迭代训练条件时，将所述优化后的Yolov7L学生模型确定为所述训练好的Yolov7L学生模型。
其中，预设迭代训练条件为：达到最大迭代次数。
具体地，基于所有的蒸馏损失，对所述待训练的Yolov7L学生模型的参数和所述多尺度注意力模块的参数进行优化，得到优化后的Yolov7L学生模型和优化后的多尺度注意力模块，判断优化后的Yolov7L学生模型是否满足预设迭代训练条件；若否，将所述优化后的Yolov7L学生模型作为所述待训练的Yolov7L学生模型，将所述优化后的多尺度注意力模块作为所述多尺度注意力模块，并返回执行步骤S21，直至所述优化后的Yolov7L学生模型满足预设迭代训练条件时，将所述优化后的Yolov7L学生模型确定为所述训练好的Yolov7L学生模型；若是，将所述优化后的Yolov7L学生模型确定为所述训练好的Yolov7L学生模型。
较优地，小目标检测结果包括：预测标注框、预测类别和前背景预测值。所述蒸馏损失函数为：Ltotal＝αLfeat+βLr+Ldet；Ltotal为蒸馏损失，Lfeat为多尺度特征图蒸馏损失，Lr为结果蒸馏损失，Ldet为所述待训练的Yolov7L学生模型的原始损失，α为第一超参数，βLr为第二超参数。
其中， 为第j个第一中间特征图，/>为第j个第二特征图，/>为/>和/>之间的L2正则化损失，n为目标层的数量。
其中，为第三小目标检测结果中的第i个尺度的注意力模块输出的预测标注框，/>为第二小目标检测结果中的预测标注框，/>为/>和/>之间的标注框损失，/>为第三小目标检测结果中的第i个尺度的注意力模块输出的预测类别，/>为第二小目标检测结果中的预测类别，/>为/>和/>之间的类别损失，/>为第三小目标检测结果中的第i个尺度的注意力模块输出的前背景预测值，/>为第二小目标检测结果中的前背景预测值，/>为/>和/>之间的前背景预测损失，m为所述多尺度注意力模块中的不同尺度的注意力模块的数量。
较优地，步骤S23包括：
基于计算公式组，并根据所述任一训练样本的第一结果特征图和第二结果特征图，分别得到所述任一训练样本的第三小目标检测结果中的第i个尺度的注意力模块输出的小目标检测结果。
其中，所述计算公式组为：IT为所述任一训练样本的第一结果特征图，IS为所述任一训练样本的第二结果特征图，Wi Q为第i个尺度下的第一权重矩阵，Wi K为第i个尺度下的第二权重矩阵，Wi V为第i个尺度下的第三权重矩阵，hi为第i个尺度的注意力模块输出的小目标检测结果，hi包含第i个尺度的注意力模块输出的预测标注框/>预测类别/>和前背景预测值/> 为Ki的转置矩阵，dk为输入隐藏层的维度，softmax为一个激活函数。
较优地，还包括：
基于所述多个训练样本，对用于小目标检测的Yolov7L教师模型进行训练，得到所述训练好的Yolov7L教师模型。
需要说明的是，在训练Yolov7L学生模型之前，需要先训练的Yolov7L教师模型。用于训练Yolov7L教师模型的训练样本与用于训练Yolov7L学生模型的训练样本可以相同，也可以不同，在此不设限制。
本实施例的技术方案通过结合多尺度的特征图和引入注意力模块的知识蒸馏方法，提升了Yolov7模型的小目标识别精度。
图4示出了本发明提供的一种基于知识蒸馏的小目标检测系统的实施例的结构示意图。如图4所示，该系统200包括：构建模块210、训练模块220和检测模块230。
所述构建模块210用于：利用包含多尺度特征图蒸馏和基于注意力机制的结果蒸馏在内的知识蒸馏方式，构建待训练的Yolov7L学生模型的蒸馏损失函数：
所述训练模块220用于：基于多个训练样本，并根据训练好的Yolov7L教师模型、多尺度注意力模块和所述蒸馏损失函数，对所述待训练的Yolov7L学生模型进行训练，得到训练好的Yolov7L学生模型；其中，所述多尺度注意力模块分别与所述训练好的Yolov7L教师模型和所述待训练的Yolov7L学生模型连接，所述多尺度注意力模块用于优化所述训练好的Yolov7L教师模型的小目标检测结果；
所述检测模块230用于：将待测图像输入至所述训练好的Yolov7L学生模型进行小目标检测，得到所述待测图像的小目标检测结果。
较优地，所述训练模块220包括：第一训练模块、第二训练模块、第三训练模块、第四训练模块、第五训练模块和迭代训练模块；
所述第一训练模块用于：将任一训练样本输入训练好的Yolov7L教师模型，得到所述任一训练样本的每个目标层的第一中间特征图、第一小目标检测结果和所述第一小目标检测结果的上一层的第一结果特征图；
所述第二训练模块用于：将所述任一训练样本输入待训练的Yolov7L学生模型，得到所述任一训练样本的每个目标层的第二中间特征图、第二小目标检测结果和所述第二小目标检测结果的上一层的第二结果特征图；
所述第三训练模块用于：将所述任一训练样本的第一结果特征图和第二结果特征图输入所述多尺度注意力模块进行处理，得到所述任一训练样本的第三小目标检测结果；
所述第四训练模块用于：将所述任一训练样本的第二小目标检测结果、第三小目标检测结果、每个第一中间特征图和每个第二中间特征图代入所述蒸馏损失函数进行损失计算，得到所述任一训练样本的蒸馏损失；
所述第五训练模块用于：重复调用所述第一训练模块至所述第四训练模块，直至得到每个训练样本的蒸馏损失；
所述迭代训练模块用于：基于所有的蒸馏损失，对所述待训练的Yolov7L学生模型的参数和所述多尺度注意力模块的参数进行优化，得到优化后的Yolov7L学生模型和优化后的多尺度注意力模块，将所述优化后的Yolov7L学生模型作为所述待训练的Yolov7L学生模型，将所述优化后的多尺度注意力模块作为所述多尺度注意力模块，并返回调用所述第一训练模块，直至所述优化后的Yolov7L学生模型满足预设迭代训练条件时，将所述优化后的Yolov7L学生模型确定为所述训练好的Yolov7L学生模型。
较优地，小目标检测结果包括：预测标注框、预测类别和前背景预测值，所述蒸馏损失函数为：Ltotal＝αLfeat+βLr+Ldet；Ltotal为蒸馏损失，Lfeat为多尺度特征图蒸馏损失，Lr为结果蒸馏损失，Ldet为所述待训练的Yolov7L学生模型的原始损失，α为第一超参数，βLr为第二超参数；
其中， 为第j个第一中间特征图，/>为第j个第二特征图，/>为/>和/>之间的L2正则化损失，n为目标层的数量；
其中，为第三小目标检测结果中的第i个尺度的注意力模块输出的预测标注框，/>为第二小目标检测结果中的预测标注框，/>为/>和/>之间的标注框损失，/>为第三小目标检测结果中的第i个尺度的注意力模块输出的预测类别，/>为第二小目标检测结果中的预测类别，/>为/>和/>之间的类别损失，/>为第三小目标检测结果中的第i个尺度的注意力模块输出的前背景预测值，/>为第二小目标检测结果中的前背景预测值，/>为/>和/>之间的前背景预测损失；m为所述多尺度注意力模块中的不同尺度的注意力模块的数量。
较优地，所述第三训练模块具体用于：
基于计算公式组，并根据所述任一训练样本的第一结果特征图和第二结果特征图，分别得到所述任一训练样本的第三小目标检测结果中的第i个尺度的注意力模块输出的小目标检测结果；
其中，所述计算公式组为：IT为所述任一训练样本的第一结果特征图，IS为所述任一训练样本的第二结果特征图，Wi Q为第i个尺度下的第一权重矩阵，Wi K为第i个尺度下的第二权重矩阵，Wi V为第i个尺度下的第三权重矩阵，hi为第i个尺度的注意力模块输出的小目标检测结果，hi包含第i个尺度的注意力模块输出的预测标注框/>预测类别/>和前背景预测值/> 为Ki的转置矩阵，dk是输入隐藏层的维度。
本实施例的技术方案通过结合多尺度的特征图和引入注意力模块的知识蒸馏方法，提升了Yolov7模型的小目标识别精度。
上述关于本发明提供的一种基于知识蒸馏的小目标检测系统200的实施例中的各参数和各个模块实现相应功能的步骤，可参考上文中提供的一种基于知识蒸馏的小目标检测方法的实施例中的各参数和步骤，在此不做赘述。
本发明实施例提供的一种存储介质，包括：存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如一种基于知识蒸馏的小目标检测方法的步骤，具体可参考上文中提供的一种基于知识蒸馏的小目标检测方法的实施例中的各参数和步骤，在此不做赘述。
计算机存储介质例如：优盘、移动硬盘等。
所属技术领域的技术人员知道，本发明可以实现为方法、系统和存储介质。
因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)，只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于知识蒸馏的小目标检测方法，其特征在于，包括：
S1、利用包含多尺度特征图蒸馏和基于注意力机制的结果蒸馏在内的知识蒸馏方式，构建待训练的Yolov7L学生模型的蒸馏损失函数；
S2、基于多个训练样本，并根据训练好的Yolov7L教师模型、多尺度注意力模块和所述蒸馏损失函数，对所述待训练的Yolov7L学生模型进行训练，得到训练好的Yolov7L学生模型；其中，所述多尺度注意力模块分别与所述训练好的Yolov7L教师模型和所述待训练的Yolov7L学生模型连接，所述多尺度注意力模块用于优化所述训练好的Yolov7L教师模型的小目标检测结果；
S3、将待测图像输入至所述训练好的Yolov7L学生模型进行小目标检测，得到所述待测图像的小目标检测结果。
2.根据权利要求1所述的基于知识蒸馏的小目标检测方法，其特征在于，步骤S2包括：
S21、将任一训练样本输入训练好的Yolov7L教师模型，得到所述任一训练样本的每个目标层的第一中间特征图、第一小目标检测结果和所述第一小目标检测结果的上一层的第一结果特征图；
S22、将所述任一训练样本输入待训练的Yolov7L学生模型，得到所述任一训练样本的每个目标层的第二中间特征图、第二小目标检测结果和所述第二小目标检测结果的上一层的第二结果特征图；
S23、将所述任一训练样本的第一结果特征图和第二结果特征图输入所述多尺度注意力模块进行处理，得到所述任一训练样本的第三小目标检测结果；
S24、将所述任一训练样本的第二小目标检测结果、第三小目标检测结果、每个第一中间特征图和每个第二中间特征图代入所述蒸馏损失函数进行损失计算，得到所述任一训练样本的蒸馏损失；
S25、重复执行步骤S21至步骤S24，直至得到每个训练样本的蒸馏损失；
S26、基于所有的蒸馏损失，对所述待训练的Yolov7L学生模型的参数和所述多尺度注意力模块的参数进行优化，得到优化后的Yolov7L学生模型和优化后的多尺度注意力模块，将所述优化后的Yolov7L学生模型作为所述待训练的Yolov7L学生模型，将所述优化后的多尺度注意力模块作为所述多尺度注意力模块，并返回执行步骤S21，直至所述优化后的Yolov7L学生模型满足预设迭代训练条件时，将所述优化后的Yolov7L学生模型确定为所述训练好的Yolov7L学生模型。
3.根据权利要求2所述的基于知识蒸馏的小目标检测方法，其特征在于，小目标检测结果包括：预测标注框、预测类别和前背景预测值，所述蒸馏损失函数为：Ltotal＝αLfeat+βLr+Ldet；Ltotal为蒸馏损失，Lfeat为多尺度特征图蒸馏损失，Lr为结果蒸馏损失，Ldet为所述待训练的Yolov7L学生模型的原始损失，α为第一超参数，βLr为第二超参数；
其中， 为第j个第一中间特征图，/>为第j个第二特征图，为/>和/>之间的L2正则化损失，n为目标层的数量；
其中， 为第三小目标检测结果中的第i个尺度的注意力模块输出的预测标注框,/>为第二小目标检测结果中的预测标注框，/>为/>和/>之间的标注框损失，/>为第三小目标检测结果中的第i个尺度的注意力模块输出的预测类别，/>为第二小目标检测结果中的预测类别，/>为/>和/>之间的类别损失，/>为第三小目标检测结果中的第i个尺度的注意力模块输出的前背景预测值，/>为第二小目标检测结果中的前背景预测值，/>为/>和/>之间的前背景预测损失；m为所述多尺度注意力模块中的不同尺度的注意力模块的数量。
4.根据权利要求3所述的基于知识蒸馏的小目标检测方法，其特征在于，步骤S23包括：
基于计算公式组，并根据所述任一训练样本的第一结果特征图和第二结果特征图，分别得到所述任一训练样本的第三小目标检测结果中的第i个尺度的注意力模块输出的小目标检测结果；
其中，所述计算公式组为：IT为所述任一训练样本的第一结果特征图，IS为所述任一训练样本的第二结果特征图，/>为第i个尺度下的第一权重矩阵，/>为第i个尺度下的第二权重矩阵，/>为第i个尺度下的第三权重矩阵，hi为第i个尺度的注意力模块输出的小目标检测结果，hi包含第i个尺度的注意力模块输出的预测标注框/>预测类别/>和前背景预测值/> 为Ki的转置矩阵，dk是输入隐藏层的维度。
5.根据权利要求1-4任一项所述的基于知识蒸馏的小目标检测方法，其特征在于，还包括：
基于所述多个训练样本，对用于小目标检测的Yolov7L教师模型进行训练，得到所述训练好的Yolov7L教师模型。
6.一种基于知识蒸馏的小目标检测系统，其特征在于，包括：构建模块、训练模块和检测模块；
所述构建模块用于：利用包含多尺度特征图蒸馏和基于注意力机制的结果蒸馏在内的知识蒸馏方式，构建待训练的Yolov7L学生模型的蒸馏损失函数；
所述训练模块用于：基于多个训练样本，并根据训练好的Yolov7L教师模型、多尺度注意力模块和所述蒸馏损失函数，对所述待训练的Yolov7L学生模型进行训练，得到训练好的Yolov7L学生模型；其中，所述多尺度注意力模块分别与所述训练好的Yolov7L教师模型和所述待训练的Yolov7L学生模型连接，所述多尺度注意力模块用于优化所述训练好的Yolov7L教师模型的小目标检测结果；
所述检测模块用于：将待测图像输入至所述训练好的Yolov7L学生模型进行小目标检测，得到所述待测图像的小目标检测结果。
7.根据权利要求6所述的基于知识蒸馏的小目标检测系统，其特征在于，所述训练模块包括：第一训练模块、第二训练模块、第三训练模块、第四训练模块、第五训练模块和迭代训练模块；
所述第一训练模块用于：将任一训练样本输入训练好的Yolov7L教师模型，得到所述任一训练样本的每个目标层的第一中间特征图、第一小目标检测结果和所述第一小目标检测结果的上一层的第一结果特征图；
所述第二训练模块用于：将所述任一训练样本输入待训练的Yolov7L学生模型，得到所述任一训练样本的每个目标层的第二中间特征图、第二小目标检测结果和所述第二小目标检测结果的上一层的第二结果特征图；
所述第三训练模块用于：将所述任一训练样本的第一结果特征图和第二结果特征图输入所述多尺度注意力模块进行处理，得到所述任一训练样本的第三小目标检测结果；
所述第四训练模块用于：将所述任一训练样本的第二小目标检测结果、第三小目标检测结果、每个第一中间特征图和每个第二中间特征图代入所述蒸馏损失函数进行损失计算，得到所述任一训练样本的蒸馏损失；
所述第五训练模块用于：重复调用所述第一训练模块至所述第四训练模块，直至得到每个训练样本的蒸馏损失；
所述迭代训练模块用于：基于所有的蒸馏损失，对所述待训练的Yolov7L学生模型的参数和所述多尺度注意力模块的参数进行优化，得到优化后的Yolov7L学生模型和优化后的多尺度注意力模块，将所述优化后的Yolov7L学生模型作为所述待训练的Yolov7L学生模型，将所述优化后的多尺度注意力模块作为所述多尺度注意力模块，并返回调用所述第一训练模块，直至所述优化后的Yolov7L学生模型满足预设迭代训练条件时，将所述优化后的Yolov7L学生模型确定为所述训练好的Yolov7L学生模型。
8.根据权利要求7所述的基于知识蒸馏的小目标检测系统，其特征在于，小目标检测结果包括：预测标注框、预测类别和前背景预测值，所述蒸馏损失函数为：Ltotal＝αLfeat+βLr+Ldet；Ltotal为蒸馏损失，Lfeat为多尺度特征图蒸馏损失，Lr为结果蒸馏损失，Ldet为所述待训练的Yolov7L学生模型的原始损失，α为第一超参数，βLr为第二超参数；
其中， 为第j个第一中间特征图，/>为第j个第二特征图，为/>和/>之间的L2正则化损失，n为目标层的数量；
其中， 为第三小目标检测结果中的第i个尺度的注意力模块输出的预测标注框,/>为第二小目标检测结果中的预测标注框，/>为/>和/>之间的标注框损失，/>为第三小目标检测结果中的第i个尺度的注意力模块输出的预测类别，/>为第二小目标检测结果中的预测类别，/>为/>和/>之间的类别损失，/>为第三小目标检测结果中的第i个尺度的注意力模块输出的前背景预测值，/>为第二小目标检测结果中的前背景预测值，/>为/>和/>之间的前背景预测损失；m为所述多尺度注意力模块中的不同尺度的注意力模块的数量。
9.根据权利要求8所述的基于知识蒸馏的小目标检测系统，其特征在于，所述第三训练模块具体用于：
基于计算公式组，并根据所述任一训练样本的第一结果特征图和第二结果特征图，分别得到所述任一训练样本的第三小目标检测结果中的第i个尺度的注意力模块输出的小目标检测结果；
其中，所述计算公式组为：IT为所述任一训练样本的第一结果特征图，IS为所述任一训练样本的第二结果特征图，Wi Q为第i个尺度下的第一权重矩阵，/>为第i个尺度下的第二权重矩阵，Wi V为第i个尺度下的第三权重矩阵，hi为第i个尺度的注意力模块输出的小目标检测结果，hi包含第i个尺度的注意力模块输出的预测标注框/>预测类别/>和前背景预测值/> 为Ki的转置矩阵，dk是输入隐藏层的维度。
10.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1至5中任一项所述的基于知识蒸馏的小目标检测方法。
CN202310752443.5A 2023-06-25 2023-06-25 一种基于知识蒸馏的小目标检测方法、系统和存储介质 Active CN116778300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310752443.5A CN116778300B (zh) 2023-06-25 2023-06-25 一种基于知识蒸馏的小目标检测方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310752443.5A CN116778300B (zh) 2023-06-25 2023-06-25 一种基于知识蒸馏的小目标检测方法、系统和存储介质

Publications (2)

Publication Number Publication Date
CN116778300A true CN116778300A (zh) 2023-09-19
CN116778300B CN116778300B (zh) 2023-12-05

Family

ID=88009523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310752443.5A Active CN116778300B (zh) 2023-06-25 2023-06-25 一种基于知识蒸馏的小目标检测方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN116778300B (zh)

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126258A (zh) * 2019-12-23 2020-05-08 深圳市华尊科技股份有限公司 图像识别方法及相关装置
US20200302295A1 (en) * 2019-03-22 2020-09-24 Royal Bank Of Canada System and method for knowledge distillation between neural networks
WO2021023202A1 (zh) * 2019-08-07 2021-02-11 交叉信息核心技术研究院(西安)有限公司 一种卷积神经网络的自蒸馏训练方法、设备和可伸缩动态预测方法
CN112365385A (zh) * 2021-01-18 2021-02-12 深圳市友杰智新科技有限公司 基于自注意力的知识蒸馏方法、装置和计算机设备
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
CN113947590A (zh) * 2021-10-26 2022-01-18 四川大学 一种基于多尺度注意力引导和知识蒸馏的表面缺陷检测方法
CN114298287A (zh) * 2022-01-11 2022-04-08 平安科技（深圳）有限公司 基于知识蒸馏的预测方法和装置、电子设备、存储介质
CN114565045A (zh) * 2022-03-01 2022-05-31 北京航空航天大学 一种基于特征分离注意力的遥感目标检测知识蒸馏方法
US20220172456A1 (en) * 2019-03-08 2022-06-02 Google Llc Noise Tolerant Ensemble RCNN for Semi-Supervised Object Detection
KR20220096099A (ko) * 2020-12-30 2022-07-07 성균관대학교산학협력단 지식 증류에서 총 cam 정보를 이용한 교사 지원 어텐션 전달의 학습 방법 및 장치
CN115331285A (zh) * 2022-07-29 2022-11-11 南京邮电大学 一种基于多尺度特征知识蒸馏的动态表情识别方法及系统
US20220391796A1 (en) * 2020-08-12 2022-12-08 Everseen Limited System and Method for Mapping Risks in a Warehouse Environment
CN115482395A (zh) * 2022-09-30 2022-12-16 北京百度网讯科技有限公司 模型训练方法、图像分类方法、装置、电子设备和介质
CN115631393A (zh) * 2022-09-28 2023-01-20 西南科技大学 基于特征金字塔与知识引导的知识蒸馏的图像处理方法
CN115631396A (zh) * 2022-10-24 2023-01-20 北京建筑大学 一种基于知识蒸馏的YOLOv5目标检测方法
CN115731447A (zh) * 2022-11-13 2023-03-03 国网福建省电力有限公司电力科学研究院 基于注意力机制蒸馏的解压缩图像目标检测方法及系统
CN115953643A (zh) * 2022-12-14 2023-04-11 上海高德威智能交通系统有限公司 基于知识蒸馏的模型训练方法、装置及电子设备
CN115984640A (zh) * 2022-11-28 2023-04-18 北京数美时代科技有限公司 一种基于组合蒸馏技术的目标检测方法、系统和存储介质
CN116110022A (zh) * 2022-12-10 2023-05-12 河南工业大学 基于响应知识蒸馏的轻量化交通标志检测方法及系统
CN116188923A (zh) * 2022-12-14 2023-05-30 江苏亿通高科技股份有限公司 一种融合多分支结构与注意力机制的车道线检测方法及系统

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220172456A1 (en) * 2019-03-08 2022-06-02 Google Llc Noise Tolerant Ensemble RCNN for Semi-Supervised Object Detection
US20200302295A1 (en) * 2019-03-22 2020-09-24 Royal Bank Of Canada System and method for knowledge distillation between neural networks
WO2021023202A1 (zh) * 2019-08-07 2021-02-11 交叉信息核心技术研究院(西安)有限公司 一种卷积神经网络的自蒸馏训练方法、设备和可伸缩动态预测方法
CN111126258A (zh) * 2019-12-23 2020-05-08 深圳市华尊科技股份有限公司 图像识别方法及相关装置
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
US20220391796A1 (en) * 2020-08-12 2022-12-08 Everseen Limited System and Method for Mapping Risks in a Warehouse Environment
KR20220096099A (ko) * 2020-12-30 2022-07-07 성균관대학교산학협력단 지식 증류에서 총 cam 정보를 이용한 교사 지원 어텐션 전달의 학습 방법 및 장치
CN112365385A (zh) * 2021-01-18 2021-02-12 深圳市友杰智新科技有限公司 基于自注意力的知识蒸馏方法、装置和计算机设备
CN113947590A (zh) * 2021-10-26 2022-01-18 四川大学 一种基于多尺度注意力引导和知识蒸馏的表面缺陷检测方法
CN114298287A (zh) * 2022-01-11 2022-04-08 平安科技（深圳）有限公司 基于知识蒸馏的预测方法和装置、电子设备、存储介质
CN114565045A (zh) * 2022-03-01 2022-05-31 北京航空航天大学 一种基于特征分离注意力的遥感目标检测知识蒸馏方法
CN115331285A (zh) * 2022-07-29 2022-11-11 南京邮电大学 一种基于多尺度特征知识蒸馏的动态表情识别方法及系统
CN115631393A (zh) * 2022-09-28 2023-01-20 西南科技大学 基于特征金字塔与知识引导的知识蒸馏的图像处理方法
CN115482395A (zh) * 2022-09-30 2022-12-16 北京百度网讯科技有限公司 模型训练方法、图像分类方法、装置、电子设备和介质
CN115631396A (zh) * 2022-10-24 2023-01-20 北京建筑大学 一种基于知识蒸馏的YOLOv5目标检测方法
CN115731447A (zh) * 2022-11-13 2023-03-03 国网福建省电力有限公司电力科学研究院 基于注意力机制蒸馏的解压缩图像目标检测方法及系统
CN115984640A (zh) * 2022-11-28 2023-04-18 北京数美时代科技有限公司 一种基于组合蒸馏技术的目标检测方法、系统和存储介质
CN116110022A (zh) * 2022-12-10 2023-05-12 河南工业大学 基于响应知识蒸馏的轻量化交通标志检测方法及系统
CN115953643A (zh) * 2022-12-14 2023-04-11 上海高德威智能交通系统有限公司 基于知识蒸馏的模型训练方法、装置及电子设备
CN116188923A (zh) * 2022-12-14 2023-05-30 江苏亿通高科技股份有限公司 一种融合多分支结构与注意力机制的车道线检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LI CUI-JIN等: ""A method of knowledge distillation based on feature fusion and attention mechanism for complex traffic scenes"", 《ENGINEERING APPLICATIONS OF ARTIFICIAL INTELLIGENCE》, vol. 124, pages 1 - 11 *
楚玉春等: ""基于YOLOv4的目标检测知识蒸馏算法研究"", 《计算机科学》, vol. 49, no. 6, pages 337 - 344 *
耿增民等: ""融合注意力机制与知识蒸馏的孪生网络压缩"", 《图象图形学报》, vol. 25, no. 12, pages 2563 - 2577 *

Also Published As

Publication number Publication date
CN116778300B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
CN111382572B (zh) 一种命名实体识别方法、装置、设备以及介质
CN111950393A (zh) 一种基于边界搜索智能体的时序动作片段分割方法
CN116150698B (zh) 一种基于语义信息融合的drg自动分组方法及系统
CN112734037A (zh) 基于记忆引导的弱监督学习方法、计算机设备和存储介质
CN115376101A (zh) 一种面向自动驾驶环境感知的增量式学习方法和系统
CN116110022A (zh) 基于响应知识蒸馏的轻量化交通标志检测方法及系统
WO2024067563A1 (zh) 基于模型量化的任务处理方法、装置、设备及存储介质
CN112396091B (zh) 社交媒体图像流行度预测方法、系统、存储介质及应用
CN113239883A (zh) 分类模型的训练方法、装置、电子设备以及存储介质
CN115984640B (zh) 一种基于组合蒸馏技术的目标检测方法、系统和存储介质
CN116778300B (zh) 一种基于知识蒸馏的小目标检测方法、系统和存储介质
CN114120367B (zh) 元学习框架下基于圆损失度量的行人重识别方法及系统
CN114971375A (zh) 基于人工智能的考核数据处理方法、装置、设备及介质
Zhao et al. Recognition and Classification of Concrete Cracks under Strong Interference Based on Convolutional Neural Network.
CN114444654A (zh) 一种面向nas的免训练神经网络性能评估方法、装置和设备
CN113869194A (zh) 基于深度学习的变参数铣削加工过程信号标记方法及系统
Su et al. Deep supervised hashing with hard example pairs optimization for image retrieval
CN116385844B (zh) 一种基于多教师模型的特征图蒸馏方法、系统和存储介质
CN117576381B (zh) 目标检测训练方法及电子设备、计算机可读存储介质
CN112161621B (zh) 一种无模型辅助导航适配区域选取方法
CN116091867B (zh) 一种模型训练、图像识别方法、装置、设备及存储介质
CN118095342A (zh) 小样本全精度模型-量化模型知识迁移方法及系统
CN117557981A (zh) 一种基于深度双分支网络的停车位检测方法及存储介质
CN118051848A (zh) 基于混合样本的自蒸馏方法、系统、电子设备及介质
CN116108179A (zh) 一种法条智能推荐方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant