CN116110022B - 基于响应知识蒸馏的轻量化交通标志检测方法及系统 - Google Patents

基于响应知识蒸馏的轻量化交通标志检测方法及系统 Download PDF

Info

Publication number
CN116110022B
CN116110022B CN202211583585.5A CN202211583585A CN116110022B CN 116110022 B CN116110022 B CN 116110022B CN 202211583585 A CN202211583585 A CN 202211583585A CN 116110022 B CN116110022 B CN 116110022B
Authority
CN
China
Prior art keywords
model
traffic sign
loss
distillation
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211583585.5A
Other languages
English (en)
Other versions
CN116110022A (zh
Inventor
赵亮
魏政杰
任旭
张坤鹏
金军委
刘晓丹
刘根锋
袁夫彩
田晓盈
崔贝贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN202211583585.5A priority Critical patent/CN116110022B/zh
Publication of CN116110022A publication Critical patent/CN116110022A/zh
Application granted granted Critical
Publication of CN116110022B publication Critical patent/CN116110022B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开一种基于响应知识蒸馏的轻量化交通标志检测方法及系统，该方法包括：在COCO基准数据集上训练，并在交通标志检测数据集上进行迁移学习得到教师模型Yolov5s；以Yolov5s为基准，使用MobileNeXt对其骨干网络进行替换重构，得到学生模型；基于对象性缩放方法综合考虑教师模型响应输出软标签后与学生模型损失函数进行加权计算，得到最终的蒸馏损失函数，从而在蒸馏损失函数的引导下经过更少轮次的训练和参数更新最终得到收敛的学生检测模型；基于得出的性能最优的交通标志检测模型对待检测交通标志图像进行交通标志检测。本发明轻量化后的检测模型具有较高的检测性能且占用内存小、推理速度大大提升。

Description

基于响应知识蒸馏的轻量化交通标志检测方法及系统
技术领域
本发明涉及采用深度学习方法的无人驾驶环境感知技术领域，尤其涉及一种基于响应知识蒸馏的轻量化交通标志检测方法及系统。
背景技术
无人驾驶和高级辅助驾驶系统的环境感知旨在代替人类驾驶员的直觉感知，并为路径规划和决策控制提供关键信息。作为环境感知的重要组成部分，交通标志检测是通过车载传感器采集车周场景图像，从中对交通标志进行检测和识别，实现对道路交通的预判，增加无人驾驶反应时间并及时做出调整。因此准确实时的交通标志检测有助于减少交通事故保障道路运行畅通。现有交通标志检测方法主要分为基于传统特征提取和基于深度学习两种方法。传统特征提取的效果完全依赖人工设计，在复杂环境下和交通标志数量较多时不能满足实际检测需求。随着卷积神经网络的发展，基于深度学习的交通标志检测不需要人工干预调整可以自主完成对交通标志的特征提取和检测识别，同时在遮挡、恶劣天气等极端环境下检测性能表现优异。而且随着交通场景信息的增加以及检测方法的迭代更新，交通标志检测的实时性和鲁棒性越来越重要。考虑到无人驾驶车载设备的存储计算资源相对有限，现有检测方法虽然性能优异但是很难直接部署在这些设备上使用。
发明内容
本发明针对现有检测模型难以在无人驾驶车载端部署且推理速度较慢的问题，提出一种基于响应知识蒸馏的轻量化交通标志检测方法及系统，以Yolov5s为基准，使用轻量化的卷积神经网络MobileNeXt对其骨干网络进行替换重构，然后采用预训练的Yolov5s作为教师模型，通过基于尺度缩放的响应知识蒸馏对作为学生模型的轻量化Yolov5s-MobileNeXt进行监督训练，同时借助切片辅助推理作为本地离线数据增强手段以提高模型的泛化能力和检测性能，使得轻量化后的检测模型学习到教师模型知识的同时可以具有较高的推理速度，从而可以部署在无人驾驶车载设备上实际使用。
为了实现上述目的，本发明采用以下技术方案：
本发明一方面提出一种基于响应知识蒸馏的轻量化交通标志检测方法，包括：
步骤1，教师模型预训练：在COCO基准数据集上训练，并在交通标志检测数据集上进行迁移学习得到教师模型Yolov5s；
步骤2，构建学生模型：以Yolov5s为基准，使用轻量化的卷积神经网络MobileNeXt对其骨干网络进行替换重构，得到学生模型Yolov5s-MobileNeXt；
步骤3，构建对象性缩放知识蒸馏损失函数：综合考虑教师模型分类损失、边界框回归以及置信度预测输出作为蒸馏软标签对学生模型的影响，以带温度软化的对象性缩放策略得到加权的交通标志检测蒸馏损失函数；
步骤4，监督训练学生模型：学生模型在蒸馏损失函数的引导下接收教师模型的预测知识进行自身模型权重更新，在损失函数不断下降的同时比较每一轮训练的模型结果，最终得到性能最优的交通标志检测模型；
步骤5，基于步骤4得出的性能最优的交通标志检测模型对待检测交通标志图像进行交通标志检测。
进一步地，在所述步骤1之前，还包括：
对交通标志检测数据集中待检测交通标志图像使用滑窗切片方法进行数据处理和扩增，使待检测交通标志图像以较小分辨率进入模型。
进一步地，所述步骤3中，得到的加权的交通标志检测蒸馏损失函数LOSSdistill公式表示为：
LOSSdistill＝f′Dcls+f′Dobj+f′Dbox
式中，
其中fD'cls、fD'obj、fD'box为带温度因子的蒸馏损失；ε为加权系数，表示蒸馏损失部分占总损失函数的比例；fcls、fobj、fbox分别表示分类损失、置信度预测损失、边界框回归损失；ci,oi,bi分别表示检测模型的类别概率、对象置信度、边界框的实际输出；ci t,oi t,bi t分别表示预训练教师模型的类别概率、对象置信度、边界框的逻辑输出；表示softmax函数；T为蒸馏温度系数；Fcls、Fobj、Fbox表示KL散度计算；/>为教师模型的对象性输出，表示每个边框包含目标的概率。
进一步地，所述分类损失fcls和置信度预测损失fobj采用二元交叉熵函数进行计算，边界框回归损失fbox采用CIoU方法计算。
本发明另一方面提出一种基于响应知识蒸馏的轻量化交通标志检测系统，包括：
教师模型预训练模块，用于教师模型预训练：在COCO基准数据集上训练，并在交通标志检测数据集上进行迁移学习得到教师模型Yolov5s；
学生模型构建模块，用于构建学生模型：以Yolov5s为基准，使用轻量化的卷积神经网络MobileNeXt对其骨干网络进行替换重构，得到学生模型Yolov5s-MobileNeXt；
蒸馏损失函数构建模块，用于构建对象性缩放知识蒸馏损失函数：综合考虑教师模型分类损失、边界框回归以及置信度预测输出作为蒸馏软标签对学生模型的影响，以带温度软化的对象性缩放策略得到加权的交通标志检测蒸馏损失函数；
模型监督训练模块，用于监督训练学生模型：学生模型在蒸馏损失函数的引导下接收教师模型的预测知识进行自身模型权重更新，在损失函数不断下降的同时比较每一轮训练的模型结果，最终得到性能最优的交通标志检测模型；
交通标志检测模块，用于基于模型监督训练模块得出的性能最优的交通标志检测模型对待检测交通标志图像进行交通标志检测。
进一步地，还包括：
数据预处理模块，用于对交通标志检测数据集中待检测交通标志图像使用滑窗切片方法进行数据处理和扩增，使待检测交通标志图像以较小分辨率进入模型。
进一步地，所述蒸馏损失函数构建模块中，得到的加权的交通标志检测蒸馏损失函数LOSSdistill公式表示为：
LOSSdistill＝fD'cls+fD'obj+fD'box
式中，
其中fD'cls、fD'obj、fD'box为带温度因子的蒸馏损失；ε为加权系数，表示蒸馏损失部分占总损失函数的比例；fcls、fobj、fbox分别表示分类损失、置信度预测损失、边界框回归损失；ci,oi,bi分别表示检测模型的类别概率、对象置信度、边界框的实际输出；ci t,oi t,bi t分别表示预训练教师模型的类别概率、对象置信度、边界框的逻辑输出；表示softmax函数；T为蒸馏温度系数；Fcls、Fobj、Fbox表示KL散度计算；/>为教师模型的对象性输出，表示每个边框包含目标的概率。
进一步地，所述分类损失fcls和置信度预测损失fobj采用二元交叉熵函数进行计算，边界框回归损失fbox采用CIoU方法计算。
与现有技术相比，本发明具有的有益效果：
交通标志为无人驾驶提供前方道路信息，保障无人驾驶行车安全，在保证交通标志检测准确性的同时尽可能的使检测模型易于部署且实现实时监测，对无人驾驶以及高级辅助驾驶系统的发展具有重要意义。本发明针对现有检测模型性能优异但模型大小难以在无人驾驶车载端侧部署应用的问题，提出采用响应知识蒸馏方法训练改进的轻量化交通标志检测模型，它的有益效果体现在以下几个方面。
a)采用迁移学习方法，初始化在COCO基准数据集上的模型权重并在交通标志检测数据集上重新训练，可以加速模型的收敛速度，使教师模型具有更加优异的检测性能和泛化能力；
b)在待检测交通标志图像输入模型前，对数据集使用滑窗切片方法进行数据处理和扩增，使待检图像以较小分辨率进入模型，避免了数据预处理阶段从较大分辨率裁剪图像造成的交通标志信息丢失问题，极大的提高了模型的检测性能；
c)采用轻量化卷积神经网络MobileNeXt对检测模型Yolov5s骨干网络进行替换重构，解决了检测模型参数量大、计算复杂度高的问题，重构之后的模型只需占用较小的内存空间就可以完成部署，且推理速度大大提升；
d)采用基于对象性缩放响应的知识蒸馏方法监督引导改进的轻量化检测模型训练，既解决了轻量化造成的检测性能损失问题，又使轻量化学生模型的检测准确率和召回率大大提升，甚至对于某些类别的交通标志检测结果优于教师模型，且所得学生模型对无人驾驶车载端硬件设备和计算资源要求很低。
附图说明
图1为本发明实施例的一种基于响应知识蒸馏的轻量化交通标志检测方法的流程图；
图2为本发明实施例教师模型构建流程图；
图3为本发明实施例轻量化交通标志检测模型Yolov5s-MobileNeXt架构示意图；
图4为本发明实施例基于响应蒸馏的学生模型构建流程图；
图5为本发明实施例基于响应的对象性缩放蒸馏框架；
图6为本发明实施例一种基于响应知识蒸馏的轻量化交通标志检测系统的架构示意图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的解释说明：
本发明提出的一种基于响应知识蒸馏的轻量化交通标志检测方法，如图1所示，该方法以Yolov5s为基准，使用轻量化的卷积神经网络MobileNeXt对其骨干网络进行替换重构，然后采用预训练的Yolov5s作为教师模型，通过基于尺度缩放的响应知识蒸馏对作为学生模型的轻量化Yolov5s-MobileNeXt进行监督训练，同时借助切片辅助推理作为本地离线数据增强手段以提高模型的泛化能力和检测性能，使得轻量化后的检测模型学习到教师模型知识的同时可以具有较高的推理速度，从而部署在无人驾驶车载设备上实际使用。其中教师模型构建方式采用在COCO数据集上预训练，并在交通标志检测数据集上进行迁移学习的Yolov5s模型。另一方面，学生模型采用改进的轻量化Yolov5s-MobileNeXt模型。在整体上采用教师-学生模型结构监督训练目的是使学生模型尽可能的学习教师模型的预测输出，当学生模型性能收敛时保存最佳检测模型并转化为最终在无人驾驶端侧芯片部署的模型。
该方法具体包括：
步骤1，构建采用预训练的交通标志检测教师模型：深度学习模型的检测结果直接受到数据集规模的影响，考虑到现有交通标志数据集标签缺失以及类别不均衡问题，教师模型采用在COCO数据集上预训练，然后在交通标志数据集上进行迁移学习的Yolov5s检测模型。教师模型训练流程如图2所示。
步骤2，重构采用轻量化卷积神经网络的学生模型：以Yolov5s为基准，使用轻量化的卷积神经网络MobileNeXt对其骨干网络进行替换重构，得到学生模型Yolov5s-MobileNeXt；
通常来说深度学习模型参数量的大小直接影响模型性能，然而，参数规模巨大但推理性能优越的深度学习模型无法在计算存储资源有限的设备上部署，而可以部署的模型结构相对简单、复杂度低、推理性能差，无法满足实际的使用需求。骨干网络作为检测网络模型的核心组成部分，旨在提取待检测目标信息得到不同倍率的下采样特征图，以满足对目标不同尺度和种类的检测需求。从网络结构设计角度专门为Yolov5模型设计的Darknet53骨干网络，其残差结构采用大量的卷积核构成，在交通标志检测中会产生大量冗余的特征信息，使得Yolov5模型在计算资源相对有限的无人驾驶车载设备上运行速度非常缓慢；
采用轻量化卷积神经网络MobileNeXt替换Darknet53骨干网络实现对Yolov5s模型的重构，模型结构如图3所示。由深度可分离卷积代替原始卷积层提取特征，大幅度减少网络计算量和参数量，使模型更适合无人驾驶车载设备的交通标志检测需要。
步骤3，构建对象性缩放知识蒸馏损失函数：综合考虑教师模型分类损失、边界框回归以及置信度预测输出作为蒸馏软标签对学生模型的影响，以带温度软化的对象性缩放策略得到加权的交通标志检测蒸馏损失函数。
步骤4，采用响应的知识蒸馏训练学生模型：学生模型在蒸馏损失函数的引导下接收教师模型的预测知识进行自身模型权重更新，在损失函数不断下降的同时比较每一轮训练的模型结果，最终得到性能最优的交通标志检测模型。
具体地，知识蒸馏是模型压缩和增强的一种常用方法，不同于模型压缩中的剪枝和量化，知识蒸馏的主要思想是训练一个小的网络模型来模仿一个预先训练好的大型网络，它允许以可接受范围内的性能损失为代价实现教师模型到学生模型的知识传递，从而使结构简单、复杂度低的学生模型得到媲美教师网络的性能表现。学生模型的训练流程如图4所示。
为了使轻量化后的检测模型仍然拥有较高的预测性能，采用知识蒸馏方法使学生模型模仿性能优异的教师模型的预测输出。在目标检测中，教师模型的响应知识不仅包括分类概率，还包括检测对象定位的边界框和置信度信息，所以基于对象性缩放方法综合考虑教师模型响应输出软标签后与学生模型损失函数进行加权计算，得到最终的蒸馏损失函数，从而在蒸馏损失函数的引导下经过更少轮次的训练和参数更新最终得到收敛的学生检测模型。
步骤5，基于步骤4得出的性能最优的交通标志检测模型对待检测交通标志图像进行交通标志检测。
进一步地，在所述步骤1之前，还包括：
对交通标志检测数据集中待检测交通标志图像使用滑窗切片方法进行数据处理和扩增，使待检测交通标志图像以较小分辨率进入模型。
作为一种具体可实施方式，为实现性能优异的交通标志检测模型的压缩精简以及在无人驾驶车载设备上的部署应用，本发明提出采用基于响应知识蒸馏思想构建改进的轻量化模型的交通标志检测方法，具体实施如下：
以Yolov5s作为基线模型，对其骨干网络及整体架构进行轻量化改进，然后将Yolov5s检测模型作为教师模型，以改进的轻量化交通标志检测模型Yolov5s-MobileNeXt作为学生模型，采用基于响应的知识蒸馏方法在教师-学生网络架构下训练更新。
1教师模型的构建
以在COCO基准数据集上构建的预训练模型初始化网络参数，然后针对交通标志检测任务在交通场景数据集上进行迁移训练，以联合损失函数引导模型的参数优化方向，当损失函数收敛时得到教师模型Yolov5s。
损失函数通过计算输出值与目标值来指导训练模型的优化方向，并直接决定检测模型的性能好坏。交叉熵损失函数常用于图像分类领域，而在目标检测中通常还包括对象定位损失。所以，损失函数是边界框回归损失、目标分类损失以及置信度预测损失三部分的加权和，公式表示如下：
其中fcls、fobj、fbox分别表示检测模型的分类损失、置信度预测损失、边界框回归损失；ci,oi,bi分别表示检测模型的类别概率、对象置信度、边界框的实际输出，ci gt,oi gt,bi gt表示对应的数据真实标签。表示softmax函数。
特别地分类损失fcls和置信度损失fobj采用二元交叉熵函数进行计算，即
式中n表示样本数目，ωn是权重调节系数，σ(·)表示Sigmoid函数，yn表示数据样本标签，xn表示数据预测值。此外边界框损失fbox采用CIoU方法计算，在保证收敛速度的同时解决边界框不重合的问题，使目标回归框更加稳定且定位目标更加精准，即
其中α表示平衡权重系数，ν度量宽高比的相似度，ρ(b,bgt)表示计算预测框b和目标框bgt中心点之间的欧氏距离，c表示可以同时包含预测框和目标框的最小外接矩形的对角线距离，IOU表示计算预测框和目标框的交并比。
2交通标志检测模型的轻量化
本发明采用轻量化卷积神经网络MobileNeXt作为Yolov5s的骨干网络进行模型重构。MobileNeXt网络中的Sandglass Bottleneck基于倒置残差块将shortcut从瓶颈结构处放在了高维特征表示之间,并在高维特征上使用深度卷积编码空间信息。瓶颈结构处采用1×1逐点卷积编码通道间的信息，在深度方向上对输入的特征图进行加权组合得到新的特征信息避免目标特征提取出现零化现象，首尾处两次深度可分离卷积保留了交通标志待检测目标更多的空间信息从而有助于检测性能的提升。Sandglass Bottleneck的特殊结构允许高维特征信息可以由底层传递到深层，同时模型所需参数量相比于同类型模型更少，在相当的计算花销下可以取得更好的性能。作为新骨干网络的轻量化卷积神经网络MobileNeXt的结构如表1所示。
表1轻量化骨干网络的结构
将MobileNeXt以0.33的网络深度和0.50的网络宽度与Yolov5s模型结合重构，使整体检测网络结构基本保持不变的情况下得到轻量化的Yolov5s-MobileNeXt交通标志检测模型，基于其深度可分离卷积和残差结构的特性显著降低了检测模型的参数量。
3基于响应的对象性缩放蒸馏训练
本发明选择经过预训练的Yolov5s作为教师模型，改进的轻量化Yolov5s-MobileNeXt作为学生模型进行蒸馏训练。整体知识蒸馏框架如图5所示。学生模型的损失函数计算方法同教师模型一样，包括边界框回归损失、目标分类损失以及置信度预测损失三部分的加权和。
而在蒸馏训练中，教师模型最后一层的密集预测输出会导致学生模型的边界框错误学习，所以基于对象性缩放策略避免学生网络学习教师网络的背景预测，即学生模型只在教师模型置信度很高时才学习目标回归框和类别概率，否则仍按原有计算方式度量损失。对象性缩放的蒸馏损失函数如下所示。
其中ε为加权系数，表示蒸馏损失部分占总损失函数的比例，当ε＝0时三个函数相加等价于公式(1)。ε值越大，表示学习教师模型的知识越多。ci t,oi t,bi t分别表示预训练教师模型的类别概率、对象置信度、边界框的逻辑输出。F*表示KL散度计算，用来衡量教师模型和学生模型预测输出的相似度，激励学生模型学习教师模型的输出特征。为教师模型的对象性输出，表示每个边框包含目标的概率。同时，本发明引入温度因子来控制教师模型软目标的重要性，带温度因子的蒸馏损失函数公式如下所示。
其中T为蒸馏温度系数，较高的温度可以蒸馏出教师模型更多的知识，弱化每个类别的概率分布，当T趋近于无穷时所有的类别具有相同的概率。
综上所述，蒸馏训练的损失函数(即蒸馏损失函数)可以表示为
LOSSdistill＝fD'cls+fD'obj+fD'box(10)
为验证本发明效果，进行如下实验：
实验参数设置如下：AdamW优化器用于调整网络参数，并且初始学习率设置为0.01。动量设置为0.937，使用0.0005的权重衰减来防止模型过拟合，以批大小为256共训练300轮。图像马赛克增强概率设置为1.0，并且关闭图片翻转。实验均以640分辨率单尺度训练，对数据集进行聚类得到三种尺度的锚框大小：[5,6,7,7,9,10]、[12,12,15,16,19,20]、[25,26,33,35,51,52]。在蒸馏训练进程中，采用Yolov5s作为教师模型蒸馏学生模型Yolov5s-MobileNeXt，网络通过使用预训练模型初始化来加速模型收敛速度，其余参数设置均保持默认共训练200轮。此外，蒸馏训练温度T取20，加权系数ε取0.5。
表2中将常用的轻量化卷积神经网络作为骨干与我们提出的方法在同样的条件下进行了对比。可以明显的看到在待检测图像输入大小相同的情况下，提出的方法仅需很少的层和参数量，相比于基准模型Yolov5s参数量缩减约54.8％，在模型层面大大提高了检测模型的可移植能力。
表2不同轻量化模型性能对比
表3展示模型推理速度对比，FPS表示每秒填充图像的帧数。从数据集中随机抽取1000张图片来评估模型检测速度，为了公平比较模型结果，在FP16精度下以相同的实验条件进行测试，所有结果均在没有非最大抑制的情况下以批大小为1进行报告。此外还提供了基于TensorRT的GPU推理以及基于ONNX的CPU推理速度。所提的方法推理速度可以在GPU上达到188.7FPS(不使用TensorRT)，比相同条件下的Yolov5s基准模型快15.9％。即使在计算能力相对较弱的CPU上，本方法的推理速度实现了从4.7FPS到12.9FPS的显著增长，尤其实现了基于ONNX的31.6FPS实时推理速度。
表3模型推理速度对比
表4在相同的实验条件下评估不同检测模型性能结果。所提轻量化模型Yolov5s-MobileNeXt仅仅需要6.8M的占用内存就可以实现88.6％的检测精度，相比于基线模型Yolov5s性能仅仅下降2.9％，同时经蒸馏训练之后mAP@0.5仅下降1.3％就可以获得竞争性的检测结果。相比于Yolov5方法的最小模型Yolov5n，只需要额外消耗2.8MB的内存占用检测性能就可以获得显著性的提升。此外，在COCO数据集的基准下对大、中、小交通标志进行性能评估，所提蒸馏方法在中尺度和大尺度上的平均精度(AP)比作为教师模型的Yolov5s分别高0.2和2.3，表明教师模型的检测知识在蒸馏训练中得到了有效传递。虽然我们方法的小目标平均召回率以66.7％的值低于Yolov5s，但是在中目标和大目标的平均召回率(AR)比其他模型有明显的提高。
表4不同模型检测性能对比
在上述实施例的基础上，如图6所示，本发明还提出一种基于响应知识蒸馏的轻量化交通标志检测系统，包括：
教师模型预训练模块，用于教师模型预训练：在COCO基准数据集上训练，并在交通标志检测数据集上进行迁移学习得到教师模型Yolov5s；
学生模型构建模块，用于构建学生模型：以Yolov5s为基准，使用轻量化的卷积神经网络MobileNeXt对其骨干网络进行替换重构，得到学生模型Yolov5s-MobileNeXt；
蒸馏损失函数构建模块，用于构建对象性缩放知识蒸馏损失函数：综合考虑教师模型分类损失、边界框回归以及置信度预测输出作为蒸馏软标签对学生模型的影响，以带温度软化的对象性缩放策略得到加权的交通标志检测蒸馏损失函数；
模型监督训练模块，用于监督训练学生模型：学生模型在蒸馏损失函数的引导下接收教师模型的预测知识进行自身模型权重更新，在损失函数不断下降的同时比较每一轮训练的模型结果，最终得到性能最优的交通标志检测模型；
交通标志检测模块，用于基于模型监督训练模块得出的性能最优的交通标志检测模型对待检测交通标志图像进行交通标志检测。
进一步地，还包括：
数据预处理模块，用于对交通标志检测数据集中待检测交通标志图像使用滑窗切片方法进行数据处理和扩增，使待检测交通标志图像以较小分辨率进入模型。
进一步地，所述蒸馏损失函数构建模块中，得到的加权的交通标志检测蒸馏损失函数LOSSdistill公式表示为：
LOSSdistill＝fD'cls+fD'obj+fD'box
式中，
其中fD'cls、fD'obj、fD'box为带温度因子的蒸馏损失；ε为加权系数，表示蒸馏损失部分占总损失函数的比例；fcls、fobj、fbox分别表示分类损失、置信度预测损失、边界框回归损失；ci,oi,bi分别表示检测模型的类别概率、对象置信度、边界框的实际输出；ci t,oi t,bi t分别表示预训练教师模型的类别概率、对象置信度、边界框的逻辑输出；表示softmax函数；T为蒸馏温度系数；Fcls、Fobj、Fbox表示KL散度计算；/>为教师模型的对象性输出，表示每个边框包含目标的概率。
进一步地，所述分类损失fcls和置信度预测损失fobj采用二元交叉熵函数进行计算，边界框回归损失fbox采用CIoU方法计算。
综上，交通标志为无人驾驶提供前方道路信息，保障无人驾驶行车安全，在保证交通标志检测准确性的同时尽可能的使检测模型易于部署且实现实时监测，对无人驾驶以及高级辅助驾驶系统的发展具有重要意义。本发明针对现有检测模型性能优异但模型大小难以在无人驾驶车载端侧部署应用的问题，提出采用响应知识蒸馏方法训练改进的轻量化交通标志检测模型，它的有益效果体现在以下几个方面。
a)采用迁移学习方法，初始化在COCO基准数据集上的模型权重并在交通标志检测数据集上重新训练，可以加速模型的收敛速度，使教师模型具有更加优异的检测性能和泛化能力；
b)在待检测交通标志图像输入模型前，对数据集使用滑窗切片方法进行数据处理和扩增，使待检图像以较小分辨率进入模型，避免了数据预处理阶段从较大分辨率裁剪图像造成的交通标志信息丢失问题，极大的提高了模型的检测性能；
c)采用轻量化卷积神经网络MobileNeXt对检测模型Yolov5s骨干网络进行替换重构，解决了检测模型参数量大、计算复杂度高的问题，重构之后的模型只需占用较小的内存空间就可以完成部署，且推理速度大大提升；
d)采用基于对象性缩放响应的知识蒸馏方法监督引导改进的轻量化检测模型训练，既解决了轻量化造成的检测性能损失问题，又使轻量化学生模型的检测准确率和召回率大大提升，甚至对于某些类别的交通标志检测结果优于教师模型，且所得学生模型对无人驾驶车载端硬件设备和计算资源要求很低。
以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于响应知识蒸馏的轻量化交通标志检测方法，其特征在于，包括：
步骤1，教师模型预训练：在COCO基准数据集上训练，并在交通标志检测数据集上进行迁移学习得到教师模型Yolov5s；
步骤2，构建学生模型：以Yolov5s为基准，使用轻量化的卷积神经网络MobileNeXt对其骨干网络进行替换重构，得到学生模型Yolov5s-MobileNeXt；
步骤3，构建对象性缩放知识蒸馏损失函数：综合考虑教师模型分类损失、边界框回归以及置信度预测输出作为蒸馏软标签对学生模型的影响，以带温度软化的对象性缩放策略得到加权的交通标志检测蒸馏损失函数；
步骤4，监督训练学生模型：学生模型在蒸馏损失函数的引导下接收教师模型的预测知识进行自身模型权重更新，在损失函数不断下降的同时比较每一轮训练的模型结果，最终得到性能最优的交通标志检测模型；
步骤5，基于步骤4得出的性能最优的交通标志检测模型对待检测交通标志图像进行交通标志检测；
所述步骤3中，得到的加权的交通标志检测蒸馏损失函数LOSSdistill公式表示为：
式中，
其中f'Dcls、f'Dobj、f'Dbox为带温度因子的蒸馏损失；ε为加权系数，表示蒸馏损失部分占总损失函数的比例；fcls、fobj、fbox分别表示分类损失、置信度预测损失、边界框回归损失；ci,oi,bi分别表示检测模型的类别概率、对象置信度、边界框的实际输出；ci t,oi t,bi t分别表示预训练教师模型的类别概率、对象置信度、边界框的逻辑输出；表示softmax函数；T为蒸馏温度系数；Fcls、Fobj、Fbox表示KL散度计算；/>为教师模型的对象性输出，表示每个边框包含目标的概率。
2.根据权利要求1所述的基于响应知识蒸馏的轻量化交通标志检测方法，其特征在于，在所述步骤1之前，还包括：
对交通标志检测数据集中待检测交通标志图像使用滑窗切片方法进行数据处理和扩增，使待检测交通标志图像以较小分辨率进入模型。
3.根据权利要求1所述的基于响应知识蒸馏的轻量化交通标志检测方法，其特征在于，所述分类损失fcls和置信度预测损失fobj采用二元交叉熵函数进行计算，边界框回归损失fbox采用CIoU方法计算。
4.一种基于响应知识蒸馏的轻量化交通标志检测系统，其特征在于，包括：
教师模型预训练模块，用于教师模型预训练：在COCO基准数据集上训练，并在交通标志检测数据集上进行迁移学习得到教师模型Yolov5s；
学生模型构建模块，用于构建学生模型：以Yolov5s为基准，使用轻量化的卷积神经网络MobileNeXt对其骨干网络进行替换重构，得到学生模型Yolov5s-MobileNeXt；
蒸馏损失函数构建模块，用于构建对象性缩放知识蒸馏损失函数：综合考虑教师模型分类损失、边界框回归以及置信度预测输出作为蒸馏软标签对学生模型的影响，以带温度软化的对象性缩放策略得到加权的交通标志检测蒸馏损失函数；
模型监督训练模块，用于监督训练学生模型：学生模型在蒸馏损失函数的引导下接收教师模型的预测知识进行自身模型权重更新，在损失函数不断下降的同时比较每一轮训练的模型结果，最终得到性能最优的交通标志检测模型；
交通标志检测模块，用于基于模型监督训练模块得出的性能最优的交通标志检测模型对待检测交通标志图像进行交通标志检测；
所述蒸馏损失函数构建模块中，得到的加权的交通标志检测蒸馏损失函数LOSSdistill公式表示为：
LOSSdistill＝f'Dcls+f'Dobj+f'Dbox
式中，
其中f'Dcls、f'Dobj、f'Dbox为带温度因子的蒸馏损失；ε为加权系数，表示蒸馏损失部分占总损失函数的比例；fcls、fobj、fbox分别表示分类损失、置信度预测损失、边界框回归损失；ci,oi,bi分别表示检测模型的类别概率、对象置信度、边界框的实际输出；分别表示预训练教师模型的类别概率、对象置信度、边界框的逻辑输出；/>表示softmax函数；T为蒸馏温度系数；Fcls、Fobj、Fbox表示KL散度计算；/>为教师模型的对象性输出，表示每个边框包含目标的概率。
5.根据权利要求4所述的基于响应知识蒸馏的轻量化交通标志检测系统，其特征在于，还包括：
数据预处理模块，用于对交通标志检测数据集中待检测交通标志图像使用滑窗切片方法进行数据处理和扩增，使待检测交通标志图像以较小分辨率进入模型。
6.根据权利要求4所述的基于响应知识蒸馏的轻量化交通标志检测系统，其特征在于，所述分类损失fcls和置信度预测损失fobj采用二元交叉熵函数进行计算，边界框回归损失fbox采用CIoU方法计算。
CN202211583585.5A 2022-12-10 2022-12-10 基于响应知识蒸馏的轻量化交通标志检测方法及系统 Active CN116110022B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211583585.5A CN116110022B (zh) 2022-12-10 2022-12-10 基于响应知识蒸馏的轻量化交通标志检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211583585.5A CN116110022B (zh) 2022-12-10 2022-12-10 基于响应知识蒸馏的轻量化交通标志检测方法及系统

Publications (2)

Publication Number Publication Date
CN116110022A CN116110022A (zh) 2023-05-12
CN116110022B true CN116110022B (zh) 2023-09-05

Family

ID=86260623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211583585.5A Active CN116110022B (zh) 2022-12-10 2022-12-10 基于响应知识蒸馏的轻量化交通标志检测方法及系统

Country Status (1)

Country Link
CN (1) CN116110022B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612379B (zh) * 2023-05-30 2024-02-02 中国海洋大学 一种基于多知识蒸馏的水下目标检测方法及系统
CN116778300B (zh) * 2023-06-25 2023-12-05 北京数美时代科技有限公司 一种基于知识蒸馏的小目标检测方法、系统和存储介质
CN117576655A (zh) * 2023-11-04 2024-02-20 河南工业大学 基于联邦学习的交通标志检测方法与系统
CN118152897A (zh) * 2024-05-11 2024-06-07 云账户技术(天津)有限公司 敏感信息识别模型的训练方法、装置、设备及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110162018A (zh) * 2019-05-31 2019-08-23 天津开发区精诺瀚海数据科技有限公司 基于知识蒸馏与隐含层共享的增量式设备故障诊断方法
CN111444760A (zh) * 2020-02-19 2020-07-24 天津大学 一种基于剪枝与知识蒸馏的交通标志检测与识别方法
CN112308019A (zh) * 2020-11-19 2021-02-02 中国人民解放军国防科技大学 基于网络剪枝和知识蒸馏的sar舰船目标检测方法
WO2021023202A1 (zh) * 2019-08-07 2021-02-11 交叉信息核心技术研究院(西安)有限公司 一种卷积神经网络的自蒸馏训练方法、设备和可伸缩动态预测方法
CN112465111A (zh) * 2020-11-17 2021-03-09 大连理工大学 一种基于知识蒸馏和对抗训练的三维体素图像分割方法
CN113281048A (zh) * 2021-06-25 2021-08-20 华中科技大学 一种基于关系型知识蒸馏的滚动轴承故障诊断方法和系统
CN113792635A (zh) * 2021-09-07 2021-12-14 盐城工学院 一种基于轻量化卷积神经网络的手势识别方法
WO2021248868A1 (zh) * 2020-09-02 2021-12-16 之江实验室 基于知识蒸馏的预训练语言模型的压缩方法及平台
CN114120205A (zh) * 2021-12-02 2022-03-01 云南电网有限责任公司信息中心 一种配网作业人员系安全带的目标检测和图像识别方法
CN114241282A (zh) * 2021-11-04 2022-03-25 河南工业大学 一种基于知识蒸馏的边缘设备场景识别方法及装置
WO2022073285A1 (zh) * 2020-10-09 2022-04-14 深圳大学 基于知识蒸馏的肺音分类方法、系统、终端及存储介质
CN114882337A (zh) * 2022-05-23 2022-08-09 之江实验室 一种基于校正新旧任务类别混淆的类增量学习方法
CN115049534A (zh) * 2021-03-09 2022-09-13 上海交通大学 基于知识蒸馏的鱼眼图像实时语义分割方法
WO2022205685A1 (zh) * 2021-03-29 2022-10-06 泉州装备制造研究所 一种基于轻量化网络的交通标志识别方法
CN115331202A (zh) * 2022-08-26 2022-11-11 南京理工大学 一种基于YOLOv5的道路交通标志异常状态检测方法
CN115393671A (zh) * 2022-08-25 2022-11-25 河海大学 基于多教师知识蒸馏和归一化注意力的岩石类别预测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation
US11195093B2 (en) * 2017-05-18 2021-12-07 Samsung Electronics Co., Ltd Apparatus and method for student-teacher transfer learning network using knowledge bridge
KR20220096966A (ko) * 2020-12-31 2022-07-07 삼성전자주식회사 학생 친화적 교사 모델 및 학생 모델의 학습을 위한 시스템 및 방법

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110162018A (zh) * 2019-05-31 2019-08-23 天津开发区精诺瀚海数据科技有限公司 基于知识蒸馏与隐含层共享的增量式设备故障诊断方法
WO2021023202A1 (zh) * 2019-08-07 2021-02-11 交叉信息核心技术研究院(西安)有限公司 一种卷积神经网络的自蒸馏训练方法、设备和可伸缩动态预测方法
CN111444760A (zh) * 2020-02-19 2020-07-24 天津大学 一种基于剪枝与知识蒸馏的交通标志检测与识别方法
WO2021248868A1 (zh) * 2020-09-02 2021-12-16 之江实验室 基于知识蒸馏的预训练语言模型的压缩方法及平台
WO2022073285A1 (zh) * 2020-10-09 2022-04-14 深圳大学 基于知识蒸馏的肺音分类方法、系统、终端及存储介质
CN112465111A (zh) * 2020-11-17 2021-03-09 大连理工大学 一种基于知识蒸馏和对抗训练的三维体素图像分割方法
CN112308019A (zh) * 2020-11-19 2021-02-02 中国人民解放军国防科技大学 基于网络剪枝和知识蒸馏的sar舰船目标检测方法
CN115049534A (zh) * 2021-03-09 2022-09-13 上海交通大学 基于知识蒸馏的鱼眼图像实时语义分割方法
WO2022205685A1 (zh) * 2021-03-29 2022-10-06 泉州装备制造研究所 一种基于轻量化网络的交通标志识别方法
CN113281048A (zh) * 2021-06-25 2021-08-20 华中科技大学 一种基于关系型知识蒸馏的滚动轴承故障诊断方法和系统
CN113792635A (zh) * 2021-09-07 2021-12-14 盐城工学院 一种基于轻量化卷积神经网络的手势识别方法
CN114241282A (zh) * 2021-11-04 2022-03-25 河南工业大学 一种基于知识蒸馏的边缘设备场景识别方法及装置
CN114120205A (zh) * 2021-12-02 2022-03-01 云南电网有限责任公司信息中心 一种配网作业人员系安全带的目标检测和图像识别方法
CN114882337A (zh) * 2022-05-23 2022-08-09 之江实验室 一种基于校正新旧任务类别混淆的类增量学习方法
CN115393671A (zh) * 2022-08-25 2022-11-25 河海大学 基于多教师知识蒸馏和归一化注意力的岩石类别预测方法
CN115331202A (zh) * 2022-08-26 2022-11-11 南京理工大学 一种基于YOLOv5的道路交通标志异常状态检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Embedded YOLO: Faster and Lighter Object Detection;Wen Kai Wu et al.;《Proceedings of the 2021 International Conference on Multimedia Retrieval》;560-565 *

Also Published As

Publication number Publication date
CN116110022A (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN116110022B (zh) 基于响应知识蒸馏的轻量化交通标志检测方法及系统
CN109145939B (zh) 一种小目标敏感的双通道卷积神经网络语义分割方法
CN110472483B (zh) 一种面向sar图像的小样本语义特征增强的方法及装置
CN109961034B (zh) 基于卷积门控循环神经单元的视频目标检测方法
CN110163187B (zh) 基于f-rcnn的远距离交通标志检测识别方法
CN109993082A (zh) 卷积神经网络道路场景分类与道路分割方法
CN112507793A (zh) 一种超短期光伏功率预测方法
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
CN112464911A (zh) 基于改进YOLOv3-tiny的交通标志检测与识别方法
CN111382686B (zh) 一种基于半监督生成对抗网络的车道线检测方法
CN114299380A (zh) 对比一致性学习的遥感图像语义分割模型训练方法及装置
CN110472738A (zh) 一种基于深度强化学习的无人艇实时避障算法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN111476285B (zh) 一种图像分类模型的训练方法及图像分类方法、存储介质
US11695898B2 (en) Video processing using a spectral decomposition layer
CN114692732B (zh) 一种在线标签更新的方法、系统、装置及存储介质
CN114283285A (zh) 交叉一致性自训练遥感图像语义分割网络训练方法及装置
CN115546196A (zh) 一种基于知识蒸馏的轻量级遥感影像变化检测方法
CN117152503A (zh) 一种基于伪标签不确定性感知的遥感图像跨域小样本分类方法
CN116977710A (zh) 一种遥感图像长尾分布目标半监督检测方法
CN114549909A (zh) 一种基于自适应阈值的伪标签遥感图像场景分类方法
CN117037006B (zh) 一种高续航能力的无人机跟踪方法
CN117636183A (zh) 一种基于自监督预训练的小样本遥感图像分类方法
CN117710841A (zh) 一种无人机航拍图像的小目标检测方法、装置
CN117079095A (zh) 基于深度学习的高空抛物检测方法、系统、介质和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant