CN111444760A - 一种基于剪枝与知识蒸馏的交通标志检测与识别方法 - Google Patents

一种基于剪枝与知识蒸馏的交通标志检测与识别方法 Download PDF

Info

Publication number
CN111444760A
CN111444760A CN202010102561.8A CN202010102561A CN111444760A CN 111444760 A CN111444760 A CN 111444760A CN 202010102561 A CN202010102561 A CN 202010102561A CN 111444760 A CN111444760 A CN 111444760A
Authority
CN
China
Prior art keywords
network
pruning
loss
training
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010102561.8A
Other languages
English (en)
Other versions
CN111444760B (zh
Inventor
吕卫
吴思翰
褚晶辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202010102561.8A priority Critical patent/CN111444760B/zh
Publication of CN111444760A publication Critical patent/CN111444760A/zh
Application granted granted Critical
Publication of CN111444760B publication Critical patent/CN111444760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于剪枝与知识蒸馏的交通标志检测与识别方法，包括下列步骤：准备数据集并进行数据增强；搭建网络并训练：搭建YOLOV3‑SPP网络，加载在数据集ImageNet训练好的预训练模型的参数，将裁剪并经过数据增强的训练集图像分批次输入到网络中进行正向传播，得到的模型为原始的YOLOV3‑SPP网络；稀疏训练：使用BN层的缩放系数作为衡量通道重要性的参数，在原有的目标函数基础上加入关于的L1正则化项，加入L1正则化项后，再次进行训练直至损失收敛，称此过程为稀疏训练；根据阈值进行剪枝；使用知识蒸馏得到最终模型。

Description

一种基于剪枝与知识蒸馏的交通标志检测与识别方法
技术领域
本发明属于智能驾驶技术领域，涉及一种利用剪枝与知识蒸馏来轻量化交通标志检测与识别算法的方法。
背景技术
交通标志的检测与识别在辅助驾驶或自动驾驶中是一项非常重要的内容，这直接关系到驾驶员或车辆能否根据交通标志及时做出相应的反应，识别错误或识别速度过慢都将可能带来不良的后果。由于交通标志传递了引导、限制、警示或者指示信息，在预示道路状况、减少交通事故方面起着十分重要的作用，因此实时且准确地识别交通标志是智能驾驶技术的重要目标之一。深度卷积神经网络目前已经成功运用在交通标志检测与识别领域，然而深度卷积神经网络庞大的参数量和计算量严重影响了交通标志的检测与识别的实时性。
因此，为了保证交通标志检测与识别的速度，需要对检测与识别的算法进行轻量化。交通标志传统的检测与识别方法是依靠其最突出的特征进行的，例如交通标志规则的形状和鲜明的颜色，但由于交通标志处于复杂的道路场景下，容易产生褪色、形变和遮挡等问题，这导致了传统方法的检测与识别准确率低、鲁棒性较差。随着机器学习技术的不断发展，交通标志的检测与识别也开始使用机器学习的算法，此类算法通常是采用特征与分类器结合，相比于传统方法有更好的效果。近年来，深度卷积神经网络越来越多地被应用到交通标志检测与识别领域，(CN201910474058.2)采用F-RCNN进行远距离交通标志检测与识别，识别精度较高。(CN201910443948.7)采用卷积神经网络进行交通标志检测，在复杂的实际道路场景下能够准确地进行交通标志检测，鲁棒性较强，并且对于尺寸较小的交通标志检测效果较好。(CN201910365006.1)提出一种基于注意力机制的交通标志检测方法和装置，通过预训练的检测模型对待检测的图像进行交通标志检测，提高了交通标志检测的准确度和效率。(CN201910097579.0)提出了一种基于深度学习的多视窗交通标志检测方法，该方法通过仿射变换扩充数据集后利用多视窗YOLO模型对输入图像进行分区域操作，然后对每个区域的检测结果进行融合，得到最终检测结果，保证了交通标志检测的准确性，提高了交通运行的效率。
在现有方法中，虽然深度学习在交通标志检测与识别领域得到了较好的成果，但是在实际应用过程中仍然受到硬件性能和电源功耗的限制。现有的深度神经网络在特定的任务上，参数存在着大量的冗余，导致计算量增大、检测与识别速度变慢等问题。
发明内容
本发明针对现有交通标志检测与识别算法速度慢的问题，提供一种基于剪枝与知识蒸馏的交通标志检测与识别方法。本发明可用于检测和识别复杂的高分辨率的道路场景下、不同光照强度情况下的交通标志，对于高分辨率场景中的交通标志检测与识别可以保证准确率的同时大幅提升实时性，可以智能、快速、准确地进行检测。本发明利用剪枝与知识蒸馏的方法，设计一种高分辨率道路场景下的交通标志检测与识别的轻量化方法。该方法以高分辨率道路场景图像作为研究对象，通过将原始的检测与识别精度较高的网络进行自动搜索阈值的剪枝，在剪枝后的网络达到预先设定的准确率以后，将剪枝后的网络进行知识蒸馏，得到最终的模型。与现有技术相比，采用这种方法得到的网络的参数量、计算量以及存储模型所需空间都更小，而准确率与原始网络相当，能够有效地轻量化原始网络，提升交通标志检测与识别的速度。技术方案如下：
一种基于剪枝与知识蒸馏的交通标志检测与识别方法，包括下列步骤：
第一步，准备数据集并进行数据增强
第二步，搭建网络并训练
搭建YOLOV3-SPP网络，加载在数据集ImageNet训练好的预训练模型的参数，将裁剪并经过数据增强的训练集图像分批次输入到YOLOV3-SPP网络中进行正向传播，根据网络预测值与训练集的真实标签值构建损失函数并计算损失，使用Adam优化算法进行反向传播更新网络的参数；经过多次迭代至损失不再减小，此时将网络参数保存为模型，并记录该模型在测试集上的mAP值，称此步骤得到的模型为原始的YOLOV3-SPP网络；
第三步，稀疏训练
使用BN层的缩放系数γ作为衡量通道重要性的参数，在原有的目标函数基础上加入关于γ的L1正则化项，加入L1正则化项后，再次进行训练直至损失收敛，称此过程为稀疏训练；
第四步，根据阈值进行剪枝
设置剪枝接受的精度减少范围，设置全局剪枝阈值初始值和局部安全阈值，根据全局剪枝阈值和局部安全阈值将要剪除的通道记录在剪枝掩模中，并按照记录的所有剪枝掩模对网络进行剪枝；
剪枝完成后，使用训练集再次对剪枝后的网络进行重新训练直至损失不再减小，对比原始mAP与剪枝后模型在测试集上的mAP，若剪枝后的mAP较原始mAP变化不大，小于预定的变化值，则继续增大全局剪枝阈值重新剪枝，若mAP下降超过设置的精度范围，则减小全局剪枝阈值重新剪枝，最后保存mAP下降精度在设置范围的模型，称此步骤得到的模型为剪枝得到的模型；
第五步，使用知识蒸馏得到最终模型
将原始的YOLOV3-SPP网络作为教师网络，将剪枝得到的模型作为学生网络进行知识蒸馏，在该过程中，将学生网络要优化目标函数分为分类损失函数和回归损失函数；分类损失函数使用的是学生网络的输出与真实值的损失和与教师网络输出的损失的加权和，这两部分损失函数均采用KL散度loss函数；回归损失函数采用学生网络的输出与真实值的损失和与教师网络输出的损失两部分结合的函数，其中学生网络的输出与真实值的损失函数使用平滑L1损失函数，学生网络的输出与教师网络输出的损失使用L2损失函数，该项只有在学生网络输出的回归框值比教师网络输出的回归框值更接近真实值时才有值；
学生网络分别利用上述的分类损失函数和回归损失函数作为目标函数进行训练，训练至损失不再减小，保存为最终模型；
第六步，测试
测试时，将测试集的图像使用最终模型进行预测，输出图像中交通标志的边框位置和该交通标志的类别。
优选地，第一步中，采用TT100k公开数据集，选择该数据集中的训练集和测试集进行操作，使用在整个数据集中出现频次超过100次的45类交通标志，将标签转换为VOC格式；根据交通标志所在位置对训练集中的图像进行裁剪，裁剪尺寸为608×608，裁剪之后的标签值也进行对应的坐标变换，测试图像使用测试集中2048×2048分辨率的图像；对裁剪后的训练集中的图像进行平移变换、缩放变换和对比度变换。
第三步中，加入L1正则化项后的目标函数为
Figure BDA0002387356620000031
式中Loss原表示YOLOV3-SPP网络中的目标函数，f(γ)采用的是L1正则化项f(γ)＝|γ|，λ表示平衡两项的惩罚因子。
第四步中，将全局剪枝阈值设置为初始的0.8，局部安全阈值设置为0.01。
本发明的有益效果如下：
1、本发明采用比基于卷积核剪枝更细粒度的基于通道剪枝的方法，剪枝率更高，配合稀疏训练能够有效剪除网络中不重要的网络参数，使剪枝后的模型参数量更少。
2、本发明采用搜索全局剪枝阈值的方式，自动搜索剪枝阈值，从而选择出满足设定精度的全局剪枝阈值。使用该方法可以搜索到满足精度要求的最大全局剪枝阈值。
3、本发明采用的知识蒸馏方法中，将分类与回归分别进行处理，这样使得学生网络能够有效地根据教师网络的输出与真实标签值进行学习，从而进一步提高学生网络的精度。
附图说明
图1剪枝原理示意图
图2知识蒸馏原理图
图3整体流程图
图4使用剪枝和知识蒸馏前后参数对比图
具体实施方式
为使本发明的技术方案更加清楚，下面结合附图对本发明做进一步阐述。本发明按以下步骤具体实现：
第一步，准备数据集并进行数据增强
(1)准备图像数据和标签数据。
采用TT100k(Tsinghua-Tencent 100K)公开数据集，选择该数据集中的训练集和测试集进行操作，其中训练集共6103张图像，测试集共3067张图像，训练集和测试集的图像分辨率均为2048×2048。由于数据集中有些交通标志出现频次较少，网络在训练过程中难以学习到这些交通标志的特征，因此本发明使用在整个数据集中出现频次超过100次的交通标志，此类标志共45类。该数据集的标签值为每张图像中所有交通标志在图像的左上角点和右下角点的坐标。原始的标签值保存在json文件中，需要将其转换为VOC格式。为了保证神经网络能够更好地提取到交通标志的特征，对训练集的图像采用裁剪的方式进行操作，根据交通标志所在位置对训练集中的图像进行裁剪，裁剪尺寸为608×608，裁剪之后训练集含有9609张图像，裁剪之后的标签值也进行对应的坐标变换，测试图像则使用原测试集中2048×2048分辨率的图像。
(2)对训练集进行数据增强
对裁剪后的训练集中的图像进行平移变换、缩放变换和对比度变换，模拟图像在不同尺度、光照变化下的情况，以增强网络的泛化能力。平移变换之后图像的空白部分用训练集中的其他图像随机填充，缩放变换的范围是原始图像大小的(67％～150％)，对比度变换则是对图像的色度、亮度和饱和度进行随机微调。
第二步，搭建网络并训练
在本发明中，使用精度与速度都较高的YOLOV3-SPP网络作为原始的交通标志检测与识别网络。首先，搭建YOLOV3-SPP网络，使用YOLOV3-SPP网络在数据集ImageNet上进行训练直至损失不再下降，将训练好的网络保存为模型，称之为预训练模型。然后加载预训练模型的参数到YOLOV3-SPP网络中。接着，将裁剪并经过数据增强的训练集图像分批次输入到YOLOV3-SPP网络中，在正向传播时，YOLOV3-SPP网络输出每个预测框的边框位置的4个值、边框位置的置信度以及45个类别的置信度，根据网络预测出的这些值与训练集的真实标签值构建损失函数并计算损失，使用Adam优化算法进行反向传播更新网络的参数，至此完成了一次迭代过程，经过多次迭代至损失不再减小，此时将网络参数保存为模型，称该模型为原始的YOLOV3-SPP网络，并记录该模型在测试集上的mAP值，称之为原始mAP。
第三步，稀疏训练
在YOLOV3-SPP网络中，除了YOLO层前一层的卷积层之外，所有的卷积层后都含有BN(Batch Normalization)层，BN层的作用是加速网络的收敛，并提升网络的泛化性能，BN层的计算方式为
Figure BDA0002387356620000051
式中x和y分别表示BN层的输入和输出，μ和σ2分别表示当前批次输入特征图的均值和方差，γ和β分别表示缩放系数和偏移量。为了筛选出YOLOV3-SPP网络的卷积层中不重要的通道，使用BN层的缩放系数γ作为衡量通道重要性的参数，并且在原有的目标函数基础上加入关于γ的L1正则化项，加入L1正则化项后的目标函数为
Figure BDA0002387356620000052
式中Loss原表示YOLOV3-SPP网络中的目标函数，f(γ)采用的是L1正则化项f(γ)＝|γ|，λ表示平衡两项的惩罚因子。加入L1正则化项后，λ值设置为0.0001，再次进行训练直至损失收敛，称此过程为稀疏训练。
第四步，根据阈值进行剪枝
稀疏训练结束后，模型中的很多BN层的缩放系数会接近于0，它们所对应的卷积层通道即为不重要的通道，即可进行剪除，过程如图1所示。
首先设置剪枝接受的精度减少范围，例如本发明设置为3％，表示在剪枝、重新训练结束后，精度较原始mAP降低不超过3个百分点。接着将全局剪枝阈值设置为初始的0.8，表示要将80％的较小的缩放系数对应的通道数剪除；将局部安全阈值设置为0.01，防止在某一卷积层上剪除过度，影响网络的完整性。根据全局剪枝阈值和局部安全阈值将符合剪除条件的通道记录在剪枝掩模中。在处理通道合并部分时，将合并前每部分的剪枝掩模按顺序拼接，记录拼接后的剪枝掩模。在处理跨层连接部分时，将跨层连接层连接的各个卷积层的剪枝掩模进行“或”操作，记录生成的剪枝掩模。接着按照记录的所有剪枝掩模对网络进行剪枝。
剪枝完成后，网络的检测与识别效果会变差，因此使用训练集再次对剪枝后的网络进行重新训练直至损失不再减小。然后对比原始mAP(mean Average Precison)与剪枝后模型在测试集上的mAP，若剪枝后的mAP较原始mAP变化不大，则继续增大全局剪枝阈值重新剪枝，若mAP下降超过设置的剪枝接受精度减少范围，则减小全局剪枝阈值重新剪枝，最后保存mAP下降精度在设置值附近的模型，将该模型称为剪枝得到的模型。
第五步，使用知识蒸馏得到最终模型
将原始的YOLOV3-SPP网络作为教师网络，将剪枝得到的模型作为学生网络进行知识蒸馏。整个过程如图2所示，图中的实线箭头表示正向传播的过程，虚线箭头表示反向传播的过程。在知识蒸馏的过程中，学生网络要优化的分类损失函数Lcts为：
Lcts＝αLhtrd(Ps，ycls)+(1-α)Lstft(Ps，Pt)
式中Lhtrd(Ps，ycls)是表示Ps和类别的真实值ycts的损失函数，其中
Figure BDA0002387356620000061
表示学生网络的输出分数值Zs除以温度参数T再经过softmax后的输出值。式中α表示平衡两损失函数的参数。Lstft(Ps，Pt)表示学生网络的Ps和教师网络的Pt构成的损失函数。Lhtrd(Ps，ycls)和Lstft(Ps，Pt)均采用KL(kullback-leibler)散度loss函数。
对于学生网络要优化的回归损失函数Lreg，采用学生网络的输出Rs与框的真实值yreg和Rs与教师网络输出Rt两部分结合的函数。该损失函数公式如下：
Lreg＝LL1(Rs，yreg)+tLb(Rs，Rt，yreg)
Figure BDA0002387356620000062
LL1(Rs，yreg)为平滑L1损失函数，Lb(Rs，Rt，yreg)在学生网络输出的回归框值比教师网络输出的回归框值更接近真实标签值时有值，其他情况下该项的值为0，t是权衡两项损失的权重系数。
学生网络分别利用上述的分类损失函数和回归损失函数作为目标函数进行训练，训练至损失不再减小，保存为最终模型，本发明所用方法的整体流程图如图3所示。
第六步，测试
测试时，将测试集的图像输入到最终模型中，网络会输出图像中交通标志的边框位置和该交通标志的类别。本发明将YOLOV3-SPP与经过搜索的剪枝、知识蒸馏后的模型进行了对比，YOLOV3-SPP在本发明的训练方式下，在TT100K数据集上的mAP(AP50)为86.9％，F1分数为89.3％，模型大小为251.5MB，网络参数量约62.8M，当输入图像分辨率为1024×1024时，FLOPs(floating point operations)为200.55Gmac。经过搜索的剪枝、知识蒸馏后的模型mAP(AP50)为84.7％，F1分数为88.5％，模型大小为11.3MB，网络参数量约2.78M，当输入图像分辨率为1024×1024时，FLOPs为32.01Gmac。
使用本发明的方法，精度损失约2％，模型大小压缩约22.3倍，网络参数量约压缩22.6倍，FLOPs降低约6.3倍，测试结果对比如图4所示。

Claims (4)

1.一种基于剪枝与知识蒸馏的交通标志检测与识别方法，包括下列步骤：
第一步，准备数据集并进行数据增强。
第二步，搭建网络并训练
搭建YOLOV3-SPP网络，加载在数据集ImageNet训练好的预训练模型的参数，将裁剪并经过数据增强的训练集图像分批次输入到YOLOV3-SPP网络中进行正向传播，根据网络预测值与训练集的真实标签值构建损失函数并计算损失，使用Adam优化算法进行反向传播更新网络的参数；经过多次迭代至损失不再减小，此时将网络参数保存为模型，并记录该模型在测试集上的mAP值，称此步骤得到的模型为原始的YOLOV3-SPP网络；
第三步，稀疏训练
使用BN层的缩放系数γ作为衡量通道重要性的参数，在原有的目标函数基础上加入关于γ的L1正则化项，加入L1正则化项后，再次进行训练直至损失收敛，称此过程为稀疏训练；
第四步，根据阈值进行剪枝
设置剪枝接受的精度减少范围，设置全局剪枝阈值初始值和局部安全阈值，根据全局剪枝阈值和局部安全阈值将要剪除的通道记录在剪枝掩模中，并按照记录的所有剪枝掩模对网络进行剪枝；
剪枝完成后，使用训练集再次对剪枝后的网络进行重新训练直至损失不再减小，对比原始mAP与剪枝后模型在测试集上的mAP，若剪枝后的mAP较原始mAP变化不大，小于预定的变化值，则继续增大全局剪枝阈值重新剪枝，若mAP下降超过设置的精度范围，则减小全局剪枝阈值重新剪枝，最后保存mAP下降精度在设置范围的模型，称此步骤得到的模型为剪枝得到的模型；
第五步，使用知识蒸馏得到最终模型
将原始的YOLOV3-SPP网络作为教师网络，将剪枝得到的模型作为学生网络进行知识蒸馏，在该过程中，将学生网络要优化目标函数分为分类损失函数和回归损失函数；分类损失函数使用的是学生网络的输出与真实值的损失和与教师网络输出的损失的加权和，这两部分损失函数均采用KL散度loss函数；回归损失函数采用学生网络的输出与真实值的损失和与教师网络输出的损失两部分结合的函数，其中学生网络的输出与真实值的损失函数使用平滑L1损失函数，学生网络的输出与教师网络输出的损失使用L2损失函数，该项只有在学生网络输出的回归框值比教师网络输出的回归框值更接近真实值时才有值；
学生网络分别利用上述的分类损失函数和回归损失函数作为目标函数进行训练，训练至损失不再减小，保存为最终模型；
第六步，测试
将测试集的图像使用最终模型进行预测，输出图像中交通标志的边框位置和该交通标志的类别。
2.根据权利要求1所述的方法，其特征在于，第一步中，采用TT100k公开数据集，选择该数据集中的训练集和测试集进行操作，使用在整个数据集中出现频次超过100次的45类交通标志，将标签转换为VOC格式；根据交通标志所在位置对训练集中的图像进行裁剪，裁剪尺寸为608×608，裁剪之后的标签值也进行对应的坐标变换，测试图像使用测试集中2048×2048分辨率的图像；对裁剪后的训练集中的图像进行平移变换、缩放变换和对比度变换。
3.根据权利要求1所述的方法，其特征在于，第三步中，加入L1正则化项后的目标函数为
Figure FDA0002387356610000021
式中Loss原表示YOLOV3-SPP网络中的目标函数，f(γ)采用的是L1正则化项f(γ)＝|γ|，λ表示平衡两项的惩罚因子。
4.根据权利要求1所述的方法，其特征在于，第四步中，将全局剪枝阈值设置为初始的0.8，局部安全阈值设置为0.01。
CN202010102561.8A 2020-02-19 2020-02-19 一种基于剪枝与知识蒸馏的交通标志检测与识别方法 Active CN111444760B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010102561.8A CN111444760B (zh) 2020-02-19 2020-02-19 一种基于剪枝与知识蒸馏的交通标志检测与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010102561.8A CN111444760B (zh) 2020-02-19 2020-02-19 一种基于剪枝与知识蒸馏的交通标志检测与识别方法

Publications (2)

Publication Number Publication Date
CN111444760A true CN111444760A (zh) 2020-07-24
CN111444760B CN111444760B (zh) 2022-09-09

Family

ID=71652682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010102561.8A Active CN111444760B (zh) 2020-02-19 2020-02-19 一种基于剪枝与知识蒸馏的交通标志检测与识别方法

Country Status (1)

Country Link
CN (1) CN111444760B (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881828A (zh) * 2020-07-28 2020-11-03 浙江大学 一种面向移动端设备的障碍物检测方法
CN111931914A (zh) * 2020-08-10 2020-11-13 北京计算机技术及应用研究所 一种基于模型微调的卷积神经网络通道剪枝方法
CN112115837A (zh) * 2020-09-11 2020-12-22 中国电子科技集团公司第五十四研究所 一种基于YoloV3和双阈值模型压缩的目标检测方法
CN112164054A (zh) * 2020-09-30 2021-01-01 交叉信息核心技术研究院(西安)有限公司 基于知识蒸馏的图像目标检测方法和检测器及其训练方法
CN112308019A (zh) * 2020-11-19 2021-02-02 中国人民解放军国防科技大学 基于网络剪枝和知识蒸馏的sar舰船目标检测方法
CN112329885A (zh) * 2020-11-25 2021-02-05 江苏云从曦和人工智能有限公司 模型训练方法、装置以及计算机可读存储介质
CN112464718A (zh) * 2020-10-23 2021-03-09 西安电子科技大学 一种基于YOLO-Terse网络的目标检测方法及存储介质
CN112489057A (zh) * 2020-12-05 2021-03-12 武汉中海庭数据技术有限公司 交通标志数据处理方法、电子装置和存储介质
CN112580512A (zh) * 2020-12-21 2021-03-30 南京邮电大学 一种基于通道裁剪的轻量级无人机目标检测方法
CN112633400A (zh) * 2020-12-29 2021-04-09 山东省海洋生物研究院 基于计算机视觉的贝类分类识别方法及装置
CN112733739A (zh) * 2021-01-14 2021-04-30 重庆中科云从科技有限公司 提升禁区场景下行人识别速度的方法、系统、介质及装置
CN112836819A (zh) * 2021-01-26 2021-05-25 北京奇艺世纪科技有限公司 一种神经网络模型生成方法及装置
CN112908039A (zh) * 2021-01-27 2021-06-04 深圳协鑫智慧能源有限公司 一种基于智慧路灯的空域管制方法及智慧路灯
CN112949766A (zh) * 2021-04-07 2021-06-11 成都数之联科技有限公司 目标区域检测模型训练方法及系统及装置及介质
CN113052211A (zh) * 2021-03-11 2021-06-29 天津大学 一种基于特征的秩和通道重要性的剪枝方法
CN113160062A (zh) * 2021-05-25 2021-07-23 烟台艾睿光电科技有限公司 一种红外图像目标检测方法、装置、设备及存储介质
CN113361707A (zh) * 2021-05-25 2021-09-07 同济大学 一种模型压缩方法、系统及计算机可读介质
CN113505806A (zh) * 2021-06-02 2021-10-15 北京化工大学 一种机器人抓取检测方法
CN113627537A (zh) * 2021-08-12 2021-11-09 科大讯飞股份有限公司 一种图像识别方法、装置、存储介质及设备
CN113762462A (zh) * 2021-07-26 2021-12-07 华南师范大学 一种轻量化模型压缩方法及系统
CN113762463A (zh) * 2021-07-26 2021-12-07 华南师范大学 一种用于树莓派处理器的模型剪枝方法及系统
CN113792871A (zh) * 2021-08-04 2021-12-14 北京旷视科技有限公司 神经网络训练方法、目标识别方法、装置和电子设备
CN113807214A (zh) * 2021-08-31 2021-12-17 中国科学院上海微系统与信息技术研究所 基于deit附属网络知识蒸馏的小目标人脸识别方法
CN113837381A (zh) * 2021-09-18 2021-12-24 杭州海康威视数字技术股份有限公司 深度神经网络模型的网络剪枝方法、装置、设备及介质
CN113837284A (zh) * 2021-09-26 2021-12-24 天津大学 基于深度学习的双支路滤波器剪枝方法
CN113947185A (zh) * 2021-09-30 2022-01-18 北京达佳互联信息技术有限公司 任务处理网络生成、任务处理方法、装置、电子设备及存储介质
CN114120205A (zh) * 2021-12-02 2022-03-01 云南电网有限责任公司信息中心 一种配网作业人员系安全带的目标检测和图像识别方法
CN115017948A (zh) * 2022-06-02 2022-09-06 电子科技大学 一种智能信号检测识别模型的轻量化处理方法
WO2022205685A1 (zh) * 2021-03-29 2022-10-06 泉州装备制造研究所 一种基于轻量化网络的交通标志识别方法
CN116110022A (zh) * 2022-12-10 2023-05-12 河南工业大学 基于响应知识蒸馏的轻量化交通标志检测方法及系统
WO2023113693A3 (en) * 2021-12-17 2023-10-05 Lemon Inc. Optimal knowledge distillation scheme
CN117579399A (zh) * 2024-01-17 2024-02-20 北京智芯微电子科技有限公司 异常流量检测模型的训练方法和系统、异常流量检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902727A (zh) * 2019-02-02 2019-06-18 钟祥博谦信息科技有限公司 防御性蒸馏模型的构建方法与装置
CN110084987A (zh) * 2019-04-29 2019-08-02 复钧智能科技(苏州)有限公司 一种面向轨道交通的异物检查系统及方法
CN110120042A (zh) * 2019-05-13 2019-08-13 哈尔滨工业大学 一种基于slic超像素和自动阈值分割的农作物图像病虫害区域提取方法
CN110472730A (zh) * 2019-08-07 2019-11-19 交叉信息核心技术研究院(西安)有限公司 一种卷积神经网络的自蒸馏训练方法和可伸缩动态预测方法
CN110633747A (zh) * 2019-09-12 2019-12-31 网易（杭州）网络有限公司 目标检测器的压缩方法、装置、介质以及电子设备
CN110674939A (zh) * 2019-08-31 2020-01-10 电子科技大学 基于剪枝阈值自动搜索的深度神经网络模型压缩方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902727A (zh) * 2019-02-02 2019-06-18 钟祥博谦信息科技有限公司 防御性蒸馏模型的构建方法与装置
CN110084987A (zh) * 2019-04-29 2019-08-02 复钧智能科技(苏州)有限公司 一种面向轨道交通的异物检查系统及方法
CN110120042A (zh) * 2019-05-13 2019-08-13 哈尔滨工业大学 一种基于slic超像素和自动阈值分割的农作物图像病虫害区域提取方法
CN110472730A (zh) * 2019-08-07 2019-11-19 交叉信息核心技术研究院(西安)有限公司 一种卷积神经网络的自蒸馏训练方法和可伸缩动态预测方法
CN110674939A (zh) * 2019-08-31 2020-01-10 电子科技大学 基于剪枝阈值自动搜索的深度神经网络模型压缩方法
CN110633747A (zh) * 2019-09-12 2019-12-31 网易（杭州）网络有限公司 目标检测器的压缩方法、装置、介质以及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CARL LEMAIRE等: ""Structured Pruning of Neural Networks with Budget-Aware Regularization"", 《ARXIV》 *
ZHUANG LIU等: ""Learning Efficient Convolutional Networks through Network Slimming"", 《ARXIV》 *
李俊华等: "人脸表情识别中阈值自适应调整机制", 《数据采集与处理》 *

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881828B (zh) * 2020-07-28 2022-05-06 浙江大学 一种面向移动端设备的障碍物检测方法
CN111881828A (zh) * 2020-07-28 2020-11-03 浙江大学 一种面向移动端设备的障碍物检测方法
CN111931914A (zh) * 2020-08-10 2020-11-13 北京计算机技术及应用研究所 一种基于模型微调的卷积神经网络通道剪枝方法
CN112115837A (zh) * 2020-09-11 2020-12-22 中国电子科技集团公司第五十四研究所 一种基于YoloV3和双阈值模型压缩的目标检测方法
CN112164054A (zh) * 2020-09-30 2021-01-01 交叉信息核心技术研究院(西安)有限公司 基于知识蒸馏的图像目标检测方法和检测器及其训练方法
CN112464718A (zh) * 2020-10-23 2021-03-09 西安电子科技大学 一种基于YOLO-Terse网络的目标检测方法及存储介质
CN112464718B (zh) * 2020-10-23 2024-02-20 西安电子科技大学 一种基于YOLO-Terse网络的目标检测方法及存储介质
CN112308019A (zh) * 2020-11-19 2021-02-02 中国人民解放军国防科技大学 基于网络剪枝和知识蒸馏的sar舰船目标检测方法
CN112308019B (zh) * 2020-11-19 2021-08-17 中国人民解放军国防科技大学 基于网络剪枝和知识蒸馏的sar舰船目标检测方法
CN112329885B (zh) * 2020-11-25 2021-07-09 江苏云从曦和人工智能有限公司 模型训练方法、装置以及计算机可读存储介质
CN112329885A (zh) * 2020-11-25 2021-02-05 江苏云从曦和人工智能有限公司 模型训练方法、装置以及计算机可读存储介质
CN112489057A (zh) * 2020-12-05 2021-03-12 武汉中海庭数据技术有限公司 交通标志数据处理方法、电子装置和存储介质
CN112580512A (zh) * 2020-12-21 2021-03-30 南京邮电大学 一种基于通道裁剪的轻量级无人机目标检测方法
CN112580512B (zh) * 2020-12-21 2022-08-26 南京邮电大学 一种基于通道裁剪的轻量级无人机目标检测方法
CN112633400A (zh) * 2020-12-29 2021-04-09 山东省海洋生物研究院 基于计算机视觉的贝类分类识别方法及装置
CN112733739A (zh) * 2021-01-14 2021-04-30 重庆中科云从科技有限公司 提升禁区场景下行人识别速度的方法、系统、介质及装置
CN112836819A (zh) * 2021-01-26 2021-05-25 北京奇艺世纪科技有限公司 一种神经网络模型生成方法及装置
CN112836819B (zh) * 2021-01-26 2023-07-25 北京奇艺世纪科技有限公司 一种神经网络模型生成方法及装置
CN112908039A (zh) * 2021-01-27 2021-06-04 深圳协鑫智慧能源有限公司 一种基于智慧路灯的空域管制方法及智慧路灯
CN113052211B9 (zh) * 2021-03-11 2022-05-27 天津大学 一种基于特征的秩和通道重要性的剪枝方法
CN113052211B (zh) * 2021-03-11 2022-04-15 天津大学 一种基于特征的秩和通道重要性的剪枝方法
CN113052211A (zh) * 2021-03-11 2021-06-29 天津大学 一种基于特征的秩和通道重要性的剪枝方法
US11875576B2 (en) 2021-03-29 2024-01-16 Quanzhou equipment manufacturing research institute Traffic sign recognition method based on lightweight neural network
WO2022205685A1 (zh) * 2021-03-29 2022-10-06 泉州装备制造研究所 一种基于轻量化网络的交通标志识别方法
CN112949766A (zh) * 2021-04-07 2021-06-11 成都数之联科技有限公司 目标区域检测模型训练方法及系统及装置及介质
CN113160062A (zh) * 2021-05-25 2021-07-23 烟台艾睿光电科技有限公司 一种红外图像目标检测方法、装置、设备及存储介质
CN113160062B (zh) * 2021-05-25 2023-06-06 烟台艾睿光电科技有限公司 一种红外图像目标检测方法、装置、设备及存储介质
CN113361707A (zh) * 2021-05-25 2021-09-07 同济大学 一种模型压缩方法、系统及计算机可读介质
CN113505806B (zh) * 2021-06-02 2023-12-15 北京化工大学 一种机器人抓取检测方法
CN113505806A (zh) * 2021-06-02 2021-10-15 北京化工大学 一种机器人抓取检测方法
CN113762463A (zh) * 2021-07-26 2021-12-07 华南师范大学 一种用于树莓派处理器的模型剪枝方法及系统
CN113762462A (zh) * 2021-07-26 2021-12-07 华南师范大学 一种轻量化模型压缩方法及系统
CN113792871A (zh) * 2021-08-04 2021-12-14 北京旷视科技有限公司 神经网络训练方法、目标识别方法、装置和电子设备
CN113627537B (zh) * 2021-08-12 2023-12-01 科大讯飞股份有限公司 一种图像识别方法、装置、存储介质及设备
CN113627537A (zh) * 2021-08-12 2021-11-09 科大讯飞股份有限公司 一种图像识别方法、装置、存储介质及设备
CN113807214A (zh) * 2021-08-31 2021-12-17 中国科学院上海微系统与信息技术研究所 基于deit附属网络知识蒸馏的小目标人脸识别方法
CN113807214B (zh) * 2021-08-31 2024-01-05 中国科学院上海微系统与信息技术研究所 基于deit附属网络知识蒸馏的小目标人脸识别方法
CN113837381A (zh) * 2021-09-18 2021-12-24 杭州海康威视数字技术股份有限公司 深度神经网络模型的网络剪枝方法、装置、设备及介质
CN113837381B (zh) * 2021-09-18 2024-01-05 杭州海康威视数字技术股份有限公司 深度神经网络模型的网络剪枝方法、装置、设备及介质
CN113837284A (zh) * 2021-09-26 2021-12-24 天津大学 基于深度学习的双支路滤波器剪枝方法
CN113837284B (zh) * 2021-09-26 2023-09-15 天津大学 基于深度学习的双支路滤波器剪枝方法
CN113947185A (zh) * 2021-09-30 2022-01-18 北京达佳互联信息技术有限公司 任务处理网络生成、任务处理方法、装置、电子设备及存储介质
CN113947185B (zh) * 2021-09-30 2022-11-18 北京达佳互联信息技术有限公司 任务处理网络生成、任务处理方法、装置、电子设备及存储介质
CN114120205A (zh) * 2021-12-02 2022-03-01 云南电网有限责任公司信息中心 一种配网作业人员系安全带的目标检测和图像识别方法
WO2023113693A3 (en) * 2021-12-17 2023-10-05 Lemon Inc. Optimal knowledge distillation scheme
CN115017948A (zh) * 2022-06-02 2022-09-06 电子科技大学 一种智能信号检测识别模型的轻量化处理方法
CN116110022A (zh) * 2022-12-10 2023-05-12 河南工业大学 基于响应知识蒸馏的轻量化交通标志检测方法及系统
CN116110022B (zh) * 2022-12-10 2023-09-05 河南工业大学 基于响应知识蒸馏的轻量化交通标志检测方法及系统
CN117579399A (zh) * 2024-01-17 2024-02-20 北京智芯微电子科技有限公司 异常流量检测模型的训练方法和系统、异常流量检测方法
CN117579399B (zh) * 2024-01-17 2024-05-14 北京智芯微电子科技有限公司 异常流量检测模型的训练方法和系统、异常流量检测方法

Also Published As

Publication number Publication date
CN111444760B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN111444760B (zh) 一种基于剪枝与知识蒸馏的交通标志检测与识别方法
CN110163187B (zh) 基于f-rcnn的远距离交通标志检测识别方法
CN111680706B (zh) 一种基于编码和解码结构的双通道输出轮廓检测方法
CN113128355A (zh) 一种基于通道剪枝的无人机图像实时目标检测方法
CN109508634B (zh) 基于迁移学习的船舶类型识别方法及系统
CN110009095A (zh) 基于深度特征压缩卷积网络的道路行驶区域高效分割方法
CN115393687A (zh) 一种基于双伪标签优化学习的rgb图像半监督目标检测方法
CN112464911A (zh) 基于改进YOLOv3-tiny的交通标志检测与识别方法
CN112686276A (zh) 一种基于改进RetinaNet网络的火焰检测方法
CN116110022B (zh) 基于响应知识蒸馏的轻量化交通标志检测方法及系统
CN112464981A (zh) 基于空间注意力机制的自适应知识蒸馏方法
CN114897160A (zh) 模型训练方法、系统及计算机存储介质
CN115222754A (zh) 一种基于知识蒸馏和对抗学习的镜面图像分割方法
Chen et al. Ship Detection with Optical Image Based on Attention and Loss Improved YOLO
CN117291295A (zh) 一种基于改进鲸鱼算法的JMIMHA-BiGRU船轨迹预测方法及系统
CN113450321B (zh) 基于边缘检测的单阶段目标检测方法
CN116052149A (zh) 一种基于CS-ABCNet的电力塔牌检测识别方法
Li et al. Channel Pruned YOLOv5-based Deep Learning Approach for Rapid and Accurate Outdoor Obstacles Detection
CN114492732A (zh) 一种面向自动驾驶视觉检测轻量化模型蒸馏方法
Zhang et al. Lightweight intelligent autonomous unmanned vehicle based on deep neural network in ROS system
CN116311102B (zh) 基于改进的知识蒸馏的铁路货车故障检测方法及系统
CN117274750B (zh) 一种知识蒸馏半自动可视化标注方法及系统
Chen et al. Object detection of basketball robot based on MobileNet-SSD
Zhang et al. A Novel Target Detection Method Based on Improved YOLO Network
Lv et al. Light Weight Landmark Detection Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant