CN113554084B - 基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统 - Google Patents

基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统 Download PDF

Info

Publication number
CN113554084B
CN113554084B CN202110806449.7A CN202110806449A CN113554084B CN 113554084 B CN113554084 B CN 113554084B CN 202110806449 A CN202110806449 A CN 202110806449A CN 113554084 B CN113554084 B CN 113554084B
Authority
CN
China
Prior art keywords
convolution
backbone network
vehicle
feature
identification model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110806449.7A
Other languages
English (en)
Other versions
CN113554084A (zh
Inventor
曾焕强
胡浩麟
陈婧
朱建清
冯万健
王志亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xingchen Technology Co ltd
Xiamen Yealink Network Technology Co Ltd
Huaqiao University
Original Assignee
Xingchen Technology Co ltd
Xiamen Yealink Network Technology Co Ltd
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xingchen Technology Co ltd, Xiamen Yealink Network Technology Co Ltd, Huaqiao University filed Critical Xingchen Technology Co ltd
Priority to CN202110806449.7A priority Critical patent/CN113554084B/zh
Publication of CN113554084A publication Critical patent/CN113554084A/zh
Application granted granted Critical
Publication of CN113554084B publication Critical patent/CN113554084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明实例公开了一种基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统，对待压缩的车辆再辨识模型的骨干网络进行预训练，对预训练完毕的骨干网络进行剪枝，并通过重训练恢复精度，对车辆再辨识模型中特征金字塔模块进行轻量化卷积设计，将紧凑的骨干网络与轻量化的特征金字塔模块结合，骨干网络提取特征后，特征金字塔模块进行特征融合，得到基于特征金字塔联合表示的轻量化车辆再辨识模型。本发明以复杂高性能的车辆再辨识模型作为输入模型，其骨干网络中重要性较低的卷积核被自动选择和剪枝，并改进其特征金字塔模块中的卷积方式，有效降低参数量和计算量，产生精度相当但较为紧凑的模型。

Description

基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统
技术领域
本发明实施例涉及机器学习技术领域，具体涉及一种基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统。
背景技术
近年来，随着图形处理器(GPU)性能的飞速提升，深度神经网络(DNN)在强大的计算资源支持下也取得了巨大的发展成就，在许多视觉识别任务中屡创佳绩。然而，由于主流的深度学习网络模型存在计算复杂度高，内存占用较大，耗时长等缺陷，难以部署在计算资源受限的移动设备或时延要求严格的应用程序中，如真实场景下的车辆再辨识任务。模型压缩是指在不显著影响模型精度的前提下，通过对深度神经网络进行剪枝等轻量化操作，得到一个更加紧凑的网络，有效减少原模型的参数量和计算量，提升推理速度，降低内存开销，提高模型在实际场景下的适用性。
发明内容
为此，本发明实施例提供一种基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统，以解决现有车辆再辨识模型计算复杂度高，内存占用较大，耗时长的问题。
为了实现上述目的，本发明实施例提供如下技术方案：
一方面，一种基于剪枝和轻量卷积的车辆再辨识模型压缩方法，包括：
S11，对待压缩的车辆再辨识模型的骨干网络进行预训练；
S12，对预训练完毕的骨干网络进行剪枝，并通过重训练恢复精度；
S13，对车辆再辨识模型中的特征金字塔模块进行轻量化卷积设计；
S14，将紧凑的骨干网络与轻量化的特征金字塔模块结合，骨干网络提取特征后，特征金字塔模块进行特征融合，得到基于特征金字塔联合表示的轻量化车辆再辨识模型。
优选的，在步骤S11中，待压缩的车辆再辨识模型的骨干网络包括特征提取部分和全连接层，所述特征提取部分由多个卷积层组成，每个卷积层中包含多个卷积核，每个卷积核之间的重要性程度不同。
优选的，采用的待压缩的车辆再辨识骨干网络模型为ResNet-50，其中提取部分的网络结构为[64,'M',(64,64,256)×3,(128,128,512)×4,(256,256,1024)×6,(512,512,2048)×3]，其中每个数字代表卷积+BN+ReLU三层结构，数字大小代表卷积层通道数量，'M'代表最大池化，×N代表相同卷积块重复次数；经过49个卷积层提取特征之后，紧跟着是一个K个神经元的全连接层，用于最终的分类；K的大小根据数据集中类别个数来确定。
优选的，在步骤S12中，对训练好的骨干网络进行剪枝，具体包括：
计算骨干网络中所有卷积核的范数，逐层计算该层卷积核数据空间中的几何中值，寻找与几何中值之间欧氏距离最小的卷积核集合；骨干网络训练到预设准确率后，基于要剪枝的比例计算距离阈值，然后将与几何中值之间距离小于该阈值的卷积核剪掉，最后对剪枝后的骨干网络进行重训练；计算几何中值的公式如下：
其中，xGM表示几何中值，Fi,j'表示第i层的第j'个卷积核,Ni+1表示第i层的输出通道数，即该层卷积核数量。
优选的，在步骤S13中，对车辆再辨识模型中特征金字塔模块进行轻量化卷积设计，具体包括：
骨干网络自底向上提取特征后，自顶向下对其进行重构，并对得到的金字塔特征进行压缩，具体为将特征金字塔模块中的标准卷积替换为深度可分离卷积，即先后采用深度卷积与逐点卷积，减少卷积运算量，使模块轻量化。
优选的，所述步骤S14，具体包括：
将紧凑的骨干网络作为车辆再辨识模型的基础网络，用于提取车辆图像的特征；根据骨干网络的结构，四个不同的卷积块分别生成四种不同分辨率的特征块；
将不同分辨率的特征块输入特征金字塔模块，对各级特征块通过卷积操作进行降维，得到分辨率不同维数相同的特征块，对这些特征块通过上采样操作进行重建，得到四个重建的特征块；通过金字塔结构，将重建特征块与原特征块进行拼接融合，得到联合特征；
将紧凑的骨干网络与轻量化的特征金字塔模块结合得到的车辆再辨识模型，训练直至收敛，得到基于特征金字塔联合表示的轻量化车辆再辨识模型。
另一方面，一种基于剪枝和轻量卷积的车辆再辨识模型压缩系统，包括：
预训练模块，用于对待压缩的车辆再辨识模型的骨干网络进行训练；
剪枝模块，用于对预训练完毕的骨干网络进行剪枝；
轻量化模块，用于对特征金字塔模块进行轻量化设计；
融合模块，用于将紧凑的骨干网络与轻量化的特征金字塔模块结合，得到压缩后的车辆再辨识模型。
再一方面，一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现所述的基于剪枝和轻量卷积的车辆再辨识模型压缩方法的步骤。
本发明实施例具有以下优点：
本发明实施例提供基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统，对待压缩的车辆再辨识模型的骨干网络进行训练，对预训练完毕的骨干网络进行剪枝，对车辆再辨识模型中特征金字塔模块进行轻量化卷积设计，将紧凑的骨干网络与轻量化的特征金字塔模块结合，得到压缩后的车辆再辨识模型。以复杂的车辆再辨识模型作为输入模型，其骨干网络中重要性较低的卷积核被自动选择和剪枝，并改进其特征金字塔模块中的卷积方式，有效降低参数量和计算量，产生精度相当但极为紧凑的模型。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的基于剪枝和轻量卷积的车辆再辨识模型压缩方法的流程示意图；
图2为本发明实施例提供的网络剪枝和轻量卷积的车辆再辨识模型压缩方法中深度可分离卷积示意图；
图3为本发明实施例提供的网络剪枝和轻量卷积的车辆再辨识模型压缩方法中剪枝方法示意图；
图4为本发明实施例提供的网络剪枝和轻量卷积的车辆再辨识模型压缩系统的结构示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1所示，本发明实施例提出了一种基于剪枝和轻量卷积的车辆再辨识模型压缩方法，该方法包括：
步骤S11、对待压缩的车辆再辨识模型的骨干网络进行训练。
本实施例中，采用的待压缩的车辆再辨识骨干网络模型是ResNet-50，该网络模型包括特征提取部分和全连接层，其中提取部分的网络结构为[64,'M',(64,64,256)×3,(128,128,512)×4,(256,256,1024)×6,(512,512,2048)×3]，其中每个数字代表卷积+BN(批归一化)+ReLU(激活函数)三层结构，数字大小代表卷积层通道数量，'M'代表最大池化，×N代表相同卷积块重复次数；经过49个卷积层提取特征之后，紧跟着是一个K个神经元的全连接层，用于最终的分类。K的大小根据数据集中类别个数来确定。
训练和测试采用的数据集为VehicleID数据集，由来自26,267辆汽车总计221,763张车辆图像组成，其中，训练集包含13,134辆汽车总计110178张图像；测试集由三个规模不同的测试子集组成：test-800，test-1600和test-2400，分别包含800辆汽车总计6532张图像，1600辆汽车总计11395张图像以及2400辆汽车总计17638张图像。
本实施例中，采用随机梯度下降法对网络进行训练，Batchsize(批次大小)为18，初始学习率为0.0003，训练次数为50000，经过25000次训练后学习率开始下降。
步骤S12、对预训练完毕的骨干网络进行剪枝，并通过重训练恢复精度。
剪枝能够1)去除冗余卷积核，减少参数量；2)减少模型内存开销；3)在保持精度的前提下降低计算量，加快推理速度。通过在网络中批量剪除卷积核来实现结构化稀疏，简单高效。直接应用于卷积网络结构，无须借助特殊的软、硬件加速器，以复杂的车辆再辨识模型作为输入模型，其骨干网络中重要性较低的卷积核被自动选择和剪枝，并改进其特征金字塔模块中的卷积方式，有效降低参数量和计算量，产生精度相当但极为紧凑的模型。
通过网络中卷积核范数值与该卷积层数据空间的几何中值之间的距离进行卷积核的重要性评估。
为进一步减少计算量，基于相同原理，直接计算各层卷积核两两之间的欧氏距离，与该层其余所有卷积核欧氏距离之和最小的卷积核集合即为需要被剪枝的对象。
i表示网络中的第i个卷积层；x表示卷积层中的第x个卷积核，Fi,x表示与该层其余所有卷积核欧氏距离之和最小的卷积核集合；j'表示卷积层中的第j'个卷积核Ni+1：第i个卷积层中的卷积核数量；|| ||2表示计算欧氏距离。
对于欧氏空间中的数据，几何中值在用于估计数据中心时具有鲁棒性。接近几何中值，即接近中心的卷积核与远离几何中值的卷积核共享着大部分信息，不具备或只具备少量特殊的特征信息，所以远离中心的卷积核能够替代接近中心的卷积核。因此，安全地剪除接近几何中值的卷积核，不会导致模型精度衰减，能够实现网络的结构化稀疏，有效地精简模型。
传统剪枝方法一般直接通过卷积核的范数值大小判断其重要性，而基于几何中值的剪枝方法考虑卷积核所含信息的不可替代性，范数值较大或较小的卷积核都可能被剪除，这样能够避免误剪枝，如剪除范数值较小但所含信息不可替代性强的卷积核，或保留范数值较大但与其他卷积核共享信息的卷积核。
参加图3所示，剪枝算法具体过程包括：
导入一个网络模型，使用设定损失函数对神经网络模型进行训练，一般采用交叉熵损失函数；
训练到一定准确率后，基于要剪枝的比例计算距离阈值，然后将与该层其余所有卷积核欧氏距离之和小于该阈值的卷积核剪掉；
对剪枝后的网络模型进行重训练，重训练所需的训练次数一般少于初次训练的训练次数，经过一定的迭代过程后，模型精度回升到理想范围。
以上过程可以多次重复执行，直至得到足够精简，且精度理想的模型。
步骤S13、对特征金字塔模块进行轻量化设计。
对特征金字塔模块进行轻量化设计，具体包括：将特征金字塔模块中的标准卷积替换为深度可分离卷积，使其轻量化。
特征金字塔模块中，将不同分辨率的特征块融合之后，需要对各特征块进行3×3卷积操作，以消除特征融合带来的混叠效应，此处采用的卷积为标准卷积。以运算量较小的深度可分离卷积代替标准卷积。
参见图2所示，所述的深度可分离卷积为将标准卷积过程拆分成深度(depthwise)卷积和逐点(pointwise)卷积两部分，即将标准卷积中特征提取、特征融合并生成新特征的过程一分为二，理论上能够将卷积运算量降低至标准卷积的1/8-1/9。
步骤S14、将紧凑的骨干网络与轻量化的特征金字塔模块结合，骨干网络提取特征后，特征金字塔模块进行特征融合，得到基于特征金字塔联合表示的轻量化车辆再辨识模型。
步骤S14具体包括：
将紧凑的骨干网络作为车辆再辨识模型的基础网络，用于提取车辆图像的特征。根据骨干网络的结构，四个不同的卷积块分别生成四种不同分辨率的特征块。
将不同分辨率的特征块输入特征金字塔模块，对各级特征块通过卷积操作进行降维，得到分辨率不同维数相同的特征块，对这些特征块通过上采样操作进行重建，得到四个重建的特征块。通过金字塔结构，将重建特征块与原特征块进行拼接融合，得到联合特征。
将紧凑的骨干网络与轻量化的特征金字塔模块结合得到的车辆再辨识模型，训练直至收敛，得到基于特征金字塔联合表示的轻量化车辆再辨识模型。
与上述基于剪枝和轻量卷积的车辆再辨识模型压缩方法相对应的，本发明还提出了一种基于剪枝和轻量卷积的车辆再辨识模型压缩系统，该系统包括：
预训练模块21，用于对待压缩的车辆再辨识模型的骨干网络进行训练；
剪枝模块22，用于对预训练完毕的骨干网络进行剪枝，并通过重训练恢复精度；
轻量化模块23，用于对特征金字塔模块进行轻量化设计；
融合模块24，用于将紧凑的骨干网络与轻量化的特征金字塔模块结合，骨干网络提取特征后，特征金字塔模块进行特征融合，得到基于特征金字塔联合表示的轻量化车辆再辨识模型。
本发明实施例提供的一种基于剪枝和轻量卷积的车辆再辨识模型压缩系统中各部件所执行的功能均已在上述基于剪枝和轻量卷积的车辆再辨识模型压缩方法中做了详细介绍，因此这里不做过多赘述。
本发明实施例还提出了一种计算机存储介质，另一方面，本发明还提供一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现以下步骤：
对待压缩的车辆再辨识模型的骨干网络进行预训练；
对预训练完毕的骨干网络进行剪枝，并通过重训练恢复精度；
对车辆再辨识模型中的特征金字塔模块进行轻量化卷积设计；
将紧凑的骨干网络与轻量化的特征金字塔模块结合，骨干网络提取特征后，特征金字塔模块进行特征融合，得到基于特征金字塔联合表示的轻量化车辆再辨识模型。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (3)

1.一种基于剪枝和轻量卷积的车辆再辨识模型压缩方法，其特征在于，包括：
S11，对待压缩的车辆再辨识模型的骨干网络进行预训练；
S12，对预训练完毕的骨干网络进行剪枝，并通过重训练恢复精度；
S13，对车辆再辨识模型中的特征金字塔模块进行轻量化卷积设计；
S14，将紧凑的骨干网络与轻量化的特征金字塔模块结合，骨干网络提取特征后，特征金字塔模块进行特征融合，得到基于特征金字塔联合表示的轻量化车辆再辨识模型；
在步骤S11中，待压缩的车辆再辨识模型的骨干网络包括特征提取部分和全连接层，所述特征提取部分由多个卷积层组成，每个卷积层中包含多个卷积核，每个卷积核之间的重要性程度不同；
采用的待压缩的车辆再辨识骨干网络模型为ResNet-50，其中提取部分的网络结构为[64,'M',(64,64,256)×3,(128,128,512)×4,(256,256,1024)×6,(512,512,2048)×3]，其中每个数字代表卷积+BN+ReLU三层结构，数字大小代表卷积层通道数量，'M'代表最大池化，×N代表相同卷积块重复次数；经过49个卷积层提取特征之后，紧跟着是一个K个神经元的全连接层，用于最终的分类；K的大小根据数据集中类别个数来确定；
在步骤S12中，对训练好的骨干网络进行剪枝，具体包括：
计算骨干网络中所有卷积核的范数，逐层计算该层卷积核数据空间中的几何中值，寻找与几何中值之间欧氏距离最小的卷积核集合；骨干网络训练到预设准确率后，基于要剪枝的比例计算距离阈值，然后将与几何中值之间距离小于该阈值的卷积核剪掉，最后对剪枝后的骨干网络进行重训练；计算几何中值的公式如下：
其中，xGM表示几何中值，Fi,j'表示第i层的第j'个卷积核,Ni+1表示第i层的输出通道数，即该层卷积核数量；
在步骤S13中，对车辆再辨识模型中特征金字塔模块进行轻量化卷积设计，具体包括：
骨干网络自底向上提取特征后，自顶向下对其进行重构，并对得到的金字塔特征进行压缩，具体为将特征金字塔模块中的标准卷积替换为深度可分离卷积，即先后采用深度卷积与逐点卷积，减少卷积运算量，使模块轻量化；
所述步骤S14，具体包括：
将紧凑的骨干网络作为车辆再辨识模型的基础网络，用于提取车辆图像的特征；根据骨干网络的结构，四个不同的卷积块分别生成四种不同分辨率的特征块；
将不同分辨率的特征块输入特征金字塔模块，对各级特征块通过卷积操作进行降维，得到分辨率不同维数相同的特征块，对这些特征块通过上采样操作进行重建，得到四个重建的特征块；通过金字塔结构，将重建特征块与原特征块进行拼接融合，得到联合特征；
将紧凑的骨干网络与轻量化的特征金字塔模块结合得到的车辆再辨识模型，训练直至收敛，得到基于特征金字塔联合表示的轻量化车辆再辨识模型。
2.一种基于剪枝和轻量卷积的车辆再辨识模型压缩系统，其特征在于，所述系统包括：
预训练模块，用于对待压缩的车辆再辨识模型的骨干网络进行训练；
剪枝模块，用于对预训练完毕的骨干网络进行剪枝；
轻量化模块，用于对特征金字塔模块进行轻量化设计；
融合模块，用于将紧凑的骨干网络与轻量化的特征金字塔模块结合，得到压缩后的车辆再辨识模型；
待压缩的车辆再辨识模型的骨干网络包括特征提取部分和全连接层，所述特征提取部分由多个卷积层组成，每个卷积层中包含多个卷积核，每个卷积核之间的重要性程度不同；
采用的待压缩的车辆再辨识骨干网络模型为ResNet-50，其中提取部分的网络结构为[64,'M',(64,64,256)×3,(128,128,512)×4,(256,256,1024)×6,(512,512,2048)×3]，其中每个数字代表卷积+BN+ReLU三层结构，数字大小代表卷积层通道数量，'M'代表最大池化，×N代表相同卷积块重复次数；经过49个卷积层提取特征之后，紧跟着是一个K个神经元的全连接层，用于最终的分类；K的大小根据数据集中类别个数来确定；
对训练好的骨干网络进行剪枝，具体包括：
计算骨干网络中所有卷积核的范数，逐层计算该层卷积核数据空间中的几何中值，寻找与几何中值之间欧氏距离最小的卷积核集合；骨干网络训练到预设准确率后，基于要剪枝的比例计算距离阈值，然后将与几何中值之间距离小于该阈值的卷积核剪掉，最后对剪枝后的骨干网络进行重训练；计算几何中值的公式如下：
其中，xGM表示几何中值，Fi,j'表示第i层的第j'个卷积核,Ni+1表示第i层的输出通道数，即该层卷积核数量；
对车辆再辨识模型中特征金字塔模块进行轻量化卷积设计，具体包括：
骨干网络自底向上提取特征后，自顶向下对其进行重构，并对得到的金字塔特征进行压缩，具体为将特征金字塔模块中的标准卷积替换为深度可分离卷积，即先后采用深度卷积与逐点卷积，减少卷积运算量，使模块轻量化；
将紧凑的骨干网络与轻量化的特征金字塔模块结合，得到压缩后的车辆再辨识模型，具体包括：
将紧凑的骨干网络作为车辆再辨识模型的基础网络，用于提取车辆图像的特征；根据骨干网络的结构，四个不同的卷积块分别生成四种不同分辨率的特征块；
将不同分辨率的特征块输入特征金字塔模块，对各级特征块通过卷积操作进行降维，得到分辨率不同维数相同的特征块，对这些特征块通过上采样操作进行重建，得到四个重建的特征块；通过金字塔结构，将重建特征块与原特征块进行拼接融合，得到联合特征；
将紧凑的骨干网络与轻量化的特征金字塔模块结合得到的车辆再辨识模型，训练直至收敛，得到基于特征金字塔联合表示的轻量化车辆再辨识模型。
3.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1所述的方法的步骤。
CN202110806449.7A 2021-07-16 2021-07-16 基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统 Active CN113554084B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110806449.7A CN113554084B (zh) 2021-07-16 2021-07-16 基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110806449.7A CN113554084B (zh) 2021-07-16 2021-07-16 基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统

Publications (2)

Publication Number Publication Date
CN113554084A CN113554084A (zh) 2021-10-26
CN113554084B true CN113554084B (zh) 2024-03-01

Family

ID=78131944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110806449.7A Active CN113554084B (zh) 2021-07-16 2021-07-16 基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统

Country Status (1)

Country Link
CN (1) CN113554084B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115935263B (zh) * 2023-02-22 2023-06-16 和普威视光电股份有限公司 基于yolov5剪枝的边端芯片检测分类方法及系统
CN116863419A (zh) * 2023-09-04 2023-10-10 湖北省长投智慧停车有限公司 一种目标检测模型轻量化的方法、装置、电子设备及介质
CN116958176B (zh) * 2023-09-21 2024-01-09 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019205391A1 (zh) * 2018-04-26 2019-10-31 平安科技（深圳）有限公司 车辆损伤分类模型的生成装置、方法及计算机可读存储介质
CN111461083A (zh) * 2020-05-26 2020-07-28 青岛大学 基于深度学习的快速车辆检测方法
CN112329922A (zh) * 2020-11-24 2021-02-05 北京大学 一种基于质谱数据集的神经网络模型压缩方法及系统
JP2021022050A (ja) * 2019-07-25 2021-02-18 国立大学法人 和歌山大学 ニューラルネットワークの圧縮方法、ニューラルネットワーク圧縮装置、コンピュータプログラム、及び圧縮されたニューラルネットワークデータの製造方法
CN112699958A (zh) * 2021-01-11 2021-04-23 重庆邮电大学 一种基于剪枝和知识蒸馏的目标检测模型压缩与加速方法
CN113033284A (zh) * 2020-12-22 2021-06-25 迪比（重庆）智能科技研究院有限公司 一种基于卷积神经网络的车辆实时超载检测方法
CN113065653A (zh) * 2021-04-27 2021-07-02 北京工业大学 面向移动端图像分类的轻量级卷积神经网络的设计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598731B (zh) * 2019-07-31 2021-08-20 浙江大学 一种基于结构化剪枝的高效图像分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019205391A1 (zh) * 2018-04-26 2019-10-31 平安科技（深圳）有限公司 车辆损伤分类模型的生成装置、方法及计算机可读存储介质
JP2021022050A (ja) * 2019-07-25 2021-02-18 国立大学法人 和歌山大学 ニューラルネットワークの圧縮方法、ニューラルネットワーク圧縮装置、コンピュータプログラム、及び圧縮されたニューラルネットワークデータの製造方法
CN111461083A (zh) * 2020-05-26 2020-07-28 青岛大学 基于深度学习的快速车辆检测方法
CN112329922A (zh) * 2020-11-24 2021-02-05 北京大学 一种基于质谱数据集的神经网络模型压缩方法及系统
CN113033284A (zh) * 2020-12-22 2021-06-25 迪比（重庆）智能科技研究院有限公司 一种基于卷积神经网络的车辆实时超载检测方法
CN112699958A (zh) * 2021-01-11 2021-04-23 重庆邮电大学 一种基于剪枝和知识蒸馏的目标检测模型压缩与加速方法
CN113065653A (zh) * 2021-04-27 2021-07-02 北京工业大学 面向移动端图像分类的轻量级卷积神经网络的设计方法

Also Published As

Publication number Publication date
CN113554084A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
CN113554084B (zh) 基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统
CN107292256B (zh) 基于辅任务的深度卷积小波神经网络表情识别方法
CN110188768B (zh) 实时图像语义分割方法及系统
CN112541409B (zh) 一种融入注意力的残差网络表情识别方法
CN106845529A (zh) 基于多视野卷积神经网络的影像特征识别方法
CN111695513B (zh) 一种基于深度残差网络的人脸表情识别方法
CN113989890A (zh) 基于多通道融合和轻量级神经网络的人脸表情识别方法
CN114332094A (zh) 基于轻量级多尺度信息融合网络的语义分割方法及装置
CN113159236A (zh) 基于多尺度变换的多聚焦图像融合方法及装置
CN115457568A (zh) 一种基于生成对抗网络的历史文档图像降噪方法及系统
CN116863194A (zh) 一种足溃疡图像分类方法、系统、设备及介质
CN114882234A (zh) 多尺度轻量级密集连目标检测网络的构建方法
CN113420651B (zh) 深度卷积神经网络的轻量化方法、系统及目标检测方法
CN113393476B (zh) 一种轻量化多路径网状图像分割方法、系统和电子设备
CN114544172A (zh) 基于深度置信网络的旋转机械故障诊断方法、系统及介质
Fu Digital Image Art Style Transfer Algorithm Based on CycleGAN
CN116433908A (zh) 一种基于Laplace特征约束的双分支非对称实时语义分割算法
CN115830375A (zh) 点云分类方法及装置
CN113850373B (zh) 一种基于类别的滤波器剪枝方法
CN115115835A (zh) 图像的语义分割方法、装置、设备、存储介质及程序产品
CN114821631A (zh) 基于注意力机制与多尺度特征融合的行人特征提取方法
CN113688715A (zh) 面部表情识别方法及系统
CN111611852A (zh) 一种表情识别模型的训练方法、装置及设备
CN113793627B (zh) 一种基于注意力的多尺度卷积语音情感识别方法及装置
Stephen et al. Depth-wise based convolutional neural network for street imagery digit number classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant