CN114154626B - 一种用于图像分类任务的滤波器剪枝方法 - Google Patents

一种用于图像分类任务的滤波器剪枝方法 Download PDF

Info

Publication number
CN114154626B
CN114154626B CN202111530279.0A CN202111530279A CN114154626B CN 114154626 B CN114154626 B CN 114154626B CN 202111530279 A CN202111530279 A CN 202111530279A CN 114154626 B CN114154626 B CN 114154626B
Authority
CN
China
Prior art keywords
filter
pruning
layer
importance
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111530279.0A
Other languages
English (en)
Other versions
CN114154626A (zh
Inventor
郑永斌
任强
朱迪
徐婉莹
白圣建
李兴玮
曹聚亮
孙鹏
杨东旭
吴欣宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202111530279.0A priority Critical patent/CN114154626B/zh
Publication of CN114154626A publication Critical patent/CN114154626A/zh
Application granted granted Critical
Publication of CN114154626B publication Critical patent/CN114154626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明属于深度神经网络模型压缩与加速领域，具体涉及一种用于图像分类任务的滤波器剪枝方法，在对滤波器重要性进行评估时，综合考虑滤波器剪枝对于当前层的直接影响和对于下一层的间接影响，使得新的评估结果能够更准确的反映滤波器的重要性，在给定剪枝率的情况下，优化待剪枝滤波器的选择，保持剪枝后模型的性能与剪枝前相当。该方法可全面评价滤波器剪枝对当前层的直接影响和对下一层的间接影响、实现对滤波器重要性的准确评估；可以在保持深度神经网络模型性能的前提下，实现深度网络模型的大幅压缩和加速，对深度神经网络模型在计算与存储资源受限设备上的轻量化部署与快速运行，具有重要的工程应用价值。

Description

一种用于图像分类任务的滤波器剪枝方法
技术领域
本发明属于深度神经网络模型压缩与加速领域，具体涉及一种用于图像分类任务的滤波器剪枝方法。
背景技术
卷积神经网络在各种计算机视觉任务中获得了巨大的成功，比如图像分类、目标检测、语义分割等。但是，在卷积神经网络性能不断提升的同时，所带来的是参数量和计算成本的不断增加。卷积神经网络在算力和内存占用方面的高需求，使得将基于卷积神经网络的算法部署到资源受限的设备(例如移动设备或无人机)上仍然存在很大的挑战。为了解决这一问题，近年来研究者在模型压缩和加速方法方面做了很多努力，主要包括矩阵分解、参数量化、模型剪枝和知识蒸馏。其中，模型剪枝因其广阔的应用前景而在以往的研究中备受关注。
模型剪枝方法可以分为两大类：权重剪枝(weight pruning)和滤波器剪枝(filter pruning)；权重剪枝方法一般通过直接剪掉滤波器中不重要的权重连接来对模型进行压缩，通常可以获得更高的压缩率。然而，由于权重剪枝后的模型结构是稀疏的，无法利用现有成熟的基础线性代数子程序(Basic Linear Algebra Subprograms，BLAS)库来获得额外性能收益，需要借助于特别设计的硬件才能获得实际加速。与之不同的是，滤波器剪枝方法通过直接剪掉选定的整个滤波器来压缩模型，这使得剪枝后的模型能够保持规则结构，更便捷地实现模型的加速，是一种更实用的模型压缩和加速方法。在进行滤波器剪枝时，为了最小化剪枝对于模型性能的影响，一般会根据滤波器的重要性从低到高选择待剪枝的滤波器。因此，滤波器剪枝的关键在于怎样评估滤波器的重要性。基于范数的方法和基于几何中值的方法是目前两种广泛使用的滤波器重要性评估方法，但它们存在一个共同的问题，即它们仅使用当前剪枝层的滤波器信息进行重要性的评估，这仅仅考虑了滤波器剪枝对于当前层的影响。事实上，当前层的滤波器剪枝会产生两个方面的影响：一是对于当前层的直接影响，滤波器的数量会减少；另一个则是对于下一层的间接影响，当前层滤波器的减少，导致输出特征图通道数减少，从而下一层中滤波器的通道数也需要相应减少。实验结果显示，当考虑滤波器剪枝的不同影响时，同一个滤波器的重要性可能完全不同。这表明，仅考虑滤波器剪枝的直接影响时，对于一个滤波器的重要性评估结果是片面的，这将会影响待剪枝滤波器的选择，进而影响剪枝后模型的性能。
发明内容
本发明的目的是要解决现有滤波器剪枝方法中对于滤波器重要性的片面评估引起的待剪枝滤波器选择不合理，进而导致的剪枝后模型性能不高的问题，提出一种用于图像分类任务的滤波器剪枝方法。该方法通过综合评估滤波器剪枝对当前层滤波器的直接影响和对下一层滤波器的间接影响，实现对滤波器重要性的准确评估，在此基础上按照设定的剪切率对不重要滤波器进行剪枝，可以在保持模型性能的基础上实现模型的明显压缩和加速。
本发明的思路是在对滤波器重要性进行评估时，综合考虑滤波器剪枝对于当前层的直接影响和对于下一层的间接影响，使得新的评估结果能够更准确的反映滤波器的重要性，在给定剪枝率的情况下，优化待剪枝滤波器的选择，保持剪枝后模型的性能与剪枝前相当。
本发明解决其技术问题所采取的技术方案是：一种用于图像分类任务的滤波器剪枝方法，将待分类的图像输入预先剪枝后的卷积神经网络；利用所述剪枝后的卷积神经网络对图像进行分类，获得所述图像的分类结果；其中所述剪枝后的卷积神经网络通过如下操作得到：假设存在一个L层的卷积神经网络预训练模型W，其使用的训练数据集为D。模型的第i层表示为
Figure GDA0003642078010000021
其中
Figure GDA0003642078010000022
表示取值为实数的四维矩阵(维数分别为ni、ni-1、ki和ki)，ni和ki分别表示第i层的滤波器数量和卷积核大小。那么，模型第i层中的第j个滤波器可以表示成
Figure GDA0003642078010000023
其中
Figure GDA0003642078010000024
表示取值为实数的三维矩阵(维数分别为ni-1、ki和ki)；具体剪枝过程如下：
S1考虑剪枝直接影响的滤波器重要性评估
对于第i层(1≤i≤L)来说，滤波器剪枝会造成滤波器数量的直接减少，剪枝时更倾向于剪掉本层中最不重要的滤波器，采用基于范数的方式来评估滤波器对于第i层的重要性：
Figure GDA0003642078010000025
其中，
Figure GDA0003642078010000026
表示模型第i层中的第j个滤波器对于第i层的重要性，||·||1表示L1范数，min和max分别表示本层中范数值最小和最大的滤波器的索引；
S2考虑剪枝间接影响的滤波器重要性评估
对于第i+1层来说，滤波器剪枝造成的是滤波器通道数的减少，剪枝时更倾向于剪掉最不重要的通道所对应的滤波器。通过评估不同通道在第i+1层中重要性来表示对应滤波器对第i+1层的重要性，具体地描述如下：
第i层中任一滤波器
Figure GDA0003642078010000027
影响着第i+1层中所有滤波器的第j个通道，将这些通道提取出来，用其构建一个具有ni+1个通道的新滤波器
Figure GDA0003642078010000028
其中，1≤i′≤L，“cat{·}”代表拼接操作，
Figure GDA0003642078010000029
表示滤波器
Figure GDA00036420780100000210
的第j个通道，其中
Figure GDA00036420780100000211
表示取值为实数的二维矩阵(维数分别为ki+1和ki+1)。最终对于第i层可以得到一个新建滤波器集合
Figure GDA00036420780100000212
通过计算这些新构建滤波器的范数值来表示其对应通道的重要性，滤波器的范数值越大，其对应的通道就越重要。
那么，滤波器对于第i+1层的重要性可以表示为：
Figure GDA00036420780100000213
其中
Figure GDA00036420780100000214
表示模型第i层中的第j个滤波器对于第i+1层的重要性，||·||1表示L1范数，min和max分别表示第i层中新构建的滤波器集合中范数值最小和最大的滤波器的索引。
S3计算重要性综合评估结果
根据公式(1)得到的滤波器对于第i层的重要性评估结果以及公式(2)得到的滤波器对于第i+1层的重要性评估结果，可以计算得到滤波器最终的重要性评估结果，即
Figure GDA0003642078010000031
其中，
Figure GDA0003642078010000032
表示模型第i层中的第j个滤波器的重要性综合评估结果。
S4确定待剪枝滤波器
设定第i层的预定义剪枝率为Pi(0≤Pi≤1)，例如Pi＝0.5，根据公式(3)计算得到的重要性综合评估结果，从低到高选择ni×Pi个滤波器作为待剪枝滤波器。
S5实施滤波器剪枝
从i＝1到i＝L选定模型W中所有层的待剪枝滤波器之后，从W中删除选定的待剪枝滤波器及其在下一层中对应的滤波器通道，得到剪枝后的模型W'(He Y,Liu P,Wang Z,etal.Filter pruning via geometric median for deep convolutional neural networksacceleration[C]//Proceedings of the IEEE/CVF Conference on Computer Visionand Pattern Recognition.2019:4340-4349.)。
S6对剪枝后的模型W'重新训练
采用随机梯度下降法(Stochastic Gradient Descent，SGD)(LéonBottou.Large-Scale Machine Learning with Stochastic Gradient Descent[C]//Proceedings of the 19th International Conference on ComputationalStatistics.2010:177-186.)，在训练数据集D上对剪枝后的模型W'进行重新训练，得到最终的模型W*。
进一步地，S1中，也可以使用基于几何中值的方法来评估滤波器对于第i层的重要性：
Figure GDA0003642078010000033
其中
Figure GDA0003642078010000034
min和max分别表示本层中g(·)值最小和最大的滤波器的索引。
本发明具有以下有益效果：
1.本发明提出了一种用于图像分类任务的滤波器剪枝方法，该方法可全面评价滤波器剪枝对当前层的直接影响和对下一层的间接影响、实现对滤波器重要性的准确评估；
2.本发明提供的用于图像分类任务的滤波器剪枝方法，可以在保持深度神经网络模型性能的前提下，实现深度网络模型的大幅压缩和加速，对深度神经网络模型在计算与存储资源受限设备上的轻量化部署与快速运行，具有重要的工程应用价值。
附图说明
图1为滤波器剪枝的直接影响和间接影响示意图；
图2为本发明中使用下一层中的滤波器通道构建新的滤波器的示意图；
图3为本发明的滤波器剪枝流程图；
图4为本发明在三种不同结构的图像分类模型上滤波器剪枝方案。
具体实施方式
下面结合附图对本发明进行进一步的说明：
图1为滤波器剪枝的直接影响和间接影响示意图。当前层的滤波器剪枝会产生两个方面的影响，一是对于当前层的直接影响，滤波器的数量会减少；另一个则是对于下一层的间接影响，当前层滤波器的减少，导致输出特征图通道数的减少，从而下一层中滤波器的通道数也需要相应减少。图1有助于理解本发明的思路。
图2为发明中使用下一层中的滤波器通道构建新的滤波器的示意图。本发明中通过评估不同通道在下一层中重要性来表示对应滤波器对下一层的重要性。具体来说，将下一层中受其影响的滤波器通道提取出来，用其构成一个新的滤波器，通过计算新构建的滤波器的范数值来表示其对应通道的重要性。图2有助于理解本发明中使用的新滤波器的构建过程。
图3为本发明的滤波器剪枝流程图，其中最关键的步骤在于：对于每一个卷积层，通过公式(3)计算层中每一个滤波器的重要性并进行排序，从低到高选择ni×pi个滤波器作为待剪枝滤波器。
本发明用三种不同结构的图像分类模型在CIFAR-10和ILSVRC-2012两个数据集上进行了实验，包括单分支结构的VGGNet、残差网络ResNet以及由inception模块构成的GoogLeNet。图4为本发明在三种不同结构的图像分类模型上具体的滤波器剪枝方案，图中示例所用的剪枝率Pi为0.5。
实施实例1
表1为VGGNet-16在CIFAR-10上的实验结果。本实例中首先使用全局平均池化层取代原始VGGNet中的全连接层，然后在CIFAR-10上从头训练得到预训练模型；剪枝之后，使用随机梯度下降法对剪枝后的模型进行160轮的训练来恢复模型精度，初始学习率设置为0.01，在第80和120个轮次时学习率分别乘以0.1，权重衰减系数设置为0.0001，动量设置为0.9。总的来说，本发明中的方法在精度下降和计算量下降两个方面都比其他方法表现的要好得多。具体来说，当本发明中的方法将VGG-16的计算量减少50.5％时和63.5％，准确率仅分别下降0.22％和0.47％，这证明了本发明中的方法在单分支网络上的有效性。
表1.VGG-16在CIFAR-10上的实验结果
Figure GDA0003642078010000041
实施实例2
表2.GoogLeNet在CIFAR-10上的实验结果
Figure GDA0003642078010000051
表2为GoogLeNet在CIFAR-10上的实验结果。本实例中首先需要对原始的GoogLeNet网络的输出进行修改，使其能够匹配CIFAR-10数据集的类别数量，然后在CIFAR-10上从头训练得到预训练模型；剪枝之后，使用随机梯度下降法对剪枝后的模型进行300轮的训练来恢复模型精度，初始学习率设置为0.01，权重衰减系数设置为0.0001，动量设置为0.9，学习率在第100、150和255个轮次时分别乘以0.2。与其他方法相比，本发明中的方法在对GoogLeNet进行压缩时可以保持更好的精度，这表明本发明中的方法可以有效地用于压缩带有inception模块的卷积神经网络。
实施实例3
表3为ResNet-110在CIFAR-10上的实验结果。本实例中首先需要在CIFAR-10上从头训练得到预训练模型；然后使用随机梯度下降法对剪枝后的模型进行200轮的训练来恢复模型精度，初始学习率设置为0.01，权重衰减系数设置为0.0005，动量设置为0.9，学习率在第60、120和160个轮次时分别乘以0.1。从表中可以看到，本发明中的方法在减少61.6％的计算量的情况下，ResNet-110的模型精度仅下降了0.10％，这再一次验证了本发明中方法在残差网络上的有效性。
表3.ResNet-110在CIFAR-10上的实验结果
Figure GDA0003642078010000052
实施实例4
表4为ResNet-50在ILSVRC-2012上的实验结果。本实例中使用PyTorch官方提供模型作为预训练模型；然后使用随机梯度下降法对剪枝后的模型在LSVRC-2012上进行90轮的训练来恢复模型精度，初始学习率设置为0.01，权重衰减系数设置为0.0001，动量设置为0.9，学习率在第30和60个轮次时分别乘以0.1。虽然ILSVRC-2012数据集中数据量远大于CIFAR-10数据集，但从表4中可以看到，本发明中的方法在大规模数据集上仍然可以取得很好的效果。
表4.ResNet-50在ILSVRC-2012上的实验结果
Figure GDA0003642078010000061
综上所述，本发明在综合考虑滤波器剪枝的直接和间接影响情况下，能够对滤波器重要性进行更准确的评估，优化待剪枝滤波器的选择，有效提高剪枝后模型的精度，且可以适用于图像分类任务中不同结构卷积神经网络模型的滤波器剪枝。

Claims (4)

1.一种用于图像分类任务的滤波器剪枝方法，其特征在于：将待分类的图像输入预先剪枝后的卷积神经网络；利用所述剪枝后的卷积神经网络对图像进行分类，获得所述图像的分类结果；其中所述剪枝后的卷积神经网络通过如下操作得到：针对一个L层的卷积神经网络预训练模型W，其使用的训练数据集为D，模型的第i层表示为
Figure FDA0003642077000000011
其中
Figure FDA0003642077000000012
表示维数分别为ni、ni-1、ki和ki、取值为实数的四维矩阵，ni和ki分别表示第i层的滤波器数量和卷积核大小；那么，模型第i层中的第j个滤波器可以表示成
Figure FDA0003642077000000013
其中
Figure FDA0003642077000000014
表示维数分别为ni-1、ki和ki、取值为实数的三维矩阵；具体剪枝过程如下：
S1考虑剪枝直接影响的滤波器重要性评估
对于第i层来说，滤波器剪枝会造成滤波器数量的直接减少，剪枝时更倾向于剪掉本层中最不重要的滤波器，采用基于范数的方式来评估滤波器对于第i层的重要性，1≤i≤L：
Figure FDA0003642077000000015
其中，
Figure FDA0003642077000000016
表示模型第i层中的第j个滤波器对于第i层的重要性，||·||1表示L1范数，min和max分别表示本层中范数值最小和最大的滤波器的索引；
S2考虑剪枝间接影响的滤波器重要性评估
对于第i+1层来说，滤波器剪枝造成的是滤波器通道数的减少，剪枝时更倾向于剪掉最不重要的通道所对应的滤波器；通过评估不同通道在第i+1层中重要性来表示对应滤波器对第i+1层的重要性，具体如下：
第i层中任一滤波器
Figure FDA0003642077000000017
影响着第i+1层中所有滤波器的第j个通道，将这些通道提取出来，用其构建一个具有ni+1个通道的新滤波器
Figure FDA0003642077000000018
其中，1≤i′≤L，“cat{·}”代表拼接操作，
Figure FDA0003642077000000019
表示滤波器
Figure FDA00036420770000000110
的第j个通道，其中1≤m≤ni+1，
Figure FDA00036420770000000111
表示维数分别为ki+1和ki+1、取值为实数的二维矩阵；最终对于第i层可以得到一个新建滤波器集合
Figure FDA00036420770000000113
通过计算这些新构建滤波器的范数值来表示其对应通道的重要性，滤波器的范数值越大，其对应的通道就越重要；
滤波器对于第i+1层的重要性可以表示为：
Figure FDA00036420770000000114
其中
Figure FDA00036420770000000115
表示模型第i层中的第j个滤波器对于第i+1层的重要性，||·||1表示L1范数，min和max分别表示第i层中新构建的滤波器集合中范数值最小和最大的滤波器的索引；
S3计算重要性综合评估结果
根据公式(1)得到的滤波器对于第i层的重要性评估结果以及公式(2)得到的滤波器对于第i+1层的重要性评估结果，可以计算得到滤波器最终的重要性评估结果，即
Figure FDA00036420770000000116
其中，
Figure FDA0003642077000000021
表示模型第i层中的第j个滤波器的重要性综合评估结果；
S4确定待剪枝滤波器
设定第i层的预定义剪枝率为Pi，根据公式(3)计算得到的重要性综合评估结果，从低到高选择ni×Pi个滤波器作为待剪枝滤波器；
S5实施滤波器剪枝
从i＝1到i＝L选定模型W中所有层的待剪枝滤波器之后，从W中删除选定的待剪枝滤波器及其在下一层中对应的滤波器通道，得到剪枝后的模型W'；
S6对剪枝后的模型W'重新训练
采用随机梯度下降法，在训练数据集D上对剪枝后的模型W'进行重新训练，得到最终的模型W*。
2.一种根据权利要求1所述用于图像分类任务的滤波器剪枝方法，其特征在于：第i层的预定义剪枝率Pi的取值范围为0≤Pi≤1。
3.一种根据权利要求2所述用于图像分类任务的滤波器剪枝方法，其特征在于：第i层的预定义剪枝率Pi的取值为Pi＝0.5。
4.一种根据权利要求1至3任一项所述用于图像分类任务的滤波器剪枝方法，其特征在于：S1中，也可以使用基于几何中值的方法来评估滤波器对于第i层的重要性：
Figure FDA0003642077000000022
其中
Figure FDA0003642077000000023
min和max分别表示本层中g(·)值最小和最大的滤波器的索引。
CN202111530279.0A 2021-12-14 2021-12-14 一种用于图像分类任务的滤波器剪枝方法 Active CN114154626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111530279.0A CN114154626B (zh) 2021-12-14 2021-12-14 一种用于图像分类任务的滤波器剪枝方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111530279.0A CN114154626B (zh) 2021-12-14 2021-12-14 一种用于图像分类任务的滤波器剪枝方法

Publications (2)

Publication Number Publication Date
CN114154626A CN114154626A (zh) 2022-03-08
CN114154626B true CN114154626B (zh) 2022-08-16

Family

ID=80450846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111530279.0A Active CN114154626B (zh) 2021-12-14 2021-12-14 一种用于图像分类任务的滤波器剪枝方法

Country Status (1)

Country Link
CN (1) CN114154626B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116341645B (zh) * 2023-04-07 2024-03-19 陕西物流集团产业研究院有限公司 一种基于全局多源层间的联合剪枝方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858613A (zh) * 2019-01-22 2019-06-07 鹏城实验室 一种深度神经网络的压缩方法、系统及终端设备
CN111612143A (zh) * 2020-05-22 2020-09-01 中国科学院自动化研究所 深度卷积神经网络的压缩方法及系统
CN112149803A (zh) * 2020-09-22 2020-12-29 安徽大学 一种适用于深度神经网络的通道剪枝方法
CN112183748A (zh) * 2020-09-30 2021-01-05 中国科学院自动化研究所 基于稀疏卷积神经网络的模型压缩方法、系统及相关设备
CN113011588A (zh) * 2021-04-21 2021-06-22 华侨大学 一种卷积神经网络的剪枝方法、装置、设备和介质
JP2021108039A (ja) * 2019-12-27 2021-07-29 Kddi株式会社 モデル圧縮装置及びプログラム
CN113222138A (zh) * 2021-04-25 2021-08-06 南京大学 一种联合层剪枝和通道剪枝的卷积神经网络压缩方法
CN113255910A (zh) * 2021-05-31 2021-08-13 浙江宇视科技有限公司 卷积神经网络的剪枝方法、装置、电子设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858613A (zh) * 2019-01-22 2019-06-07 鹏城实验室 一种深度神经网络的压缩方法、系统及终端设备
JP2021108039A (ja) * 2019-12-27 2021-07-29 Kddi株式会社 モデル圧縮装置及びプログラム
CN111612143A (zh) * 2020-05-22 2020-09-01 中国科学院自动化研究所 深度卷积神经网络的压缩方法及系统
CN112149803A (zh) * 2020-09-22 2020-12-29 安徽大学 一种适用于深度神经网络的通道剪枝方法
CN112183748A (zh) * 2020-09-30 2021-01-05 中国科学院自动化研究所 基于稀疏卷积神经网络的模型压缩方法、系统及相关设备
CN113011588A (zh) * 2021-04-21 2021-06-22 华侨大学 一种卷积神经网络的剪枝方法、装置、设备和介质
CN113222138A (zh) * 2021-04-25 2021-08-06 南京大学 一种联合层剪枝和通道剪枝的卷积神经网络压缩方法
CN113255910A (zh) * 2021-05-31 2021-08-13 浙江宇视科技有限公司 卷积神经网络的剪枝方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN114154626A (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN109948029B (zh) 基于神经网络自适应的深度哈希图像搜索方法
CN112215353B (zh) 一种基于变分结构优化网络的通道剪枝方法
CN112446491B (zh) 神经网络模型实时自动量化方法及实时自动量化系统
CN113595993B (zh) 边缘计算下模型结构优化的车载感知设备联合学习方法
CN112529165B (zh) 深度神经网络剪枝方法、装置、终端及存储介质
CN116316591A (zh) 基于混合双向门控循环的短期光伏功率预测方法及系统
CN113011570A (zh) 一种卷积神经网络模型的自适应高精度压缩方法及系统
CN111008694A (zh) 基于深度卷积对抗生成网络的无数据模型量化压缩方法
CN112488070A (zh) 一种面向遥感图像目标检测的神经网络压缩方法
CN110751265A (zh) 一种轻量型神经网络构建方法、系统及电子设备
CN113255910A (zh) 卷积神经网络的剪枝方法、装置、电子设备和存储介质
CN114154626B (zh) 一种用于图像分类任务的滤波器剪枝方法
CN111126595A (zh) 一种神经网络的模型压缩的方法和设备
CN116362325A (zh) 一种基于模型压缩的电力图像识别模型轻量化应用方法
CN113420651A (zh) 深度卷积神经网络的轻量化方法、系统及目标检测方法
CN113962388A (zh) 一种硬件加速感知的神经网络通道剪枝方法
Rui et al. Smart network maintenance in an edge cloud computing environment: An adaptive model compression algorithm based on model pruning and model clustering
CN111723912A (zh) 一种神经网络解耦方法
CN116301914A (zh) 基于gap8微处理器的卷积神经网络部署方法
CN115564043A (zh) 一种图像分类模型剪枝方法、装置、电子设备及存储介质
Jiao et al. Realization and improvement of object recognition system on raspberry pi 3b+
CN112116062B (zh) 一种基于张量串分解的多层感知机非线性压缩方法
CN115099405A (zh) 一种基于近似乘法的神经网络混合近似及误差补偿方法
CN114742036A (zh) 一种预训练语言模型的组合式模型压缩方法及系统
CN113570037A (zh) 神经网络压缩方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant