CN113762505B - 一种卷积神经网络的按通道l2范数聚类剪枝方法 - Google Patents
一种卷积神经网络的按通道l2范数聚类剪枝方法 Download PDFInfo
- Publication number
- CN113762505B CN113762505B CN202110931032.3A CN202110931032A CN113762505B CN 113762505 B CN113762505 B CN 113762505B CN 202110931032 A CN202110931032 A CN 202110931032A CN 113762505 B CN113762505 B CN 113762505B
- Authority
- CN
- China
- Prior art keywords
- channel
- channels
- neural network
- pruning
- clustering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013138 pruning Methods 0.000 title claims abstract description 50
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 2
- 230000037430 deletion Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 9
- 238000009966 trimming Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 description 4
- 244000141353 Prunus domestica Species 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000539 dimer Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种卷积神经网络的按通道L2范数聚类剪枝方法及系统，属于剪枝技术领域，包括以下步骤：S1：获取预训练模型；S2：通道K‑Means二聚类；S3：通道裁剪；S4：裁剪结束判断。本发明通过评价卷积核中每个通道的重要性，然后去除不重要的通道，随后进行剪枝模型训练，而后对剪枝是否结束进行判断，完成剪枝后对模型微调并保存，简化了神经网络的计算数据，对深层卷积神经网络的权重起到压缩的作用，大大缩减了存储空间及计算量，值得被推广使用。
Description
技术领域
本发明涉及剪枝技术领域，具体涉及一种卷积神经网络的按通道L2范数聚类剪枝方法。
背景技术
当今社会计算机硬件正在飞速发展，各种针对神经网络的芯片技术都在取得进步，这使得深度学习在移动端硬件的部署应用变成可能。深度学习的在各种场景中的应用已经越来越广泛，从图像识别领域、语音识别领域到机器翻译领域，深度学习无处不在，而卷积神经网络是深度学习的一个方向。
随着卷积神经网络功能越来越强大，性能越来越优异，也使得其参数发展的越来越多、计算越来越复杂，需要大量计算资源来训练和推理，所用的参数数量可以达到几百万甚至几十亿，会带来巨大的计算和内存消耗。卷积神经网络随着发展变得层数深、体积大、参数多导致计算量大的缺点限制了其在移动设备等设备的部署与使用。这就需要对神经网络进行压缩，来提高性能，神经网络压缩简单来说就是在神经网络性能影响不大的情况下，通过一些方法来减少网络的参数和存储空间。神经网络压缩大体上可以分为近似、量化和剪枝三类方法。其中，剪枝的思路就是通过裁剪掉冗余的神经元或者权重，可以有效的减少模型的参数，降低模型运算量和存储空间。
剪枝分为结构化与非结构化两种，其中结构化剪枝对整个卷积核或者通道进行剪枝，非结构化剪枝对卷积核的元素进行剪枝。非结构化剪枝实际应用中需要特殊设备。
现有的深度学习模型剪枝方法是依照阈值，剪去通道范数小于阈值的通道，但是如果通道范数大于阈值而相对于整体作用很小的话，这种方法就出现了欠剪枝。另一种常规模型剪枝的方法是设定比例，按照大小排序剪除较小的通道，如果较小的通道与较大的差距不大，这种方法容易导致过剪枝，为此，提出一种卷积神经网络的按通道L2范数聚类剪枝方法。
发明内容
本发明所要解决的技术问题在于：如何解决现有深度学习模型剪枝方法存在的欠剪枝或过剪枝问题，提供了一种卷积神经网络的按通道L2范数聚类剪枝方法，该方法能够解决传统方法中容易出现的欠剪枝或过剪枝问题，可裁剪掉冗余的卷积核通道，进而有效地减少模型的参数。
本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：
S1：获取预训练模型
将卷积神经网络模型在数据集上训练，得到预训练模型；
S2：通道K-Means二聚类
对预训练模型的卷积核逐个通道计算其L2范数，并对每个卷积核的逐个通道L2范数值进行K-Means二聚类，得到重要通道集合A与次重要通道集合B；
S3：通道裁剪
使用重要通道集合A中最小值减去次重要通道集合B中最大值并除以重要通道集合A中最小值，若计算结果小于设定的阈值，则删除集合B中L2范数接近0的通道；否则按照设定比例将集合B中的通道删除；
S4：裁剪结束判断
重复步骤S1～S3，并重新训练剪枝后卷积神经网络模型，直到剪掉预先设定的通道数目，并在最后一次剪枝后对网络模型进行重新训练。
更进一步地，在所述步骤S1中，数据集为CIFAR-10数据集。
更进一步地，在所述步骤S2中，所述L2范数是指向量各元素的平方和然后求得的平方根。
更进一步地，在所述步骤S2中，K-Means二聚类的具体过程如下：
S21：将通道数据分为2组，则随机选取2个通道作为初始的聚类中心；
S21：然后计算每个通道与各个种子聚类中心之间的距离，把每个通道分配给距离它最近的聚类中心，不断迭代得到最终的聚类中心。
更进一步地，在所述步骤S3中，按照设定比例将集合B中的通道删除时，若集合B的通道数目小于通道总数的设定比例，则将B集合中的通道全部删除，否则对集合B中通道根据L2范数大小进行排序，删除占整个卷积核通道总数设定比例数目的L2范数小的通道。
更进一步地，在所述步骤S3中，通道删除完成后，再次训练卷积神经网络模型，直到模型收敛，也对已被剪枝的卷积核通道的权重参数进行更新，让在推理中发挥作用但却被错误剪枝的通道被重新赋值。
本发明还提供了一种卷积神经网络的按通道L2范数聚类剪枝系统，采用上述的剪枝方法对卷积神经网络模型进行通道裁剪，包括：
模型获取模块，用于将卷积神经网络模型在数据集上训练，得到预训练模型；
通道聚类模块，用于对预训练模型的卷积核逐个通道计算其L2范数，并对每个卷积核的逐个通道L2范数值进行K-Means二聚类，得到重要通道集合A与次重要通道集合B；
通道裁剪模块，用于使用重要通道集合A中最小值减去次重要通道集合B中最大值并除以重要通道集合A中最小值，若计算结果小于设定的阈值，则删除集合B中L2范数接近0的通道；否则按照设定比例将集合B中的通道删除；
结束判断模块，用于重复步骤S1～S3，并重新训练剪枝后卷积神经网络模型，直到剪掉预先设定的通道数目，并在最后一次剪枝后对网络模型进行调整；
中央处理模块，用于向各模块发出指令，完成相关动作；
所述模型获取模块、通道聚类模块、通道裁剪模块、结束判断模块均与中央处理模块电连接。
本发明相比现有技术具有以下优点：通过评价卷积核中每个通道的重要性，然后去除不重要的通道，随后进行剪枝模型训练，而后对剪枝是否结束进行判断，完成剪枝后对模型微调并保存，简化了神经网络的计算步骤，对深层卷积神经网络的权重起到压缩的作用，大大缩减了存储空间及计算量，值得被推广使用。
附图说明
图1是本发明实施例一中卷积神经网络的按通道L2范数聚类剪枝方法的流程示意图；
图2是本发明实施例一中图像通道L2范数K-Means二聚类示意图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例一
如图1所示，本实施例提供一种技术方案：一种卷积神经网络的按通道L2范数聚类剪枝方法，对深层卷积神经网络的权重起到压缩的作用，缩减了存储空间及计算量，包括以下步骤：
步骤1：将卷积神经网络模型在CIFAR-10数据集上训练，得到预训练模型；
步骤2：对预训练模型的卷积核逐个通道计算其L2范数(L2范数是指向量各元素的平方和然后求平方根)，并对每个卷积核的逐个通道L2范数值进行K-Means二聚类(K-Means聚类是一种迭代求解的聚类分析算法，其步骤是，预将数据分为K组，则随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心)，得到重要通道集合A与次重要通道集合B，如图2所示；
步骤3：使用重要通道集合A中最小值减去次重要通道集合B中最大值并除以重要通道集合A中最小值，若计算结果小于设定的阈值，则删除B集合中L2范数接近0的通道。否则，说明B集合中的数足够小，相对于A可以忽略，为了防止过度剪枝，如果B集合的通道数目小于通道总数的x％(可以自行定义比例)，就可以将B集合中的通道全部删除，否则，对B中通道根据L2范数大小进行排序，删除占整个卷积核通道总数x％数目的L2范数较小的通道；
步骤4：经过步骤3后，需要再次训练卷积神经网络模型，直到模型收敛，已被剪枝的卷积核通道的权重参数也需要更新，让在推理中发挥作用但却被错误剪枝的通道被重新赋值；
步骤5：重复1、2、3中的步骤，并重新训练剪枝后卷积神经网络模型，直到剪掉预先设定的通道数目，并且在最后一次剪枝后，使用与训练同一个数据集，或者使用其他数据库重新训练网络模型。
综上所述，上述实施例的一种卷积神经网络的按通道L2范数聚类剪枝方法，通过评价卷积核中每个通道的重要性，然后去除不重要的通道，随后进行剪枝模型训练，而后对剪枝是否结束进行判断，完成剪枝后对模型微调并保存，简化了神经网络的计算步骤，对深层卷积神经网络的权重起到压缩的作用，大大缩减了存储空间及计算量，值得被推广使用。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (5)
1.一种卷积神经网络的按通道L2范数聚类剪枝方法，其特征在于，包括以下步骤：
S1：获取预训练模型
将卷积神经网络模型在数据集上训练，得到预训练模型；
在所述步骤S1中，数据集为CIFAR-10数据集；
S2：通道K-Means二聚类
对预训练模型的卷积核逐个通道计算其L2范数，并对每个卷积核的逐个通道L2范数值进行K-Means二聚类，得到重要通道集合A与次重要通道集合B；
S3：通道裁剪
使用重要通道集合A中最小值减去次重要通道集合B中最大值并除以重要通道集合A中最小值，若计算结果小于设定的阈值，则删除集合B中L2范数接近0的通道；否则按照设定比例将集合B中的通道删除；
在所述步骤S3中，按照设定比例将集合B中的通道删除时，若集合B的通道数目小于通道总数的设定比例，则将B集合中的通道全部删除，否则对集合B中通道根据L2范数大小进行排序，删除占整个卷积核通道总数设定比例数目的L2范数小的通道；
S4：裁剪结束判断
重复步骤S1～S3，并重新训练剪枝后卷积神经网络模型，直到剪掉预先设定的通道数目，并在最后一次剪枝后对网络模型进行重新训练。
2.根据权利要求1所述的一种卷积神经网络的按通道L2范数聚类剪枝方法，其特征在于：在所述步骤S2中，所述L2范数是指向量各元素的平方和然后求得的平方根。
3.根据权利要求1所述的一种卷积神经网络的按通道L2范数聚类剪枝方法，其特征在于：在所述步骤S2中，K-Means二聚类的具体过程如下：
S21：将通道数据分为2组，则随机选取2个通道作为初始的聚类中心；
S21：然后计算每个通道与各个种子聚类中心之间的距离，把每个通道分配给距离它最近的聚类中心，不断迭代得到最终的聚类中心。
4.根据权利要求1所述的一种卷积神经网络的按通道L2范数聚类剪枝方法，其特征在于：在所述步骤S3中，通道删除完成后，再次训练卷积神经网络模型，直到模型收敛，同时对已被剪枝的卷积核通道的权重参数进行更新，让在推理中发挥作用但却被错误剪枝的通道被重新赋值。
5.一种卷积神经网络的按通道L2范数聚类剪枝系统，其特征在于，采用如权利要求1～4任一项所述的剪枝方法对卷积神经网络模型进行通道裁剪，包括：
模型获取模块，用于将卷积神经网络模型在数据集上训练，得到预训练模型；
通道聚类模块，用于对预训练模型的卷积核逐个通道计算其L2范数，并对每个卷积核的逐个通道L2范数值进行K-Means二聚类，得到重要通道集合A与次重要通道集合B；
通道裁剪模块，用于使用重要通道集合A中最小值减去次重要通道集合B中最大值并除以重要通道集合A中最小值，若计算结果小于设定的阈值，则删除集合B中L2范数接近0的通道；否则按照设定比例将集合B中的通道删除；
结束判断模块，用于重复步骤S1～S3，并重新训练剪枝后卷积神经网络模型，直到剪掉预先设定的通道数目，并在最后一次剪枝后对网络模型进行重新训练；
中央处理模块，用于向各模块发出指令，完成相关动作；
所述模型获取模块、通道聚类模块、通道裁剪模块、结束判断模块均与中央处理模块电连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110931032.3A CN113762505B (zh) | 2021-08-13 | 2021-08-13 | 一种卷积神经网络的按通道l2范数聚类剪枝方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110931032.3A CN113762505B (zh) | 2021-08-13 | 2021-08-13 | 一种卷积神经网络的按通道l2范数聚类剪枝方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113762505A CN113762505A (zh) | 2021-12-07 |
| CN113762505B true CN113762505B (zh) | 2023-12-01 |
Family
ID=78789292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110931032.3A Active CN113762505B (zh) | 2021-08-13 | 2021-08-13 | 一种卷积神经网络的按通道l2范数聚类剪枝方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113762505B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117744745A (zh) * | 2023-12-29 | 2024-03-22 | 江苏理工学院 | 一种基于YOLOv5网络模型的图像优化方法及优化系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229679A (zh) * | 2017-11-23 | 2018-06-29 | 北京市商汤科技开发有限公司 | 卷积神经网络去冗余方法及装置、电子设备和存储介质 |
| CN109002889A (zh) * | 2018-07-03 | 2018-12-14 | 华南理工大学 | 自适应迭代式卷积神经网络模型压缩方法 |
| CN110826684A (zh) * | 2018-08-08 | 2020-02-21 | 北京交通大学 | 卷积神经网络的压缩方法、装置、电子设备和介质 |
| CN110930408A (zh) * | 2019-10-15 | 2020-03-27 | 浙江大学 | 基于知识重组的语义图像压缩方法 |
| CN111126602A (zh) * | 2019-12-25 | 2020-05-08 | 浙江大学 | 一种基于卷积核相似性剪枝的循环神经网络模型压缩方法 |
| WO2020125740A1 (zh) * | 2018-12-20 | 2020-06-25 | 深圳市中兴微电子技术有限公司 | 图像重建方法、装置、设备及计算机可读存储介质 |
| CN111612144A (zh) * | 2020-05-22 | 2020-09-01 | 深圳金三立视频科技股份有限公司 | 一种应用于目标检测的剪枝方法及终端 |
| KR102165273B1 (ko) * | 2019-04-02 | 2020-10-13 | 국방과학연구소 | 소형 뉴럴 네트워크의 채널 프루닝(pruning) 방법 및 시스템 |
| CN112149716A (zh) * | 2020-09-02 | 2020-12-29 | 广州探迹科技有限公司 | 基于fpgm的模型压缩方法及系统 |
| CN112906889A (zh) * | 2021-03-03 | 2021-06-04 | 中国科学院计算技术研究所 | 一种用于压缩深度神经网络模型的方法和系统 |
| WO2021143070A1 (zh) * | 2020-01-16 | 2021-07-22 | 北京智芯微电子科技有限公司 | 深度神经网络模型的压缩方法、装置及存储介质 |
| CN113177580A (zh) * | 2021-04-13 | 2021-07-27 | 浙江大学 | 基于通道重要性剪枝与二值量化的图像分类系统 |
-
2021
- 2021-08-13 CN CN202110931032.3A patent/CN113762505B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229679A (zh) * | 2017-11-23 | 2018-06-29 | 北京市商汤科技开发有限公司 | 卷积神经网络去冗余方法及装置、电子设备和存储介质 |
| CN109002889A (zh) * | 2018-07-03 | 2018-12-14 | 华南理工大学 | 自适应迭代式卷积神经网络模型压缩方法 |
| CN110826684A (zh) * | 2018-08-08 | 2020-02-21 | 北京交通大学 | 卷积神经网络的压缩方法、装置、电子设备和介质 |
| WO2020125740A1 (zh) * | 2018-12-20 | 2020-06-25 | 深圳市中兴微电子技术有限公司 | 图像重建方法、装置、设备及计算机可读存储介质 |
| KR102165273B1 (ko) * | 2019-04-02 | 2020-10-13 | 국방과학연구소 | 소형 뉴럴 네트워크의 채널 프루닝(pruning) 방법 및 시스템 |
| CN110930408A (zh) * | 2019-10-15 | 2020-03-27 | 浙江大学 | 基于知识重组的语义图像压缩方法 |
| CN111126602A (zh) * | 2019-12-25 | 2020-05-08 | 浙江大学 | 一种基于卷积核相似性剪枝的循环神经网络模型压缩方法 |
| WO2021143070A1 (zh) * | 2020-01-16 | 2021-07-22 | 北京智芯微电子科技有限公司 | 深度神经网络模型的压缩方法、装置及存储介质 |
| CN111612144A (zh) * | 2020-05-22 | 2020-09-01 | 深圳金三立视频科技股份有限公司 | 一种应用于目标检测的剪枝方法及终端 |
| CN112149716A (zh) * | 2020-09-02 | 2020-12-29 | 广州探迹科技有限公司 | 基于fpgm的模型压缩方法及系统 |
| CN112906889A (zh) * | 2021-03-03 | 2021-06-04 | 中国科学院计算技术研究所 | 一种用于压缩深度神经网络模型的方法和系统 |
| CN113177580A (zh) * | 2021-04-13 | 2021-07-27 | 浙江大学 | 基于通道重要性剪枝与二值量化的图像分类系统 |
Non-Patent Citations (4)
| Title |
|---|
| Pruning the Convolution Neural Network (SqueezeNet) based on L2 Normalization of Activation Maps;Akash Sunil Gaikwad等;2019 IEEE 9th Annual Computing and Communication Workshop and Conference (CCWC);0392-0396 * |
| Structured Pruning of Deep Convolutional Neural Networks;Sajid Anwar等;ACM Journal on Emerging Technologies in Computing Systems;第13卷(第3期);1-18 * |
| 基于YOLOv3的卷积层结构化剪枝;张良 等;《计算机工程与应用》;第57卷(第6期);131-137 * |
| 基于卷积核剪枝的遥感目标检测模型压缩方法;韩要昌 等;《火力与指挥控制》;第46卷(第2期);23-29 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113762505A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108764471B (zh) | 基于特征冗余分析的神经网络跨层剪枝方法 | |
| CN110263673B (zh) | 面部表情识别方法、装置、计算机设备及存储介质 | |
| CN109978142B (zh) | 神经网络模型的压缩方法和装置 | |
| WO2020215560A1 (zh) | 自编码神经网络处理方法、装置、计算机设备及存储介质 | |
| CN110119745B (zh) | 深度学习模型的压缩方法、装置、计算机设备及存储介质 | |
| CN108304928A (zh) | 基于改进聚类的深度神经网络的压缩方法 | |
| CN109165720A (zh) | 神经网络模型压缩方法、装置和计算机设备 | |
| CN111242287A (zh) | 一种基于通道l1范数剪枝的神经网络压缩方法 | |
| CN110097177B (zh) | 一种基于伪孪生网络的网络剪枝方法 | |
| CN111695375A (zh) | 基于模型蒸馏的人脸识别模型压缩算法、介质及终端 | |
| CN113657421B (zh) | 卷积神经网络压缩方法和装置、图像分类方法和装置 | |
| CN116402117B (zh) | 图像分类卷积神经网络剪枝方法及芯粒器件数据分配方法 | |
| CN113762505B (zh) | 一种卷积神经网络的按通道l2范数聚类剪枝方法 | |
| CN110807420A (zh) | 一种融合特征提取和深度学习的人脸表情识别方法 | |
| CN111310918B (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
| CN117671271A (zh) | 模型训练方法、图像分割方法、装置、设备和介质 | |
| Kim et al. | An efficient pruning and weight sharing method for neural network | |
| CN113780550A (zh) | 一种量化特征图相似度的卷积神经网络剪枝方法及装置 | |
| CN113177580A (zh) | 基于通道重要性剪枝与二值量化的图像分类系统 | |
| CN112561054A (zh) | 一种基于批量特征热图的神经网络滤波器剪枝方法 | |
| CN112263224A (zh) | 一种基于fpga边缘计算的医学信息处理方法 | |
| CN109977977A (zh) | 一种识别潜在用户的方法及对应装置 | |
| CN112149716A (zh) | 基于fpgm的模型压缩方法及系统 | |
| CN116227574A (zh) | 一种基于深度学习的模型剪枝方法 | |
| Rui et al. | Smart network maintenance in an edge cloud computing environment: An adaptive model compression algorithm based on model pruning and model clustering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |