CN111160519A - 基于结构冗余检测的卷积神经网络模型剪枝方法 - Google Patents
基于结构冗余检测的卷积神经网络模型剪枝方法 Download PDFInfo
- Publication number
- CN111160519A CN111160519A CN201911214732.XA CN201911214732A CN111160519A CN 111160519 A CN111160519 A CN 111160519A CN 201911214732 A CN201911214732 A CN 201911214732A CN 111160519 A CN111160519 A CN 111160519A
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolutional neural
- training
- pruned
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 88
- 238000013138 pruning Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 59
- 238000012795 verification Methods 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 6
- 238000012360 testing method Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 8
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于结构冗余检测的卷积神经网络模型剪枝方法，其中：首先在训练集上训练卷积神经网络模型，并在验证集上对其进行评估；然后尝试剪枝神经网络模型的不同子结构并微调其余结构，以检测被剪枝的子结构的冗余性，在每次迭代中，如果剪枝后的神经网络模型无法通过微调重新获得大部分丢失的精度，则将剪枝的结构还原。重复该方法，直到模型所有子结构的冗余性都被检验；最后在训练集和验证集上重新初始化并训练剪枝后的模型，得到最终的优化模型。本发明减少了神经网络的资源消耗，改善了现有模型剪枝方法实现复杂的问题。
Description
技术领域
本发明属于深度卷积神经网络模型技术领域的一种压缩技术，具体地，涉及一种基于结构冗余检测的卷积神经网络模型剪枝方法，通过模型剪枝方式对卷积神经网络模型进行压缩以及加速模型推演。
背景技术
深度学习在计算机视觉、语音和自然语言处理等领域都取得了巨大的成功。在图像识别、目标检测、语义分割、行人检测、行人重识别、人脸检测、人脸识别、语音识别、语言翻译等任务中都得到了应用，并且取得了较好的效果。深度卷积神经网络模型对硬盘存储、内存带宽和计算资源占用很高，并且有向着网络层数更深，网络参数更多的发展趋势，因此深度卷积神经网络模型很难在手机、自动驾驶车辆和手环等资源受限的平台上部署。为了将深度卷积神经网络模型部署到资源受限的平台，就需要对深度卷积神经网络模型进行压缩，在保证其性能的情况下，降低其模型尺寸、模型参数量和模型计算量。
现有的压缩技术，通常采用非结构化剪枝、固定模型剪枝或者基于稀疏正则训练的方式，这些方式通常存在如下问题：
1、非结构化剪枝方式如Deep Compression虽然可以获得较好的压缩效果，但是其压缩后的稀疏卷积神经网络模型需要在专用的软件或硬件上才能获得加速效果。
2、固定模型剪枝的方式如L1-norm需要在剪枝前手工设计剪枝后的卷积神经网络结构，十分耗时。
3、基于稀疏正则训练的方式如Network Sliming在训练中将稀疏正则施加在缩放因子上从而自动学习一个精简的卷积神经网络结构，但是其需要重新训练原始模型，十分耗时。
发明内容
本发明针对现有技术中卷积神经网络模型剪枝方法存在的不足，提供了基于结构冗余检测的卷积神经网络模型剪枝方法，该方法采用三个步骤来减少神经网络的资源消耗，改善了现有模型剪枝方法实现复杂的问题，从而简化了模型剪枝方法的复杂度并提升了剪枝性能。
本发明是通过以下技术方式实现的。
一种基于结构冗余检测的卷积神经网络模型剪枝方法，包括：
S1：按顺序选择卷积神经网络中的子结构；
S2：检测卷积神经网络子结构的冗余性，如果该子结构为冗余结构，则执行S3；如果该子结构不是冗余结构，则返回S1重新开始；
S3：剪枝卷积神经网络的冗余结构，重复执行S1和S2，直至对卷积神经网络中所有冗余子结构完成剪枝，并对得到的剪枝后的卷积神经网络进行训练，得到最终的优化模型。
优选地，所述S1中，子结构的选择依据从大到小、从后到前的顺序原则。
优选地，所述S1中，卷积神经网络为训练后的卷积神经网络，其中，采用批次训练和随机梯度下降的方法，在训练集上对卷积神经网络进行训练，并在训练的同时加入正则和动量，使卷积神经网络训练更稳定且不易陷入局部最优解。
优选地，所述S2中，卷积神经网络子结构的冗余性的检测方法为：
先将选择的子结构从卷积神经网络中去除，然后将因为去除该子结构而权重矩阵形状发生变化的结构重新初始化，再微调卷积神经网络，得到微调后的网络权重及其精度；如果微调后的网络精度大于阈值T1，且微调后的网络精度与去除子结构前的网络精度的差小于阈值T2，则说明该选择的子结构是冗余结构，否则，则说明该选择的子结构不是冗余结构。
优选地，所述T1设为未剪枝网络精度的95％至98％，所述T2设为未剪枝网络精度的1％至3％。
优选地，所述微调卷积神经网络的方法为：设置重新初始化的结构的学习速率为其余结构的学习速率的1％至2％，微调时间为一个epoch。
优选地，所述S3中，当检测到选择的子结构为冗余结构时，立即剪枝该子结构。
优选地，所述S3中，对得到的剪枝后的卷积神经网络进行训练，包括：
重新初始化剪枝后的卷积神经网络，然后采用训练集和验证集训练剪枝后的卷积神经网络，得到最终的优化模型。
优选地，采用CIFAR-10数据集，该数据集包括多张训练图片和多张测试图片，从训练图片中随机选取一部分图片作为验证集，训练图片中的其余图片作为训练集，并将所有测试图片均作为测试集；图片的每个通道均经过减去平均值再除以标准差的归一化操作，在数据增强中，将图片补零，随机从其中或其水平翻转中选取长宽均为32的图像块。
优选地，在训练过程中，每次迭代的批次数量选取为64至256，一共迭代80至160个epoch，优化方法选择带0.90至0.99动量的随机梯度下降，权重衰减选择为0.0001至0.001，初始学习速率设置为0.01至0.1，然后在总epoch的二分之一和三分之二处将学习速率除以10。
在本发明中，一个epoch即为将训练集中的所有样本都训练一次，以此类推。
本发明提供的基于结构冗余检测的卷积神经网络模型剪枝方法，解决了现有技术中的以下技术问题：
1、针对现有技术中压缩后的稀疏卷积神经网络模型需要在专用的软件或硬件上才能获得加速效果，本发明的结构化模型剪枝方式不需要专用的软件或硬件就可以获得加速效果。
2、针对现有技术中固定模型剪枝的方式需要再剪枝前手工设计剪枝后的卷积神经网络结构，本发明的剪枝方式不需要手工设计而是在剪枝中自动学习一个精简的网络结构。
3、针对现有技术中基于稀疏正则训练的方式自动学习卷积神经网络结构后需要重新训练原始模型，本发明只需重新训练剪枝后的模型，速度快于重新训练原始模型。
与现有的卷积神经网络模型剪枝方法相比，本发明具有如下至少一种的有益效果：
1、本发明提供的基于结构冗余检测的卷积神经网络模型剪枝方法，方法使用简单，同时能够获得较好的模型压缩效果，相比于现有方法，本发明具有更高的模型压缩率，同时实施步骤更简易。
2、本发明提供的基于结构冗余检测的卷积神经网络模型剪枝方法，其实施原理更直观，通过去除网络中的冗余结构来确保在剪枝模型的同时，也保证了剪枝后模型的性能。
3、本发明提供的基于结构冗余检测的卷积神经网络模型剪枝方法，减少了神经网络的资源消耗，改善了现有模型剪枝方法实现复杂的问题。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明实施例中所提供的基于结构冗余检测的卷积神经网络模型剪枝方法原理图。
图2为是本发明实施例中所提供的基于结构冗余检测的卷积神经网络模型剪枝方法流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明实施例提供了一种基于结构冗余检测的卷积神经网络模型剪枝方法，包括：
S1：按顺序选择卷积神经网络中的子结构；
S2：检测卷积神经网络子结构的冗余性，如果该子结构为冗余结构，则执行S3；如果该子结构不是冗余结构，则返回S1重新开始；
S3：剪枝卷积神经网络的冗余结构，重复执行S1和S2，直至对卷积神经网络中所有冗余子结构完成剪枝，并对得到的剪枝后的卷积神经网络进行训练，得到最终的优化模型。
下面结合附图，对本发明实施例的技术方案进一步详细描述。
如图1所示，本发明实施例提供的基于结构冗余检测的卷积神经网络模型剪枝方法的工作原理为：
1、在训练集上训练原始卷积神经网络，并在验证集上对其进行精度测试(用于剪枝卷积神经网络)；
2、尝试剪枝卷积神经网络的不同子结构并微调其余结构，以检测被剪枝的子结构的冗余性，在每次迭代中，如果剪枝后的卷积神经网络无法通过微调重新获得大部分丢失的精度，则将剪枝的子结构还原。重复该方法，直到模型所有子结构的冗余性都被检验；
3、在训练集和验证集上重新初始化并训练剪枝后的模型，并在测试集上测试精度(用于和其他剪枝方法进行比较)，得到最终的优化模型。
下面通过具体步骤描述对上述技术方案进行详细说明，如图2所示。
1、网络训练设置
使用批次训练和随机梯度下降的方法训练网络，训练的同时加入正则和动量，只使用训练集训练原始模型，使用训练集和验证集训练剪枝后的模型。
2、结构冗余性检测
先从网络中挑选一个子结构来检测其冗余性，这个子结构可以是一些滤波器、单层网络层以及单个网络块，滤波器数量的选择是对剪枝速度以及网络模型搜索空间的一种权衡。一次挑选的滤波器数目越多，则一次检验的滤波器数目越多，那么剪枝的速度也就更快，而网络模型搜索空间越小；一次挑选的滤波器数目越少，则一次检验的滤波器数目越少，那么剪枝的速度也就更慢，而网络模型搜索空间越大。具体实施中，可以每次选择一层中一半的滤波器数目。对于VGG-16模型，先一层一层地选择网络单层，再一层一层地选择滤波器。对于ResNet-56模型，先一层一层地选择网络单块，先一层一层地选择网络单层。因为对于一般的卷积神经网络设计，特征图的尺寸会随着网络的加深而逐渐减小，为了维持每一层的浮点数操作大致相同，靠后的网络层的参数量会大于靠前的网络层参数量，因此，为了能够更快剪枝更多模型参数，本发明实施例从后到前进行模型剪枝。
将一个子结构从卷积神经网络模型中去除会可能引起其他子结构的权重矩阵的形状会发生变化，例如剪枝卷积神经网络的第i层的滤波器会导致第i层和第i+1层的权重矩阵形状都发生变化，剪枝卷积神经网络的第i层会导致第i+1层的权重矩阵形状发生变化，而剪枝卷积神经网络的单个网络块并不会导致权重矩阵形状发生变化。
从卷积神经网络模型中去除一个子结构后，其余某些结构的权重矩阵形状发生变化。与其他方法从原模型中精心挑选参数不同，本发明实施例直接将这些权重矩阵形状发生变化的结构重新初始化，其他权重矩阵形状不变的结构保持原样，然后微调模型。微调模型时，重新初始化的结构的学习速率设置为其余结构的学习速率的1％～2％。微调的时间一般只需要一个epoch。如果模型通过微调能够恢复大部分去除子结构前的精度，说明该子结构是冗余的，去除该子结构对模型精度几乎没有影响，如果模型通过微调不能恢复去除子结构前的精度，说明该子结构不是冗余的，去除该子结构会导致模型精度大幅降低。
3、模型剪枝方法实施例过程
(1)在训练集上训练卷积神经网络模型；
(2)从结构总集合S中选择一个子结构s；
(3)将子结构s的权重矩阵w从总权重矩阵集合W中去除；
(4)重新初始化因为去除w而形状发生变化的权重矩阵；
(5)微调剩余的网络权重一个epoch，得到微调后的网络权重及其精度；
(6)如果微调后的网络精度大于阈值T1，且微调后的网络精度与去除子结构前的网络精度的差小于阈值T2，则说明子结构s是冗余的，保持从模型中去除子结构s，否则，说明子结构s非冗余，还原模型中子结构s；
(7)将子结构s从结构总集合S中去除，如果S不为空，则回到步骤(2)继续模型剪枝，否则，进入步骤(8)；
(8)在训练集和验证集上重新初始化并训练剪枝后的模型，得到最终的优化模型。
在本发明实施例中，T1用来决定精度在多次模型剪枝后是否保持足够高，T2用来防止单次迭代中精度下降过多。这两个阈值的选择是对精度和模型尺寸的权衡，其取值根据未剪枝网络的精度来决定。T1可设为95％～98％未剪枝网络精度，T2可设为1％～3％未剪枝网络精度。
4、实施条件与结果评估
在本发明实施例中，代码实现由python完成，深度学习框架使用PyTorch。选择数据集为CIFAR-10，其包含50000张训练图片和10000张测试图片，从训练图片中随机选取5000张图片作为验证集，其余训练图片作为训练集，所有的测试图片都作为测试集。图片的每个通道都经过减去平均值再除以标准差的归一化操作，在数据增强中，将图片补零，随机从其中或其水平翻转中选取长宽都为32的图像块。在训练过程中，每次迭代的批次数量选取为64～256，一共迭代80～160个epoch，优化方法选择带0.90～0.99动量的随机梯度下降，权重衰减选择为0.0001～0.001，初始学习速率设置为0.01～0.1，然后在总epoch的二分之一和三分之二处将学习速率除以10。
卷积神经网络模型剪枝的评价指标一般采用原网络在测试集上的精度，以反映模型在剪枝之后性能的变化情况。同时，还会采用模型的参数量和浮点数计算量(FLOPs)来反映模型的剪枝和加速效果。
本发明实施例与现有方法在VGG-16模型和CIFAR-10数据集上的效果对比结果如表1所示。
表1
本发明上述实施例所提供一种基于结构冗余检测的卷积神经网络模型剪枝方法，首先在训练集上训练卷积神经网络模型，并在验证集上对其进行评估；然后尝试剪枝神经网络模型的不同子结构并微调其余结构，以检测被剪枝的子结构的冗余性，在每次迭代中，如果剪枝后的神经网络模型无法通过微调重新获得大部分丢失的精度，则将剪枝的结构还原。重复该方法，直到模型所有子结构的冗余性都被检验；最后在训练集和验证集上重新初始化并训练剪枝后的模型，得到最终的优化模型。本发明上述实施例所提供的方法，减少了神经网络的资源消耗，改善了现有模型剪枝方法实现复杂的问题。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (10)
1.一种基于结构冗余检测的卷积神经网络模型剪枝方法，其特征在于，包括：
S1：按顺序选择卷积神经网络中的子结构；
S2：检测卷积神经网络子结构的冗余性，如果该子结构为冗余结构，则执行S3；如果该子结构不是冗余结构，则返回S1重新开始；
S3：剪枝卷积神经网络的冗余结构，重复执行S1和S2，直至对卷积神经网络中所有冗余子结构完成剪枝，并对得到的剪枝后的卷积神经网络进行训练，得到最终的优化模型。
2.根据权利要求1所述的基于结构冗余检测的卷积神经网络模型剪枝方法，其特征在于，所述S1中，子结构的选择依据从大到小、从后到前的顺序原则。
3.根据权利要求1所述的基于结构冗余检测的卷积神经网络模型剪枝方法，其特征在于，所述S1中，卷积神经网络为训练后的卷积神经网络，其中，采用批次训练和随机梯度下降的方法，在训练集上对卷积神经网络进行训练，并在训练的同时加入正则和动量。
4.根据权利要求1所述的基于结构冗余检测的卷积神经网络模型剪枝方法，其特征在于，所述S2中，卷积神经网络子结构的冗余性的检测方法为：
先将选择的子结构从卷积神经网络中去除，然后将因为去除该子结构而权重矩阵形状发生变化的结构重新初始化，再微调卷积神经网络，得到微调后的网络权重及其精度；如果微调后的网络精度大于阈值T1，且微调后的网络精度与去除子结构前的网络精度的差小于阈值T2，则说明该选择的子结构是冗余结构，否则，则说明该选择的子结构不是冗余结构。
5.根据权利要求4所述的基于结构冗余检测的卷积神经网络模型剪枝方法，其特征在于，所述T1设为未剪枝网络精度的95％～98％，所述T2设为未剪枝网络精度的1％～3％。
6.根据权利要求4所述的基于结构冗余检测的卷积神经网络模型剪枝方法，其特征在于，所述微调卷积神经网络的方法为：设置重新初始化的结构的学习速率为其余结构的学习速率的1％～2％，微调时间为一个epoch。
7.根据权利要求1所述的基于结构冗余检测的卷积神经网络模型剪枝方法，其特征在于，所述S3中，当检测到选择的子结构为冗余结构时，立即剪枝该子结构。
8.根据权利要求1所述的基于结构冗余检测的卷积神经网络模型剪枝方法，其特征在于，所述S3中，对得到的剪枝后的卷积神经网络进行训练，包括：
重新初始化剪枝后的卷积神经网络，然后采用训练集和验证集训练剪枝后的卷积神经网络，得到最终的优化模型。
9.根据权利要求3或8中任一项所述的基于结构冗余检测的卷积神经网络模型剪枝方法，其特征在于，采用CIFAR-10数据集，该数据集包括多张训练图片和多张测试图片，从训练图片中随机选取一部分图片作为验证集，训练图片中的其余图片作为训练集，并将所有测试图片均作为测试集；图片的每个通道均经过减去平均值再除以标准差的归一化操作，在数据增强中，将图片补零，随机从其中或其水平翻转中选取长宽均为32的图像块。
10.根据权利要求9所述的基于结构冗余检测的卷积神经网络模型剪枝方法，其特征在于，在训练过程中，每次迭代的批次数量选取为64～256，一共迭代80～160个epoch，选择带0.90～0.99动量的随机梯度下降方法，权重衰减选择为0.0001～0.001，初始学习速率设置为0.01～0.1，然后在总epoch的二分之一和三分之二处将学习速率除以10。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911214732.XA CN111160519B (zh) | 2019-12-02 | 2019-12-02 | 基于结构冗余检测的卷积神经网络模型剪枝方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911214732.XA CN111160519B (zh) | 2019-12-02 | 2019-12-02 | 基于结构冗余检测的卷积神经网络模型剪枝方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111160519A true CN111160519A (zh) | 2020-05-15 |
| CN111160519B CN111160519B (zh) | 2023-12-08 |
Family
ID=70556287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911214732.XA Active CN111160519B (zh) | 2019-12-02 | 2019-12-02 | 基于结构冗余检测的卷积神经网络模型剪枝方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111160519B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111753964A (zh) * | 2020-06-29 | 2020-10-09 | 北京百度网讯科技有限公司 | 神经网络的训练方法和装置 |
| CN112019510A (zh) * | 2020-07-28 | 2020-12-01 | 北京大学 | 一种深度神经网络架构的自适应搜索方法和系统 |
| CN112036564A (zh) * | 2020-08-28 | 2020-12-04 | 腾讯科技（深圳）有限公司 | 神经网络的剪枝方法、装置、设备及存储介质 |
| CN112115724A (zh) * | 2020-07-23 | 2020-12-22 | 云知声智能科技股份有限公司 | 一种多领域神经网络在垂直领域微调的优化方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109635936A (zh) * | 2018-12-29 | 2019-04-16 | 杭州国芯科技股份有限公司 | 一种基于重训练的神经网络剪枝量化方法 |
| US20190122113A1 (en) * | 2017-10-19 | 2019-04-25 | International Business Machines Corporation | Pruning Redundant Neurons and Kernels of Deep Convolutional Neural Networks |
| WO2019197855A1 (en) * | 2018-04-09 | 2019-10-17 | Intel Corporation | Dynamic pruning of neurons on-the-fly to accelerate neural network inferences |
| CN110414608A (zh) * | 2019-07-31 | 2019-11-05 | 西安第六镜网络科技有限公司 | 一种针对于ResNet的按通道剪枝算法 |
| CN110472529A (zh) * | 2019-07-29 | 2019-11-19 | 深圳大学 | 目标识别导航方法及系统 |
-
2019
- 2019-12-02 CN CN201911214732.XA patent/CN111160519B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190122113A1 (en) * | 2017-10-19 | 2019-04-25 | International Business Machines Corporation | Pruning Redundant Neurons and Kernels of Deep Convolutional Neural Networks |
| WO2019197855A1 (en) * | 2018-04-09 | 2019-10-17 | Intel Corporation | Dynamic pruning of neurons on-the-fly to accelerate neural network inferences |
| CN109635936A (zh) * | 2018-12-29 | 2019-04-16 | 杭州国芯科技股份有限公司 | 一种基于重训练的神经网络剪枝量化方法 |
| CN110472529A (zh) * | 2019-07-29 | 2019-11-19 | 深圳大学 | 目标识别导航方法及系统 |
| CN110414608A (zh) * | 2019-07-31 | 2019-11-05 | 西安第六镜网络科技有限公司 | 一种针对于ResNet的按通道剪枝算法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111753964A (zh) * | 2020-06-29 | 2020-10-09 | 北京百度网讯科技有限公司 | 神经网络的训练方法和装置 |
| CN112115724A (zh) * | 2020-07-23 | 2020-12-22 | 云知声智能科技股份有限公司 | 一种多领域神经网络在垂直领域微调的优化方法及系统 |
| CN112115724B (zh) * | 2020-07-23 | 2023-10-20 | 云知声智能科技股份有限公司 | 一种多领域神经网络在垂直领域微调的优化方法及系统 |
| CN112019510A (zh) * | 2020-07-28 | 2020-12-01 | 北京大学 | 一种深度神经网络架构的自适应搜索方法和系统 |
| CN112019510B (zh) * | 2020-07-28 | 2021-07-06 | 北京大学 | 一种深度神经网络架构的自适应搜索方法和系统 |
| CN112036564A (zh) * | 2020-08-28 | 2020-12-04 | 腾讯科技（深圳）有限公司 | 神经网络的剪枝方法、装置、设备及存储介质 |
| CN112036564B (zh) * | 2020-08-28 | 2024-01-09 | 腾讯科技（深圳）有限公司 | 图片识别方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111160519B (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111160519A (zh) | 基于结构冗余检测的卷积神经网络模型剪枝方法 | |
| CN107689034B (zh) | 一种去噪方法及装置 | |
| CN109145898A (zh) | 一种基于卷积神经网络和迭代机制的物体检测方法 | |
| US20220351043A1 (en) | Adaptive high-precision compression method and system based on convolutional neural network model | |
| CN111340046A (zh) | 基于特征金字塔网络和通道注意力的视觉显著性检测方法 | |
| CN111079899A (zh) | 神经网络模型压缩方法、系统、设备及介质 | |
| CN113283473B (zh) | 一种基于cnn特征映射剪枝的快速水下目标识别方法 | |
| CN113065653B (zh) | 面向移动端图像分类的轻量级卷积神经网络的设计方法 | |
| CN113554084B (zh) | 基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统 | |
| CN111401523A (zh) | 一种基于网络层剪枝的深度学习网络模型压缩方法 | |
| CN113569881A (zh) | 一种基于链式残差与注意力机制的自适应语义分割方法 | |
| CN110705708A (zh) | 卷积神经网络模型的压缩方法、装置及计算机存储介质 | |
| CN112488304A (zh) | 一种卷积神经网络中的启发式滤波器剪枝方法和系统 | |
| CN115270867A (zh) | 一种燃气轮机转子系统改进dqn故障诊断方法及系统 | |
| CN113177580A (zh) | 基于通道重要性剪枝与二值量化的图像分类系统 | |
| CN114429208A (zh) | 基于残差结构剪枝的模型压缩方法、装置、设备及介质 | |
| CN108960326B (zh) | 一种基于深度学习框架的点云快速分割方法及其系统 | |
| CN111652264B (zh) | 基于最大均值差异的负迁移样本筛选方法 | |
| CN117217281A (zh) | 基于多视角特征的卷积神经网络轻量化剪枝方法及系统 | |
| CN115482248B (zh) | 图像分割方法、装置、电子设备及存储介质 | |
| CN111461324A (zh) | 基于层恢复敏感度的分级剪枝方法 | |
| CN112633472A (zh) | 一种基于通道剪枝的卷积神经网络压缩方法 | |
| CN116776926B (zh) | 一种对话模型的优化部署方法、装置、设备及介质 | |
| CN113192495A (zh) | 语音识别方法及装置 | |
| CN116630697B (zh) | 一种基于有偏选择池化的图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |