CN111507383A - 一种基于进化算法的神经网络自动剪枝方法 - Google Patents
一种基于进化算法的神经网络自动剪枝方法 Download PDFInfo
- Publication number
- CN111507383A CN111507383A CN202010259201.9A CN202010259201A CN111507383A CN 111507383 A CN111507383 A CN 111507383A CN 202010259201 A CN202010259201 A CN 202010259201A CN 111507383 A CN111507383 A CN 111507383A
- Authority
- CN
- China
- Prior art keywords
- neural network
- population
- individuals
- compression rate
- sample set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 18
- 238000013138 pruning Methods 0.000 title claims abstract description 15
- 238000003062 neural network model Methods 0.000 claims abstract description 7
- 230000006835 compression Effects 0.000 claims description 32
- 238000007906 compression Methods 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 230000002787 reinforcement Effects 0.000 abstract description 2
- 238000004088 simulation Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于进化算法的神经网络模型自动剪枝方法，提出了基于进化算法的自动剪枝方案，相比较基于强化学习等方案，可以更快更准确的进行神经网络的剪枝。本发明还适用于比较大的数据集，在速度以及精度上，皆达到了最优。
Description
技术领域
本发明涉及神经网络领域，具体涉及一种基于进化算法的神经网络自动剪枝方法。
背景技术
近年来，随着人工智能以及深度学习的发展，人们对于定制化的深度学习网络结构开始出现指数级别的增长。用户更多的希望深度学习对于当前自身的硬件，产生定制化的网络结构以及参数，这就引导了神经网络自动压缩系统的产生。给定数据集和压缩率，神经自动压缩旨在通过搜索算法在巨大的搜索空间中找到最好的压缩方式。网络压缩已经应用在了各种计算机视觉任务上并取得了成功，例如图像分类、语言建模和语义分割。
目前，神经网络压缩方法主要分为三种方式：模型剪枝，模型量化与知识蒸馏。尽管取得了显着进步，但传统的神经网络压缩方式也难以取得最佳的效果，并且高度依赖于人类专家的手工设计，需要花费很多时间来设计压缩之后的网络结构。例如，基于L1范数剪枝需要根据敏感度来手动设计剪枝的目标网络，设计这样的网络需要花费大量的时间，其随着网络的层数线性增长。
有鉴于此，本发明人针对现有神经网络压缩方法存在的问题而深入构思，且积极研发，遂产生本案。
发明内容
针对现有技术存在的问题，本发明的目的在于提供一种基于进化算法的神经网络自动剪枝方法，其可以提高神经网络的压缩效率。
为实现上述目的，本发明采用的技术方案是：
一种基于进化算法的神经网络模型自动剪枝方法，其包括以下步骤：
步骤1、给定标定好的图像-标签对集合，并将图像-标签对集合划分为训练样本集、测试照片样本集和验证样本集；
给定需要压缩的神经网络及其整体压缩率；
给定进化算法的进化代数，以及初始化进化算法的原始种群，种群为一个集合，其包含了多个向量，每一向量表示一个个体，且每个向量表示了神经网络每一层的压缩率；
步骤2、搜索神经网络的宽度缩放因子，使神经网络模型的大小和推理时的浮点计算次数满足神经网络的整体压缩率；
采用宽度缩放因子对种群每一个体的压缩率进行缩放，得到神经网络每一层的实际压缩率；
步骤3、根据步骤2得到的实际压缩率，对神经网络进行压缩，并采用训练样本集对压缩之后的神经网络进行训练；
步骤4、训练完成后，采用验证样本集对训练后的神经网络进行验证，并记录相应的精度；并将该精度作为种群中该个体的适应度；
步骤5、根据步骤4得到的种群适应度对种群中的个体进行排序，适应度最高的个体被保留，适应度最低的个体被丢弃，并重新随机初始化新的个体，剩下的个体通过交叉变异；更新后得到新的种群，种群的代数加1。
步骤6、重复步骤2-5，直至种群的代数达到设定的进化代数。
所述步骤2中，采用二分搜索的方式搜索神经网络的宽度缩放因子。
采用上述方案后，本发明不需要训练额外的模型来预测Q值等等，复杂度较小，可以更快更准确的进行神经网络的剪枝，提高神经网络的压缩效率。因为收敛速度快所以可以用在比较大的数据集，且在压缩速度以及精度上，皆达到了最优。
此外，本发明可以适用于带有预训练的神经网络（通过继承预训练的权重）以及不带有预训练神经网络（随机初始化神经网络的权重）的剪枝。
附图说明
图1为本发明的方法流程图；
图2为本发明与现有方法在CIFAR-10数据集上的性能比较图；
图3为本发明与现有方法在ILSVRC2012数据集上的性能比较图。
具体实施方式
如图1所示，本发明揭示了一种基于进化算法的神经网络自动剪枝方法，其包括以下步骤：
步骤1、给定标定好的图像-标签对集合，并将图像-标签对集合划分为训练样本集、测试照片样本集和验证样本集；
给定需要压缩的神经网络及其整体压缩率；
给定进化算法的进化代数，以及初始化进化算法的原始种群，种群为一个集合，其包含了多个向量，每一向量表示一个个体，且每个向量表示了神经网络每一层的压缩率；
步骤2、采用二分搜索的方式搜索神经网络的宽度缩放因子，使神经网络模型的大小和推理时的浮点计算次数满足神经网络的整体压缩率；
采用宽度缩放因子对种群每一个体的压缩率进行缩放，得到神经网络每一层的实际压缩率；
步骤3、根据步骤2得到的实际压缩率，对神经网络进行压缩，并采用训练样本集对压缩之后的神经网络进行训练；
步骤4、训练完成后，采用验证样本集对训练后的神经网络进行验证，并记录相应的精度；并将该精度作为种群中该个体的适应度；
步骤5、根据步骤4得到的种群适应度对种群中的个体进行排序，适应度最高的个体被保留，适应度最低的个体被丢弃，并重新随机初始化新的个体，剩下的个体通过交叉变异；更新后得到新的种群，种群的代数加1。
步骤6、重复步骤2-5，直至种群的代数达到设定的进化代数。
与现有方法相比，本发明具有以下突出优点：
第一，本发明可以适用于带有预训练的神经网络以及不带有预训练神经网络的剪枝。
第二，本发明提出了基于进化算法的自动剪枝方案，相比较基于强化学习等方案，可以更快更准确的进行神经网络的剪枝，提高神经网络的压缩效率。
第三，本发明可以适用于比较大的数据集，在压缩速度以及精度上，皆达到了最优。
为验证上述效果，通过以下仿真实验作进一步说明；
1.仿真条件
本发明在Pycharm平台上进行开发，开发的深度学习框架基于Pytorch。本发明中主要用的语言为Python，并且利用OpenCV实现本发明中用到的传统视觉算法。
2.仿真内容
我们在Cifar10以及ILSVRC2012数据集上进行仿真，其中，CIFAR-10数据集由10类32x32的彩色图片组成，一共包含60000张图片，每一类包含6000图片。CIFAR-10数据集被划分成了5个训练子集和1个测试集。测试集的图片是从每个类别中随机挑选的1000张图片组成的，每个训练集batch包含来自每一类的5000张图片，一共50000张训练图片。
ILSVRC2012数据集的ImageNet项目是一个用于视觉对象识别软件研究的大型可视化数据库。超过1400万的图像URL被ImageNet手动注释，以指示图片中的对象;在至少一百万个图像中，还提供了边界框。ImageNet包含2万多个类别。
3、仿真结果
图2和图3为仿真的结果，可以发现，相比于其他的方法，本发明的精度更高速度更快，且在比较大的数据集，且在压缩速度以及精度上，皆达到了最优。
以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (2)
1.一种基于进化算法的神经网络模型自动剪枝方法，其特征在于：包括以下步骤：
步骤1、给定标定好的图像-标签对集合，并将图像-标签对集合划分为训练样本集、测试照片样本集和验证样本集；
给定需要压缩的神经网络及其整体压缩率；
给定进化算法的进化代数，以及初始化进化算法的原始种群，种群为一个集合，其包含了多个向量，每一向量表示一个个体，且每个向量表示了神经网络每一层的压缩率；
步骤2、搜索神经网络的宽度缩放因子，使神经网络模型的大小和推理时的浮点计算次数满足神经网络的整体压缩率；
采用宽度缩放因子对种群每一个体的压缩率进行缩放，得到神经网络每一层的实际压缩率；
步骤3、根据步骤2得到的实际压缩率，对神经网络进行压缩，并采用训练样本集对压缩之后的神经网络进行训练；
步骤4、训练完成后，采用验证样本集对训练后的神经网络进行验证，并记录相应的精度；并将该精度作为种群中该个体的适应度；
步骤5、根据步骤4得到的种群适应度对种群中的个体进行排序，适应度最高的个体被保留，适应度最低的个体被丢弃，并重新随机初始化新的个体，剩下的个体通过交叉变异；更新后得到新的种群，种群的代数加1；
步骤6、重复步骤2-5，直至种群的代数达到设定的进化代数。
2.根据权利要求1所述的一种基于进化算法的神经网络模型自动剪枝方法，其特征在于：所述步骤2中，采用二分搜索的方式搜索神经网络的宽度缩放因子。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010259201.9A CN111507383A (zh) | 2020-04-03 | 2020-04-03 | 一种基于进化算法的神经网络自动剪枝方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010259201.9A CN111507383A (zh) | 2020-04-03 | 2020-04-03 | 一种基于进化算法的神经网络自动剪枝方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111507383A true CN111507383A (zh) | 2020-08-07 |
Family
ID=71875954
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010259201.9A Pending CN111507383A (zh) | 2020-04-03 | 2020-04-03 | 一种基于进化算法的神经网络自动剪枝方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111507383A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011570A (zh) * | 2021-04-30 | 2021-06-22 | 电子科技大学 | 一种卷积神经网络模型的自适应高精度压缩方法及系统 |
| CN113469277A (zh) * | 2021-07-21 | 2021-10-01 | 浙江大华技术股份有限公司 | 图像识别方法及装置 |
-
2020
- 2020-04-03 CN CN202010259201.9A patent/CN111507383A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011570A (zh) * | 2021-04-30 | 2021-06-22 | 电子科技大学 | 一种卷积神经网络模型的自适应高精度压缩方法及系统 |
| CN113011570B (zh) * | 2021-04-30 | 2023-04-07 | 电子科技大学 | 一种采用神经网络压缩系统的人脸表情识别方法 |
| CN113469277A (zh) * | 2021-07-21 | 2021-10-01 | 浙江大华技术股份有限公司 | 图像识别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114298158B (zh) | 一种基于图文线性组合的多模态预训练方法 | |
| CN109376242B (zh) | 基于循环神经网络变体和卷积神经网络的文本分类方法 | |
| CN109840287B (zh) | 一种基于神经网络的跨模态信息检索方法和装置 | |
| CN110263912B (zh) | 一种基于多目标关联深度推理的图像问答方法 | |
| CN105975573B (zh) | 一种基于knn的文本分类方法 | |
| CN113469356A (zh) | 一种基于迁移学习的改进vgg16网络猪的身份识别方法 | |
| CN112949740B (zh) | 一种基于多级度量的小样本图像分类方法 | |
| CN106355248A (zh) | 一种深度卷积神经网络训练方法及装置 | |
| CN112465120A (zh) | 一种基于进化方法的快速注意力神经网络架构搜索方法 | |
| CN107085704A (zh) | 基于elm自编码算法的快速人脸表情识别方法 | |
| CN112487949B (zh) | 一种基于多模态数据融合的学习者行为识别方法 | |
| CN112232087B (zh) | 一种基于Transformer的多粒度注意力模型的特定方面情感分析方法 | |
| CN109871749B (zh) | 一种基于深度哈希的行人重识别方法和装置、计算机系统 | |
| CN114118369B (zh) | 一种基于群智能优化的图像分类卷积神经网络设计方法 | |
| CN110097060A (zh) | 一种面向树干图像的开集识别方法 | |
| CN110309889A (zh) | 一种双判别器gan的古彝文字符修复方法 | |
| CN113269224A (zh) | 一种场景图像分类方法、系统及存储介质 | |
| CN111694977A (zh) | 一种基于数据增强的车辆图像检索方法 | |
| CN115511069A (zh) | 神经网络的训练方法、数据处理方法、设备及存储介质 | |
| CN113283524A (zh) | 一种基于对抗攻击的深度神经网络近似模型分析方法 | |
| CN114694174A (zh) | 一种基于时空图卷积的人体交互行为识别方法 | |
| CN111507383A (zh) | 一种基于进化算法的神经网络自动剪枝方法 | |
| CN111401637B (zh) | 融合用户行为和表情数据的用户体验质量预测方法 | |
| CN113139464A (zh) | 一种电网故障检测方法 | |
| CN111507472A (zh) | 一种基于重要性剪枝的精度估计参数搜索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200807 |