CN111507383A - 一种基于进化算法的神经网络自动剪枝方法 - Google Patents
一种基于进化算法的神经网络自动剪枝方法 Download PDFInfo
- Publication number
- CN111507383A CN111507383A CN202010259201.9A CN202010259201A CN111507383A CN 111507383 A CN111507383 A CN 111507383A CN 202010259201 A CN202010259201 A CN 202010259201A CN 111507383 A CN111507383 A CN 111507383A
- Authority
- CN
- China
- Prior art keywords
- neural network
- population
- individuals
- compression ratio
- sample set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于进化算法的神经网络模型自动剪枝方法，提出了基于进化算法的自动剪枝方案，相比较基于强化学习等方案，可以更快更准确的进行神经网络的剪枝。本发明还适用于比较大的数据集，在速度以及精度上，皆达到了最优。
Description
技术领域
本发明涉及神经网络领域，具体涉及一种基于进化算法的神经网络自动剪枝方法。
背景技术
近年来，随着人工智能以及深度学习的发展，人们对于定制化的深度学习网络结构开始出现指数级别的增长。用户更多的希望深度学习对于当前自身的硬件，产生定制化的网络结构以及参数，这就引导了神经网络自动压缩系统的产生。给定数据集和压缩率，神经自动压缩旨在通过搜索算法在巨大的搜索空间中找到最好的压缩方式。网络压缩已经应用在了各种计算机视觉任务上并取得了成功，例如图像分类、语言建模和语义分割。
目前，神经网络压缩方法主要分为三种方式：模型剪枝，模型量化与知识蒸馏。尽管取得了显着进步，但传统的神经网络压缩方式也难以取得最佳的效果，并且高度依赖于人类专家的手工设计，需要花费很多时间来设计压缩之后的网络结构。例如，基于L1范数剪枝需要根据敏感度来手动设计剪枝的目标网络，设计这样的网络需要花费大量的时间，其随着网络的层数线性增长。
有鉴于此，本发明人针对现有神经网络压缩方法存在的问题而深入构思，且积极研发，遂产生本案。
发明内容
针对现有技术存在的问题，本发明的目的在于提供一种基于进化算法的神经网络自动剪枝方法，其可以提高神经网络的压缩效率。
为实现上述目的，本发明采用的技术方案是：
一种基于进化算法的神经网络模型自动剪枝方法，其包括以下步骤：
步骤1、给定标定好的图像-标签对集合，并将图像-标签对集合划分为训练样本集、测试照片样本集和验证样本集；
给定需要压缩的神经网络及其整体压缩率；
给定进化算法的进化代数，以及初始化进化算法的原始种群，种群为一个集合，其包含了多个向量，每一向量表示一个个体，且每个向量表示了神经网络每一层的压缩率；
步骤2、搜索神经网络的宽度缩放因子，使神经网络模型的大小和推理时的浮点计算次数满足神经网络的整体压缩率；
采用宽度缩放因子对种群每一个体的压缩率进行缩放，得到神经网络每一层的实际压缩率；
步骤3、根据步骤2得到的实际压缩率，对神经网络进行压缩，并采用训练样本集对压缩之后的神经网络进行训练；
步骤4、训练完成后，采用验证样本集对训练后的神经网络进行验证，并记录相应的精度；并将该精度作为种群中该个体的适应度；
步骤5、根据步骤4得到的种群适应度对种群中的个体进行排序，适应度最高的个体被保留，适应度最低的个体被丢弃，并重新随机初始化新的个体，剩下的个体通过交叉变异；更新后得到新的种群，种群的代数加1。
步骤6、重复步骤2-5，直至种群的代数达到设定的进化代数。
所述步骤2中，采用二分搜索的方式搜索神经网络的宽度缩放因子。
采用上述方案后，本发明不需要训练额外的模型来预测Q值等等，复杂度较小，可以更快更准确的进行神经网络的剪枝，提高神经网络的压缩效率。因为收敛速度快所以可以用在比较大的数据集，且在压缩速度以及精度上，皆达到了最优。
此外，本发明可以适用于带有预训练的神经网络（通过继承预训练的权重）以及不带有预训练神经网络（随机初始化神经网络的权重）的剪枝。
附图说明
图1为本发明的方法流程图；
图2为本发明与现有方法在CIFAR-10数据集上的性能比较图；
图3为本发明与现有方法在ILSVRC2012数据集上的性能比较图。
具体实施方式
如图1所示，本发明揭示了一种基于进化算法的神经网络自动剪枝方法，其包括以下步骤：
步骤1、给定标定好的图像-标签对集合，并将图像-标签对集合划分为训练样本集、测试照片样本集和验证样本集；
给定需要压缩的神经网络及其整体压缩率；
给定进化算法的进化代数，以及初始化进化算法的原始种群，种群为一个集合，其包含了多个向量，每一向量表示一个个体，且每个向量表示了神经网络每一层的压缩率；
步骤2、采用二分搜索的方式搜索神经网络的宽度缩放因子，使神经网络模型的大小和推理时的浮点计算次数满足神经网络的整体压缩率；
采用宽度缩放因子对种群每一个体的压缩率进行缩放，得到神经网络每一层的实际压缩率；
步骤3、根据步骤2得到的实际压缩率，对神经网络进行压缩，并采用训练样本集对压缩之后的神经网络进行训练；
步骤4、训练完成后，采用验证样本集对训练后的神经网络进行验证，并记录相应的精度；并将该精度作为种群中该个体的适应度；
步骤5、根据步骤4得到的种群适应度对种群中的个体进行排序，适应度最高的个体被保留，适应度最低的个体被丢弃，并重新随机初始化新的个体，剩下的个体通过交叉变异；更新后得到新的种群，种群的代数加1。
步骤6、重复步骤2-5，直至种群的代数达到设定的进化代数。
与现有方法相比，本发明具有以下突出优点：
第一，本发明可以适用于带有预训练的神经网络以及不带有预训练神经网络的剪枝。
第二，本发明提出了基于进化算法的自动剪枝方案，相比较基于强化学习等方案，可以更快更准确的进行神经网络的剪枝，提高神经网络的压缩效率。
第三，本发明可以适用于比较大的数据集，在压缩速度以及精度上，皆达到了最优。
为验证上述效果，通过以下仿真实验作进一步说明；
1.仿真条件
本发明在Pycharm平台上进行开发，开发的深度学习框架基于Pytorch。本发明中主要用的语言为Python，并且利用OpenCV实现本发明中用到的传统视觉算法。
2.仿真内容
我们在Cifar10以及ILSVRC2012数据集上进行仿真，其中，CIFAR-10数据集由10类32x32的彩色图片组成，一共包含60000张图片，每一类包含6000图片。CIFAR-10数据集被划分成了5个训练子集和1个测试集。测试集的图片是从每个类别中随机挑选的1000张图片组成的，每个训练集batch包含来自每一类的5000张图片，一共50000张训练图片。
ILSVRC2012数据集的ImageNet项目是一个用于视觉对象识别软件研究的大型可视化数据库。超过1400万的图像URL被ImageNet手动注释，以指示图片中的对象;在至少一百万个图像中，还提供了边界框。ImageNet包含2万多个类别。
3、仿真结果
图2和图3为仿真的结果，可以发现，相比于其他的方法，本发明的精度更高速度更快，且在比较大的数据集，且在压缩速度以及精度上，皆达到了最优。
以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (2)
1.一种基于进化算法的神经网络模型自动剪枝方法，其特征在于：包括以下步骤：
步骤1、给定标定好的图像-标签对集合，并将图像-标签对集合划分为训练样本集、测试照片样本集和验证样本集；
给定需要压缩的神经网络及其整体压缩率；
给定进化算法的进化代数，以及初始化进化算法的原始种群，种群为一个集合，其包含了多个向量，每一向量表示一个个体，且每个向量表示了神经网络每一层的压缩率；
步骤2、搜索神经网络的宽度缩放因子，使神经网络模型的大小和推理时的浮点计算次数满足神经网络的整体压缩率；
采用宽度缩放因子对种群每一个体的压缩率进行缩放，得到神经网络每一层的实际压缩率；
步骤3、根据步骤2得到的实际压缩率，对神经网络进行压缩，并采用训练样本集对压缩之后的神经网络进行训练；
步骤4、训练完成后，采用验证样本集对训练后的神经网络进行验证，并记录相应的精度；并将该精度作为种群中该个体的适应度；
步骤5、根据步骤4得到的种群适应度对种群中的个体进行排序，适应度最高的个体被保留，适应度最低的个体被丢弃，并重新随机初始化新的个体，剩下的个体通过交叉变异；更新后得到新的种群，种群的代数加1；
步骤6、重复步骤2-5，直至种群的代数达到设定的进化代数。
2.根据权利要求1所述的一种基于进化算法的神经网络模型自动剪枝方法，其特征在于：所述步骤2中，采用二分搜索的方式搜索神经网络的宽度缩放因子。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010259201.9A CN111507383A (zh) | 2020-04-03 | 2020-04-03 | 一种基于进化算法的神经网络自动剪枝方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010259201.9A CN111507383A (zh) | 2020-04-03 | 2020-04-03 | 一种基于进化算法的神经网络自动剪枝方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111507383A true CN111507383A (zh) | 2020-08-07 |
Family
ID=71875954
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010259201.9A Pending CN111507383A (zh) | 2020-04-03 | 2020-04-03 | 一种基于进化算法的神经网络自动剪枝方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111507383A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011570A (zh) * | 2021-04-30 | 2021-06-22 | 电子科技大学 | 一种卷积神经网络模型的自适应高精度压缩方法及系统 |
| CN113469277A (zh) * | 2021-07-21 | 2021-10-01 | 浙江大华技术股份有限公司 | 图像识别方法及装置 |
-
2020
- 2020-04-03 CN CN202010259201.9A patent/CN111507383A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011570A (zh) * | 2021-04-30 | 2021-06-22 | 电子科技大学 | 一种卷积神经网络模型的自适应高精度压缩方法及系统 |
| CN113011570B (zh) * | 2021-04-30 | 2023-04-07 | 电子科技大学 | 一种采用神经网络压缩系统的人脸表情识别方法 |
| CN113469277A (zh) * | 2021-07-21 | 2021-10-01 | 浙江大华技术股份有限公司 | 图像识别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114298158B (zh) | 一种基于图文线性组合的多模态预训练方法 | |
| CN109376242B (zh) | 基于循环神经网络变体和卷积神经网络的文本分类方法 | |
| CN109840287B (zh) | 一种基于神经网络的跨模态信息检索方法和装置 | |
| CN109948691B (zh) | 基于深度残差网络及注意力的图像描述生成方法和装置 | |
| CN109614471B (zh) | 一种基于生成式对抗网络的开放式问题自动生成方法 | |
| CN109840322B (zh) | 一种基于强化学习的完形填空型阅读理解分析模型及方法 | |
| CN106650813A (zh) | 一种基于深度残差网络和lstm的图像理解方法 | |
| CN108830287A (zh) | 基于残差连接的Inception网络结合多层GRU的中文图像语义描述方法 | |
| CN108829684A (zh) | 一种基于迁移学习策略的蒙汉神经机器翻译方法 | |
| CN110083700A (zh) | 一种基于卷积神经网络的企业舆情情感分类方法及系统 | |
| CN112465120A (zh) | 一种基于进化方法的快速注意力神经网络架构搜索方法 | |
| CN111898689A (zh) | 一种基于神经网络架构搜索的图像分类方法 | |
| CN112800203B (zh) | 一种融合文本和知识表征的问答匹配方法及系统 | |
| CN111242033B (zh) | 一种基于视频和文字对判别分析的视频特征学习方法 | |
| CN116503676B (zh) | 一种基于知识蒸馏小样本增量学习的图片分类方法及系统 | |
| CN114491039B (zh) | 基于梯度改进的元学习少样本文本分类方法 | |
| CN111507383A (zh) | 一种基于进化算法的神经网络自动剪枝方法 | |
| CN115511069A (zh) | 神经网络的训练方法、数据处理方法、设备及存储介质 | |
| CN109829414A (zh) | 一种基于标签不确定性和人体组件模型的行人再识别方法 | |
| CN114118369A (zh) | 一种基于群智能优化的图像分类卷积神经网络设计方法 | |
| CN114528835A (zh) | 基于区间判别的半监督专业术语抽取方法、介质及设备 | |
| CN115130538A (zh) | 文本分类模型的训练方法、文本处理的方法、设备及介质 | |
| CN112307048A (zh) | 语义匹配模型训练方法、匹配方法、装置、设备及存储介质 | |
| CN111507472A (zh) | 一种基于重要性剪枝的精度估计参数搜索方法 | |
| CN110222817A (zh) | 基于学习自动机的卷积神经网络压缩方法、系统及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200807 |
|
| WD01 | Invention patent application deemed withdrawn after publication |