CN114330644B - 一种基于结构搜索和通道剪枝的神经网络模型压缩方法 - Google Patents
一种基于结构搜索和通道剪枝的神经网络模型压缩方法 Download PDFInfo
- Publication number
- CN114330644B CN114330644B CN202111481512.0A CN202111481512A CN114330644B CN 114330644 B CN114330644 B CN 114330644B CN 202111481512 A CN202111481512 A CN 202111481512A CN 114330644 B CN114330644 B CN 114330644B
- Authority
- CN
- China
- Prior art keywords
- neural network
- search
- model
- pruning
- strategy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Feedback Control In General (AREA)
Abstract
本发明公开了一种基于结构搜索和通道剪枝的神经网络模型压缩方法，用于无人车、无人艇等目标检测，采用神经网络结构搜索技术，针对当前数据集和任务，首先训练出一个精度不低但相比常规CNN参数量和计算量都较小的轻量级网络，为网络中每一个层级的结构都赋予一个对应衡量其重要性的缩放因子，同时各层级结构对应缩放因子采用大方差高斯分布初始化，施加L1范数正则化同时采用次梯度优化算法，进行稀疏化训练，将模型中那些接近0的缩放因子对应的层级进行裁剪，对模型进行微调，如果能回到baseline的精度或下降在5%以内进行下一轮模型压缩剪枝，否则结束该程序。
Description
技术领域
本发明属于深度学习和人工智能技术领域，涉及深度卷积神经网络(CNN)模型的压缩剪枝，具体涉及一种基于缩放因子特殊初始化和通道裁剪的神经网络模型压缩剪枝方法与系统。
背景技术
随着深度学习的不断发展，深度神经网络在目标检测和目标跟踪领域得到了广泛的应用。但随之而来的是，模型结构越来越复杂，参数和层数不断增多。
在无人车、无人艇等目标的检测中，由成千上万的可学习参数决定的模型大小和模型计算时产生的特征图(feature maps)，这对于嵌入式设备来说是一个极大的存储资源负担；而在高分辨率的网络输入上执行卷积操作会产生巨大的计算量(FLOPs)，从而引起高延迟，这对于需要实时的应用场景显然是不可取的。因此，要在嵌入式设备上部署一个能实时检测目标的CNN，对模型的压缩裁剪成了一个必不可少的步骤。
目前模型压缩主要发展出了非结构化剪枝和结构化剪枝两大类。以Hansong等人为代表提出的非结构化剪枝，是根据预设阈值裁剪权值低的单个连接或神经元，然后再微调模型恢复精度，最终通过逐层裁剪和重训的方式达到模型压缩的目的。但是这种非结构化剪枝需要特定的硬件加速器和计算库(比如稀疏矩阵乘法)支持，开发难度很大。
结构化剪枝则是通过对CNN的filter、channel、filter shape和depth等层次结构施加Group-LASSO回归，对其中某一组权重进行L1-范数正则化，训练后产生稀疏化结构再进行裁剪。这是一种比非结构化剪枝粒度更粗的压缩技术，可以采用现有的深度学习计算库。但这种针对某组神经元的算法训练不易收敛，训练时间较长，模型稀疏程度低。
发明内容
针对现有神经网络模型结构化剪枝技术用于无人车、无人艇等目标检测时存在的缺点，本发明创造旨在提供一种能够训练更加快速收敛、裁剪粒度更加灵活和压缩率更大的卷积神经网络模型压缩剪枝方法与系统。
本发明解决其技术问题所采用的技术方案是：一种基于结构搜索和通道剪枝的神经网络模型压缩方法，用于无人车、无人艇等目标检测，基于轻量级网络搜寻模块和剪枝微调模块，步骤如下
(1)，采用神经网络结构搜索技术，针对神经网络模型当前数据集和任务，训练出一个精度不低但相比常规CNN参数量和计算量都较小的轻量级网络搜寻模块；
(2)，以轻量级网络搜寻模块为baseline，为网络中每一个group/block/channel层级的结构都赋予一个对应衡量其重要性的缩放因子γ，或者直接采用BN层中的缩放因子γ，各层级结构对应缩放因子γ采用大方差高斯分布初始化，然后对缩放因子γ施加L1范数正则化；采用次梯度优化算法进行稀疏化训练，优化目标如下：
其中φ(γ)＝|γ|，Γ是缩放因子γ的集合，λ是正则项权重系数；
则L对某一γ分量γi的梯度为：
其中C0是原代价函数；
同时
sgn(γi)为符号函数，a表示处于[-1，1]之间的一个数值；
则针对γ的参数更新过程为
其中α是学习率；
(3)，对练完的模型中接近0的缩放因子γ对应的channel/group/block层级进行裁剪，再对模型进行微调，如果能回到baseline的精度或下降在5％以内，则返回到步骤2)，进行下一轮模型压缩剪枝；否则结束。
所述的一种基于结构搜索和通道剪枝的神经网络模型压缩方法，其步骤(1)中训练轻量级网络搜寻模块依次包括：模型定义，权重初始化和缩放因子大方差高斯分布初始化，次梯度优化和参数迭代更新，判断损失函数是否收敛，否则返回次梯度优化和参数迭代更新，是则完成训练。
所述的一种基于结构搜索和通道剪枝的神经网络模型压缩方法，其步骤(1)中的神经网络结构搜索是从一个预定义的搜索空间
中由搜索策略选择一个结构A，然后把结构A传送到性能评估策略模块，最后由其返回一个性能评估结果给搜索策略；所述的搜索策略采用强化学习，是神经网络结构搜索任务中，将架构的生成看成是一个智能体在选择动作，再通过一个测试集上的效果预测函数来获得奖励；用循环神经网络来表示策略函数，初始化时先用策略梯度算法赋初值，然后用如下近端策略优化算法来进行优化：
所述的一种基于结构搜索和通道剪枝的神经网络模型压缩方法，其步骤(3)中训练过程采用带动量的小批量随机梯度下降优化方法，学习率采用预热方式，初始为0.01，每迭代20000次学习率乘以0.1，通过50000次迭代完成一次完整的训练。
本发明产生的有益效果是：
本专利方法主要采用基于特定数据集及任务驱动的神经网络结构搜索(NAS)轻量级网络设计、各层级结构对应缩放因子大方差高斯分布初始化和基于次梯度优化的一般化结构剪枝等模型压缩技术。
本发明与现有非结构化剪枝方法相比，无需特定的硬件加速器和计算库，实现部署简单；与现有结构化剪枝方法相比，该方法能够训练更加快速地收敛、裁剪粒度更加灵活和压缩率更大。
附图说明
图1是现有技术中的一般化结构化剪枝示意图；
图2为本发明NAS技术流程图；
图3为单元搜索空间示意图；
图4是本发明的算法处理流程框图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明。
本发明公开的一种基于结构搜索和通道剪枝的神经网络模型压缩方法，用于无人车、无人艇等目标检测，基于轻量级网络搜寻模块和剪枝微调模块，步骤如下：
(1)，由轻量级网络搜寻模块搜寻得到一个针对特定数据集及任务的较小网络：采用神经网络结构搜索(NAS)技术，针对神经网络模型当前数据集和任务，首先训练出一个精度不低但相比常规CNN参数量和计算量都较小的轻量级网络。
NAS技术的整体流程如图2所示：从一个预定义的搜索空间
中由搜索策略选择一个结构A，然后把结构A传送到性能评估策略模块，最后由其返回一个性能评估结果给搜索策略。
对于搜索空间，本专利方法中采用单元/模块搜索空间，结构单元/模块可以用更复杂的方式结合，比如多分枝空间，如图3所示。最终的网络架构便可以通过堆叠这些结构单元/模块来构建。单元(cell)搜索空间示意图中符号说明：sep表示depthwise-separableconvolution(深度可分离卷积)；max表示max pooling(最大池化)；identity表示短路连接；concat表示通道合并拼接。
对于搜索策略，本专利方法中采用强化学习。在NAS任务中，将架构的生成看成是一个智能体(agent)在选择动作(action)，再通过一个测试集上的效果预测函数来获得奖励(reward)。用循环神经网络(RNN)来表示策略函数(控制器)，初始化时先用策略梯度(policygradient)算法赋初值，然后用近端策略优化(Proximal Policy Optimization，PPO)算法来进行优化。PPO计算如下式：
(2)，通过baseline模型结构定义文件及稀疏率等超参数，由剪枝微调模块进行稀疏化训练、剪枝和微调，对轻量级网络搜寻模块进一步地压缩：以轻量级网络搜寻模块为baseline，如图1为网络中每一个group/block/channel层级的结构都赋予一个对应衡量其重要性的缩放因子γ，或者为方便直接采用BN层中的缩放因子γ，各层级结构对应缩放因子γ采用大方差高斯分布初始化，以提高模型的稀疏程度和压缩率，然后对缩放因子γ施加L1范数正则化；同时采用次梯度优化算法进行稀疏化训练，优化目标如下：
其中φ(γ)＝|γ|，Γ是缩放因子γ的集合，λ是正则项权重系数；
则L对某一γ分量γi的梯度为：
其中C0是原代价函数；
同时
sgn(γi)为符号函数，a表示处于[-1，1]之间的一个数值；
则针对γ的参数更新过程为：
其中，α是学习率。在本方法中，训练过程就采用简单的带动量的小批量随机梯度下降优化方法，学习率采用预热(warm up)方式，初始为0.01，每迭代20000次学习率乘以0.1，一次完整的训练共迭代50000次。
(3)，对于稀疏化训练完的模型，将模型中那些接近0的缩放因子对应的channel/group/block进行裁剪；再对模型进行微调；模型微调后如果能回到baseline的精度或下降在5％以内，则返回到步骤(2)，进行下一轮模型压缩剪枝，否则结束该程序，如图4所示。
上述实施例仅例示性说明本发明的原理及其功效，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (4)
1.一种基于结构搜索和通道剪枝的神经网络模型压缩方法，其特征在于：步骤如下
(1)，采用神经网络结构搜索技术，针对神经网络模型当前数据集和任务，训练出一个精度不低但相比常规CNN参数量和计算量都较小的轻量级网络搜寻模块；
(2)，以轻量级网络搜寻模块为baseline，为网络中每一个group/block/channel层级的结构都赋予一个对应衡量其重要性的缩放因子γ，或者直接采用BN层中的缩放因子γ，各层级结构对应缩放因子γ采用大方差高斯分布初始化，然后对缩放因子γ施加L1范数正则化；采用次梯度优化算法进行稀疏化训练，优化目标如下：
其中φ(γ)＝|γ|，Γ是缩放因子γ的集合，λ是正则项权重系数；
则L对某一γ分量γi的梯度为：
其中C0是原代价函数；
同时
sgn(γi)为符号函数，a表示处于[-1，1]之间的一个数值；
则针对γ的参数更新过程为
其中α是学习率；
(3)，对练完的模型中接近0的缩放因子γ对应的channel/group/block层级进行裁剪，再对模型进行微调，如果能回到baseline的精度或下降在5％以内，则返回到步骤2)，进行下一轮模型压缩剪枝；否则结束。
2.根据权利要求1所述的一种基于结构搜索和通道剪枝的神经网络模型压缩方法，其特征在于，所述的步骤(1)中训练轻量级网络搜寻模块依次包括：模型定义，权重初始化和缩放因子大方差高斯分布初始化，次梯度优化和参数迭代更新，判断损失函数是否收敛，否则返回次梯度优化和参数迭代更新，是则完成训练。
3.根据权利要求1所述的一种基于结构搜索和通道剪枝的神经网络模型压缩方法，其特征在于，所述步骤(1)中的神经网络结构搜索是从一个预定义的搜索空间
中由搜索策略选择一个结构A，然后把结构A传送到性能评估策略模块，最后由其返回一个性能评估结果给搜索策略；所述的搜索策略采用强化学习，是神经网络结构搜索任务中，将架构的生成看成是一个智能体在选择动作，再通过一个测试集上的效果预测函数来获得奖励；用循环神经网络来表示策略函数，初始化时先用策略梯度算法赋初值，然后用如下近端策略优化算法来进行优化：
4.根据权利要求1所述的一种基于结构搜索和通道剪枝的神经网络模型压缩方法，其特征在于，所述的步骤(3)中训练过程采用带动量的小批量随机梯度下降优化方法，学习率采用预热方式，初始为0.01，每迭代20000次学习率乘以0.1，通过50000次迭代完成一次完整的训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111481512.0A CN114330644B (zh) | 2021-12-06 | 2021-12-06 | 一种基于结构搜索和通道剪枝的神经网络模型压缩方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111481512.0A CN114330644B (zh) | 2021-12-06 | 2021-12-06 | 一种基于结构搜索和通道剪枝的神经网络模型压缩方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114330644A CN114330644A (zh) | 2022-04-12 |
| CN114330644B true CN114330644B (zh) | 2022-12-16 |
Family
ID=81049024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111481512.0A Active CN114330644B (zh) | 2021-12-06 | 2021-12-06 | 一种基于结构搜索和通道剪枝的神经网络模型压缩方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114330644B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998648B (zh) * | 2022-05-16 | 2024-07-23 | 电子科技大学 | 一种基于梯度架构搜索的表现预测压缩方法 |
| CN115170902B (zh) * | 2022-06-20 | 2024-03-08 | 美的集团(上海)有限公司 | 图像处理模型的训练方法 |
| CN117131920B (zh) * | 2023-10-26 | 2024-01-30 | 北京市智慧水务发展研究院 | 一种基于网络结构搜索的模型剪枝方法 |
| CN117196418B (zh) * | 2023-11-08 | 2024-02-02 | 江西师范大学 | 一种基于人工智能的阅读教学质量评估方法及系统 |
| CN118133905B (zh) * | 2024-05-06 | 2024-07-09 | 山东第一医科大学(山东省医学科学院) | 一种轻量级目标检测神经网络的实现方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111461322B (zh) * | 2020-03-13 | 2024-03-08 | 中国科学院计算技术研究所 | 一种深度神经网络模型压缩方法 |
| CN113222138A (zh) * | 2021-04-25 | 2021-08-06 | 南京大学 | 一种联合层剪枝和通道剪枝的卷积神经网络压缩方法 |
| CN113610227B (zh) * | 2021-07-23 | 2023-11-21 | 人工智能与数字经济广东省实验室(广州) | 一种用于图像分类的深度卷积神经网络剪枝方法 |
-
2021
- 2021-12-06 CN CN202111481512.0A patent/CN114330644B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114330644A (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114330644B (zh) | 一种基于结构搜索和通道剪枝的神经网络模型压缩方法 | |
| CN109102126B (zh) | 一种基于深度迁移学习的理论线损率预测模型 | |
| US20220197233A1 (en) | Wind power prediction method and system for optimizing deep transformer network | |
| CN108091135B (zh) | 基于优化小波神经网络的停车泊位多步预测方法 | |
| US10832123B2 (en) | Compression of deep neural networks with proper use of mask | |
| CN111860982A (zh) | 一种基于vmd-fcm-gru的风电场短期风电功率预测方法 | |
| CN109670580A (zh) | 一种基于时间序列的数据修复方法 | |
| CN110046710A (zh) | 一种神经网络的非线性函数极值优化方法及系统 | |
| CN105260786A (zh) | 一种电力推进系统仿真可信度评估模型综合优化方法 | |
| CN107909142A (zh) | 一种神经网络的参数优化方法、系统及电子设备 | |
| CN115525038A (zh) | 一种基于联邦分层优化学习的设备故障诊断方法 | |
| CN104050505A (zh) | 一种基于带学习因子蜂群算法的多层感知器训练方法 | |
| CN112766603A (zh) | 一种交通流量预测方法、系统、计算机设备及存储介质 | |
| CN113419424A (zh) | 减少过估计的模型化强化学习机器人控制方法及系统 | |
| CN114330119B (zh) | 一种基于深度学习的抽蓄机组调节系统辨识方法 | |
| Manry et al. | Signal processing using the multilayer perceptron | |
| CN116109004A (zh) | 一种绝缘子泄漏电流的预测方法、装置、设备及介质 | |
| CN113641907B (zh) | 一种基于进化算法的超参数自适应深度推荐方法及装置 | |
| Li et al. | A new multi-fidelity surrogate modelling method for engineering design based on neural network and transfer learning | |
| CN107644253A (zh) | 一种基于反函数的神经网络优化方法、系统及电子设备 | |
| KR20200028801A (ko) | 뉴럴 네트워크를 이용한 변분 추론 학습 방법 및 학습 장치, 그리고 이를 이용한 변분 추론 방법 및 장치 | |
| KR102110316B1 (ko) | 뉴럴 네트워크를 이용한 변분 추론 방법 및 장치 | |
| CN111507499A (zh) | 预测用模型的构建方法、测试方法、装置及系统 | |
| CN114491790B (zh) | 一种基于maml的气动建模方法及系统 | |
| CN115453880A (zh) | 基于对抗神经网络的用于状态预测的生成模型的训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230707 Address after: 430223 Jiangxia Road 1, Mian Shan development area, Jiangxia District, Wuhan, Hubei Patentee after: WUHAN HUAZHONG TIANJING TONGSHI TECHNOLOGY CO.,LTD. Address before: 430000 981 Xiongchu street, Hongshan District, Wuhan City, Hubei Province Patentee before: HUAZHONG OPTOELECTRONIC TECHNOLOGY Research Institute (THE 717TH RESEARCH INSTITUTE OF CSIC) |
|
| TR01 | Transfer of patent right |