CN114330644B - 一种基于结构搜索和通道剪枝的神经网络模型压缩方法 - Google Patents

一种基于结构搜索和通道剪枝的神经网络模型压缩方法 Download PDF

Info

Publication number
CN114330644B
CN114330644B CN202111481512.0A CN202111481512A CN114330644B CN 114330644 B CN114330644 B CN 114330644B CN 202111481512 A CN202111481512 A CN 202111481512A CN 114330644 B CN114330644 B CN 114330644B
Authority
CN
China
Prior art keywords
neural network
search
model
pruning
strategy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111481512.0A
Other languages
English (en)
Other versions
CN114330644A (zh
Inventor
陈余根
程文韶
谭海
徐寅
王南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Huazhong Tianjing Tongshi Technology Co ltd
Original Assignee
717th Research Institute of CSIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 717th Research Institute of CSIC filed Critical 717th Research Institute of CSIC
Priority to CN202111481512.0A priority Critical patent/CN114330644B/zh
Publication of CN114330644A publication Critical patent/CN114330644A/zh
Application granted granted Critical
Publication of CN114330644B publication Critical patent/CN114330644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Feedback Control In General (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于结构搜索和通道剪枝的神经网络模型压缩方法，用于无人车、无人艇等目标检测，采用神经网络结构搜索技术，针对当前数据集和任务，首先训练出一个精度不低但相比常规CNN参数量和计算量都较小的轻量级网络，为网络中每一个层级的结构都赋予一个对应衡量其重要性的缩放因子，同时各层级结构对应缩放因子采用大方差高斯分布初始化，施加L1范数正则化同时采用次梯度优化算法，进行稀疏化训练，将模型中那些接近0的缩放因子对应的层级进行裁剪，对模型进行微调，如果能回到baseline的精度或下降在5%以内进行下一轮模型压缩剪枝，否则结束该程序。

Description

一种基于结构搜索和通道剪枝的神经网络模型压缩方法
技术领域
本发明属于深度学习和人工智能技术领域，涉及深度卷积神经网络(CNN)模型的压缩剪枝，具体涉及一种基于缩放因子特殊初始化和通道裁剪的神经网络模型压缩剪枝方法与系统。
背景技术
随着深度学习的不断发展，深度神经网络在目标检测和目标跟踪领域得到了广泛的应用。但随之而来的是，模型结构越来越复杂，参数和层数不断增多。
在无人车、无人艇等目标的检测中，由成千上万的可学习参数决定的模型大小和模型计算时产生的特征图(feature maps)，这对于嵌入式设备来说是一个极大的存储资源负担；而在高分辨率的网络输入上执行卷积操作会产生巨大的计算量(FLOPs)，从而引起高延迟，这对于需要实时的应用场景显然是不可取的。因此，要在嵌入式设备上部署一个能实时检测目标的CNN，对模型的压缩裁剪成了一个必不可少的步骤。
目前模型压缩主要发展出了非结构化剪枝和结构化剪枝两大类。以Hansong等人为代表提出的非结构化剪枝，是根据预设阈值裁剪权值低的单个连接或神经元，然后再微调模型恢复精度，最终通过逐层裁剪和重训的方式达到模型压缩的目的。但是这种非结构化剪枝需要特定的硬件加速器和计算库(比如稀疏矩阵乘法)支持，开发难度很大。
结构化剪枝则是通过对CNN的filter、channel、filter shape和depth等层次结构施加Group-LASSO回归，对其中某一组权重进行L1-范数正则化，训练后产生稀疏化结构再进行裁剪。这是一种比非结构化剪枝粒度更粗的压缩技术，可以采用现有的深度学习计算库。但这种针对某组神经元的算法训练不易收敛，训练时间较长，模型稀疏程度低。
发明内容
针对现有神经网络模型结构化剪枝技术用于无人车、无人艇等目标检测时存在的缺点，本发明创造旨在提供一种能够训练更加快速收敛、裁剪粒度更加灵活和压缩率更大的卷积神经网络模型压缩剪枝方法与系统。
本发明解决其技术问题所采用的技术方案是：一种基于结构搜索和通道剪枝的神经网络模型压缩方法，用于无人车、无人艇等目标检测，基于轻量级网络搜寻模块和剪枝微调模块，步骤如下
(1)，采用神经网络结构搜索技术，针对神经网络模型当前数据集和任务，训练出一个精度不低但相比常规CNN参数量和计算量都较小的轻量级网络搜寻模块；
(2)，以轻量级网络搜寻模块为baseline，为网络中每一个group/block/channel层级的结构都赋予一个对应衡量其重要性的缩放因子γ，或者直接采用BN层中的缩放因子γ，各层级结构对应缩放因子γ采用大方差高斯分布初始化，然后对缩放因子γ施加L1范数正则化；采用次梯度优化算法进行稀疏化训练，优化目标如下：
Figure BDA0003395396930000021
其中φ(γ)＝|γ|，Γ是缩放因子γ的集合，λ是正则项权重系数；
则L对某一γ分量γi的梯度为：
Figure BDA0003395396930000022
其中C0是原代价函数；
同时
Figure BDA0003395396930000031
sgn(γi)为符号函数，a表示处于[-1，1]之间的一个数值；
则针对γ的参数更新过程为
Figure BDA0003395396930000032
其中α是学习率；
(3)，对练完的模型中接近0的缩放因子γ对应的channel/group/block层级进行裁剪，再对模型进行微调，如果能回到baseline的精度或下降在5％以内，则返回到步骤2)，进行下一轮模型压缩剪枝；否则结束。
所述的一种基于结构搜索和通道剪枝的神经网络模型压缩方法，其步骤(1)中训练轻量级网络搜寻模块依次包括：模型定义，权重初始化和缩放因子大方差高斯分布初始化，次梯度优化和参数迭代更新，判断损失函数是否收敛，否则返回次梯度优化和参数迭代更新，是则完成训练。
所述的一种基于结构搜索和通道剪枝的神经网络模型压缩方法，其步骤(1)中的神经网络结构搜索是从一个预定义的搜索空间
Figure BDA0003395396930000033
中由搜索策略选择一个结构A，然后把结构A传送到性能评估策略模块，最后由其返回一个性能评估结果给搜索策略；所述的搜索策略采用强化学习，是神经网络结构搜索任务中，将架构的生成看成是一个智能体在选择动作，再通过一个测试集上的效果预测函数来获得奖励；用循环神经网络来表示策略函数，初始化时先用策略梯度算法赋初值，然后用如下近端策略优化算法来进行优化：
Figure BDA0003395396930000034
Figure BDA0003395396930000035
所述的一种基于结构搜索和通道剪枝的神经网络模型压缩方法，其步骤(3)中训练过程采用带动量的小批量随机梯度下降优化方法，学习率采用预热方式，初始为0.01，每迭代20000次学习率乘以0.1，通过50000次迭代完成一次完整的训练。
本发明产生的有益效果是：
本专利方法主要采用基于特定数据集及任务驱动的神经网络结构搜索(NAS)轻量级网络设计、各层级结构对应缩放因子大方差高斯分布初始化和基于次梯度优化的一般化结构剪枝等模型压缩技术。
本发明与现有非结构化剪枝方法相比，无需特定的硬件加速器和计算库，实现部署简单；与现有结构化剪枝方法相比，该方法能够训练更加快速地收敛、裁剪粒度更加灵活和压缩率更大。
附图说明
图1是现有技术中的一般化结构化剪枝示意图；
图2为本发明NAS技术流程图；
图3为单元搜索空间示意图；
图4是本发明的算法处理流程框图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明。
本发明公开的一种基于结构搜索和通道剪枝的神经网络模型压缩方法，用于无人车、无人艇等目标检测，基于轻量级网络搜寻模块和剪枝微调模块，步骤如下：
(1)，由轻量级网络搜寻模块搜寻得到一个针对特定数据集及任务的较小网络：采用神经网络结构搜索(NAS)技术，针对神经网络模型当前数据集和任务，首先训练出一个精度不低但相比常规CNN参数量和计算量都较小的轻量级网络。
NAS技术的整体流程如图2所示：从一个预定义的搜索空间
Figure BDA0003395396930000041
中由搜索策略选择一个结构A，然后把结构A传送到性能评估策略模块，最后由其返回一个性能评估结果给搜索策略。
对于搜索空间，本专利方法中采用单元/模块搜索空间，结构单元/模块可以用更复杂的方式结合，比如多分枝空间，如图3所示。最终的网络架构便可以通过堆叠这些结构单元/模块来构建。单元(cell)搜索空间示意图中符号说明：sep表示depthwise-separableconvolution(深度可分离卷积)；max表示max pooling(最大池化)；identity表示短路连接；concat表示通道合并拼接。
对于搜索策略，本专利方法中采用强化学习。在NAS任务中，将架构的生成看成是一个智能体(agent)在选择动作(action)，再通过一个测试集上的效果预测函数来获得奖励(reward)。用循环神经网络(RNN)来表示策略函数(控制器)，初始化时先用策略梯度(policygradient)算法赋初值，然后用近端策略优化(Proximal Policy Optimization，PPO)算法来进行优化。PPO计算如下式：
Figure BDA0003395396930000051
Figure BDA0003395396930000052
(2)，通过baseline模型结构定义文件及稀疏率等超参数，由剪枝微调模块进行稀疏化训练、剪枝和微调，对轻量级网络搜寻模块进一步地压缩：以轻量级网络搜寻模块为baseline，如图1为网络中每一个group/block/channel层级的结构都赋予一个对应衡量其重要性的缩放因子γ，或者为方便直接采用BN层中的缩放因子γ，各层级结构对应缩放因子γ采用大方差高斯分布初始化，以提高模型的稀疏程度和压缩率，然后对缩放因子γ施加L1范数正则化；同时采用次梯度优化算法进行稀疏化训练，优化目标如下：
Figure BDA0003395396930000061
其中φ(γ)＝|γ|，Γ是缩放因子γ的集合，λ是正则项权重系数；
则L对某一γ分量γi的梯度为：
Figure BDA0003395396930000062
其中C0是原代价函数；
同时
Figure BDA0003395396930000063
sgn(γi)为符号函数，a表示处于[-1，1]之间的一个数值；
则针对γ的参数更新过程为：
Figure BDA0003395396930000064
其中，α是学习率。在本方法中，训练过程就采用简单的带动量的小批量随机梯度下降优化方法，学习率采用预热(warm up)方式，初始为0.01，每迭代20000次学习率乘以0.1，一次完整的训练共迭代50000次。
(3)，对于稀疏化训练完的模型，将模型中那些接近0的缩放因子对应的channel/group/block进行裁剪；再对模型进行微调；模型微调后如果能回到baseline的精度或下降在5％以内，则返回到步骤(2)，进行下一轮模型压缩剪枝，否则结束该程序，如图4所示。
上述实施例仅例示性说明本发明的原理及其功效，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (4)

1.一种基于结构搜索和通道剪枝的神经网络模型压缩方法，其特征在于：步骤如下
(1)，采用神经网络结构搜索技术，针对神经网络模型当前数据集和任务，训练出一个精度不低但相比常规CNN参数量和计算量都较小的轻量级网络搜寻模块；
(2)，以轻量级网络搜寻模块为baseline，为网络中每一个group/block/channel层级的结构都赋予一个对应衡量其重要性的缩放因子γ，或者直接采用BN层中的缩放因子γ，各层级结构对应缩放因子γ采用大方差高斯分布初始化，然后对缩放因子γ施加L1范数正则化；采用次梯度优化算法进行稀疏化训练，优化目标如下：
Figure FDA0003395396920000011
其中φ(γ)＝|γ|，Γ是缩放因子γ的集合，λ是正则项权重系数；
则L对某一γ分量γi的梯度为：
Figure FDA0003395396920000012
其中C0是原代价函数；
同时
Figure FDA0003395396920000013
sgn(γi)为符号函数，a表示处于[-1，1]之间的一个数值；
则针对γ的参数更新过程为
Figure FDA0003395396920000014
其中α是学习率；
(3)，对练完的模型中接近0的缩放因子γ对应的channel/group/block层级进行裁剪，再对模型进行微调，如果能回到baseline的精度或下降在5％以内，则返回到步骤2)，进行下一轮模型压缩剪枝；否则结束。
2.根据权利要求1所述的一种基于结构搜索和通道剪枝的神经网络模型压缩方法，其特征在于，所述的步骤(1)中训练轻量级网络搜寻模块依次包括：模型定义，权重初始化和缩放因子大方差高斯分布初始化，次梯度优化和参数迭代更新，判断损失函数是否收敛，否则返回次梯度优化和参数迭代更新，是则完成训练。
3.根据权利要求1所述的一种基于结构搜索和通道剪枝的神经网络模型压缩方法，其特征在于，所述步骤(1)中的神经网络结构搜索是从一个预定义的搜索空间
Figure FDA0003395396920000021
中由搜索策略选择一个结构A，然后把结构A传送到性能评估策略模块，最后由其返回一个性能评估结果给搜索策略；所述的搜索策略采用强化学习，是神经网络结构搜索任务中，将架构的生成看成是一个智能体在选择动作，再通过一个测试集上的效果预测函数来获得奖励；用循环神经网络来表示策略函数，初始化时先用策略梯度算法赋初值，然后用如下近端策略优化算法来进行优化：
Figure FDA0003395396920000022
Figure FDA0003395396920000023
4.根据权利要求1所述的一种基于结构搜索和通道剪枝的神经网络模型压缩方法，其特征在于，所述的步骤(3)中训练过程采用带动量的小批量随机梯度下降优化方法，学习率采用预热方式，初始为0.01，每迭代20000次学习率乘以0.1，通过50000次迭代完成一次完整的训练。
CN202111481512.0A 2021-12-06 2021-12-06 一种基于结构搜索和通道剪枝的神经网络模型压缩方法 Active CN114330644B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111481512.0A CN114330644B (zh) 2021-12-06 2021-12-06 一种基于结构搜索和通道剪枝的神经网络模型压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111481512.0A CN114330644B (zh) 2021-12-06 2021-12-06 一种基于结构搜索和通道剪枝的神经网络模型压缩方法

Publications (2)

Publication Number Publication Date
CN114330644A CN114330644A (zh) 2022-04-12
CN114330644B true CN114330644B (zh) 2022-12-16

Family

ID=81049024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111481512.0A Active CN114330644B (zh) 2021-12-06 2021-12-06 一种基于结构搜索和通道剪枝的神经网络模型压缩方法

Country Status (1)

Country Link
CN (1) CN114330644B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998648A (zh) * 2022-05-16 2022-09-02 电子科技大学 一种基于梯度架构搜索的表现预测压缩方法
CN115170902B (zh) * 2022-06-20 2024-03-08 美的集团(上海)有限公司 图像处理模型的训练方法
CN117131920B (zh) * 2023-10-26 2024-01-30 北京市智慧水务发展研究院 一种基于网络结构搜索的模型剪枝方法
CN117196418B (zh) * 2023-11-08 2024-02-02 江西师范大学 一种基于人工智能的阅读教学质量评估方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461322B (zh) * 2020-03-13 2024-03-08 中国科学院计算技术研究所 一种深度神经网络模型压缩方法
CN113222138A (zh) * 2021-04-25 2021-08-06 南京大学 一种联合层剪枝和通道剪枝的卷积神经网络压缩方法
CN113610227B (zh) * 2021-07-23 2023-11-21 人工智能与数字经济广东省实验室(广州) 一种用于图像分类的深度卷积神经网络剪枝方法

Also Published As

Publication number Publication date
CN114330644A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN114330644B (zh) 一种基于结构搜索和通道剪枝的神经网络模型压缩方法
CN109102126B (zh) 一种基于深度迁移学习的理论线损率预测模型
CN109492822B (zh) 空气污染物浓度时空域关联预测方法
US20220197233A1 (en) Wind power prediction method and system for optimizing deep transformer network
CN108091135B (zh) 基于优化小波神经网络的停车泊位多步预测方法
US10832123B2 (en) Compression of deep neural networks with proper use of mask
CN111860982A (zh) 一种基于vmd-fcm-gru的风电场短期风电功率预测方法
CN110046710A (zh) 一种神经网络的非线性函数极值优化方法及系统
CN111260124A (zh) 一种基于注意力机制深度学习的混沌时间序列预测方法
CN105260786A (zh) 一种电力推进系统仿真可信度评估模型综合优化方法
CN103559537B (zh) 一种乱序数据流中基于误差反向传播的模板匹配方法
CN115525038A (zh) 一种基于联邦分层优化学习的设备故障诊断方法
CN112766603A (zh) 一种交通流量预测方法、系统、计算机设备及存储介质
Manry et al. Signal processing using the multilayer perceptron
CN109886405A (zh) 一种抑制噪声的基于人工神经网络结构优化方法
CN113419424A (zh) 减少过估计的模型化强化学习机器人控制方法及系统
Xi et al. Air combat maneuver trajectory prediction model of target based on chaotic theory and IGA-VNN
CN109034497A (zh) 多晶硅还原工序能耗值的预测方法、系统、介质及设备
Alshaykha et al. Short-term traffic flow prediction model based on K-nearest neighbors and deep learning method
KR102110316B1 (ko) 뉴럴 네트워크를 이용한 변분 추론 방법 및 장치
CN111507499A (zh) 预测用模型的构建方法、测试方法、装置及系统
CN115453880A (zh) 基于对抗神经网络的用于状态预测的生成模型的训练方法
KR20200028801A (ko) 뉴럴 네트워크를 이용한 변분 추론 학습 방법 및 학습 장치, 그리고 이를 이용한 변분 추론 방법 및 장치
CN114895206A (zh) 基于改进灰狼优化算法的rbf神经网络的锂离子电池soh估计方法
KR20230033071A (ko) Gru 기반 구조물 시계열 응답 예측 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230707

Address after: 430223 Jiangxia Road 1, Mian Shan development area, Jiangxia District, Wuhan, Hubei

Patentee after: WUHAN HUAZHONG TIANJING TONGSHI TECHNOLOGY CO.,LTD.

Address before: 430000 981 Xiongchu street, Hongshan District, Wuhan City, Hubei Province

Patentee before: HUAZHONG OPTOELECTRONIC TECHNOLOGY Research Institute (THE 717TH RESEARCH INSTITUTE OF CSIC)

TR01 Transfer of patent right