CN107784360A - 步进式卷积神经网络剪枝压缩方法 - Google Patents

步进式卷积神经网络剪枝压缩方法 Download PDF

Info

Publication number
CN107784360A
CN107784360A CN201711021072.4A CN201711021072A CN107784360A CN 107784360 A CN107784360 A CN 107784360A CN 201711021072 A CN201711021072 A CN 201711021072A CN 107784360 A CN107784360 A CN 107784360A
Authority
CN
China
Prior art keywords
neuron
convolutional neural
neural networks
beta pruning
variance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711021072.4A
Other languages
English (en)
Inventor
牟星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JIANGSU AIGLIM TECHNOLOGY CO.,LTD.
Original Assignee
Jiangsu Ring Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Ring Technology Co Ltd filed Critical Jiangsu Ring Technology Co Ltd
Priority to CN201711021072.4A priority Critical patent/CN107784360A/zh
Publication of CN107784360A publication Critical patent/CN107784360A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种步进式卷积神经网络剪枝压缩方法，利用GPU计算卷积神经网络模型中每一层神经元的L1范数和方差；根据每一层神经元的L1范数和方差估计每一个神经元当前时刻的重要性；对于当前时刻不重要的神经元，将其强制设置为0，同时将相同位置的反向传播误差项也强制设置为0；卷积神经网络进行m次迭代训练后，重新计算并评估；重新评估过后的所有活动神经元参加下一轮的m次迭代；重复上述过程n次，使学习率随迭代步数进行阶梯式衰减，通过将卷积神经网络中当前时刻不重要的神经元进行剪枝操作，多次迭代后再进行判断，恢复当前时刻重要的神经元，剪枝当前时刻不重要的神经元，重复操作，达到对卷积神经网络进行有效压缩和快速计算的目的。

Description

步进式卷积神经网络剪枝压缩方法
技术领域
本发明涉及卷积神经网络剪枝压缩技术领域，具体涉及一种步进式卷积神经网络剪枝压缩方法。
背景技术
卷积神经网络(Convolutional Neural Networks，CNN)是自2012年快速发展起来、引起广泛重视的一种高效图片识别分类方法深度学习架构，该架构有效提高了图像分类和物体识别的能力。与传统的特征手工提取的方法相比，CNN可以直接输入原始图像、避免了繁杂的前期预处理，且识别精度较高；与传统的反向传输(Back Propagation，BP)神经网络相比，CNN由于使用了共享策略，其神经元的个数大大减少，从而在一定程度上避免了过拟合的现象。
然而对于嵌入式终端设备，由于其计算资源和存储资源比较有限，因此，想要较小的占用内存资源同时获得较快的inference速度，大部分CNN网络例如VGG19/VGG16，ResNet，GoogLeNet等只能部署在有GPU或者FPGA支持的高端云平台。2016年，ICLR的bestpaper提出了一种压缩剪枝方案(Deep Compression)，但是其算法对无效神经元的估计只是对神经元的绝对值大小简单设定了一个阈值，并未考虑到训练过程中神经元的复杂变化，因此压缩效率依然不能令人满意。
发明内容
为解决上述技术问题，本发明提出了一种步进式卷积神经网络剪枝压缩方法，以达到对卷积神经网络进行有效压缩和快速计算的目的。
为达到上述目的，本发明的技术方案如下：一种步进式卷积神经网络剪枝压缩方法，包括：利用GPU计算卷积神经网络模型中每一层神经元的L1范数和方差；根据每一层神经元的L1范数和方差估计每一个神经元当前时刻的重要性；对于满足公式的神经元，第一次将其强制设置为0，同时将相同位置的反向传播误差项也强制设置为0；卷积神经网络进行m次迭代训练后，重新计算当前神经元和第一次被置零的神经元的L1范数和方差；根据重新计算的L1范数和方差对神经元进行重新评估；若当前神经元满足公式则将其强制设置为0，同时将相同位置的反向传播误差项也强制设置为0；若第一次被置零的神经元满足公式则将其恢复成原来的数值同时激活反向误差传递时的误差项；重新评估后满足的所有神经元参加下一轮的m次迭代；重复上述过程n次，使学习率随迭代步数进行阶梯式衰减。
作为优选的，所述m次迭代是人工设置的迭代次数。
作为优选的，所述公式和公式的α,β为超参数，所述超参数是根据数据分布和训练框架和方式得到的参数，用于控制压缩的效率以及训练的收敛速度，当α＝0.8,β＝1.1时压缩效率与收敛速度可以达到较好的平衡。
本发明具有如下优点：
(1).本发明在训练的过程中动态估计每个神经元的重要性，通过不断优化的最小损失函数来优化网络。
(2).在训练过程中被置零的神经元在不同的迭代阶段会被激活，而不是彻底死亡，更好的减少精度的降低，提高了训练速度。
(3).本发明可以调整超参数α,β的大小，用来控制压缩的效率以及训练的收敛速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例公开的步进式卷积神经网络剪枝压缩方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本发明提供了一种步进式卷积神经网络剪枝压缩方法，其工作原理是通过将卷积神经网络中当前时刻不重要的神经元进行剪枝操作，多次迭代后再进行判断，恢复当前时刻重要的神经元，剪枝当前时刻不重要的神经元，重复操作，达到对卷积神经网络进行有效压缩和快速计算的目的。
下面结合实施例和具体实施方式对本发明作进一步详细的说明。
如图1所示，一种步进式卷积神经网络剪枝压缩方法，包括：利用GPU计算卷积神经网络模型中每一层神经元的L1范数和方差；根据每一层神经元的L1范数和方差估计每一个神经元当前时刻的重要性；对于满足公式的神经元，第一次将其强制设置为0，同时将相对位置的反向传播误差项也强制设置为0；卷积神经网络进行m次迭代训练后，重新计算当前神经元和第一次被置的零神经元的L1范数和方差；根据重新计算的L1范数和方差对神经元进行重新评估；若当前神经元满足公式则将其强制设置为0，同时将相对位置的反向传播误差项也强制设置为0；若第一次被置零的神经元满足公式则将其恢复成原来的数值同时激活反向误差传递时的误差项；重新评估后满足的神经元参加下一轮的m次迭代；记录迭代的次数，并重复进行迭代，当迭代次数等于n时，结束进程，使学习率随迭代步数进行阶梯式衰减。
其中，l表示层数，i，j表示输入与输出的连接编号，l1表示L1范数，std表示方差，α,β为超参数
其中，所述m次迭代是人工设置的迭代次数。
其中，所述公式和公式的α,β为超参数，所述超参数是根据数据分布和训练框架和方式得到的参数，用于控制压缩的效率以及训练的收敛速度，当α＝0.8,β＝1.1时压缩效率与收敛速度可以达到较好的平衡。
为了发挥GPU的计算能力避免不必要的分支判断，引入标记数组d_prune_index，将暂时被剪掉的神经元在数组中标记为0，否则标记为1。对相同位置的反向传播的误差项也采用类似的标记数组。剪枝时可以直接使用BLAS LEVEL1函数进行计算。
以上所述的仅是本发明所公开的一种步进式卷积神经网络剪枝压缩方法的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (3)

1.一种步进式卷积神经网络剪枝压缩方法，其特征在于，包括：利用GPU计算卷积神经网络模型中每一层神经元的L1范数和方差；根据每一层神经元的L1范数和方差估计每一个神经元当前时刻的重要性；对于满足公式的神经元，第一次将其强制设置为0，同时将相同位置的反向传播误差项也强制设置为0；卷积神经网络进行m次迭代训练后，重新计算当前神经元和第一次被置零的神经元的L1范数和方差；根据重新计算的L1范数和方差对神经元进行重新评估；若当前神经元满足公式则将其强制设置为0，同时将相同位置的反向传播误差项也强制设置为0；若第一次被置零的神经元满足公式则将其恢复成原来的数值同时激活相同位置反向传递的误差项；重新评估后的满足公式的神经元参加下一轮的m次迭代；重复上述过程n次，使学习率随迭代步数进行阶梯式衰减。
2.根据权利要求1所述的步进式卷积神经网络剪枝压缩方法，其特征在于，所述m次迭代是人工设置的迭代次数。
3.根据权利要求1所述的步进式卷积神经网络剪枝压缩方法，其特征在于，所述公式和公式的α,β为超参数，所述超参数是根据数据分布和训练框架和方式得到的参数，用于控制压缩的效率以及训练的收敛速度，当α＝0.8,β＝1.1时压缩效率与收敛速度可以达到较好的平衡。
CN201711021072.4A 2017-10-27 2017-10-27 步进式卷积神经网络剪枝压缩方法 Pending CN107784360A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711021072.4A CN107784360A (zh) 2017-10-27 2017-10-27 步进式卷积神经网络剪枝压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711021072.4A CN107784360A (zh) 2017-10-27 2017-10-27 步进式卷积神经网络剪枝压缩方法

Publications (1)

Publication Number Publication Date
CN107784360A true CN107784360A (zh) 2018-03-09

Family

ID=61431603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711021072.4A Pending CN107784360A (zh) 2017-10-27 2017-10-27 步进式卷积神经网络剪枝压缩方法

Country Status (1)

Country Link
CN (1) CN107784360A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034370A (zh) * 2018-06-27 2018-12-18 中国人民解放军陆军工程大学 一种基于特征映射剪枝的卷积神经网络精简方法
CN109086866A (zh) * 2018-07-02 2018-12-25 重庆大学 一种适用于嵌入式设备的部分二值卷积方法
CN110472736A (zh) * 2019-08-26 2019-11-19 联想(北京)有限公司 一种裁剪神经网络模型的方法和电子设备
CN110472462A (zh) * 2018-05-11 2019-11-19 北京三星通信技术研究有限公司 姿态估计方法、基于姿态估计的处理方法及电子设备
CN110826684A (zh) * 2018-08-08 2020-02-21 北京交通大学 卷积神经网络的压缩方法、装置、电子设备和介质
CN112734036A (zh) * 2021-01-14 2021-04-30 西安电子科技大学 基于剪枝卷积神经网络的目标检测方法
CN112862058A (zh) * 2019-11-26 2021-05-28 北京市商汤科技开发有限公司 神经网络的训练方法、装置和设备

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472462A (zh) * 2018-05-11 2019-11-19 北京三星通信技术研究有限公司 姿态估计方法、基于姿态估计的处理方法及电子设备
CN109034370A (zh) * 2018-06-27 2018-12-18 中国人民解放军陆军工程大学 一种基于特征映射剪枝的卷积神经网络精简方法
CN109086866A (zh) * 2018-07-02 2018-12-25 重庆大学 一种适用于嵌入式设备的部分二值卷积方法
CN109086866B (zh) * 2018-07-02 2021-07-30 重庆大学 一种适用于嵌入式设备的部分二值卷积方法
CN110826684A (zh) * 2018-08-08 2020-02-21 北京交通大学 卷积神经网络的压缩方法、装置、电子设备和介质
CN110826684B (zh) * 2018-08-08 2022-04-05 北京交通大学 卷积神经网络的压缩方法、装置、电子设备和介质
CN110472736A (zh) * 2019-08-26 2019-11-19 联想(北京)有限公司 一种裁剪神经网络模型的方法和电子设备
CN110472736B (zh) * 2019-08-26 2022-04-22 联想(北京)有限公司 一种裁剪神经网络模型的方法和电子设备
CN112862058A (zh) * 2019-11-26 2021-05-28 北京市商汤科技开发有限公司 神经网络的训练方法、装置和设备
CN112862058B (zh) * 2019-11-26 2022-11-25 北京市商汤科技开发有限公司 神经网络的训练方法、装置和设备
CN112734036A (zh) * 2021-01-14 2021-04-30 西安电子科技大学 基于剪枝卷积神经网络的目标检测方法

Similar Documents

Publication Publication Date Title
CN107784360A (zh) 步进式卷积神经网络剪枝压缩方法
CN109635936A (zh) 一种基于重训练的神经网络剪枝量化方法
CN105224986B (zh) 基于忆阻器件的深度神经网络系统
CN108510012A (zh) 一种基于多尺度特征图的目标快速检测方法
CN107798381A (zh) 一种基于卷积神经网络的图像识别方法
CN108052512A (zh) 一种基于深度注意力机制的图像描述生成方法
CN106779068A (zh) 调整人工神经网络的方法和装置
CN107330446A (zh) 一种面向图像分类的深度卷积神经网络的优化方法
CN107464210A (zh) 一种基于生成式对抗网络的图像风格迁移方法
CN107766794A (zh) 一种特征融合系数可学习的图像语义分割方法
CN106845529A (zh) 基于多视野卷积神经网络的影像特征识别方法
CN108081266A (zh) 一种基于深度学习的机械臂手部抓取物体的方法
CN111709321B (zh) 一种基于图卷积神经网络的人体行为识别方法
CN111340814A (zh) 一种基于多模态自适应卷积的rgb-d图像语义分割方法
CN108038539A (zh) 一种集成长短记忆循环神经网络与梯度提升决策树的方法
CN106776540A (zh) 一种自由化文本生成方法
CN107622305A (zh) 用于神经网络的处理器和处理方法
CN108564166A (zh) 基于带对称跨层连接的卷积神经网络半监督特征学习方法
CN106951959A (zh) 基于学习自动机的深度神经网络优化方法
CN109086768A (zh) 卷积神经网络的语义图像分割方法
CN108304786A (zh) 一种基于二值化卷积神经网络的行人检测方法
CN107871142A (zh) 一种基于深度卷积对抗网络模型的空洞卷积方法
CN109993302A (zh) 基于知识迁移的卷积神经网络通道自选择压缩与加速方法
CN111931813A (zh) 一种基于cnn的宽度学习分类方法
CN110097110A (zh) 一种基于目标优化的语义图像修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 210000 4 405, No. 180 Software Avenue, Yuhuatai District, Nanjing City, Jiangsu Province

Applicant after: NANJING HULIAN INTELLIGENT TECHNOLOGY Co.,Ltd.

Address before: 210000 Jiangsu Province Nanjing Software Avenue 180 Big Data Industry Base 4 405

Applicant before: JIANGSU HUANSHI TECHNOLOGY CO.,LTD.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20190505

Address after: 518000 Maikelong Building 702A, No. 6 Nanliu Road, Gaoxin, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: JIANGSU AIGLIM TECHNOLOGY CO.,LTD.

Address before: 210000 4 405, No. 180 Software Avenue, Yuhuatai District, Nanjing City, Jiangsu Province

Applicant before: NANJING HULIAN INTELLIGENT TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20180309

RJ01 Rejection of invention patent application after publication