CN111340225A - 一种基于深度卷积神经网络模型压缩和加速方法 - Google Patents

一种基于深度卷积神经网络模型压缩和加速方法 Download PDF

Info

Publication number
CN111340225A
CN111340225A CN202010126702.XA CN202010126702A CN111340225A CN 111340225 A CN111340225 A CN 111340225A CN 202010126702 A CN202010126702 A CN 202010126702A CN 111340225 A CN111340225 A CN 111340225A
Authority
CN
China
Prior art keywords
model
training
pruning
neural network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010126702.XA
Other languages
English (en)
Inventor
罗文�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sinocloud Wisdom Beijing Technology Co Ltd
Original Assignee
Sinocloud Wisdom Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sinocloud Wisdom Beijing Technology Co Ltd filed Critical Sinocloud Wisdom Beijing Technology Co Ltd
Priority to CN202010126702.XA priority Critical patent/CN111340225A/zh
Publication of CN111340225A publication Critical patent/CN111340225A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/05Recognition of patterns representing particular kinds of hidden objects, e.g. weapons, explosives, drugs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于深度卷积神经网络模型压缩和加速方法,包括以下步骤:S1:搭建深度卷积神经网络模型,并使用训练数据对所述模型进行训练,得到预训练模型;S2:按照剪枝比率A,求解得到所述预训练模型中卷积层的冗余通道,对所述冗余通道对应的网络权重参数置零,得到剪枝模型;S3:对所述剪枝模型使用稀疏训练的方式进行训练,得到收敛剪枝模型;S4:根据所述预训练模型和所述收敛剪枝模型,搭建新网络模型;S5:将所述收敛剪枝模型的网络参数按照对应关系赋值给所述新网络模型,得到最终模型,并存储。在本发明在保持准确率基本不变的情况下,压缩模型并降低了预测时间,提升模型的检测效率。

Description

一种基于深度卷积神经网络模型压缩和加速方法
技术领域
本发明涉及深度学习领域,特别是涉及一种基于深度卷积神经网络模型压缩和加速方法。
背景技术
随着深度卷积神经网络的广泛应用,为达到更高的准确率,深度卷积神经网络引入更多的神经元、增加更多的网络层数,这导致深度卷积神经网络的参数变多、模型变大、预测时间变长。而在存储空间和计算资源有限的移动终端或嵌入式设备中,往往难以部署较大的模型。
发明内容
有鉴于此,为克服大模型在存储空间和计算资源有限的移动终端或嵌入式设备的部署问题,本发明提出了一种基于深度卷积神经网络模型压缩和加速方法,该方法在保持模型准确率不变的情况下,压缩深度卷积神经网络模型,降低模型预测时间。具体内容如下:
一种基于深度卷积神经网络模型压缩和加速方法,包括以下步骤:
S1:搭建深度卷积神经网络模型,并使用训练数据对所述模型进行训练,得到预训练模型;
S2:按照剪枝比率A,求解得到所述预训练模型中卷积层的冗余通道,对所述冗余通道对应的网络权重参数置零,得到剪枝模型;
S3:对所述剪枝模型使用稀疏训练的方式进行训练,得到收敛剪枝模型;
S4:根据所述预训练模型和所述收敛剪枝模型,搭建新网络模型;
S5:将所述收敛剪枝模型的网络参数按照对应关系赋值给所述新网络模型,得到最终模型,并存储。
进一步,所述S2包括:通过LASSO回归算法求解得到所述预训练模型中卷积层的冗余通道。
进一步,所述新网络模型不包含所述剪枝模型中的冗余通道。
进一步,所述S5中对最终模型的存储包括:采用三元组方式存储。
进一步,所述剪枝比率A为0.1-0.5。
本发明的有益效果在于:
本发明在保持准确率基本不变的情况下,压缩模型并降低了运算时间和存储空间,提升模型的预测效率。
具体实施方式
下面将更加详细地描述本公开的示例性实施例。应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
一种基于深度卷积神经网络模型压缩和加速方法,包括以下步骤:
S1:搭建深度卷积神经网络模型,并使用训练数据对所述模型进行训练,得到预训练模型。
搭建resnet18基于imagenet数据集的分类网络,所述分类网络包含卷积层和全连接层,并使用训练数据集对该网络进行训练,训练至收敛,训练收敛的模型作为预训练模型;imagenet数据集包含分类用图片以及图片标签;模型训练是指使用训练集数据对模型中的网络权重参数进行优化,以得到更好的网络权重参数;网络模型包含网络结构和网络权重参数。
所述分类网络即网络模型。所述Resnet18中,18指定的是带有权重的18层,包括卷积层和全连接层。神经网络是用来作预测的,例如现在有一个训练好的分类神经网络,给这个网络输入一张图片,网络就会输出这张图可能含有的物品。数据集是用来训练分类网络的;分类网络会根据数据集标注的类别最后回归成哪几类的分类任务。
S2:按照剪枝比率A,通过LASSO回归算法求解得到所述预训练模型中卷积层的冗余通道,对所述冗余通道对应的网络权重参数置零,得到剪枝模型。
剪枝比率是指求解出来的冗余通道数占卷积输入通道的比率。本实例剪枝比率A为0.1-0.5,优选为0.2。
获取预训练模型各卷积层的权重参数,卷积层权重参数是由n(输入通道)、h(高)、w(宽)、c(输出通道)组成的4-D张量。
在训练数据集中采样30张图片,使用这部分图片在预训练模型上作前向传播,并获取每一个卷积层对应的输入数据和输出数据。以第一层卷积层求解冗余通道为例,先将当前卷积层的输入数据、输出数据、卷积权重转换为二维数据,然后再使用LASSO回归算法,求解出冗余通道;其余的卷积层按照第一层卷积层求解冗余通道相同的操作进行。
对于一个卷积层,定义其输入特征图为
Figure BDA0002394613490000031
(N-批量大小,hi、wi-输入特征图宽和高,ci-卷积输入通道数),定义卷积权重为
Figure BDA0002394613490000032
Figure BDA0002394613490000033
(kh、kw-卷积核大小,co-卷积输出通道数),则卷积输出特征图
Figure BDA0002394613490000034
(ho、hw-卷积输出特征图大小,f(·)-卷积操作);卷积操作可以理解为矩阵相乘,输入特征图X可以生成Nhowo×hkwkci的矩阵,卷积权重可以生成hkwkci×co的矩阵,则将两个矩阵相乘得到的结果Y=XW,最终结果可以通过改变维度恢复成4维的输出特征图。
进一步,将X分解为ci个矩阵{Xi},每个大小为Nhowo×hkwk;同理将W分解为ci个矩阵{Wi},每个大小为hkwk×co;则输出特征图可以改写为
Figure BDA0002394613490000035
通过假如一个二进制掩码向量β,来决定那些通道剪掉(即βi=0)那些通道不减掉(即βi=1),则考虑在稀疏性约束下输出特征图的重构误差,可以通过LASSO回归算法来求解,使得重构误差最小,即通过求解
Figure BDA0002394613490000036
(||β||1-l1正则化,λ-常数系数,决定了剪枝通道数量)可得。
对所有的卷积层,创建一个与当前卷积层同样大小的4-D张量的二进制掩码,将对应冗余通道的二进制掩码置0,其余通道置1;并将预训练模型中对应卷积层的权重参数置0,以得到剪枝模型。
S3:对所述剪枝模型使用稀疏训练的方式进行训练,得到收敛剪枝模型。
对S2得到的剪枝网络所有的全连接层,创建一个同样大小的二进制掩码,使剪枝网络在训练过程中,前向传播时全连接和卷积层权重先与二进制掩码相乘,二进制掩码为零的位置对应的权重不参与计算,在反向传播时也不更新;初始状态下全连接层的二进制掩码全为一,卷积层的二进制掩码为S2中的所述的二进制掩码;
使用imagenet数据集对所述网络进行训练时,每迭代训练1000次对网络中卷积层和全连接层中权重值绝对值小于0.001对应位置的二进制掩码置零;
继续训练,直至模型收敛,得到收敛剪枝模型。
S4:根据所述预训练模型所述收敛剪枝模型,搭建新网络模型,使得新网络模型不包含S2中所述卷积层冗余通道。
S5:按照对应关系将所述收敛剪枝模型的网络权重参数赋值给所述新网络模型,得到最终模型,并存储。
使用key-value分布式存储方式对新网络权重进行存储,即对卷积层和全连接层的权重矩阵中非零元素采用位置和值的存储方式进行存储。
将上述压缩和加速方法处理得到的模型,部署到移动终端或嵌入式设备,例如:手机、Pad、arm系列开发板/功能板等。模型预测一张图片中的待分类物品是什么类别(例如:X光机图片中的违禁品是哪一类违禁品)。预测速度提升10%-30%,模型存储空间降低10%-45%。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (5)

1.一种基于深度卷积神经网络模型压缩和加速方法,其特征在于,包括以下步骤:
S1:搭建深度卷积神经网络模型,并使用训练数据对所述模型进行训练,得到预训练模型;
S2:按照剪枝比率A,求解得到所述预训练模型中卷积层的冗余通道,对所述冗余通道对应的网络权重参数置零,得到剪枝模型;
S3:对所述剪枝模型使用稀疏训练的方式进行训练,得到收敛剪枝模型;
S4:根据所述预训练模型和所述收敛剪枝模型,搭建新网络模型;
S5:将所述收敛剪枝模型的网络参数按照对应关系赋值给所述新网络模型,得到最终模型,并存储。
2.根据权利要求1所述的基于深度卷积神经网络模型压缩和加速方法,其特征在于,所述S2包括:通过LASSO回归算法求解得到所述预训练模型中卷积层的冗余通道。
3.根据权利要求1所述的基于深度卷积神经网络模型压缩和加速方法,其特征在于,所述新网络模型不包含所述剪枝模型中的冗余通道。
4.根据权利要求1所述的基于深度卷积神经网络模型压缩和加速方法,其特征在于,所述S5中对最终模型的存储包括:采用三元组方式存储。
5.根据权利要求1所述的基于深度卷积神经网络模型压缩和加速方法,其特征在于,所述剪枝比率A为0.1-0.5。
CN202010126702.XA 2020-02-28 2020-02-28 一种基于深度卷积神经网络模型压缩和加速方法 Pending CN111340225A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010126702.XA CN111340225A (zh) 2020-02-28 2020-02-28 一种基于深度卷积神经网络模型压缩和加速方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010126702.XA CN111340225A (zh) 2020-02-28 2020-02-28 一种基于深度卷积神经网络模型压缩和加速方法

Publications (1)

Publication Number Publication Date
CN111340225A true CN111340225A (zh) 2020-06-26

Family

ID=71185535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010126702.XA Pending CN111340225A (zh) 2020-02-28 2020-02-28 一种基于深度卷积神经网络模型压缩和加速方法

Country Status (1)

Country Link
CN (1) CN111340225A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881828A (zh) * 2020-07-28 2020-11-03 浙江大学 一种面向移动端设备的障碍物检测方法
CN112132219A (zh) * 2020-09-24 2020-12-25 天津锋物科技有限公司 一种基于移动端的深度学习检测模型的通用部署方案
CN112396179A (zh) * 2020-11-20 2021-02-23 浙江工业大学 一种基于通道梯度剪枝的柔性深度学习网络模型压缩方法
CN112561040A (zh) * 2021-02-25 2021-03-26 之江实验室 面向神经网络模型的滤波器分布感知训练加速方法及平台
CN112613610A (zh) * 2020-12-25 2021-04-06 国网江苏省电力有限公司信息通信分公司 一种基于联合动态剪枝的深度神经网络压缩方法
CN112883982A (zh) * 2021-01-08 2021-06-01 西北工业大学 一种面向神经网络稀疏特征的数据去零编码及封装方法
CN113411583A (zh) * 2021-05-24 2021-09-17 西北工业大学 基于维度拆分的图像压缩方法
CN113537452A (zh) * 2021-02-25 2021-10-22 中国人民解放军战略支援部队航天工程大学 一种通信信号调制识别的自动模型压缩方法
CN113807517A (zh) * 2021-09-18 2021-12-17 成都数联云算科技有限公司 剪枝参数搜索方法及剪枝方法、装置、设备、介质
CN113947185A (zh) * 2021-09-30 2022-01-18 北京达佳互联信息技术有限公司 任务处理网络生成、任务处理方法、装置、电子设备及存储介质
CN117131908A (zh) * 2023-10-20 2023-11-28 华东交通大学 一种基于退火衰减的深度卷积神经网络的压缩方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919942A (zh) * 2017-01-18 2017-07-04 华南理工大学 用于手写汉字识别的深度卷积神经网络的加速压缩方法
CN109492754A (zh) * 2018-11-06 2019-03-19 深圳市友杰智新科技有限公司 一种基于深度神经网络模型压缩和加速方法
US20190122113A1 (en) * 2017-10-19 2019-04-25 International Business Machines Corporation Pruning Redundant Neurons and Kernels of Deep Convolutional Neural Networks
CN109886397A (zh) * 2019-03-21 2019-06-14 西安交通大学 一种针对卷积层的神经网络结构化剪枝压缩优化方法
CN110619385A (zh) * 2019-08-31 2019-12-27 电子科技大学 基于多级剪枝的结构化网络模型压缩加速方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919942A (zh) * 2017-01-18 2017-07-04 华南理工大学 用于手写汉字识别的深度卷积神经网络的加速压缩方法
US20190122113A1 (en) * 2017-10-19 2019-04-25 International Business Machines Corporation Pruning Redundant Neurons and Kernels of Deep Convolutional Neural Networks
CN109492754A (zh) * 2018-11-06 2019-03-19 深圳市友杰智新科技有限公司 一种基于深度神经网络模型压缩和加速方法
CN109886397A (zh) * 2019-03-21 2019-06-14 西安交通大学 一种针对卷积层的神经网络结构化剪枝压缩优化方法
CN110619385A (zh) * 2019-08-31 2019-12-27 电子科技大学 基于多级剪枝的结构化网络模型压缩加速方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881828A (zh) * 2020-07-28 2020-11-03 浙江大学 一种面向移动端设备的障碍物检测方法
CN111881828B (zh) * 2020-07-28 2022-05-06 浙江大学 一种面向移动端设备的障碍物检测方法
CN112132219A (zh) * 2020-09-24 2020-12-25 天津锋物科技有限公司 一种基于移动端的深度学习检测模型的通用部署方案
CN112396179A (zh) * 2020-11-20 2021-02-23 浙江工业大学 一种基于通道梯度剪枝的柔性深度学习网络模型压缩方法
CN112613610A (zh) * 2020-12-25 2021-04-06 国网江苏省电力有限公司信息通信分公司 一种基于联合动态剪枝的深度神经网络压缩方法
CN112883982A (zh) * 2021-01-08 2021-06-01 西北工业大学 一种面向神经网络稀疏特征的数据去零编码及封装方法
CN112883982B (zh) * 2021-01-08 2023-04-18 西北工业大学 一种面向神经网络稀疏特征的数据去零编码及封装方法
CN112561040A (zh) * 2021-02-25 2021-03-26 之江实验室 面向神经网络模型的滤波器分布感知训练加速方法及平台
CN113537452A (zh) * 2021-02-25 2021-10-22 中国人民解放军战略支援部队航天工程大学 一种通信信号调制识别的自动模型压缩方法
CN113411583B (zh) * 2021-05-24 2022-09-02 西北工业大学 基于维度拆分的图像压缩方法
CN113411583A (zh) * 2021-05-24 2021-09-17 西北工业大学 基于维度拆分的图像压缩方法
CN113807517A (zh) * 2021-09-18 2021-12-17 成都数联云算科技有限公司 剪枝参数搜索方法及剪枝方法、装置、设备、介质
CN113807517B (zh) * 2021-09-18 2024-02-02 成都数联云算科技有限公司 剪枝参数搜索方法及剪枝方法、装置、设备、介质
CN113947185B (zh) * 2021-09-30 2022-11-18 北京达佳互联信息技术有限公司 任务处理网络生成、任务处理方法、装置、电子设备及存储介质
CN113947185A (zh) * 2021-09-30 2022-01-18 北京达佳互联信息技术有限公司 任务处理网络生成、任务处理方法、装置、电子设备及存储介质
CN117131908A (zh) * 2023-10-20 2023-11-28 华东交通大学 一种基于退火衰减的深度卷积神经网络的压缩方法
CN117131908B (zh) * 2023-10-20 2024-01-30 华东交通大学 一种基于退火衰减的深度卷积神经网络的压缩方法

Similar Documents

Publication Publication Date Title
CN111340225A (zh) 一种基于深度卷积神经网络模型压缩和加速方法
CN112396179A (zh) 一种基于通道梯度剪枝的柔性深度学习网络模型压缩方法
CN111222628B (zh) 循环神经网络训练优化方法、设备、系统及可读存储介质
CN110796619A (zh) 一种图像处理模型训练方法、装置、电子设备及存储介质
CN110298446B (zh) 面向嵌入式系统的深度神经网络压缩和加速方法及系统
WO2014060001A1 (en) Multitransmitter model of the neural network with an internal feedback
CN110782022A (zh) 一种面向可编程逻辑器件移动终端的小型神经网络的实现方法
CN112232165B (zh) 一种数据处理方法、装置、计算机及可读存储介质
CN111814973B (zh) 一种适用于神经常微分方程网络计算的存内计算系统
JP6902318B2 (ja) ニューラルネットワークの全結合層を畳み込み層に置き換えるプログラム
US9471885B1 (en) Predictor-corrector method for knowledge amplification by structured expert randomization
CN110647974A (zh) 深度神经网络中的网络层运算方法及装置
CN114283347B (zh) 目标检测方法、系统、智能终端及计算机可读存储介质
CN111539458A (zh) 特征图处理方法、装置、电子设备及存储介质
WO2023123930A1 (zh) 一种图像处理方法、系统、设备及可读存储介质
US11580387B2 (en) Combining point observations with raster data for machine learning
CN115759413A (zh) 一种气象预测方法、装置、存储介质及电子设备
CN113424200A (zh) 用于视频编码和视频解码的方法、装置和计算机程序产品
CN113490955B (zh) 用于产生金字塔层的架构的系统和方法
Bressloff et al. Neural networks, learning automata and iterated function systems
CN115587217A (zh) 一种多终端视频检测模型在线重训练方法
Jiao et al. Realization and improvement of object recognition system on raspberry pi 3b+
CN111598218B (zh) 基于卷积神经网络的图像数据处理方法和装置、存储介质
Müller et al. Randomized unregulated step descent for limited precision synaptic elements
CN114372539A (zh) 基于机器学习框架的分类方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200626

WD01 Invention patent application deemed withdrawn after publication