CN113935485B - 一种基于相邻层权重的卷积神经网络裁剪方法 - Google Patents

一种基于相邻层权重的卷积神经网络裁剪方法 Download PDF

Info

Publication number
CN113935485B
CN113935485B CN202111531593.0A CN202111531593A CN113935485B CN 113935485 B CN113935485 B CN 113935485B CN 202111531593 A CN202111531593 A CN 202111531593A CN 113935485 B CN113935485 B CN 113935485B
Authority
CN
China
Prior art keywords
convolution
layer
neural network
convolutional neural
convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111531593.0A
Other languages
English (en)
Other versions
CN113935485A (zh
Inventor
杨岸青
王彬
徐凯
陈石
赵佳佳
袁明亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Daoyuan Technology Group Co.,Ltd.
Original Assignee
Jiangsu Peregrine Microelectronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Peregrine Microelectronics Co ltd filed Critical Jiangsu Peregrine Microelectronics Co ltd
Priority to CN202111531593.0A priority Critical patent/CN113935485B/zh
Publication of CN113935485A publication Critical patent/CN113935485A/zh
Application granted granted Critical
Publication of CN113935485B publication Critical patent/CN113935485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于相邻层权重的卷积神经网络裁剪方法，计算卷积神经网络中各卷积层中的每个卷积核的权重以及下一层对应通道的权重；对于各卷积层，计算每个卷积核的权重绝对值之和以及下一层对应通道的权重绝对值之和，并与对应所作卷积运算次数相乘后相加，得到衡量卷积层中各卷积核重要性的参数C，将m个C值小于阈值的卷积核以及对应的特征图都裁剪掉，同时裁剪掉下一个卷积层中与被裁剪掉的特征图进行卷积的通道；对裁剪后的网络进行再训练后完成网络裁剪。本方法通过对用于人脸识别等的卷积神经网的当前卷积层权重、下一卷积层权重、卷积运算次数三个要素综合考量，能够在不损失精度的情况下对卷积神经网络进行裁剪。

Description

一种基于相邻层权重的卷积神经网络裁剪方法
技术领域
本发明涉及一种卷积神经网络裁剪方法。
背景技术
卷积神经网络（Convolutional Neural Networks）是一种包含卷积计算且具有深度结构的前馈神经网络，其在图像分类，图像检测，语义分割和视频追踪等领域有着广泛的应用。
随着人工智能技术在生活中的应用越来越多，卷积神经网络的边缘计算也开始兴起，然而效果优秀的卷积神经网络往往参数非常多，限制了其在移动端或者嵌入式芯片上的本地运行。因此往往需要对原有的神经网络进行一定的裁剪。因此如何在不损失精度的条件下对卷积神经网络进行裁剪成为了一个具有实用价值的技术。
发表于ICLR 2017的《Pruning Filters for Efficient ConvNets》公开了一种神经网络裁剪方法，对于卷积神经网络中的一次卷积，过程如图1所示，n i 个大小为w i *h i 的特征图X i 与n i+1个通道数为n i 的卷积核进行卷积，产生n i+1个特征图，而这个特征图又将与n i+2个通道数为n i+1的卷积核进行卷积，产生n i+2个特征图。一旦裁剪掉一个卷积核，那么其输出的特征图数量将减少一个，下一层的卷积核也将对应的减少一个通道。该论文中，确定在单层中需要剪枝的卷积核的方法为：把卷积神经网络的参数权重绝对值之和作为量化的标准，对每一个卷积神经网络的卷积核进行排序，然后去除权重绝对值之和最小的数个卷积核，并去除其下一层对应的通道。对卷积神经网络每层都执行这样的操作，最后即可获得减小了参数量而不损失太多精度的网络。
然而上述方法事实上存在着一个缺陷：由于在去除当前层卷积核时需要同时去除下一层对应的通道，在执行模型裁剪时却没有考虑到下一层的权重。如果被去除的下一层通道权值较大，就可能会带来较大的精度损失。
发明内容
发明目的：针对上述现有技术，提出一种基于相邻层权重的卷积神经网络裁剪方法，能够在不损失精度的情况下对卷积神经网络进行裁剪。
技术方案：一种基于相邻层权重的卷积神经网络裁剪方法，包括：
步骤1：构建卷积神经网络，采集人脸图像数据，对所述人脸图像数据进行预处理后得到训练数据，所述预处理包括归一化和数据增强处理；
步骤2：使用所述训练数据对所述卷积神经网络进行训练，得到训练完成的卷积神经网络，并得到所述卷积神经网络中各卷积层中的每个卷积核的权重F i,j以及下一层对应通道的权重G i,j；
步骤3：对于各卷积层，计算每个卷积核的权重绝对值之和A以及下一层对应通道的权重绝对值之和B；
步骤4：对于各卷积层，将每个卷积核的权重绝对值之和A与卷积核所作卷积运算次数n i 相乘，再加上下一层对应通道的权重绝对值之和B与下一层卷积核所作卷积运算次数n i+2之积，得到衡量卷积层中各卷积核重要性的参数C，并据参数C的大小进行排序；
步骤5：对于当前卷积层，将m个C值小于预设阈值的卷积核以及对应的特征图都裁剪掉，同时裁剪掉下一个卷积层中与被裁剪掉的特征图进行卷积的通道；对所述卷积神经网络中接下来的每一卷积层都采用相同方式进行裁剪；
步骤6：使用所述训练数据对裁剪后的网络进行再训练，得到新的卷积神经网络。
有益效果：本方法通过对用于人脸识别等的卷积神经网的当前卷积层权重、下一卷积层权重、卷积运算次数三个要素综合考量，使卷积神经网络的裁剪精度更高，能够在不损失精度的情况下对卷积神经网络进行裁剪。
附图说明
图1为神经网络卷积过程示意图；
图2为本方法流程图。
具体实施方式
下面结合附图对本发明做更进一步的解释。
如图2所述，本实施例的一种基于相邻层权重的卷积神经网络裁剪方法，用于对VGG16网络进行裁剪后，应用到人脸识别中。VGG16网络有13个卷积层，3层全连接层，本实施例所使用的深度学习框架为pytorch，采用python语言编程实现。
步骤1：构建VGG16网络，采集人脸图像数据，对人脸图像数据进行预处理后得到训练数据，预处理包括归一化和数据增强处理。
步骤2：使用训练数据对网络进行训练，得到训练完成的VGG16网络。将需要裁剪的VGG16网络输入代码工程中，读取VGG16网络中每一卷积层的卷积核数据，计算得到各卷积层中的每个卷积核的权重F i,j以及下一层对应通道的权重G i,j。
步骤3：对于各卷积层，计算每个卷积核的权重绝对值之和
Figure DEST_PATH_IMAGE001
以及下一层对应通道的权重绝对值之和
Figure DEST_PATH_IMAGE002
。
步骤4：由于特征图与卷积核进行卷积时，一个卷积核会与所有的特征图进行卷积，而一张特征图会与不同卷积核的一个通道进行卷积。当前卷积层中，一个卷积核的卷积运算为n i 次，其产生的一张特征图接下来所作的卷积运算为n i+2次。因此，在衡量卷积核的重要性时，对于各卷积层，本发明将每个卷积核的权重绝对值之和A与卷积核所作卷积运算次数n i 相乘，再加上下一层对应通道的权重绝对值之和B与其所作卷积运算次数n i+2之积，得到衡量卷积层中各卷积核重要性的参数C，即C=A*n i +B*n i+2，并据参数C的大小进行排序。
步骤5：对于当前卷积层，将m个C值小于预设阈值的卷积核以及对应的特征图都裁剪掉，同时裁剪掉下一个卷积层中与被裁剪掉的特征图进行卷积的通道，其中阈值可以自行设置。对VGG16网络中接下来的每一卷积层都采用相同方式进行裁剪，各层的m值以及阈值可以根据需要设置，通过调整m值以及阈值来平衡网络裁剪后的大小以及精度。
步骤6：使用原始训练数据对裁剪后的VGG16网络进行再训练，完成模型微调后得到新的网络，该网络能对图像中的人脸进行有效识别。
为验证本发明方法的有效性，本实施例采用专业的cifar-10数据集对裁剪效果进行验证，cifar-10数据集由10个类的60000个32x32彩色图像组成，每个类有6000个图像。有50000个训练图像和10000个测试图像。利用裁剪前后VGG16网络的参数量作为主要性能指标，cifar-10数据集的TOP-1和TOP-5准确率作为裁剪前后的精度指标，结果如表1所示。其中TOP-1准确率是指预测结果中概率最大的那个分类正确的概率，TOP-5准确率是指概率向量最大的前五名中，出现了正确概率的概率。
表1
模型 参数大小 ciTop-1 准确率 Top-5 准确率
VGG16 28.7M 94.16 99.71
裁剪后的VGG16 19.2M 94.23 99.72
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (1)

1.一种基于相邻层权重的卷积神经网络裁剪方法，其特征在于，包括：
步骤1：构建卷积神经网络，采集人脸图像数据，对所述人脸图像数据进行预处理后得到训练数据，所述预处理包括归一化和数据增强处理；
步骤2：使用所述训练数据对所述卷积神经网络进行训练，得到训练完成的卷积神经网络，并得到所述卷积神经网络中各卷积层中的每个卷积核的权重F i,j以及下一层对应通道的权重G i,j；
步骤3：对于各卷积层，计算每个卷积核的权重绝对值之和A以及下一层对应通道的权重绝对值之和B；
步骤4：对于各卷积层，将每个卷积核的权重绝对值之和A与卷积核所作卷积运算次数n i 相乘，再加上下一层对应通道的权重绝对值之和B与下一层卷积核所作卷积运算次数n i+2之积，得到衡量卷积层中各卷积核重要性的参数C，并据参数C的大小进行排序；
步骤5：对于当前卷积层，将m个C值小于预设阈值的卷积核以及对应的特征图都裁剪掉，同时裁剪掉下一个卷积层中与被裁剪掉的特征图进行卷积的通道；对所述卷积神经网络中接下来的每一卷积层都采用相同方式进行裁剪；
步骤6：使用所述训练数据对裁剪后的网络进行再训练，得到新的卷积神经网络。
CN202111531593.0A 2021-12-15 2021-12-15 一种基于相邻层权重的卷积神经网络裁剪方法 Active CN113935485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111531593.0A CN113935485B (zh) 2021-12-15 2021-12-15 一种基于相邻层权重的卷积神经网络裁剪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111531593.0A CN113935485B (zh) 2021-12-15 2021-12-15 一种基于相邻层权重的卷积神经网络裁剪方法

Publications (2)

Publication Number Publication Date
CN113935485A CN113935485A (zh) 2022-01-14
CN113935485B true CN113935485B (zh) 2022-03-04

Family

ID=79289129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111531593.0A Active CN113935485B (zh) 2021-12-15 2021-12-15 一种基于相邻层权重的卷积神经网络裁剪方法

Country Status (1)

Country Link
CN (1) CN113935485B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942143A (zh) * 2019-12-04 2020-03-31 卓迎 基于卷积神经网络的玩具检测加速方法和装置
CN110991642A (zh) * 2019-12-25 2020-04-10 神思电子技术股份有限公司 一种基于网络激活与稀疏化的网络裁剪优化方法
CN111242180A (zh) * 2020-01-03 2020-06-05 南京邮电大学 一种基于轻量化卷积神经网络的图像识别方法及系统
CN112734010A (zh) * 2021-01-04 2021-04-30 暨南大学 一种适用于图像识别的卷积神经网络模型压缩方法
CN112949840A (zh) * 2021-04-20 2021-06-11 中国人民解放军国防科技大学 通道注意力引导的卷积神经网络动态通道剪枝方法和装置
CN113033804A (zh) * 2021-03-29 2021-06-25 北京理工大学重庆创新中心 一种面向遥感图像的卷积神经网络压缩方法
CN113610227A (zh) * 2021-07-23 2021-11-05 人工智能与数字经济广东省实验室(广州) 一种高效的深度卷积神经网络剪枝方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047039A (zh) * 2019-12-09 2020-04-21 联想(北京)有限公司 深度神经网络裁剪方法、装置及电子设备
CN113420651B (zh) * 2021-06-22 2023-05-05 四川九洲电器集团有限责任公司 深度卷积神经网络的轻量化方法、系统及目标检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942143A (zh) * 2019-12-04 2020-03-31 卓迎 基于卷积神经网络的玩具检测加速方法和装置
CN110991642A (zh) * 2019-12-25 2020-04-10 神思电子技术股份有限公司 一种基于网络激活与稀疏化的网络裁剪优化方法
CN111242180A (zh) * 2020-01-03 2020-06-05 南京邮电大学 一种基于轻量化卷积神经网络的图像识别方法及系统
CN112734010A (zh) * 2021-01-04 2021-04-30 暨南大学 一种适用于图像识别的卷积神经网络模型压缩方法
CN113033804A (zh) * 2021-03-29 2021-06-25 北京理工大学重庆创新中心 一种面向遥感图像的卷积神经网络压缩方法
CN112949840A (zh) * 2021-04-20 2021-06-11 中国人民解放军国防科技大学 通道注意力引导的卷积神经网络动态通道剪枝方法和装置
CN113610227A (zh) * 2021-07-23 2021-11-05 人工智能与数字经济广东省实验室(广州) 一种高效的深度卷积神经网络剪枝方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Group sparse regularization for deep neural networks;Simone Scardapane 等;《Neurocomputing》;20171231;全文 *
基于深层卷积神经网络的剪枝优化;马治楠等;《电子技术应用》;20181206(第12期);全文 *
基于通道修剪的深度网络轻量化研究;刘广毅;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20210215;全文 *

Also Published As

Publication number Publication date
CN113935485A (zh) 2022-01-14

Similar Documents

Publication Publication Date Title
Kang et al. Operation-aware soft channel pruning using differentiable masks
CN112163628A (zh) 一种适用于嵌入式设备的改进目标实时识别网络结构的方法
CN111931914A (zh) 一种基于模型微调的卷积神经网络通道剪枝方法
Chou et al. Turbulent-PSO-based fuzzy image filter with no-reference measures for high-density impulse noise
CN109934826A (zh) 一种基于图卷积网络的图像特征分割方法
CN114330714B (zh) 卷积神经网络剪枝优化方法、装置、电子设备及存储介质
CN111489364B (zh) 基于轻量级全卷积神经网络的医学图像分割方法
CN110929848B (zh) 基于多挑战感知学习模型的训练、跟踪方法
CN112001403B (zh) 一种图像轮廓检测方法及系统
CN107871306B (zh) 一种图片去噪的方法和装置
CN110826558B (zh) 图像分类方法、计算机设备和存储介质
CN105590301B (zh) 自适应正斜双十字窗均值滤波的脉冲噪声消除方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN112233129A (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN112818893A (zh) 一种面向移动终端的轻量化开集地标识别方法
CN111325762A (zh) 基于密集连接解码网络的轮廓检测方法
CN116504259B (zh) 一种基于自然语言处理的语义识别方法
CN113781510A (zh) 边缘检测方法、装置及电子设备
CN111950389A (zh) 一种基于轻量级网络的深度二值特征人脸表情识别方法
CN105354228A (zh) 相似图搜索方法及装置
CN113935485B (zh) 一种基于相邻层权重的卷积神经网络裁剪方法
CN110717394A (zh) 人脸识别模型的训练方法、装置、电子设备和存储介质
CN116468102A (zh) 刀具图像分类模型剪枝方法、装置、计算机设备
CN110555462A (zh) 基于卷积神经网络的无固定多字符验证码识别方法
CN110210311B (zh) 一种基于通道特征融合稀疏表示的人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220316

Address after: No. 88, Wenchang East Road, Yangzhou, Jiangsu 225000

Patentee after: Jiangsu Daoyuan Technology Group Co.,Ltd.

Address before: 211135 enlightenment star Nanjing maker space G41, second floor, No. 188, Qidi street, Qilin science and Technology Innovation Park, Qixia District, Nanjing, Jiangsu Province

Patentee before: Jiangsu Peregrine Microelectronics Co.,Ltd.