CN113177580A - 基于通道重要性剪枝与二值量化的图像分类系统 - Google Patents

基于通道重要性剪枝与二值量化的图像分类系统 Download PDF

Info

Publication number
CN113177580A
CN113177580A CN202110395377.1A CN202110395377A CN113177580A CN 113177580 A CN113177580 A CN 113177580A CN 202110395377 A CN202110395377 A CN 202110395377A CN 113177580 A CN113177580 A CN 113177580A
Authority
CN
China
Prior art keywords
neural network
pruning
importance
training
image classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110395377.1A
Other languages
English (en)
Inventor
潘赟
惠思琦
朱怀宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110395377.1A priority Critical patent/CN113177580A/zh
Publication of CN113177580A publication Critical patent/CN113177580A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种基于通道重要性剪枝与二值量化的图像分类系统，包括训练模块，用于训练初始复杂神经网络的权重参数，得到训练后的复杂神经网络模型；压缩模块，用于对训练后的复杂神经网络模型重复进行基于通道重要性的网络剪枝与恢复性训练，在保证精度的前提下，得到初步压缩的神经网络模型；接着对初步压缩的神经网络模型进行二值量化，从而得到精简的神经网络模型；分类模块，用于将压缩后的神经网络模型，用于对目标图像进行图像分类。本发明缩小神经网络的模型体积，提高运行速度。

Description

基于通道重要性剪枝与二值量化的图像分类系统
技术领域
本发明涉及机器学习和图像分类技术领域，尤其是涉及一种基于通道重要性剪枝与二值量化的图像分类系统。
背景技术
神经网络是一种深度监督学习下的机器学习模型，通过组合低层特征逐步提取图像的高级特征，在计算机视觉，包括图像分类、物体识别、语义分割与目标跟踪等领域中，得到广泛应用。但是，神经网络需要庞大的存储空间与计算资源，这极大的限制了深度神经网络在资源受限的边缘平台上的应用。
近些年来，神经网络的压缩与加速逐渐称为研究热点，其中，网络剪枝通过剪枝掉神经网络中重要性较低的通道或卷积核，从而实现网络参数的压缩与推理速度的提升；二值量化通过将浮点参数量化为{-1，+1}，并将卷积运算替换成加法运算，从而缩小网络体积，提升计算速率。
现有图像分类方法使用神经网络存在内存占用与计算量过大的弊端。
发明内容
为了克服图像分类方法使用神经网络内存占用与计算量过大的不足，本发明提出了一种基于通道重要性剪枝与二值量化的图像分类方法，缩小神经网络的模型体积，提高运行速度。
为了解决上述技术问题本发明提供如下的技术方案：
一种基于通道重要性剪枝与二值量化的图像分类系统，所述图像分类系统包括：
训练模块，用于训练初始复杂神经网络的权重参数，得到训练后的复杂神经网络模型；
压缩模块，用于对训练后的复杂神经网络模型重复进行基于通道重要性的网络剪枝与恢复性训练，在保证精度的前提下，得到初步压缩的神经网络模型；接着对初步压缩的神经网络模型进行二值量化，从而得到精简的神经网络模型；
分类模块，用于将压缩后的神经网络模型，用于对目标图像进行图像分类。
进一步，所述压缩模块中，依据神经网络中各个通道重要性对神经网络进行剪枝，剔除冗杂通道；通过恢复性训练，减少因网络剪枝造成的性能下降，并反复进行剪枝、恢复性训练，得到精简的神经网络；对剪枝后的精简网络进行二值量化，并利用正则函数项与“热身”策略，减少量化过程的误差波动，进而得到极致压缩的神经网络。
再进一步，依据神经网络中各个通道重要性对神经网络进行剪枝，剔除冗杂通道，过程为：
神经网络中，各通道的重要性计算方法为：
Figure BDA0003018343180000021
其中，
Figure BDA0003018343180000022
为l层α通道的重要性，
Figure BDA0003018343180000023
为与l层α通道相连的m个输入层卷积核权重绝对值的和，
Figure BDA0003018343180000024
为与l层α通道相连的n个输出层卷积核权重绝对值的和，
Figure BDA0003018343180000025
为m个输入层卷积核权重参数的数量，
Figure BDA0003018343180000026
为n个输出层卷积核权重参数的数量。
再进一步，对剪枝后的神经网络进行二值量化，并利用正则函数项与“热身”策略，减少量化过程的误差波动，进而得到极致压缩的神经网络，其中，精心设计的正则函数项为：
Figure BDA0003018343180000027
其中，J(W1,Wl,b)为设计的正则函数项，W1为第1层全精度卷积核权重，Wl为第l层卷积核权重，L(W1,Wl b,b)为神经网络的损失函数，
Figure BDA0003018343180000031
为第1层全精度卷积核权重的L2范数，
Figure BDA0003018343180000032
为第l层权重的正则函数项，α,β为正则项参数；
其中，所述“热身”策略通过在训练过程中逐步增加二值权重正则项系数β从而减少训练过程中二值权重的正负翻转，进而减少量化过程中的误差波动，所述正则项系数变化情况为：
Figure BDA0003018343180000033
其中，β为正则项系数，β0为正则项系数初始值，[]为向下取整函数，epoch为当前训练步数，Lenth为预设的周期分段长度。
本发明的技术效果主要表现在：图像分类系统使用的神经网络，依据神经网络中各个通道重要性对神经网络进行剪枝，剔除冗杂通道；通过恢复性训练，减少因网络剪枝造成的性能下降并反复进行剪枝、恢复性训练，直至获得精简的神经网络；对剪枝后的精简网络进行二值量化，并利用正则函数项与“热身”策略，减少量化过程的误差波动，进而得到极致压缩的神经网络；缩小神经网络的模型体积，提高运行速度。
附图说明
图1是本发明中基于通道重要性剪枝与二值量化的图像分类系统的模块结构示意图。
图2是本发明基于通道重要性剪枝与二值量化的神经网络压缩方法的流程图；
图3是本发明中正则函数项图例，其中，(a)是全精度卷积层正则项，(b)是二值化卷积层正则项。
具体实施方式
下面将结合附图，对本发明方法中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
参照图1～图3，一种基于通道重要性剪枝与二值量化的图像分类方法，所述图像分类系统包括：
训练模块，用于训练初始复杂神经网络的权重参数，得到训练后的复杂神经网络模型；
压缩模块，用于对训练后的复杂神经网络模型重复进行基于通道重要性的网络剪枝与恢复性训练，在保证精度的前提下，得到初步压缩的神经网络模型；接着对初步压缩的神经网络模型进行二值量化，从而得到精简的神经网络模型；分类模块，用于将压缩后的神经网络模型，用于对目标图像进行图像分类。
进一步，所述压缩模块中，首先，依据神经网络中各个通道重要性对神经网络进行剪枝，剔除冗杂通道；急着，通过恢复性训练，减少因网络剪枝造成的性能下降，并反复进行剪枝、恢复性训练，直至获得精简的神经网络；最后，对剪枝后的精简网络进行二值量化，并利用正则函数项与“热身”策略，减少量化过程的误差波动，进而得到极致压缩的神经网络。
如图2所示，本发明基于通道重要性剪枝与二值量化的神经网络压缩方法，包括以下步骤：
1)通过计算每层卷积网络层中各通道的重要性，并对重要性较低的通道进行剪枝；
2)通过恢复性训练，减少因网络剪枝造成的性能下降，并重复步骤1)与步骤2)，直至得到精简的全精度神经网络；
3)对剪枝后的神经网络，除第一层与最后一层网络参数保持浮点数外，对余下网络层的权重参数进行二值量化，并利用正则函数项，减少量化过程的误差波动，进而得到极致压缩的神经网络。
所述步骤1)中，通过计算每层卷积网络层中各通道的重要性，进而剪枝掉冗杂的通道，所述各通道重要性计算方法为：
Figure BDA0003018343180000051
其中，
Figure BDA0003018343180000052
为l层α通道的重要性，
Figure BDA0003018343180000053
为与l层α通道相连的m个输入层卷积核权重绝对值的和，
Figure BDA0003018343180000054
为与l层α通道相连的n个输出层卷积核权重绝对值的和，
Figure BDA0003018343180000055
为m个输入层卷积核权重参数的数量，
Figure BDA0003018343180000056
为n个输出层卷积核权重参数的数量。
所述步骤2)中，通过在原数据集上重新训练，从而减少因网络剪枝造成的网络性能下降，并重复步骤1中的剪枝与步骤2中的恢复性训练，直至得到极致压缩的神经网络。
所述步骤3)中，对剪枝后的神经网络结构，除第一层与最后一层网络参数保持浮点数外，对余下网络层的权重参数进行二值量化，并利用正则函数项与“热身”策略，在训练过程中，对各个卷积层的参数进行约束，减少量化过程的误差波动，进而得到极致压缩的神经网络，所述正则函数项为：
Figure BDA0003018343180000057
其中，J(W1,Wl,b)为精心设计的正则函数项，W1为第1层全精度卷积核权重，Wl为第l层卷积核权重，L(W1,Wl b,b)为神经网络的损失函数，
Figure BDA0003018343180000058
为第1层全精度卷积核的L2范数，
Figure BDA0003018343180000059
为第l层权重的正则函数项，α,β为正则项参数，实验中α设置为1×10-4。正则函数项的效果图如图2所示。
所述“热身”策略通过在训练过程中逐步增加二值权重正则项系数β从而减少训练过程中二值权重的正负翻转，进而减少量化过程中的误差波动，所述正则项系数变化情况为：
Figure BDA0003018343180000061
其中，β为正则项系数，β0为正则项系数初始值，实验室设置为1×10-7，[]为向下取整函数，epoch为当前训练步数，Lenth为预设的周期分段长度，在CIFAR-10数据集中设置为15，在SVHN数据集中设置为6。
基于上述方法，本发明采用采用VGG-18在CIFAR-10与SVHN数据集上进行验证，结果如表1，表1为CIFAR-10与SVHN数据集剪枝效果：
Figure BDA0003018343180000062
表1
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (4)

1.一种基于通道重要性剪枝与二值量化的图像分类系统，其特征在于，所述图像分类系统包括：
训练模块，用于训练初始复杂神经网络的权重参数，得到训练后的复杂神经网络模型；
压缩模块，用于对训练后的复杂神经网络模型重复进行基于通道重要性的网络剪枝与恢复性训练，在保证精度的前提下，得到初步压缩的神经网络模型；接着对初步压缩的神经网络模型进行二值量化，从而得到精简的神经网络模型；
分类模块，用于将压缩后的神经网络模型，用于对目标图像进行图像分类。
2.如权利要求1所述的基于通道重要性剪枝与二值量化的图像分类系统，其特征在于，所述压缩模块中，依据神经网络中各个通道重要性对神经网络进行剪枝，剔除冗杂通道；通过恢复性训练，减少因网络剪枝造成的性能下降，并反复进行剪枝、恢复性训练，得到精简的神经网络；对剪枝后的精简网络进行二值量化，并利用正则函数项与“热身”策略，减少量化过程的误差波动，进而得到极致压缩的神经网络。
3.如权利要求2所述的基于通道重要性剪枝与二值量化的图像分类系统，其特征在于，依据神经网络中各个通道重要性对神经网络进行剪枝并剔除冗杂通道的过程为：
神经网络中，各通道的重要性计算方法为：
Figure FDA0003018343170000011
其中，
Figure FDA0003018343170000012
为l层α通道的重要性，
Figure FDA0003018343170000013
为与l层α通道相连的m个输入层卷积核权重绝对值的和，
Figure FDA0003018343170000014
为与l层α通道相连的n个输出层卷积核权重绝对值的和，
Figure FDA0003018343170000021
为m个输入层卷积核权重参数的数量，
Figure FDA0003018343170000022
为n个输出层卷积核权重参数的数量。
4.如权利要求2所述的基于通道重要性剪枝与二值量化的图像分类系统，其特征在于，对剪枝后的神经网络进行二值量化，并利用正则函数项与“热身”策略，减少量化过程的误差波动，进而得到极致压缩的神经网络，其中，精心设计的正则函数项为：
Figure FDA0003018343170000023
其中，J(W1,Wl,b)为设计的正则函数项，W1为第1层全精度卷积核权重，Wl为第l层卷积核权重，
Figure FDA0003018343170000024
为神经网络的损失函数，
Figure FDA0003018343170000025
为第1层全精度卷积核权重的L2范数，
Figure FDA0003018343170000026
为第l层权重的正则函数项，α,β为正则项参数；
其中，所述“热身”策略通过在训练过程中逐步增加二值权重正则项系数β从而减少训练过程中二值权重的正负翻转，进而减少量化过程中的误差波动，所述正则项系数变化情况为：
Figure FDA0003018343170000027
其中，β为正则项系数，β0为正则项系数初始值，[]为向下取整函数，epoch为当前训练步数，Lenth为预设的周期分段长度。
CN202110395377.1A 2021-04-13 2021-04-13 基于通道重要性剪枝与二值量化的图像分类系统 Pending CN113177580A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110395377.1A CN113177580A (zh) 2021-04-13 2021-04-13 基于通道重要性剪枝与二值量化的图像分类系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110395377.1A CN113177580A (zh) 2021-04-13 2021-04-13 基于通道重要性剪枝与二值量化的图像分类系统

Publications (1)

Publication Number Publication Date
CN113177580A true CN113177580A (zh) 2021-07-27

Family

ID=76923325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110395377.1A Pending CN113177580A (zh) 2021-04-13 2021-04-13 基于通道重要性剪枝与二值量化的图像分类系统

Country Status (1)

Country Link
CN (1) CN113177580A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762505A (zh) * 2021-08-13 2021-12-07 中国电子科技集团公司第三十八研究所 一种卷积神经网络的按通道l2范数聚类剪枝方法
CN114972885A (zh) * 2022-06-17 2022-08-30 西安电子科技大学 基于模型压缩的多模态遥感图像分类方法
CN116664958A (zh) * 2023-07-27 2023-08-29 鹏城实验室 基于二值神经网络模型的图像分类方法以及相关设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762505A (zh) * 2021-08-13 2021-12-07 中国电子科技集团公司第三十八研究所 一种卷积神经网络的按通道l2范数聚类剪枝方法
CN113762505B (zh) * 2021-08-13 2023-12-01 中国电子科技集团公司第三十八研究所 一种卷积神经网络的按通道l2范数聚类剪枝方法
CN114972885A (zh) * 2022-06-17 2022-08-30 西安电子科技大学 基于模型压缩的多模态遥感图像分类方法
CN114972885B (zh) * 2022-06-17 2024-06-07 西安电子科技大学 基于模型压缩的多模态遥感图像分类方法
CN116664958A (zh) * 2023-07-27 2023-08-29 鹏城实验室 基于二值神经网络模型的图像分类方法以及相关设备
CN116664958B (zh) * 2023-07-27 2023-11-14 鹏城实验室 基于二值神经网络模型的图像分类方法以及相关设备

Similar Documents

Publication Publication Date Title
US11030528B1 (en) Convolutional neural network pruning method based on feature map sparsification
CN113177580A (zh) 基于通道重要性剪枝与二值量化的图像分类系统
US11301727B2 (en) Efficient image classification method based on structured pruning
CN111079781B (zh) 基于低秩与稀疏分解的轻量化卷积神经网络图像识别方法
CN106250939B (zh) 基于fpga+arm多层卷积神经网络的手写体字符识别方法
CN111242180B (zh) 一种基于轻量化卷积神经网络的图像识别方法及系统
CN113420651B (zh) 深度卷积神经网络的轻量化方法、系统及目标检测方法
CN111062382A (zh) 用于目标检测网络的通道剪枝方法
CN109214353B (zh) 一种基于剪枝模型的人脸图像快速检测训练方法和装置
CN113657421B (zh) 卷积神经网络压缩方法和装置、图像分类方法和装置
CN113283473B (zh) 一种基于cnn特征映射剪枝的快速水下目标识别方法
CN113554084A (zh) 基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统
CN112288087A (zh) 一种神经网络剪枝方法、装置、电子设备及存储介质
Yue et al. Face recognition based on histogram equalization and convolution neural network
CN112288084B (zh) 基于特征图通道重要性的深度学习目标检测网络压缩方法
CN113971735A (zh) 一种深度图像聚类方法、系统、设备、介质及终端
CN112270405A (zh) 基于范数的卷积神经网络模型的滤波器剪枝方法和系统
CN110188877A (zh) 一种神经网络压缩方法与装置
CN115049941A (zh) 一种改进的ShuffleNet卷积神经网络及其遥感图像的分类方法
CN115984747A (zh) 一种基于动态滤波器的视频显著性目标检测方法
CN117671271A (zh) 模型训练方法、图像分割方法、装置、设备和介质
CN114677545B (zh) 一种基于相似性剪枝和高效模块的轻量化图像分类方法
CN112132207A (zh) 基于多分支特征映射目标检测神经网络构建方法
CN114723043A (zh) 基于超图模型谱聚类的卷积神经网络卷积核剪枝方法
Xia et al. Efficient synthesis of compact deep neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210727

RJ01 Rejection of invention patent application after publication