CN112785663B - 一种基于任意形状卷积核的图像分类网络压缩方法 - Google Patents

一种基于任意形状卷积核的图像分类网络压缩方法 Download PDF

Info

Publication number
CN112785663B
CN112785663B CN202110284161.8A CN202110284161A CN112785663B CN 112785663 B CN112785663 B CN 112785663B CN 202110284161 A CN202110284161 A CN 202110284161A CN 112785663 B CN112785663 B CN 112785663B
Authority
CN
China
Prior art keywords
convolution
convolution kernel
image classification
network
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110284161.8A
Other languages
English (en)
Other versions
CN112785663A (zh
Inventor
张科
刘广哲
王靖宇
苏雨
谭明虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202110284161.8A priority Critical patent/CN112785663B/zh
Publication of CN112785663A publication Critical patent/CN112785663A/zh
Application granted granted Critical
Publication of CN112785663B publication Critical patent/CN112785663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于任意形状卷积核的图像分类网络压缩方法，属于图像处理与识别技术领域。采用任意形状卷积核替换图像分类网络中的常规卷积核，利用梯度下降算法在数据集上进行网络训练，收敛后的网络模型即可用于图像分类；通过将常规卷积计算过程拆解为1×1点卷积，去除掉拆解过程中的部分运算以实现具有任意形状的卷积核，从而能够有效地消除卷积核内部的冗余参数，将其应用于图像分类任务，能够在保证分类准确率的同时进一步提高网络模型的压缩率。

Description

一种基于任意形状卷积核的图像分类网络压缩方法
技术领域
本发明属于图像处理与识别技术领域，尤其涉及一种基于任意形状卷积核的图像分类网络压缩方法。
背景技术
图像分类与识别是机器视觉领域中的一个重要课题，早期的图像识别方法主要依赖人工提取特征，其准确性较低且对不同场景的适用性有限。随着深度学习方法的出现，卷积神经网络在图像识别、目标检测等机器视觉领域取得了巨大的成就，深层神经网络能够有效地提取到图像中的高级语义特征，已经能够达到超越人类的识别能力。
但是在网络性能提高的同时，网络结构也越来越复杂，对计算设备存储能力和运算能力的要求也越来越高，限制了其在资源受限的移动设备中的应用和发展。大规模的神经网络模型内部往往具有较大的冗余性，并不是所有的参数都对网络性能起到有效作用，过多的参数反而会导致网络收敛慢、参数过拟合等问题。为了便于神经网络的部署和应用，神经网络压缩方法越来越受到重视。
参数剪枝是一种有效的神经网络压缩方法，可以分为结构化剪枝和非结构化剪枝。靳丽蕾，杨文柱，王思乐等(《一种用于卷积神经网络压缩的混合剪枝方法》，小型微型计算机系统，2018，39(12)：2596-2601)提出了一种将权重剪枝和卷积核剪枝相结合的混合剪枝方法，依次剪除掉网络中对精度贡献小的卷积核和权重，以实现最大限度的网络压缩。这种混合剪枝方法能够在保证模型精度的同时得到较高的压缩率，但是权重剪枝属于非结构化剪枝，会造成网络结构的不规则稀疏性，需要采用特殊的稀疏存储方式或专用计算单元才能发挥其效能，无法将其有效地应用于通用的计算设备。而如果仅对卷积核进行剪枝则不能去除卷积核中的冗余参数，无法达到较高的压缩率。
发明内容
要解决的技术问题
已有的卷积神经网络结构化剪枝方法不能消除卷积核中的冗余参数，导致网络模型压缩率较低，而非结构化剪枝方法虽然压缩率高，但是无法有效应用于通用计算设备。本发明提出了一种基于任意形状卷积核的图像分类网络压缩方法。
技术方案
图像分类网络一般由卷积层、激活层、池化层及全连接层组成，以单幅图像为输入，经过卷积、激活、池化等计算提取到图像中的高级语义特征，最后由全连接层进行分类判别，其中卷积层占据了绝大部分的参数量和计算量。为了减小图像分类网络的运算复杂度，本发明对网络卷积层进行压缩，提出了一种任意形状卷积核的计算方法来代替传统的卷积运算，从而有效消除网络卷积核中的冗余参数并减小卷积计算量。
一种基于任意形状卷积核的图像分类网络压缩方法，其特征在于：采用任意形状卷积核替换图像分类网络中的常规卷积核，利用梯度下降算法在数据集上进行网络训练，收敛后的网络模型即可用于图像分类；所述的任意形状卷积核的计算方法：
对于具有s个点的任意形状卷积核，将高和宽分别为h和w的c个通道输入特征图复制s份，并分别向s个对应方向平移得到Xg＝{X1,X2,…,Xs}，这s个方向距离分别与卷积核中各参数相对于中心参数的方向距离成镜像关系；对Xg在第一个维度进行堆叠得到/>其与权重/>进行1×1卷积即/>便可得到所需形状卷积核的卷积结果Y。
优选地：所述的任意形状的卷积核为十字形卷积核。
优选地：所述的任意形状的卷积核为T字形卷积核。
优选地：所述的任意形状的卷积核为一字形卷积核。
优选地：所述的网络模型为VGG。
优选地：所述的网络模型为ResNet。
有益效果
本发明提出的一种基于任意形状卷积核的图像分类网络压缩方法，通过将常规卷积计算过程拆解为1×1点卷积，去除掉拆解过程中的部分运算以实现具有任意形状的卷积核，从而能够有效地消除卷积核内部的冗余参数，并设计了几种效果较好的卷积核形状，将其应用于图像分类任务，能够在保证分类准确率的同时进一步提高网络模型的压缩率。
本发明所设计的基于任意形状卷积核的图像分类网络压缩方法能够消除卷积核内部的冗余参数，比结构化剪枝具有更小的剪裁单元，因此能够达到更高的压缩率，同时，其计算过程能够方便地应用于现有的通用计算设备，无需消耗额外的存储或计算资源，达到良好的网络压缩效果，便于部署于终端移动设备。
本发明所提出的任意形状卷积核计算方法为高效网络结构设计提供了新的思路，将不同形状的卷积核嵌入现有的神经网络中，能够提取到更加丰富的目标特征，有利于提升卷积神经网络的性能。
本发明所设计的基于任意形状卷积核的图像分类网络压缩方法能够有效地压缩神经网络卷积层中的参数量，如采用“十”字形卷积核能够在不降低准确率的前提下减少VGG-16网络43.67％的参数量和44.27％的计算量，便于将图像分类网络部署于终端移动设备。
本发明所提出的任意形状卷积核计算方法能够减少卷积层中的冗余参数，从而减小图像分类网络的过拟合风险，有利于提高网络的分类准确率，如采用“十”字形卷积核能够在压缩VGG-16网络的同时提高0.59％的分类准确率。
附图说明
图1是采用任意形状卷积核的图像分类网络压缩方法使用流程图。
图2是任意形状卷积核的卷积计算流程图。
图3是所设计的几组具有任意形状的卷积核。
图4是常规卷积核与“十”字形卷积核的特征图可视化结果对比图。
具体实施方式
现结合实施例、附图对本发明作进一步描述：
本发明提出一种基于任意形状卷积核的图像分类网络压缩方法，其使用流程如图1所示，其中任意形状卷积核的卷积计算流程如图2所示。下面结合图像分类实例说明本发明的具体实施方式，但本发明的技术内容不限于所述的范围，具体实施方式包括以下步骤：
(1)构建具有大量训练样本及标签的图像数据集，参考VGG、ResNet等经典网络搭建用于图像分类的卷积神经网络，并且将网络最后一个全连接层的输出个数修改为图像类别的个数，以便进行正确分类。
(2)对于图像分类网络中的每个卷积层，常规卷积计算过程为：
Y＝X*w
式中，是输入特征图张量(第一个卷积层的输入即为原始输入图像)，是输出特征图张量，/>是卷积权重参数，c和n分别是输入和输出通道的个数，h和w分别是输入特征图的高度和宽度，h′和w′分别是输出特征图的高度和宽度，k×k是卷积核的尺寸，*是图像卷积运算。
本发明采用向各方向平移输入特征图的方法，可以将该常规卷积计算过程拆解为1×1点卷积。
对于具有s个点的任意形状卷积核，其卷积计算方法如下：将高和宽分别为h和w的c个通道输入特征图复制s份，并分别向对应的方向平移一个单位得到{X1,X2,…,Xs}，在第一个维度进行堆叠得到/>其与权重/>进行1×1卷积即便可得到所需形状卷积核的卷积结果Y。
由于以上过程没有引入其他的参数或任何不可微分的操作，网络训练过程中损失函数的反向传播可以通过原有的链式求导法则自动得到。
以3×3卷积为例，其中各点位置与平移方向的对应关系如下：左上角的点对应于向右下方平移、正上方的点对应于向正下方平移、右上角的点对应于向左下方平移、正左方的点对应于向正右方平移、中间的点对应于不平移、正右方的点对应于向正左方平移、左下角的点对应于向右上方平移、正下方的点对应于向正上方平移、右下角的点对应于向左上方平移。
以3×3卷积为例，将输入特征图复制9份，其中的8份分别向左上、正上、右上、正左、正右、左下、正下、右下方向平移一个单位得到{X1,X2,X3,X4,X5,X6,X7,X8}，另外1份保持不变。将这9份特征图在第一个维度进行堆叠得到/>其与权重进行1×1卷积即/>便可得到与原始卷积相同的结果Y。
(3)任意形状卷积核的实现过程中没有引入其他的参数或任何不可微分的操作，其网络权重参数w可以利用原有的链式求导法则自动得到。采用常规的梯度下降算法在数据集上训练所构建的图像分类网络，训练完成后的模型即可用于图像分类。
步骤(2)所得到拆解后的卷积与原始卷积完全等效，但是在计算过程中，可以通过去除掉其中的部分运算达到任意形状卷积核的效果。
基于上述任意卷积核的实现方法，将n个输出通道进行分组，每个组采用同一种形状的卷积核，从而使卷积的具有对称性，避免发生特征图向某个方向漂移的现象，保证网络的性能。设计几组性能较好的卷积核，参考图3所提供的几组卷积核，包括十字形卷积核、T字形卷积核、一字形卷积核，设计所要采用的卷积核形状，替换所构建图像分类网络中的常规卷积核。
以具有5个点的“十”字形卷积核为例，将输入特征图复制5份，其中的4份分别向正上、正左、正右、正下方向平移一个单位得到{X1,X2,X3,X4}，另外1份保持不变，将这5份特征图在第一个维度进行堆叠得到/>其与权重/>进行1×1卷积即/>便可得到与“十”字形卷积核等效的卷积结果Y。
图4是以CIFAR-10测试集中的一幅飞机图像为输入，得到的常规卷积核与“十”字卷积核特征图可视化结果对比图。采用本发明基于任意形状卷积核的图像分类网络压缩方法，所得到的网络模型能够提取到与常规网络模型相类似的特征图，因此能够保证正确的分类结果，同时可以压缩掉卷积核中的冗余参数，极大地减小网络的参数量和计算量，达到较好的网络压缩效果，便于将图像分类网络部署于移动设备。
表1为采用“十”字形卷积核的压缩结果，原始VGG-16模型包含15.0M参数和314M计算量，在CIFAR-10上的准确率为93.45％，采用传统的结构化剪枝方法得到的模型参数量为5.4M，计算量为206M，准确率下降为93.40％，采用本发明的“十”字形卷积核得到的模型参数量为8.45M，计算量为175M，准确率提高为94.04％。
表1本发明网络压缩结果表

Claims (3)

1.一种基于任意形状卷积核的图像分类网络压缩方法，其特征在于：采用任意形状卷积核替换图像分类网络中的常规卷积核，利用梯度下降算法在数据集上进行网络训练，收敛后的网络模型即可用于图像分类；所述任意形状卷积核包括十字形卷积核、T字形卷积核或一字形卷积核，所述的任意形状卷积核的计算方法：
对于具有个点的任意形状卷积核，将高和宽分别为/>和/>的/>个通道输入特征图复制/>份，并分别向/>个对应方向平移得到/>，这/>个方向距离分别与卷积核中各参数相对于中心参数的方向距离成镜像关系；对/>在第一个维度进行堆叠得到/>；其与权重/>进行1×1卷积即/>，便可得到所需形状卷积核的卷积结果/>；
对于3×3卷积，将输入特征图复制9份，其中的8份分别向左上、正上、右上、正左、正右、左下、正下、右下方向平移一个单位得到/>，另外1份保持不变；将这9份特征图在第一个维度进行堆叠得到/>，其与权重进行1×1卷积即/>，便可得到与原始卷积相同的结果/>；
对于3×3卷积，其中各点位置与平移方向的对应关系如下：左上角的点对应于向右下方平移、正上方的点对应于向正下方平移、右上角的点对应于向左下方平移、正左方的点对应于向正右方平移、中间的点对应于不平移、正右方的点对应于向正左方平移、左下角的点对应于向右上方平移、正下方的点对应于向正上方平移、右下角的点对应于向左上方平移。
2.根据权利要求1所述的一种基于任意形状卷积核的图像分类网络压缩方法，其特征在于所述的网络模型为VGG。
3.根据权利要求1所述的一种基于任意形状卷积核的图像分类网络压缩方法，其特征在于所述的网络模型为ResNet。
CN202110284161.8A 2021-03-17 2021-03-17 一种基于任意形状卷积核的图像分类网络压缩方法 Active CN112785663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110284161.8A CN112785663B (zh) 2021-03-17 2021-03-17 一种基于任意形状卷积核的图像分类网络压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110284161.8A CN112785663B (zh) 2021-03-17 2021-03-17 一种基于任意形状卷积核的图像分类网络压缩方法

Publications (2)

Publication Number Publication Date
CN112785663A CN112785663A (zh) 2021-05-11
CN112785663B true CN112785663B (zh) 2024-05-10

Family

ID=75762746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110284161.8A Active CN112785663B (zh) 2021-03-17 2021-03-17 一种基于任意形状卷积核的图像分类网络压缩方法

Country Status (1)

Country Link
CN (1) CN112785663B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113411583B (zh) * 2021-05-24 2022-09-02 西北工业大学 基于维度拆分的图像压缩方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376859A (zh) * 2018-09-27 2019-02-22 东南大学 一种基于菱形卷积的神经网络剪枝方法
CN109671020A (zh) * 2018-12-17 2019-04-23 北京旷视科技有限公司 图像处理方法、装置、电子设备和计算机存储介质
CN109741733A (zh) * 2019-01-15 2019-05-10 河海大学常州校区 基于一致性路由网络的语音音素识别方法
CN109858618A (zh) * 2019-03-07 2019-06-07 电子科技大学 一种卷积神经单元块、构成的神经网络及图像分类方法
CN110598731A (zh) * 2019-07-31 2019-12-20 浙江大学 一种基于结构化剪枝的高效图像分类方法
WO2020024585A1 (zh) * 2018-08-03 2020-02-06 华为技术有限公司 一种训练物体检测模型的方法、装置以及设备
CN111242180A (zh) * 2020-01-03 2020-06-05 南京邮电大学 一种基于轻量化卷积神经网络的图像识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382833A (zh) * 2018-12-29 2020-07-07 佳能株式会社 多层神经网络模型的训练和应用方法、装置及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020024585A1 (zh) * 2018-08-03 2020-02-06 华为技术有限公司 一种训练物体检测模型的方法、装置以及设备
CN109376859A (zh) * 2018-09-27 2019-02-22 东南大学 一种基于菱形卷积的神经网络剪枝方法
CN109671020A (zh) * 2018-12-17 2019-04-23 北京旷视科技有限公司 图像处理方法、装置、电子设备和计算机存储介质
CN109741733A (zh) * 2019-01-15 2019-05-10 河海大学常州校区 基于一致性路由网络的语音音素识别方法
CN109858618A (zh) * 2019-03-07 2019-06-07 电子科技大学 一种卷积神经单元块、构成的神经网络及图像分类方法
CN110598731A (zh) * 2019-07-31 2019-12-20 浙江大学 一种基于结构化剪枝的高效图像分类方法
CN111242180A (zh) * 2020-01-03 2020-06-05 南京邮电大学 一种基于轻量化卷积神经网络的图像识别方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Pruning convolutional neural networks for resource efficient inference;Pavlo Molchanov Etal.;ICLR 2017;全文 *
卷积神经网络模型剪枝结合张量分解压缩方法;巩凯强等;计算机应用;第40卷(第11期);全文 *
基于改进的多通道卷积神经网络模型的图像分类方法;周衍挺;;佳木斯大学学报(自然科学版)(第06期);全文 *
深度学习中卷积神经网络的结构及相关算法;王统;;信息与电脑(理论版);20200425(第08期);全文 *

Also Published As

Publication number Publication date
CN112785663A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN108764471B (zh) 基于特征冗余分析的神经网络跨层剪枝方法
CN109389037A (zh) 一种基于深度森林和迁移学习的情感分类方法
CN110148104A (zh) 基于显著性分析与低秩表示的红外与可见光图像融合方法
CN108614997B (zh) 一种基于改进AlexNet的遥感图像识别方法
Aghamaleki et al. Multi-stream CNN for facial expression recognition in limited training data
CN112215353B (zh) 一种基于变分结构优化网络的通道剪枝方法
CN113011570A (zh) 一种卷积神经网络模型的自适应高精度压缩方法及系统
CN110298446A (zh) 面向嵌入式系统的深度神经网络压缩和加速方法及系统
CN111523483B (zh) 中餐菜品图像识别方法及装置
CN113657421B (zh) 卷积神经网络压缩方法和装置、图像分类方法和装置
CN110807420A (zh) 一种融合特征提取和深度学习的人脸表情识别方法
CN112785663B (zh) 一种基于任意形状卷积核的图像分类网络压缩方法
Ding et al. Slimyolov4: lightweight object detector based on yolov4
QingJie et al. Research on image retrieval using deep convolutional neural network combining L1 regularization and PRelu activation function
CN108960281A (zh) 一种基于非随机掩盖数据增强方式的黑色素瘤分类方法
Hu et al. Lightweight multi-scale network with attention for facial expression recognition
CN110264483A (zh) 一种基于深度学习的语义图像分割方法
CN111310811A (zh) 一种基于多维特征最优组合的大场景三维点云分类方法
CN112132062B (zh) 一种基于剪枝压缩神经网络的遥感图像分类方法
CN101894294A (zh) 一种基于特征分析的粒子群聚类方法
CN113361346A (zh) 一种替换调节参数的尺度参数自适应的人脸识别方法
CN115545098B (zh) 一种基于注意力机制的三通道图神经网络的节点分类方法
Rui et al. Smart network maintenance in an edge cloud computing environment: An adaptive model compression algorithm based on model pruning and model clustering
Li et al. A spectral clustering based filter-level pruning method for convolutional neural networks
CN110554429A (zh) 一种基于变邻域滑动窗口机器学习的地震断层识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant