CN114677545A - 一种基于相似性剪枝和高效模块的轻量化图像分类方法 - Google Patents

一种基于相似性剪枝和高效模块的轻量化图像分类方法 Download PDF

Info

Publication number
CN114677545A
CN114677545A CN202210332747.1A CN202210332747A CN114677545A CN 114677545 A CN114677545 A CN 114677545A CN 202210332747 A CN202210332747 A CN 202210332747A CN 114677545 A CN114677545 A CN 114677545A
Authority
CN
China
Prior art keywords
convolution
neural network
similarity
pruning
image classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210332747.1A
Other languages
English (en)
Other versions
CN114677545B (zh
Inventor
苏冬
颜庆义
樊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Publication of CN114677545A publication Critical patent/CN114677545A/zh
Application granted granted Critical
Publication of CN114677545B publication Critical patent/CN114677545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

该发明公开了一种基于相似性剪枝和高效模块的轻量化图像分类方法，属于图像处理领域。本发明首先训练原始图像分类卷积神经网络，采用基于相似度的剪枝方式，优先移除图像分类卷积神经网络同一个卷积层中相同的或者相似的神经元，这种剪枝方式，相比现有剪枝方法优先去除神经网络中不重要的神经元对模型性能损伤更小；此外，该方法可以基于实际需要部署的设备的性能设置剪枝后模型的大小和计算量，从而得到特定资源限制下最优的网络模型参数；使用高效卷积模块替换标准卷积核，保证分类精度的情况下，降低图像分类卷积神经网络的参数量以及计算量。

Description

一种基于相似性剪枝和高效模块的轻量化图像分类方法
技术领域
本发明属于图像分类领域，具体涉及图像分类网络轻量化方法。
背景技术
近年来，深度神经网络成为人工智能领域的研究热点，且被广泛应用在计算机视觉、自然语言处理等许多不同的领域，并在图像分类等很多实际任务上都取得了巨大的性能提升。这些成功都依赖于深度神经网络成千上万的参数，以及具有强大性能的计算设备。然而，深度神经网络模型复杂、计算量巨大的特点阻碍了它们在内存资源低的设备或对延迟要求严格的应用中的部署，由于很多实际应用场景中并不具备很高的计算能力和存储条件，并且对实时性有硬性需求，例如移动终端和自动驾驶环境，这使得深度神经网络很难实际部署到这些低存储、低功耗的小型设备上。因而轻量化的深度神经网络设计及模型压缩具有重大的理论研究意义和实际应用价值。
发明内容
本发明要解决的问题是，针对已有的图像分类方法中分类网络由于内存和计算能力限制无法部署到边缘移动设备问题。
本发明提供了一种基于相似性剪枝和高效模块的轻量化图像分类方法，包括下列步骤：
步骤1：训练一个原始图像分类卷积神经网络；
步骤2：计算该图像分类卷积神经网络中所有卷积层输出特征图的平均秩，并基于平均秩计算每个卷积层内卷积核间的信息相似度is；
步骤3：计算图像分类卷积神经网络中所有卷积层中卷积核间的余弦相似度cs；
步骤4：将信息相似度is和余弦相似度cs进行加权，计算卷积神经网络中每个卷积层内卷积核间的相似度s；然后计算各个卷积核的冗余指数redu，冗余指数redu表示该卷积核与层内其余所有卷积核的像是度；
步骤5：对图像分类卷积神经网络进行剪枝；
步骤5.1：根据设定的网络每层的剪枝率计算每层需要移除的卷积核个数m；
步骤5.2：将图像分类卷积神经网络对应卷积层中冗余指数最大的m个卷积核移除；移除本层的卷积核的同时将其对应的特征图移除，还要将下一层对应的通道维度移除；
步骤6：采用步骤1相同的方法对步骤5得到的剪枝后的网络进行训练，直到收敛；
步骤7：使用高效卷积模块对步骤6得到的神经网络中的卷积核进行替换；步骤6中得到网络：输入为w*h*Cin的输入特征图，使用Cout个K*K*Cin的卷积核，最终生成Cout个输出特征图；其中，w、h、Cin分别表示输入特征图的宽、高、通道数，K为卷积核尺寸，Cout我输出特征图的通道数；替换为：首先使用Cin个K*K*1的卷积核做深度卷积，结合Cout/2个1*1*Cin的卷积核做点卷积得到
Figure BDA0003573626880000021
个特征图，再使用
Figure BDA0003573626880000022
个K*K*1的卷积核对得到的
Figure BDA0003573626880000023
个特征图做深度卷积得到另外
Figure BDA0003573626880000024
个特征图，最后组合为Cout个输出特征图；
步骤8：对步骤7得到的卷积神经网络重新进行训练，直到收敛；
步骤9：采用步骤8得到的神经网络对图像进行识别。
进一步地，所述步骤1具体方法为：
步骤1.1：获取图像数据，图像数据中包含所有待识别的目标，计算图像平均尺寸，对大于平均尺寸的图像采用下采样的方式，小的图像采用双线性插值的方式实现图像的归一化；在图像归一化的过程中，保持原有图像的长宽比，不足的部分使用0像素填充；
步骤1.2：根据图像中的目标对图像添加对应的标签，将添加标签的图像分为训练数据和测试数据；
步骤1.3：根据图像分类任务需要，建立原始图像分类卷积神经网络，并采用训练数据和测试数据对图像分类卷积神经网络进行训练，直到达到设定的准确率。
进一步地，所述步骤2包含如下过程：
步骤2.1：从数据集中随机采样N张图片作为样本集，将样本集送入训练好的卷积神经网络，每个卷积核生成N张特征图，计算每个卷积核对应特征图的平均秩：
Figure BDA0003573626880000025
其中
Figure BDA0003573626880000026
表示将二维特征图
Figure BDA0003573626880000027
视为二维矩阵，对其求矩阵的秩；
步骤2.2：第i层卷积神经网络的第j个卷积核
Figure BDA0003573626880000028
和第j+1个卷积核
Figure BDA0003573626880000029
之间的信息相似度
Figure BDA00035736268800000210
为：
Figure BDA00035736268800000211
进一步地，所述步骤3包含如下过程：
第i层卷积神经网络的第j个卷积核
Figure BDA0003573626880000031
和第j+1个卷积核
Figure BDA0003573626880000032
之间的余弦相似度
Figure BDA0003573626880000033
为：
Figure BDA0003573626880000034
其中，resize(·)表示将卷积核
Figure BDA0003573626880000035
展开成一维向量，||x||表示x的l2范数，
Figure BDA0003573626880000036
表示
Figure BDA0003573626880000037
和
Figure BDA0003573626880000038
的内积。
进一步的，所述步骤4的具体方法为：
步骤4.1：第i层卷积神经网络的第j个卷积核
Figure BDA0003573626880000039
和第j+1个卷积核
Figure BDA00035736268800000310
之间的相似度系数
Figure BDA00035736268800000311
为：
Figure BDA00035736268800000312
其中λ用来调整余弦相似度和信息相似度的权重。
步骤4.2：冗余指数
Figure BDA00035736268800000313
衡量
Figure BDA00035736268800000314
与第i层所有其他卷积核的相似程度：
Figure BDA00035736268800000315
本发明的有益效果是，采用基于相似度的剪枝方式，优先移除图像分类卷积神经网络同一个卷积层中相同的或者相似的神经元，这种剪枝方式，相比现有剪枝方法优先去除神经网络中不重要的神经元对模型性能损伤更小；此外，该方法可以基于实际需要部署的设备的性能(如内存和计算能力)设置剪枝后模型的大小和计算量，从而得到特定资源限制下最优的网络模型参数；使用高效卷积模块替换标准卷积核，进一步降低图像分类卷积神经网络的参数量以及计算量。
附图说明
图1为本发明方法框架示意图；
图2为普通卷积与本发明高效模块的对比；
图3为本发明在使用Cifar-10数据集对VGG16模型上的剪枝结果与其它方法的比较。Top-Acc表示模型精度，Para.表示模型的参数量，单位为MB，括号内CR表示参数压缩率，FLOPs表示模型推理的乘加次数，单位为M,括号内SR表示推理加速比；
图4为Cifar-10上VGG16模型Loss收敛曲线
图5为VGG16模型13个卷积层三种不同情况的各层剪枝率；
图6为本发明具体实施方式中VGG16网络结构。
具体实施方式
下面结合本发明实施例的附图，对本发明的方法的具体实施方式进一步阐述，需要说明的是，下面的实验及相关结果仅用于说明本发明，而不限制本发明的范围。
本发明实施例在TITAN X服务器上进行实现，采用Pytorch深度学习框架，在Cifar-10数据集上对VGG-16模型进行轻量化，轻量化流程图如图1所示，本发明实施例方法具体包含以下步骤：
步骤1，在Cifar-10训练集上对VGG-16模型训练200个epoch至模型收敛，VGG-16模型的Loss收敛曲线如图4所示；从数据集中随机采样N(N＝500)张图片作为样本集，将样本集送入训练好的卷积神经网络，每个卷积核生成N张特征图，计算每个卷积核对应特征图的平均秩：
Figure BDA0003573626880000041
i∈[1,13]，VGG16只有13个卷积层，计算第i层卷积神经网络的第j个卷积核
Figure BDA0003573626880000042
和第j+1个卷积核
Figure BDA0003573626880000043
之间的信息相似度
Figure BDA0003573626880000044
为：
Figure BDA0003573626880000045
步骤2，计算第i层卷积神经网络的第j个卷积核
Figure BDA0003573626880000046
和第j+1个卷积核
Figure BDA0003573626880000047
之间的余弦相似度
Figure BDA0003573626880000048
为：
Figure BDA0003573626880000049
步骤3，第i层卷积神经网络的第j个卷积核
Figure BDA00035736268800000410
和第j+1个卷积核
Figure BDA00035736268800000411
之间的相似度系数
Figure BDA00035736268800000412
为：
Figure BDA00035736268800000413
其中取λ＝0.5，该参数的取值通过超参数实验得到。
计算卷积核
Figure BDA0003573626880000051
的冗余指数
Figure BDA0003573626880000052
衡量其与第i层所有其他卷积核的相似程度：
Figure BDA0003573626880000053
对第i层的ni个卷积核按冗余指数进行降序排序；
步骤4，从第一个卷积层开始，直到最后一个卷积层：
根据设定的网络每层的剪枝率PR计算需要移除的卷积核个数m，本实施例共实验了三组剪枝率参数对VGG16进行剪枝，对应的轻量化版本分别记为V1、V2、V3，各层的剪枝率具体设置如图5所示。
将原始网络模型第i个卷积层中冗余指数最大的m个卷积核移除，移除操作具体为：剪去本层的卷积核，并将其对应的特征图剪去，同时将下一层所有的卷积核相应的通道维度去掉。
步骤5，在数据集上对步骤4得到的剪枝后的网络模型微调40个epoch至收敛，以恢复模型的性能损失。步骤1-5即相似性剪枝算法，算法流程如图2所示。
步骤6，将一个参数为Cin*K*K*Cout的标准卷积层，即其里面的Cout个K*K*Cout标准卷积核，使用Cin个K*K*1的深度卷积核
Figure BDA0003573626880000054
个1*1*Cin点卷积核
Figure BDA0003573626880000055
个K*K*1的深度卷积核替代实现。需要注意的是，前面的深度卷积和点卷积后需要接激活函数，但后面
Figure BDA0003573626880000056
个K*K*1的卷积核目的是为了执行线性变换，因此后面不接激活函数。普通卷积与高效卷积模块的对比如图2所示。
步骤7，对步骤6得到的卷积神经网络重新进行训练40个epoch，至网络模型达到收敛，得到轻量化后模型
为了验证本发明的有效性，我们将本实施例的结果与其他的剪枝方法在CIFAR-10数据集上对VGG16的剪枝结果进行了对比，方法包括使用L1范数剪枝的L1算法，使用卷积核特征图平均秩剪枝的Hrank算法，使用卷积核几何中心剪枝的FPGM算法，算法-vX表示该算法使用不同剪枝率得到的结果。相比于同样是基于神经网络参数冗余的剪枝方法FPGM，本发明-v1在剪枝后网络精度和其同样超过baseline方法的情况下，比其减少了更多的计算量和参数量，本发明-v1剪枝后的网络的计算量降至为原始模型的18.6％，而FPGM则为原来的66.1％，尽管其性能相比baseline提高了更多。相比于基于重要性剪枝的方法HRank的v1和v2版本，本发明方法的v1和v3版本剪枝后的模型总能在参数量不超过其相应版本模型的情况下，取得更高的模型精度，特别是在同样进行较大剪枝率的情况下，本发明方法v3生成的剪枝模型使用仅baseline模型1/3的参数量、1/8计算量的情况下，精度仍没有产生大的损失(只下降了0.4％)。最后相比于L1范数剪枝方法，本发明方法v2在精度更高其剪枝后模型的情况下，参数量和计算量相比其少了一倍。
本发明探索了一种基于相似性剪枝和高效模块的模型轻量化算法，采用基于相似度的剪枝方式，优先移除卷积神经网络同一个卷积层中相同的或者相似的神经元，这种剪枝方式，相比现有剪枝方法优先去除神经网络中不重要的神经元对模型性能损伤更小；通过设计的高效模块替换普通标准卷积，实现深层次的网络参数共享(深度卷积层的参数)和特征复用(点卷积得到的特征)，从而进一步压缩网络大小，并加速网络推理速度。

Claims (5)

1.一种基于相似性剪枝和高效模块的轻量化图像分类方法，包括下列步骤：
步骤1：训练一个原始图像分类卷积神经网络；
步骤2：计算该图像分类卷积神经网络中所有卷积层输出特征图的平均秩，并基于平均秩计算每个卷积层内卷积核间的信息相似度is；
步骤3：计算图像分类卷积神经网络中所有卷积层中卷积核间的余弦相似度cs；
步骤4：将信息相似度is和余弦相似度cs进行加权，计算卷积神经网络中每个卷积层内卷积核间的相似度s；然后计算各个卷积核的冗余指数redu，冗余指数redu表示该卷积核与层内其余所有卷积核的像是度；
步骤5：对图像分类卷积神经网络进行剪枝；
步骤5.1：根据设定的网络每层的剪枝率计算每层需要移除的卷积核个数m；
步骤5.2：将图像分类卷积神经网络对应卷积层中冗余指数最大的m个卷积核移除；移除本层的卷积核的同时将其对应的特征图移除，还要将下一层对应的通道维度移除；
步骤6：采用步骤1相同的方法对步骤5得到的剪枝后的网络进行训练，直到收敛；
步骤7：使用高效卷积模块对步骤6得到的神经网络中的卷积核进行替换；步骤6中得到网络：输入为w*h*Cin的输入特征图，使用Cout个K*K*Cin的卷积核，最终生成Cout个输出特征图；其中，w、h、Cin分别表示输入特征图的宽、高、通道数，K为卷积核尺寸，Cout我输出特征图的通道数；替换为：首先使用Cin个K*K*1的卷积核做深度卷积，结合Cout/2个1*1*Cin的卷积核做点卷积得到
Figure FDA0003573626870000011
个特征图，再使用
Figure FDA0003573626870000012
个K*K*1的卷积核对得到的
Figure FDA0003573626870000013
个特征图做深度卷积得到另外
Figure FDA0003573626870000014
个特征图，最后组合为Cout个输出特征图；
步骤8：对步骤7得到的卷积神经网络重新进行训练，直到收敛；
步骤9：采用步骤8得到的神经网络对图像进行分类识别。
2.如权利要求1所述的一种基于相似性剪枝和高效模块的轻量化图像分类方法，其特征在于，所述步骤1具体方法为：
步骤1.1：获取图像数据，图像数据中包含所有待识别的目标，计算图像平均尺寸，对大于平均尺寸的图像采用下采样的方式，小的图像采用双线性插值的方式实现图像的归一化；在图像归一化的过程中，保持原有图像的长宽比，不足的部分使用0像素填充；
步骤1.2：根据图像中的目标对图像添加对应的标签，将添加标签的图像分为训练数据和测试数据；
步骤1.3：根据图像分类任务需要，建立原始图像分类卷积神经网络，并采用训练数据和测试数据对图像分类卷积神经网络进行训练，直到达到设定的准确率。
3.如权利要求1所述的一种基于相似性剪枝和高效模块的轻量化图像分类方法，其特征在于，所述步骤2包含如下过程：
步骤2.1：从数据集中随机采样N张图片作为样本集，将样本集送入训练好的卷积神经网络，每个卷积核生成N张特征图，计算每个卷积核对应特征图的平均秩：
Figure FDA0003573626870000021
其中
Figure FDA0003573626870000022
表示将二维特征图
Figure FDA0003573626870000023
视为二维矩阵，对其求矩阵的秩；
步骤2.2：第i层卷积神经网络的第j个卷积核
Figure FDA0003573626870000024
和第j+1个卷积核
Figure FDA0003573626870000025
之间的信息相似度
Figure FDA0003573626870000026
为：
Figure FDA0003573626870000027
4.如权利要求3所述的一种基于相似性剪枝和高效模块的轻量化图像分类方法，其特征在于，所述步骤3包含如下过程：
第i层卷积神经网络的第j个卷积核
Figure FDA0003573626870000028
和第j+1个卷积核
Figure FDA0003573626870000029
之间的余弦相似度
Figure FDA00035736268700000210
为：
Figure FDA00035736268700000211
其中，resize(·)表示将卷积核
Figure FDA00035736268700000212
展开成一维向量，||x||表示x的l2范数，
Figure FDA00035736268700000213
表示
Figure FDA00035736268700000214
和
Figure FDA00035736268700000215
的内积。
5.如权利要求4所述的一种基于相似性剪枝和高效模块的轻量化图像分类方法，其特征在于，所述步骤4的具体方法为：
步骤4.1：第i层卷积神经网络的第j个卷积核
Figure FDA00035736268700000216
和第j+1个卷积核
Figure FDA00035736268700000217
之间的相似度系数
Figure FDA00035736268700000218
为：
Figure FDA00035736268700000219
其中λ用来调整余弦相似度和信息相似度的权重。
步骤4.2：冗余指数
Figure FDA0003573626870000031
衡量
Figure FDA0003573626870000032
与第i层所有其他卷积核的相似程度：
Figure FDA0003573626870000033
CN202210332747.1A 2022-03-29 2022-03-30 一种基于相似性剪枝和高效模块的轻量化图像分类方法 Active CN114677545B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210320544 2022-03-29
CN2022103205440 2022-03-29

Publications (2)

Publication Number Publication Date
CN114677545A true CN114677545A (zh) 2022-06-28
CN114677545B CN114677545B (zh) 2023-05-23

Family

ID=82076948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210332747.1A Active CN114677545B (zh) 2022-03-29 2022-03-30 一种基于相似性剪枝和高效模块的轻量化图像分类方法

Country Status (1)

Country Link
CN (1) CN114677545B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474070A (zh) * 2023-12-26 2024-01-30 苏州元脑智能科技有限公司 模型剪枝方法、人脸识别模型训练方法及人脸识别方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527068A (zh) * 2017-08-07 2017-12-29 南京信息工程大学 基于cnn和域自适应学习的车型识别方法
CN108229679A (zh) * 2017-11-23 2018-06-29 北京市商汤科技开发有限公司 卷积神经网络去冗余方法及装置、电子设备和存储介质
CN108805151A (zh) * 2017-05-05 2018-11-13 杭州微禾迅科技有限公司 一种基于深度相似性网络的图像分类方法
US20180336425A1 (en) * 2017-05-16 2018-11-22 Nec Laboratories America, Inc. Pruning filters for efficient convolutional neural networks for image recognition in vehicles
CN111079899A (zh) * 2019-12-05 2020-04-28 中国电子科技集团公司信息科学研究院 神经网络模型压缩方法、系统、设备及介质
CN112308019A (zh) * 2020-11-19 2021-02-02 中国人民解放军国防科技大学 基于网络剪枝和知识蒸馏的sar舰船目标检测方法
CN112488205A (zh) * 2020-11-30 2021-03-12 桂林电子科技大学 基于优化kpca算法的神经网络图像分类识别方法
CN113052211A (zh) * 2021-03-11 2021-06-29 天津大学 一种基于特征的秩和通道重要性的剪枝方法
CN113065653A (zh) * 2021-04-27 2021-07-02 北京工业大学 面向移动端图像分类的轻量级卷积神经网络的设计方法
CN113610192A (zh) * 2021-09-07 2021-11-05 北京理工大学 一种基于连续性剪枝的神经网络轻量化方法及系统
CN113657421A (zh) * 2021-06-17 2021-11-16 中国科学院自动化研究所 卷积神经网络压缩方法和装置、图像分类方法和装置
CN113780550A (zh) * 2021-08-24 2021-12-10 北京科技大学 一种量化特征图相似度的卷积神经网络剪枝方法及装置
CN114021699A (zh) * 2021-10-29 2022-02-08 浙江工业大学 一种基于梯度的卷积神经网络剪枝方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805151A (zh) * 2017-05-05 2018-11-13 杭州微禾迅科技有限公司 一种基于深度相似性网络的图像分类方法
US20180336425A1 (en) * 2017-05-16 2018-11-22 Nec Laboratories America, Inc. Pruning filters for efficient convolutional neural networks for image recognition in vehicles
CN107527068A (zh) * 2017-08-07 2017-12-29 南京信息工程大学 基于cnn和域自适应学习的车型识别方法
CN108229679A (zh) * 2017-11-23 2018-06-29 北京市商汤科技开发有限公司 卷积神经网络去冗余方法及装置、电子设备和存储介质
CN111079899A (zh) * 2019-12-05 2020-04-28 中国电子科技集团公司信息科学研究院 神经网络模型压缩方法、系统、设备及介质
CN112308019A (zh) * 2020-11-19 2021-02-02 中国人民解放军国防科技大学 基于网络剪枝和知识蒸馏的sar舰船目标检测方法
CN112488205A (zh) * 2020-11-30 2021-03-12 桂林电子科技大学 基于优化kpca算法的神经网络图像分类识别方法
CN113052211A (zh) * 2021-03-11 2021-06-29 天津大学 一种基于特征的秩和通道重要性的剪枝方法
CN113065653A (zh) * 2021-04-27 2021-07-02 北京工业大学 面向移动端图像分类的轻量级卷积神经网络的设计方法
CN113657421A (zh) * 2021-06-17 2021-11-16 中国科学院自动化研究所 卷积神经网络压缩方法和装置、图像分类方法和装置
CN113780550A (zh) * 2021-08-24 2021-12-10 北京科技大学 一种量化特征图相似度的卷积神经网络剪枝方法及装置
CN113610192A (zh) * 2021-09-07 2021-11-05 北京理工大学 一种基于连续性剪枝的神经网络轻量化方法及系统
CN114021699A (zh) * 2021-10-29 2022-02-08 浙江工业大学 一种基于梯度的卷积神经网络剪枝方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MU YE等: "A Lightweight Model of VGG-16 for Remote Sensing Image Classification" *
YING CUI等: "Lightweight Spectral–Spatial Attention Network for Hyperspectral Image Classification" *
卢晨星: "轻量级卷积神经网络的改进研究及其在图像分类中的应用" *
杨晓迪: "轻量化网络在图像分类中的研究与应用" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474070A (zh) * 2023-12-26 2024-01-30 苏州元脑智能科技有限公司 模型剪枝方法、人脸识别模型训练方法及人脸识别方法
CN117474070B (zh) * 2023-12-26 2024-04-23 苏州元脑智能科技有限公司 模型剪枝方法、人脸识别模型训练方法及人脸识别方法

Also Published As

Publication number Publication date
CN114677545B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
Dai et al. Compressing neural networks using the variational information bottleneck
Dong et al. Network pruning via transformable architecture search
Li et al. Towards compact cnns via collaborative compression
Wang et al. Exploring linear relationship in feature map subspace for convnets compression
CN111191514A (zh) 一种基于深度学习的高光谱图像波段选择方法
CN111091130A (zh) 基于轻量级卷积神经网络的实时图像语义分割方法及系统
Kim et al. Neuron merging: Compensating for pruned neurons
KR102142403B1 (ko) 저사양 임베디드 환경에서의 합성곱 신경망 연산을 위한 역 잔여 블록의 채널 확장 매개변수 설정 시스템 및 방법
CN113159273B (zh) 一种神经网络的训练方法及相关设备
US20220261623A1 (en) System and method for channel-separable operations in deep neural networks
CN113420651B (zh) 深度卷积神经网络的轻量化方法、系统及目标检测方法
CN115457311B (zh) 一种基于自表达迁移学习的高光谱遥感影像波段选择方法
CN115759237A (zh) 端到端的深度神经网络模型压缩及异构转换系统及方法
Singh et al. Hetconv: Beyond homogeneous convolution kernels for deep cnns
US20220092391A1 (en) System and method of using neuroevolution-enhanced multi-objective optimization for mixed-precision quantization of deep neural networks
CN114677545A (zh) 一种基于相似性剪枝和高效模块的轻量化图像分类方法
US20230410465A1 (en) Real time salient object detection in images and videos
CN117333409A (zh) 基于图像的大数据分析方法
CN111639751A (zh) 一种用于二值卷积神经网络的非零填补训练方法
Turner et al. Distilling with performance enhanced students
CN113378866B (zh) 图像分类方法、系统、存储介质及电子设备
CN114492795A (zh) 深度卷积神经网络压缩方法、计算机装置及存储介质
Chung et al. Filter pruning by image channel reduction in pre-trained convolutional neural networks
CN115409150A (zh) 一种数据压缩方法、数据解压方法及相关设备
CN115329118B (zh) 一种面向垃圾图像的图像相似性检索方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant