CN108846445A - 一种基于相似性学习的卷积神经网络滤波器剪枝技术 - Google Patents

一种基于相似性学习的卷积神经网络滤波器剪枝技术 Download PDF

Info

Publication number
CN108846445A
CN108846445A CN201810672728.7A CN201810672728A CN108846445A CN 108846445 A CN108846445 A CN 108846445A CN 201810672728 A CN201810672728 A CN 201810672728A CN 108846445 A CN108846445 A CN 108846445A
Authority
CN
China
Prior art keywords
filter
investigation
cluster
vector
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810672728.7A
Other languages
English (en)
Other versions
CN108846445B (zh
Inventor
丁贵广
丁霄汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201810672728.7A priority Critical patent/CN108846445B/zh
Publication of CN108846445A publication Critical patent/CN108846445A/zh
Application granted granted Critical
Publication of CN108846445B publication Critical patent/CN108846445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明提供了一种基于相似性学习的卷积神经网络滤波器剪枝技术，首先通过相似性调查获得不同滤波器之间的相似性，然后依据相似性对滤波器进行聚类，再通过趋同训练将同一聚类中的滤波器变得越来越相似，最后对趋同训练后的滤波器进行修剪。本发明解决了在卷积神经网络滤波器剪枝过程中模型表征能力降低和需要重训练的问题，既可以更好地保留网络的表征能力和精度；而且几乎不会造成卷积神经网络的精度损失，不需要通过重训练来恢复模型的精度，达到模型精度和效率更好的平衡。

Description

一种基于相似性学习的卷积神经网络滤波器剪枝技术
技术领域
本发明属于神经网络技术领域，尤其涉及一种基于相似性学习的卷积神经网络滤波器剪枝技术。
背景技术
近年来，随着人类社会信息量的爆炸式增长和计算资源的极大丰富，数据驱动的深度学习方法在众多领域获得了广泛的成功应用。特别地，在计算机视觉、自然语言处理等领域，卷积神经网络(Convolutional Neural Networks,CNN)的成功尤为突出，已经成为了不可或缺的一种工具。
然而，随着CNN变得越来越深，其参数数量、能耗、需求的浮点运算数量(FLOPs)和内存占用也不断提高，使其越来越难以部署在计算资源有限的平台上，如移动端设备。因而，近年来CNN压缩和加速技术得到了广泛的研究，主要包括张量分解、滤波器剪枝、参数量化、知识蒸馏等。
其中滤波器剪枝技术受到了广泛重视，主要因为以下三点：首先，滤波器剪枝是一种可以应用于任何卷积网络的通用技术，其效果可以体现在任何应用领域、网络架构和部署平台上，不需要软硬件平台的特殊支持；第二，滤波器剪枝可以有效减少网络的FLOPs，而FLOPs是衡量计算开销的主要指标；第三，滤波器剪枝以一个滤波器较多(较宽)的网络作为输入，输出一个滤波器较少(较窄)的网络，不引入任何的特殊结构或额外操作，这使得滤波器剪枝“正交”于其他模型压缩与加速技术，可以很容易地将其与其他技术结合应用。
但滤波器剪枝领域已经出现的技术都具有一定的局限性。有些技术试图通过某种方式定义滤波器的重要性，移除一部分不重要的滤波器，然后重训练网络以恢复其受损的精度，这样做的局限性在于移除整个滤波器是一种对网络结构的较大的破坏，因而会造成显著的精度损失，需要较长时间的重训练来恢复其精度。有些技术是一层接一层、甚至一个滤波器接一个滤波器地剪枝和重训练，在非常深的网络上这样做的效率很低。另一些技术试图引入某种约束并训练网络，以期将部分滤波器置零，这样在移除这部分滤波器时网络的精度损失就可以大大减小；但是会因为网络的有用参数数量在训练过程中减少而导致网络的表征能力(精度)降低；而且这种方法往往不能真正将滤波器的参数全部置零，而只是将其量级减小到某一限度，因而剪枝时依然会造成精度损失，依然需要重训练来恢复其精度。
发明内容
为了解决上述技术问题，本发明提供一种基于相似性学习的卷积神经网络滤波器剪枝技术，包括：
S1.对滤波器进行相似性调查；
S2.采用自底向上层次聚类的方法对滤波器进行聚类；
S3.按照下列公式对每个聚类中的滤波器进行趋同训练：
其中，F(j)代表编号为j的滤波器，t表示训练步数，τ表示学习率，H(j)表示编号为j的滤波器所属的聚类，L表示目标函数，η是网络原本的L-2正则化因子，∈是一个控制趋同速度的超参数；
S4.对经步骤S3趋同训练后的滤波器进行修剪，具体包括：
选择每个聚类H(k)中编号最小的滤波器作为要留下的滤波器k，第i层所有要留下的滤波器k的集合记为Ri；
对于Ri中每一个要留下的滤波器k及其对应的聚类H(k)，在处理第i+1层时，把H(k)中将要被移除的滤波器所对应的输入通道上的参数加到滤波器k所对应的输入通道上去，即：
其中，K代表卷积核参数；
然后删除第i层的H(k)中除要留下的滤波器k之外的所有滤波器和第i+1层对应的输入通道。
进一步的，步骤S1中的相似性调查是通过滤波器在一给定数据集上的输出的相似性来间接估计滤波器本身的相似性。
进一步的，相似性调查采用GAP作为滤波器产生的特征矩阵的统计量；对于一给定的数据集X，GAP会对每一个滤波器产生一个|X|维的调查向量作为输出；然后采用两个调查向量的Pearson相关系数来度量这两个调查向量对应的两个滤波器的相似性，具体如以下公式所示：
其中，g(p)代表第p个滤波器对应的调查向量，g(q)代表第q个滤波器对应的调查向量，E和VAR分别代表一个向量的期望和方差，⊙代表逐元素乘法。
进一步的，步骤S2包括：初始化每一个滤波器作为一个聚类；在每次迭代中，寻找相似度最高的两个调查向量，并将其所在的聚类合并，取这两个聚类中所有调查向量的算术平均值作为新聚类的调查向量，直到剩下规定的个数的聚类。
进一步的，所述趋同训练的目标是使得每个聚类中的滤波器变得越来越相似。
与现有技术相比，本发明的有益效果在于：
本发明解决了在卷积神经网络滤波器剪枝过程中模型表征能力降低和需要重训练的问题，通过发现网络中相似的滤波器，并经过相似性学习直至最终相同，既可以更好地保留网络的表征能力和精度；而且几乎不会造成卷积神经网络的精度损失，不需要通过重训练来恢复模型的精度，达到模型精度和效率更好的平衡。
附图说明
图1本发明的基于相似性学习的卷积神经网络滤波器剪枝技术的流程图；
图2为本发明的相似性调查的原理示意图；
图3为经典的滤波器置零方法的原理示意图；
图4为本发明的基于相似性学习的卷积神经网络滤波器剪枝技术的原理示意图。
具体实施方式
一种基于相似性学习的卷积神经网络滤波器剪枝技术，如图1所示，包括：
S1.相似性调查
如图2所示，本发明的相似性调查是通过滤波器在一给定数据集上的输出的相似性来间接估计滤波器本身的相似性。例如，对于输入网络某一层中的两个滤波器，对于同一输入(例如一张图片)，这两个滤波器产生两个特征矩阵；对于包含多张图片的同一给定数据集，这两个滤波器产生两个矩阵序列。但是将这两个矩阵序列的相似度直接作为这两个滤波器的相似度实际上是不可行的。以ImageNet数据集上的ResNet-50的第一层64个滤波器为例，如果仅仅以ImageNet训练集的1％(12800张图片)作为调查数据集，用32位浮点数存储矩阵序列，由于ResNet-50第一层的特征矩阵尺寸是112×112，就需要112×112×12800×4×64＝41GB内存来存储这些矩阵序列。因此需要一个特征矩阵的统计量，用一个数值来代替一个矩阵，这样就可以大大提高效率。
全局平均池化(Global Average Pooling,GAP)在诸多网络中得到了成功应用，而且具备平移不变性和线性的性质，因此本发明的相似性调查采用GAP作为特征矩阵的统计量。对于一个输入，GAP产生一个值；则对于一给定的数据集X，GAP会对每一个滤波器产生一个|X|维的调查向量作为输出。然后采用两个调查向量的Pearson相关系数来度量这两个调查向量的相似性，也就是这两个调查向量对应的两个滤波器的相似性。
两个滤波器的相似性按照下列公式计算：
其中，g(p)代表第p个滤波器对应的调查向量，g(q)代表第q个滤波器对应的调查向量，E和VAR分别代表一个向量的期望和方差，⊙代表逐元素乘法。
S2.滤波器聚类
对CNN的每一层，滤波器聚类以相似性调查输出的调查向量为输入，输出该层滤波器的聚类结果。本发明采用自底向上层次聚类的方法，初始化每一个滤波器作为一个聚类；在每次迭代中，寻找相似度最高的两个调查向量，并将其所在的聚类合并，取这两个聚类中所有调查向量的算术平均值作为新聚类的调查向量，直到剩下规定的个数的聚类。
S3.按照下列公式对每个聚类中的滤波器进行趋同训练：
其中，F(j)代表编号为j的滤波器，t表示训练步数，τ表示学习率，H(j)表示编号为j的滤波器所属的聚类(形式是一个滤波器编号集合)，L表示目标函数，η是网络原本的L-2正则化因子，∈是一个控制趋同速度的超参数。
趋同训练的目标是使得每个聚类中的滤波器变得越来越相似，直至相同。
趋同训练过程一方面保持每个聚类中不同滤波器的增量相同，一方面逐渐消除不同滤波器初始值的差异。为了使得增量相同，在反向传播中本发明使用滤波器的平均梯度来更新参数值；为了逐渐消除差异，同一聚类中的不同滤波器会被逐渐推向其聚类中心。
与“剪枝+重训练”的范式相比，本发明的趋同训练过程比剪枝后的重训练过程模型参数量较多，模型精度更高；而且可以同时作用于一个网络中的所有层，不需要逐层迭代。与“置零+剪枝+重训练”的范式相比，本发明在训练过程中的有用参数更多，模型的自由度更高，更容易保持其精度不下降。而且本发明去除冗余的滤波器时不会造成模型的精度损失，因而不再需要重训练来恢复模型的精度。
S4.滤波器修剪
在趋同训练结束后，每个聚类中的滤波器已经变得几乎完全相同，此时选择每个聚类H(k)中的第一个，即编号最小的滤波器作为要留下的滤波器k，第i层所有要留下的滤波器k的集合记为Ri。
对于Ri中每一个要留下的滤波器k及其对应的聚类H(k)，在处理下一层(即第i+1层)的时候，需要把H(k)中将要被移除的滤波器所对应的输入通道上的参数加到滤波器k所对应的输入通道上去，如图4所示，即：
其中，K代表卷积核参数，是一个4阶张量。
在目前大多数实现平台上，不同输入通道的维度是第3阶，不同输出维度(即滤波器)是第4阶。
然后移除第i层冗余的滤波器，并移除第i+1层对应的输入通道。也就是说，对于Ri中每一个要留下的滤波器k，删除H(k)中除k之外的所有滤波器和第i+1层对应的输入通道。
由于卷积的线性和加和性质，这一操作几乎不会造成精度损失，因而不需要重训练来恢复模型的精度。
效果分析及评价
经典的滤波器置零的方法如图3所示，通过施加某种约束，第1个卷积层的第3个滤波器被逐渐置零，这使得其对应的第3个特征图也被逐渐置零。由于任何卷积核在一个接近于零的矩阵上进行二维卷积得到的结果都是接近于零的，第二个卷积层的6个滤波器的第3个输入通道的参数是接近于无用的，这使得网络的表征能力得到了较大的损害，网络的精度在训练过程中会被显著降低。在训练结束后进行剪枝时，第1层的第3个滤波器被直接移除，第2层的6个滤波器的第3个输入通道也被对应移除。
本发明提供的基于相似性学习的卷积神经网络滤波器剪枝技术如图4所示，通过施加某种约束，第1层的第3个和第4个滤波器变得几乎相同，这使得其对应的第3个和第4个特征图也几乎相同。但是第3层的6个滤波器的第3个和第4个输入通道依然是不同的，在训练过程中可以不受约束地自由变化，这些参数依然是有用的，因而网络的表征能力被更多地保留。在训练结束后进行剪枝时，直接移除第1层的第4个滤波器，并将第2层的6个滤波器的第4个输入通道直接加到第3个输入通道上。由于卷积的线性以及加和性质，这样做几乎不会造成网络的精度损失，因而无需重训练。
与传统的滤波器剪枝方法相比，本发明通过发现网络中相似的滤波器，并经过训练将其变得越来越相似，直至最终相同，可以较多地保留网络的表征能力，达到模型精度和效率的更好平衡；而且移除冗余的滤波器将几乎不造成网络的精度损失，因而不再需要重训练来恢复模型的精度。
将本发明提供的基于相似性学习的卷积神经网络滤波器剪枝技术在图像分类领域的两个标准数据集CIFAR-10和ImageNet-1K上进行实验，结果如表1所示：
表1基于相似性学习的卷积神经网络滤波器剪枝技术应用实验结果
数据集 网络架构 剪枝前精度 剪枝后精度 FLOPs降低
CIFAR-10 ResNet-56 93.17 93.34 60.85％
CIFAR-10 ResNet-110 94.16 94.19 60.89％
CIFAR-10 ResNet-164 94.83 94.81 60.91％
CIFAR-10 DenseNet-40 93.81 94.29 62.47％
ImageNet ResNet-50 74.17 73.80 36.75％
ImageNet DenseNet-121 74.31 74.05 32.59％
由表1可知，本发明提供的基于相似性学习的卷积神经网络滤波器剪枝技术表现出了显著的有效性和优越性。具体来说，在CIFAR-10数据集上，在3个代表性的卷积神经网络上(ResNet-56、ResNet-110、ResNet-164)，本发明提供的技术能够将每一个卷积层的滤波器数量减为原来的5/8，因而网络的参数量和浮点运算量可以减为原来的约25/64，而精度几乎没有损失，甚至在有些情况下略有升高。在DenseNet-40上，本方法能将其第一阶段的每层12个滤波器减为3个，最终网络的参数量和浮点运算量减为原来的37.5％，而且精度得到了一定的提升。在ImageNet上，本方法能够将ResNet-50和DenseNet-121的参数量和浮点运算量减少30％以上，只造成约0.3％的精度损失，大大优于现有其他方法。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于相似性学习的卷积神经网络滤波器剪枝技术，其特征在于，包括：
S1.对滤波器进行相似性调查；
S2.采用自底向上层次聚类的方法对滤波器进行聚类；
S3.按照下列公式对每个聚类中的滤波器进行趋同训练：
其中，F(j)代表编号为j的滤波器，t表示训练步数，τ表示学习率，H(j)表示编号为j的滤波器所属的聚类，L表示目标函数，η是网络原本的L-2正则化因子，∈是一个控制趋同速度的超参数；
S4.对经步骤S3趋同训练后的滤波器进行修剪，具体包括：
选择每个聚类H(k)中编号最小的滤波器作为要留下的滤波器k，第i层所有要留下的滤波器k的集合记为Ri；
对于Ri中每一个要留下的滤波器k及其对应的聚类H(k)，在处理第i+1层时，把H(k)中将要被移除的滤波器所对应的输入通道上的参数加到滤波器k所对应的输入通道上去，即：
其中，K代表卷积核参数；
然后删除第i层的H(k)中除要留下的滤波器k之外的所有滤波器和第i+1层对应的输入通道。
2.根据权利要求1所述的技术，其特征在于，步骤S1中的相似性调查是通过滤波器在一给定数据集上的输出的相似性来间接估计滤波器本身的相似性。
3.根据权利要求2所述的技术，其特征在于，相似性调查采用GAP作为滤波器产生的特征矩阵的统计量；对于一给定的数据集X，GAP会对每一个滤波器产生一个|X|维的调查向量作为输出；然后采用两个调查向量的Pearson相关系数来度量这两个调查向量对应的两个滤波器的相似性，具体如以下公式所示：
其中，g(p)代表第p个滤波器对应的调查向量，g(q)代表第q个滤波器对应的调查向量，E和VAR分别代表一个向量的期望和方差，⊙代表逐元素乘法。
4.根据权利要求3所述的技术，其特征在于，步骤S2包括：初始化每一个滤波器作为一个聚类；在每次迭代中，寻找相似度最高的两个调查向量，并将其所在的聚类合并，取这两个聚类中所有调查向量的算术平均值作为新聚类的调查向量，直到剩下规定的个数的聚类。
5.根据权利要求1-4任一所述的技术，其特征在于，所述趋同训练的目标是使得每个聚类中的滤波器变得越来越相似。
CN201810672728.7A 2018-06-26 2018-06-26 一种图像处理方法 Active CN108846445B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810672728.7A CN108846445B (zh) 2018-06-26 2018-06-26 一种图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810672728.7A CN108846445B (zh) 2018-06-26 2018-06-26 一种图像处理方法

Publications (2)

Publication Number Publication Date
CN108846445A true CN108846445A (zh) 2018-11-20
CN108846445B CN108846445B (zh) 2021-11-26

Family

ID=64202448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810672728.7A Active CN108846445B (zh) 2018-06-26 2018-06-26 一种图像处理方法

Country Status (1)

Country Link
CN (1) CN108846445B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858613A (zh) * 2019-01-22 2019-06-07 鹏城实验室 一种深度神经网络的压缩方法、系统及终端设备
CN110163342A (zh) * 2019-04-17 2019-08-23 腾讯科技（深圳）有限公司 一种模型压缩方法、装置、设备及存储介质
CN110263628A (zh) * 2019-05-09 2019-09-20 杭州飞步科技有限公司 障碍物检测方法、装置、电子设备以及存储介质
CN110276450A (zh) * 2019-06-25 2019-09-24 交叉信息核心技术研究院(西安)有限公司 基于多粒度的深度神经网络结构化稀疏系统和方法
CN110543900A (zh) * 2019-08-21 2019-12-06 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111242285A (zh) * 2020-01-06 2020-06-05 宜通世纪物联网研究院(广州)有限公司 一种深度学习模型的训练方法、系统、装置及存储介质
CN111507203A (zh) * 2020-03-27 2020-08-07 北京百度网讯科技有限公司 可变车道检测模型的构建方法、电子设备及存储介质
CN111612144A (zh) * 2020-05-22 2020-09-01 深圳金三立视频科技股份有限公司 一种应用于目标检测的剪枝方法及终端
CN112241789A (zh) * 2020-10-16 2021-01-19 广州云从凯风科技有限公司 用于轻量化神经网络的结构化剪枝方法、装置、介质及设备
CN112529149A (zh) * 2020-11-30 2021-03-19 华为技术有限公司 一种数据处理方法及相关装置
CN112561041A (zh) * 2021-02-25 2021-03-26 之江实验室 基于滤波器分布的神经网络模型加速方法及平台
CN112633400A (zh) * 2020-12-29 2021-04-09 山东省海洋生物研究院 基于计算机视觉的贝类分类识别方法及装置
CN112733925A (zh) * 2021-01-04 2021-04-30 国网山东省电力公司枣庄供电公司 基于fpcc-gan的构建轻型图像分类网络的方法及系统
CN113283473A (zh) * 2021-04-20 2021-08-20 中国海洋大学 一种基于cnn特征映射剪枝的快速水下目标识别方法
CN113516237A (zh) * 2020-04-09 2021-10-19 黑芝麻智能科技(重庆)有限公司 修剪卷积神经网络的方法
CN113743591A (zh) * 2021-09-14 2021-12-03 北京邮电大学 一种自动化剪枝卷积神经网络的方法及其系统
CN113762506A (zh) * 2021-08-13 2021-12-07 中国电子科技集团公司第三十八研究所 一种深度学习模型剪枝方法及系统
CN116402117A (zh) * 2023-06-07 2023-07-07 中诚华隆计算机技术有限公司 图像分类卷积神经网络剪枝方法及芯粒器件数据分配方法
CN117829241A (zh) * 2024-03-04 2024-04-05 西北工业大学 一种卷积神经网络的剪枝方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160162782A1 (en) * 2014-12-09 2016-06-09 Samsung Electronics Co., Ltd. Convolution neural network training apparatus and method thereof
CN107092960A (zh) * 2017-04-17 2017-08-25 中国民航大学 一种改进的并行通道卷积神经网络训练方法
US20170337467A1 (en) * 2016-05-18 2017-11-23 Nec Laboratories America, Inc. Security system using a convolutional neural network with pruned filters
CN107563422A (zh) * 2017-08-23 2018-01-09 西安电子科技大学 一种基于半监督卷积神经网络的极化sar分类方法
CN107609525A (zh) * 2017-09-19 2018-01-19 吉林大学 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160162782A1 (en) * 2014-12-09 2016-06-09 Samsung Electronics Co., Ltd. Convolution neural network training apparatus and method thereof
US20170337467A1 (en) * 2016-05-18 2017-11-23 Nec Laboratories America, Inc. Security system using a convolutional neural network with pruned filters
CN107092960A (zh) * 2017-04-17 2017-08-25 中国民航大学 一种改进的并行通道卷积神经网络训练方法
CN107563422A (zh) * 2017-08-23 2018-01-09 西安电子科技大学 一种基于半监督卷积神经网络的极化sar分类方法
CN107609525A (zh) * 2017-09-19 2018-01-19 吉林大学 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858613B (zh) * 2019-01-22 2021-02-19 鹏城实验室 一种深度神经网络的压缩方法、系统及终端设备
CN109858613A (zh) * 2019-01-22 2019-06-07 鹏城实验室 一种深度神经网络的压缩方法、系统及终端设备
CN110163342A (zh) * 2019-04-17 2019-08-23 腾讯科技（深圳）有限公司 一种模型压缩方法、装置、设备及存储介质
CN110163342B (zh) * 2019-04-17 2023-07-25 腾讯科技（深圳）有限公司 一种模型压缩方法、装置、设备及存储介质
CN110263628A (zh) * 2019-05-09 2019-09-20 杭州飞步科技有限公司 障碍物检测方法、装置、电子设备以及存储介质
CN110263628B (zh) * 2019-05-09 2021-11-23 杭州飞步科技有限公司 障碍物检测方法、装置、电子设备以及存储介质
CN110276450A (zh) * 2019-06-25 2019-09-24 交叉信息核心技术研究院(西安)有限公司 基于多粒度的深度神经网络结构化稀疏系统和方法
CN110276450B (zh) * 2019-06-25 2021-07-06 交叉信息核心技术研究院(西安)有限公司 基于多粒度的深度神经网络结构化稀疏系统和方法
CN110543900A (zh) * 2019-08-21 2019-12-06 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111242285A (zh) * 2020-01-06 2020-06-05 宜通世纪物联网研究院(广州)有限公司 一种深度学习模型的训练方法、系统、装置及存储介质
CN111507203B (zh) * 2020-03-27 2023-09-26 北京百度网讯科技有限公司 可变车道检测模型的构建方法、电子设备及存储介质
CN111507203A (zh) * 2020-03-27 2020-08-07 北京百度网讯科技有限公司 可变车道检测模型的构建方法、电子设备及存储介质
CN113516237A (zh) * 2020-04-09 2021-10-19 黑芝麻智能科技(重庆)有限公司 修剪卷积神经网络的方法
CN113516237B (zh) * 2020-04-09 2024-01-09 黑芝麻智能科技(重庆)有限公司 修剪卷积神经网络的方法
CN111612144A (zh) * 2020-05-22 2020-09-01 深圳金三立视频科技股份有限公司 一种应用于目标检测的剪枝方法及终端
CN111612144B (zh) * 2020-05-22 2021-06-15 深圳金三立视频科技股份有限公司 一种应用于目标检测的剪枝方法及终端
CN112241789A (zh) * 2020-10-16 2021-01-19 广州云从凯风科技有限公司 用于轻量化神经网络的结构化剪枝方法、装置、介质及设备
CN112529149A (zh) * 2020-11-30 2021-03-19 华为技术有限公司 一种数据处理方法及相关装置
WO2022111387A1 (zh) * 2020-11-30 2022-06-02 华为技术有限公司 一种数据处理方法及相关装置
CN112633400A (zh) * 2020-12-29 2021-04-09 山东省海洋生物研究院 基于计算机视觉的贝类分类识别方法及装置
CN112733925A (zh) * 2021-01-04 2021-04-30 国网山东省电力公司枣庄供电公司 基于fpcc-gan的构建轻型图像分类网络的方法及系统
CN112561041B (zh) * 2021-02-25 2023-10-27 之江实验室 基于滤波器分布的神经网络模型加速方法及平台
CN112561041A (zh) * 2021-02-25 2021-03-26 之江实验室 基于滤波器分布的神经网络模型加速方法及平台
CN113283473A (zh) * 2021-04-20 2021-08-20 中国海洋大学 一种基于cnn特征映射剪枝的快速水下目标识别方法
CN113283473B (zh) * 2021-04-20 2023-10-13 中国海洋大学 一种基于cnn特征映射剪枝的快速水下目标识别方法
CN113762506A (zh) * 2021-08-13 2021-12-07 中国电子科技集团公司第三十八研究所 一种深度学习模型剪枝方法及系统
CN113762506B (zh) * 2021-08-13 2023-11-24 中国电子科技集团公司第三十八研究所 一种计算机视觉深度学习模型剪枝方法及系统
CN113743591B (zh) * 2021-09-14 2023-12-26 北京邮电大学 一种自动化剪枝卷积神经网络的方法及其系统
CN113743591A (zh) * 2021-09-14 2021-12-03 北京邮电大学 一种自动化剪枝卷积神经网络的方法及其系统
CN116402117B (zh) * 2023-06-07 2023-08-18 中诚华隆计算机技术有限公司 图像分类卷积神经网络剪枝方法及芯粒器件数据分配方法
CN116402117A (zh) * 2023-06-07 2023-07-07 中诚华隆计算机技术有限公司 图像分类卷积神经网络剪枝方法及芯粒器件数据分配方法
CN117829241A (zh) * 2024-03-04 2024-04-05 西北工业大学 一种卷积神经网络的剪枝方法

Also Published As

Publication number Publication date
CN108846445B (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN108846445A (zh) 一种基于相似性学习的卷积神经网络滤波器剪枝技术
Kang et al. Operation-aware soft channel pruning using differentiable masks
Hu et al. A novel channel pruning method for deep neural network compression
CN111507768B (zh) 一种潜在用户的确定方法及相关装置
CN108875752A (zh) 图像处理方法和装置、计算机可读存储介质
CN111915629B (zh) 基于边界检测的超像素分割方法
CN115331732A (zh) 基于图神经网络的基因表型训练、预测方法及装置
CN114332545B (zh) 一种基于低比特脉冲神经网络的图像数据分类方法和装置
CN109325513A (zh) 一种基于海量单类单幅图像的图像分类网络训练方法
CN109784488A (zh) 一种适用于嵌入式平台的二值化卷积神经网络的构建方法
CN113128593A (zh) 一种基于双线性卷积神经网络的植物细粒度识别方法
Chen et al. Binarized neural architecture search
CN111488498A (zh) 基于图神经网络的“节点-图”跨层图匹配方法及系统
Zhang et al. Summary of convolutional neural network compression technology
CN113763385A (zh) 视频目标分割方法、装置、设备及介质
CN106169961A (zh) 基于人工智能的神经网络的网络参数处理方法及装置
Wu et al. SBNN: Slimming binarized neural network
Marti Asenjo et al. MRI brain tumor segmentation using a 2D-3D U-Net ensemble
Zhan et al. Deep model compression via two-stage deep reinforcement learning
Qi et al. Learning low resource consumption cnn through pruning and quantization
Wang et al. Towards efficient convolutional neural networks through low-error filter saliency estimation
Perveen et al. Multidimensional Attention-Based CNN Model for Identifying Apple Leaf Disease.
Bui et al. Nonconvex regularization for network slimming: compressing cnns even more
Bui et al. Improving network slimming with nonconvex regularization
CN110717539A (zh) 基于人工智能的降维模型训练方法、检索方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant