CN110210620A - 一种用于深度神经网络的通道剪枝方法 - Google Patents

一种用于深度神经网络的通道剪枝方法 Download PDF

Info

Publication number
CN110210620A
CN110210620A CN201910482122.1A CN201910482122A CN110210620A CN 110210620 A CN110210620 A CN 110210620A CN 201910482122 A CN201910482122 A CN 201910482122A CN 110210620 A CN110210620 A CN 110210620A
Authority
CN
China
Prior art keywords
channel
neural network
deep neural
beta pruning
iteration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910482122.1A
Other languages
English (en)
Inventor
戚琦
王晶
王敬宇
李家仕
廖建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201910482122.1A priority Critical patent/CN110210620A/zh
Publication of CN110210620A publication Critical patent/CN110210620A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

一种用于深度神经网络的通道剪枝方法，包括下列操作步骤：(1)基于深度神经网络中连续两个网络层的关联关系，根据输出输入通道离散正则化，定义输出输入通道离散正则化项；(2)定义深度神经网络的优化目标函数；(3)用训练数据集合，对所述的深度神经网络进行训练；在训练结束后，所述的深度神经网络的大量冗余通道中的特征被更彻底的挤压到了少量重要通道中，从而获得结构化稀疏的深度神经网络；(4)对步骤(3)所获得的结构化稀疏的深度神经网络，进行循环迭代通道剪枝，获得结构紧密的深度神经网络。

Description

一种用于深度神经网络的通道剪枝方法
技术领域
本发明涉及一种用于深度神经网络的通道剪枝方法，属于信息技术领域，特别是属于人工智能技术领域。
背景技术
近几年中，深度神经网络被广泛应用于图像分类，物体检测，语音识别等领域之中，取得了比传统机器学习方法更高的准确率。不仅如此，这些深度神经网络在复杂的系统中也得到广泛的应用，例如自动驾驶，癌症诊断，复杂游戏的策略搜索等。深度神经网络在很多识别任务中已经大大超越了人类识别的准确率以及传统的技术方法，带来巨大的性能提升。这些性能的提升是由于深度神经网络拥有提取大数据高级特征的能力，从而获得对数据空间的有效表示。
随着神经网络的加深，网络参数量和计算量也愈加庞大。1998年设计的LeNet使用少于1M的参数量来解决手写体数字的识别问题；152层的Resnet-152有超过60M的参数量且需要超过20G的浮点算力。庞大的参数量和计算量使得深度神经网络在训练和使用时需要消耗大量的计算资源和内存，导致其难以部署在计算资源和内存均受限的移动设备和嵌入式系统上。如何在不损失神经网络精度的情况下压缩模型体积，减少模型推理的计算量，已经成为当前深度神经网络技术领域一个研究热点。
基于网络通道剪枝的神经网络轻量化技术能极大地减少神经网络在部署时所需的存储空间，运行内存和计算量，在这几年中受到学术界和工业界的广泛关注，成为当前最流行的轻量化技术之一，其通过移除冗余通道的全部参数使得剪枝后的网络是结构化稀疏(Structured Sparsity)的。通道剪枝技术不仅能很大程度上压缩模型的体积，还能很好地减少网络推理时所需的运行内存和计算量，但是目前的网络通道剪枝技术往往伴有很大的精度损失。如何在保证精度损失忽略不计的前体下，研究一种高效的通道剪枝技术成为深度神经网络技术领域的一个亟待解决的技术难题。
发明内容
有鉴于此，本发明的目的是发明一种深度神经网络的通道剪枝方法，既能实现大的网络压缩与加速收益，又能保证网络精度。
为了达到上述目的，本发明提出了一种用于深度神经网络的通道剪枝方法，所述方法包括下列操作步骤：
(1)基于深度神经网络中连续两个网络层的关联关系，根据输出输入通道离散正则化，定义输出输入通道离散正则化项Roic(Wl,Wl+1)如下：
上式中，Wl和Wl+1分别是所述深度神经网络第l层和l+1层的权重集合，表示Wl中的第i个输出通道的权重矢量，表示Wl+1中第i个输入通道的权重矢量，符号表示把和连接concatenation起来,OCl表示所述深度神经网络第l层的输出通道数，|| ||oic表示L-oic范数,下标oic取值为1或2；
(2)基于前述的输出输入通道离散正则化项，定义深度神经网络的优化目标函数J(W)如下：
上式中，W表示所述深度神经网络的权重集合，D表示训练数据集合，Loss(W,D)表示所述深度神经网络在训练数据集合D上的损失函数，R(W)表示非结构正则化项(Non-Structured Regularization)，λ是非结构正则化项的超参数，λs是所述的输出输入通道离散正则化项的超参数；
(3)利用步骤(2)所定义的深度神经网络的优化目标函数J(W)，用训练数据集合D，对所述的深度神经网络进行训练；在训练结束后，所述的深度神经网络的大量冗余通道中的特征被更彻底的挤压到了少量重要通道中，从而获得结构化稀疏的深度神经网络；
(4)对步骤(3)所获得的结构化稀疏的深度神经网络，进行循环迭代通道剪枝，获得结构紧密的深度神经网络；具体过程是：在每次通道剪枝迭代中，采用全局贪婪搜索，在所有网络层中全局地搜索冗余通道，并且根据通道重要性的大小，贪婪地去除重要性最低的通道；并且在每次通道剪枝迭代中，对每层网络的最大剪枝比例做了限制，不能有超过设定比例(50％)的通道被移除。
基于前面所述的输出输入通道离散正则化，使用通道能量来计算步骤(4)中所述的通道重要性，具体计算方法如下式所示：
上式中，表示所述的深度神经网络第l层和第l+1层之间的第i个通道的通道重要性，深度神经网络中第l层的第i个输出通道与第l+1层的第i个输入通道相连接，表示Wl中的第i个输出通道的权重矢量，表示Wl+1中第i个输入通道的权重矢量，Wl和Wl+1分别是所述深度神经网络第l层和l+1层的权重集合，符号表示把和连接concatenation起来，表示中的第j个分量，表示中的第j个分量。
步骤(4)中所述的迭代通道剪枝的具体内容是包括如下操作子步骤：
(401)设定迭代通道剪枝的最大迭代次数T，设定浮点运算剪枝比例集合P，P∈RT；W(0)表示步骤(3)所获得的结构化稀疏的深度神经网络的权重集合；设t是迭代通道剪枝迭代次数，W(t-1)是第t次迭代通道剪枝开始之前深度神经网络的权重集合，W(t)是第t次迭代通道剪枝完成之后深度神经网络的权重集合；
(402)如果迭代通道剪枝迭代次数t不大于T，转步骤(403)，否则转步骤(407)；
(403)遍历当前深度神经网络的每一个网络层，计算所述当前深度神经网络中所有通道的重要性，按照通道重要性从小到大的顺序，对通道进行排序，获得集合
(404)把当前中通道重要性最低的通道即通道，从当前深度神经网络中剪除；把从集合中删除，更新从W(t-1)中删除被剪除的通道的权重，更新W(t-1)；
(405)如果flops(W(t-1))＜(1-Pt)·flops(W(0))，则转步骤(404)，否则转步骤(406)，上式中，flops()表示浮点运算量；Pt∈P表示迭代通道剪枝迭代次数为t时的浮点运算剪枝比例；
(406)把W(t-1)赋值给W(t)，按照步骤(3)的操作，对当前深度神经网络进行训练，获得新的W(t)，本次迭代通道剪枝完成，迭代次数t增加1，转步骤(402)；
(407)迭代通道剪枝结束，获得结构紧密的深度神经网络，对应的权重集合为W(T)。
本发明的有益效果在于：本发明提出的深度神经网络通道剪枝方法，通过同时对当前层的输出通道和下一层对应的输入通道进行结构正则化约束，能获得更加结构化稀疏的网络，解决了分离式正则化项用于通道剪枝时存在的缺陷，能在更小的精度损失下获得更紧密的网络结构。
附图说明
图1是本发明提出的一种实现多个性能指标要求同时满足的服务组合方法的流程图。
图2是本发明的实施例中的两个连续的网络层为全连接层时输出输入通道示意图。
图3是本发明的实施例中的两个连续的网络层为卷积层时输出输入通道示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
参见图1，介绍本发明提出的一种用于深度神经网络的通道剪枝方法，所述方法包括下列操作步骤：
(1)基于深度神经网络中连续两个网络层的关联关系，根据输出输入通道离散正则化，定义输出输入通道离散正则化项Roic(Wl,Wl+1)如下：
上式中，Wl和Wl+1分别是所述深度神经网络第l层和l+1层的权重集合，分别可以用二维矩阵来表示。表示Wl中的第i个输出通道的权重矢量，表示Wl+1中第i个输入通道的权重矢量，符号表示把和连接concatenation起来,OCl表示所述深度神经网络第l层的输出通道数，|| ||oic表示L-oic范数,下标oic取值为1或2，即|| ||oic表示L1范数或L2范数；
例如，当下标oic取值为2时，
上式中，表示Wl中的第i个输出通道的权重矢量中的第j个权重系数，表示Wl+1中第i个输入通道的权重矢量中的第j个权重系数。
参见图2和图3，不同于分离式的结构正则化，本发明提出了输出输入通道离散正则化OICSR(Out-In-Channel Sparsity Regularization)，这种正则化方法，考虑了连续两层网络的关联关系，通过把连续两层网络中对应的输出通道和输入通道的权重放入同一个正则化组(图2和图3中用out-in-channel表示)，能实现共同对连续两层网络的输出输入通道做结构正则化。在网络训练阶段，OICSR能学习到更加稀疏的网络。在剪枝阶段，OICSR能在更小的精度损失下去除更多的冗余通道，获得更加紧密的网络结构。
参见图2，当连续两个网络层为全连接层时，表示Wl中的第i个输出通道的权重矢量可直接从Wl中截取，表示Wl+1中的第i个输入通道的权重矢量，可直接从Wl+1中截取。
参见图3，当连续两个网络层为卷积层时，开始其中，OCl表示所述深度神经网络第l层的输出通道数，ICl表示所述深度神经网络第l层的输入通道数，Hl表示所述深度神经网络第l层的卷积模板的高度，Wl表示所述深度神经网络第l层的卷积模板的宽度。为了便于获得和计算输出输入通道离散正则化的值，需要把Wl转化为一个二维矩阵，即其中IClHlWl表示ICl×Hl×Wl连乘积，转化完之后，再从Wl中截取。
参见图3，当连续两个网络层为卷积层时，开始其中，OCl+1表示所述深度神经网络第l+1层的输出通道数，ICl+1表示所述深度神经网络第l+1层的输入通道数，Hl+1表示所述深度神经网络第l+1层的卷积模板的高度，Wl+1表示所述深度神经网络第l+1层的卷积模板的宽度。为了便于获得和计算输出输入通道离散正则化的值，需要把Wl+1转化为一个二维矩阵，即其中OCl+1Hl+1Wl+1表示OCl+1×Hl+1×Wl+1连乘积，转化完之后，再从Wl+1中截取。
(2)基于前述的输出输入通道离散正则化项，定义深度神经网络的优化目标函数J(W)如下：
上式中，W表示所述深度神经网络的权重集合，D表示训练数据集合，Loss(W,D)表示所述深度神经网络在训练数据集合D上的损失函数，R(W)表示非结构正则化项(Non-StructuredRegularization)，例如L1范数正则化和L2范数正则化，λ是非结构正则化项的超参数，λs是所述的输出输入通道离散正则化项的超参数；
关于前述的损失函数Loss(W,D)和非结构正则化项R(W)，有多种定义方法，可以参考相关文献(如：Jianhao Luo,JianxinWu,andWeiyao Lin.Thinet:Afifilter levelpruning methodfor deep neural network compression.International Conference onComputer Vision,2017；Wei Wen,Chunpeng Wu,Yandan Wang,Yiran Chen,and HaiLi.Learning structured sparsity in deep neural networks.InAdvances inNeuralInformationProcessing Systems,2016.)
在实施例中,采用的损失函数Loss(W,D)为交叉熵损失函数，采用的非结构正则化项为L2范数正则化。实验所采用的的非结构正则化超参数λ的取值均为0.0001.
对于输出输入通道离散正则化项超参数λs，在实施例中，对于相对简单的任务(比如CIFAR-10/100数据集，Alex Krizhevsky and Geoffrey Hinton.Learning multiplelayers offeatures fromtiny images.Technical report,2009.)取较大的值(如0.0001)，对于相对复杂的任务(比如ImageNet-1K数据集，Jia Deng,Wei Dong,RichardSocher,Li-Jia Li,Kai Li,and Li Fei-Fei.Imagenet:A large-scale hierarchicalimage database.In Computer Vision and Pattern Recognition,2009.)取较小的值(如0.00001)。
(3)利用步骤(2)所定义的深度神经网络的优化目标函数J(W)，用训练数据集合D，对所述的深度神经网络进行训练；在训练结束后，所述的深度神经网络的大量冗余通道中的特征被更彻底的挤压到了少量重要通道中，从而获得结构化稀疏的深度神经网络；
在实施例中，发明人使用的训练数据集合D包括CIFAR-10/100数据库和ImageNet-1K数据库。所使用的深度神经网络包括如下流行的网络架构：CifarNet(Alex Krizhevskyand Geoffrey Hinton.Learning multiple layers offeatures from tinyimages.Technical report,2009.)，AlexNet(Alex Krizhevsky,Ilya Sutskever,andGeoffrey E Hinton.Imagenet classifification with deep convolutional neuralnetworks.In Advances in Neural Information Processing Systems,2012.)，ResNet(Kaiming He,Xiangyu Zhang,Shaoqing Ren,and Jian Sun.Deep residual learningfor image recognition.Computer Vision and Pattern Recognition,2016.)、DenseNet(Gao Huang,Zhuang Liu,Laurens Van Der Maaten,and Kilian Q Weinberger.Denselyconnected convolutional networks.In Computer Vision and Pattern Recognition,2017.)，SeNet(Jie Hu,Li Shen,and Gang Sun.Squeeze-and-excitationnetworks.arXiv:1709.01507,2017.)等。
(4)对步骤(3)所获得的结构化稀疏的深度神经网络，进行循环迭代通道剪枝，获得结构紧密的深度神经网络；具体过程是：在每次通道剪枝迭代中，采用全局贪婪搜索，在所有网络层中全局地搜索冗余通道，并且根据通道重要性的大小，贪婪地去除重要性最低的通道；并且在每次通道剪枝迭代中，对每层网络的最大剪枝比例做了限制，不能有超过设定比例(比如：50％)的通道被移除。
基于前面所述的输出输入通道离散正则化，使用通道能量来计算步骤(4)中所述的通道重要性，具体计算方法如下式所示：
上式中，表示所述的深度神经网络第l层和第l+1层之间的第i个通道的通道重要性，深度神经网络中第l层的第i个输出通道与第l+1层的第i个输入通道相连接，表示Wl中的第i个输出通道的权重矢量，表示Wl+1中第i个输入通道的权重矢量，Wl和Wl+1分别是所述深度神经网络第l层和l+1层的权重集合，符号表示把和连接concatenation起来，表示中的第j个分量，表示中的第j个分量。
表1
参见表1，步骤(4)中所述的迭代通道剪枝的具体内容是包括如下操作子步骤：
(401)设定迭代通道剪枝的最大迭代次数T，设定浮点运算剪枝比例集合P，P∈RT；W(0)表示步骤(3)所获得的结构化稀疏的深度神经网络的权重集合；设t是迭代通道剪枝迭代次数，W(t-1)是第t次迭代通道剪枝开始之前深度神经网络的权重集合，W(t)是第t次迭代通道剪枝完成之后深度神经网络的权重集合；
(402)如果迭代通道剪枝迭代次数t不大于T，转步骤(403)，否则转步骤(407)；
(403)遍历当前深度神经网络的每一个网络层，计算所述当前深度神经网络中所有通道的重要性，按照通道重要性从小到大的顺序，对通道进行排序，获得集合
(404)把当前中通道重要性最低的通道即通道，从当前深度神经网络中剪除；把从集合中删除，更新从W(t-1)中删除被剪除的通道的权重，更新W(t-1)；
(405)如果flops(W(t-1))＜(1-Pt)·flops(W(0))，则转步骤(404)，否则转步骤(406)，上式中，flops()表示浮点运算量；Pt∈P表示迭代通道剪枝迭代次数为t时的浮点运算剪枝比例；
(406)把W(t-1)赋值给W(t)，按照步骤(3)的操作，对当前深度神经网络进行训练，获得新的W(t)，本次迭代通道剪枝完成，迭代次数t增加1，转步骤(402)；
(407)迭代通道剪枝结束，获得结构紧密的深度神经网络，对应的权重集合为W(T)。
前面实施例中详细提出了基于连续两层网络的关联关系，进行输出输入通道离散正则化的方法，基于这个思想，技术人员也可以基于连续的三层网络或连续的更多层网络的关联关系，进行输出输入通道离散正则化操作，以便获得更加紧密的网络结构。
发明人利用多个训练数据集合包括CIFAR-10/100数据库和ImageNet-1K数据库，使用多个流行的深度神经网络包括CifarNet、AlexNet、ResNet、DenseNet、SeNet等，对本发明提出的方法进行了大量实验，实验环境为PyTorch(Adam Paszke,Sam Gross,SoumithChintala,Gregory Chanan,Edward Yang,Zachary DeVito,Zeming Lin,AlbanDesmaison,Luca Antiga,and Adam Lerer.Automatic differentiation inpytorch.2017.)，运行在四台NVIDIAP100GPU上，实验结果证明本发明所提出的方法是有效可行的，而且能获得比非结构化正则化方法(non-structured regularization)和离散结构化正则化方法(separated structured regularization
)更好的实验结果。

Claims (3)

1.一种用于深度神经网络的通道剪枝方法，其特征在于：所述方法包括下列操作步骤：
(1)基于深度神经网络中连续两个网络层的关联关系，根据输出输入通道离散正则化，定义输出输入通道离散正则化项Roic(Wl,Wl+1)如下：
上式中，Wl和Wl+1分别是所述深度神经网络第l层和l+1层的权重集合，表示Wl中的第i个输出通道的权重矢量，表示Wl+1中第i个输入通道的权重矢量，符号表示把和连接concatenation起来,OCl表示所述深度神经网络第l层的输出通道数，|| ||oic表示L-oic范数,下标oic取值为1或2；
(2)基于前述的输出输入通道离散正则化项，定义深度神经网络的优化目标函数J(W)如下：
上式中，W表示所述深度神经网络的权重集合，D表示训练数据集合，Loss(W,D)表示所述深度神经网络在训练数据集合D上的损失函数，R(W)表示非结构正则化项Non-Structured Regularization，λ是非结构正则化项的超参数，λs是所述的输出输入通道离散正则化项的超参数；
(3)利用步骤(2)所定义的深度神经网络的优化目标函数J(W)，用训练数据集合D，对所述的深度神经网络进行训练；在训练结束后，所述的深度神经网络的大量冗余通道中的特征被更彻底的挤压到了少量重要通道中，从而获得结构化稀疏的深度神经网络；
(4)对步骤(3)所获得的结构化稀疏的深度神经网络，进行循环迭代通道剪枝，获得结构紧密的深度神经网络；具体过程是：在每次通道剪枝迭代中，采用全局贪婪搜索，在所有网络层中全局地搜索冗余通道，并且根据通道重要性的大小，贪婪地去除重要性最低的通道；并且在每次通道剪枝迭代中，对每层网络的最大剪枝比例做了限制，不能有超过设定比例的通道被移除。
2.根据权利要求1所述的一种用于深度神经网络的通道剪枝方法，其特征在于：基于前面所述的输出输入通道离散正则化，使用通道能量来计算步骤(4)中所述的通道重要性，具体计算方法如下式所示：
上式中，表示所述的深度神经网络第l层和第l+1层之间的第i个通道的通道重要性，深度神经网络中第l层的第i个输出通道与第l+1层的第i个输入通道相连接，表示Wl中的第i个输出通道的权重矢量，表示Wl+1中第i个输入通道的权重矢量，Wl和Wl+1分别是所述深度神经网络第l层和l+1层的权重集合，符号表示把和连接concatenation起来，表示中的第j个分量，表示中的第j个分量。
3.根据权利要求1所述的一种用于深度神经网络的通道剪枝方法，其特征在于：步骤(4)中所述的迭代通道剪枝的具体内容是包括如下操作子步骤：
(401)设定迭代通道剪枝的最大迭代次数T，设定浮点运算剪枝比例集合P，P∈RT；W(0)表示步骤(3)所获得的结构化稀疏的深度神经网络的权重集合；设t是迭代通道剪枝迭代次数，W(t-1)是第t次迭代通道剪枝开始之前深度神经网络的权重集合，W(t)是第t次迭代通道剪枝完成之后深度神经网络的权重集合；
(402)如果迭代通道剪枝迭代次数t不大于T，转步骤(403)，否则转步骤(407)；
(403)遍历当前深度神经网络的每一个网络层，计算所述当前深度神经网络中所有通道的重要性，按照通道重要性从小到大的顺序，对通道进行排序，获得集合
(404)把当前中通道重要性最低的通道即通道，从当前深度神经网络中剪除；把从集合中删除，更新从W(t-1)中删除被剪除的通道的权重，更新W(t-1)；
(405)如果flops(W(t-1))＜(1-Pt)·flops(W(0))，则转步骤(404)，否则转步骤(406)，上式中，flops()表示浮点运算量；Pt∈P表示迭代通道剪枝迭代次数为t时的浮点运算剪枝比例；
(406)把W(t-1)赋值给W(t)，按照步骤(3)的操作，对当前深度神经网络进行训练，获得新的W(t)，本次迭代通道剪枝完成，迭代次数t增加1，转步骤(402)；
(407)迭代通道剪枝结束，获得结构紧密的深度神经网络，对应的权重集合为W(T)。
CN201910482122.1A 2019-06-04 2019-06-04 一种用于深度神经网络的通道剪枝方法 Pending CN110210620A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910482122.1A CN110210620A (zh) 2019-06-04 2019-06-04 一种用于深度神经网络的通道剪枝方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910482122.1A CN110210620A (zh) 2019-06-04 2019-06-04 一种用于深度神经网络的通道剪枝方法

Publications (1)

Publication Number Publication Date
CN110210620A true CN110210620A (zh) 2019-09-06

Family

ID=67790690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910482122.1A Pending CN110210620A (zh) 2019-06-04 2019-06-04 一种用于深度神经网络的通道剪枝方法

Country Status (1)

Country Link
CN (1) CN110210620A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144511A (zh) * 2019-12-31 2020-05-12 上海云从汇临人工智能科技有限公司 基于神经网络的图像处理方法、系统、介质及电子终端
CN111222629A (zh) * 2019-12-31 2020-06-02 暗物智能科技(广州)有限公司 一种基于自适应批规范化的神经网络模型剪枝方法及系统
CN111461322A (zh) * 2020-03-13 2020-07-28 中国科学院计算技术研究所 一种深度神经网络模型压缩方法
CN112099521A (zh) * 2020-10-09 2020-12-18 北京邮电大学 一种无人机路径规划方法及装置
CN112132219A (zh) * 2020-09-24 2020-12-25 天津锋物科技有限公司 一种基于移动端的深度学习检测模型的通用部署方案
CN112149797A (zh) * 2020-08-18 2020-12-29 Oppo（重庆）智能科技有限公司 神经网络结构优化方法和装置、电子设备
CN112580773A (zh) * 2019-09-27 2021-03-30 百度（美国）有限责任公司 用于压缩深度学习模型的方法和装置
WO2021143070A1 (zh) * 2020-01-16 2021-07-22 北京智芯微电子科技有限公司 深度神经网络模型的压缩方法、装置及存储介质
CN114037857A (zh) * 2021-10-21 2022-02-11 中国科学院大学 图像分类精度提升方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580773A (zh) * 2019-09-27 2021-03-30 百度（美国）有限责任公司 用于压缩深度学习模型的方法和装置
CN111222629A (zh) * 2019-12-31 2020-06-02 暗物智能科技(广州)有限公司 一种基于自适应批规范化的神经网络模型剪枝方法及系统
CN111144511B (zh) * 2019-12-31 2020-10-20 上海云从汇临人工智能科技有限公司 基于神经网络的图像处理方法、系统、介质及电子终端
CN111144511A (zh) * 2019-12-31 2020-05-12 上海云从汇临人工智能科技有限公司 基于神经网络的图像处理方法、系统、介质及电子终端
WO2021143070A1 (zh) * 2020-01-16 2021-07-22 北京智芯微电子科技有限公司 深度神经网络模型的压缩方法、装置及存储介质
CN111461322A (zh) * 2020-03-13 2020-07-28 中国科学院计算技术研究所 一种深度神经网络模型压缩方法
CN111461322B (zh) * 2020-03-13 2024-03-08 中国科学院计算技术研究所 一种深度神经网络模型压缩方法
CN112149797A (zh) * 2020-08-18 2020-12-29 Oppo（重庆）智能科技有限公司 神经网络结构优化方法和装置、电子设备
CN112149797B (zh) * 2020-08-18 2023-01-03 Oppo（重庆）智能科技有限公司 神经网络结构优化方法和装置、电子设备
CN112132219A (zh) * 2020-09-24 2020-12-25 天津锋物科技有限公司 一种基于移动端的深度学习检测模型的通用部署方案
CN112099521B (zh) * 2020-10-09 2022-05-17 北京邮电大学 一种无人机路径规划方法及装置
CN112099521A (zh) * 2020-10-09 2020-12-18 北京邮电大学 一种无人机路径规划方法及装置
CN114037857A (zh) * 2021-10-21 2022-02-11 中国科学院大学 图像分类精度提升方法
CN114037857B (zh) * 2021-10-21 2022-09-23 中国科学院大学 图像分类精度提升方法

Similar Documents

Publication Publication Date Title
CN110210620A (zh) 一种用于深度神经网络的通道剪枝方法
Tan et al. Ceci n'est pas une pipe: A deep convolutional network for fine-art paintings classification
CN109145983A (zh) 一种基于轻量化网络的实时场景图像语义分割方法
Zhang et al. Learning best combination for efficient n: M sparsity
Chen et al. Binarized neural architecture search
CN109376763A (zh) 基于多样本推理神经网络的样本分类方法、系统及介质
Ding et al. Slimyolov4: lightweight object detector based on yolov4
CN109034370A (zh) 一种基于特征映射剪枝的卷积神经网络精简方法
CN113628201A (zh) 基于深度学习的病理切片分析方法、电子设备及可读存储介质
Zhu et al. Big data image classification based on distributed deep representation learning model
Yuan et al. Few-shot scene classification with multi-attention deepemd network in remote sensing
Li et al. A sequence-to-sequence remaining useful life prediction method combining unsupervised LSTM encoding-decoding and temporal convolutional network
Ju et al. Threshnet: An efficient densenet using threshold mechanism to reduce connections
Gao et al. Research on foreign object debris detection in airport runway based on semantic segmentation
Zhaoa et al. Semantic segmentation by improved generative adversarial networks
Lin et al. Full-scale selective transformer for semantic segmentation
Xu et al. An efficient channel-level pruning for CNNs without fine-tuning
Ni et al. Enhanced knowledge distillation for face recognition
CN111797991A (zh) 一种深度网络模型压缩系统、方法及装置
Xu et al. Facial expression recognition based on convolutional neural networks and edge computing
CN115452376A (zh) 基于改进轻量级深度卷积神经网络的轴承故障诊断方法
CN113935908A (zh) 一种基于双支路通道和特征强化机制的遥感图像去云方法
Okman et al. L^ 3u-net: Low-latency lightweight u-net based image segmentation model for parallel cnn processors
Liu et al. Learning compact ConvNets through filter pruning based on the saliency of a feature map
Wang et al. You only need the image: Unsupervised few-shot semantic segmentation with co-guidance network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190906