CN112215353A - 一种基于变分结构优化网络的通道剪枝方法 - Google Patents
一种基于变分结构优化网络的通道剪枝方法 Download PDFInfo
- Publication number
- CN112215353A CN112215353A CN202011050565.2A CN202011050565A CN112215353A CN 112215353 A CN112215353 A CN 112215353A CN 202011050565 A CN202011050565 A CN 202011050565A CN 112215353 A CN112215353 A CN 112215353A
- Authority
- CN
- China
- Prior art keywords
- network
- channel
- optimal
- weight
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013138 pruning Methods 0.000 title claims abstract description 54
- 238000005457 optimization Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 41
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 238000009826 distribution Methods 0.000 claims description 48
- 238000009827 uniform distribution Methods 0.000 claims description 8
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 210000002364 input neuron Anatomy 0.000 claims description 2
- 210000004205 output neuron Anatomy 0.000 claims description 2
- 238000010008 shearing Methods 0.000 claims 1
- 230000006835 compression Effects 0.000 abstract description 8
- 238000007906 compression Methods 0.000 abstract description 8
- 230000001133 acceleration Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 244000141353 Prunus domestica Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000013137 model compression technique Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明属于卷积神经网络压缩与加速技术领域,具体提供一种基于变分结构优化网络的通道剪枝方法,通过基于变分结构优化网络的通道剪枝技术对深度卷积神经网络模型进行压缩,考虑了目前大型神经网络在资源受限上的应用局限性,采用通道剪枝技术对原始网络进行压缩,在不影响原始网络性能的前提下,尽可能的压缩网络参数,减少网络前向传播过程中激活层的内存占用,降低运行时进行的浮点运算次数,以实现轻量化网络的目标。本发明通过自动优化网络结构,卓有成效地降低了深度卷积神经网路的参数冗余,提高了其运行速度,从而扩大了神经网络在边缘设备上的应用场景。
Description
技术领域
本发明属于卷积神经网络压缩与加速技术领域,具体提供一种基于变分结构优化网络的通道剪枝方法。
背景技术
神经网络模型是对生物神经网络学习系统的数学表达,卷积神经网络(CNN)是其中的一种,在图像分类、物体检测、图像分割等机器视觉领域的应用中展现出了最先进的性能。然而,卷积神经网络的成功往往依赖于大量的计算和内存资源,图像分类中最先进的模型通常有数以千万计的参数,需要数十亿次浮点运算才能完成对一幅图像的预测;庞大的参数量与计算量使得卷积神经网络的诸多实际应用中(特别是基于移动设备、笔记本电脑和可穿戴设备等资源受限设备的应用)部署困难。
近年来,许多研究表明,深度神经网络面临着严峻的过参数化,模型内部参数存在着巨大的冗余,在实际部署时有巨大的优化空间,从而揭示了模型压缩的可行性。受此启发,一系列模型压缩技术包括张量分解、网络量化、知识蒸馏、模型剪枝等被提出以期在保持高准确率的情况下尽可能降低大型神经网络的复杂度。模型剪枝作为高效、普适性强的方法之一,受到了众多研究者的关注;模型剪枝依据剪枝细粒度可以被分为权重剪枝与通道剪枝两大类,权重剪枝通过修剪小权重实现非结构化的参数稀疏,但不规则的稀疏参数矩阵往往需要专门的软件与硬件以实现进一步压缩与加速;通道剪枝直接修剪不重要的整个滤波器以实现结构化剪枝,其完全被现有的硬软件所支持,在实际应用中更为有效。
通道剪枝的基本思路是衡量滤波器重要性,然后减去不重要的滤波器;不过传统的通道剪枝中往往基于人工设计的方法度量滤波器重要性,其极度依赖专家经验,倾向于片面与主观,而剪去多少不重要的滤波器也往往通过启发式或搜索式的方法进行选择,导致剪枝过程繁琐低效,实现的压缩性能有限。因此,设计一种高效的能自动寻找最优通道剪枝结构的模型压缩方法显得尤为重要。
发明内容
本发明的发明目的在于针对上述存在的问题,提供一种自动寻找最优通道结构的端到端通道剪枝方法,为实现该目的,本发明提供的技术方案如下:
一种基于变分结构优化网络的通道剪枝方法,包括以下步骤:
步骤S1:基于原始CNN构建变分结构优化网络;
变分结构优化网络框架由权重生成器与剪枝后网络(PrunedCNN)连接组成,输入为通道尺度变量v与图像分类数据集,输出为预测的类别概率p(y|x,v);
步骤S2:训练变分结构优化网络;
将通道尺度v作为变分变量,在变分结构优化网络中进行变分推断,选择截尾对数均匀分布与截尾对数正态分布为通道尺度v的先验与后验分布,使用随机梯度变分贝叶斯(SGVB)方法,利用图像分类数据集计算变分证据下界(ELBO);通过批梯度下降法优化得到最优权重生成器参数g*与通道尺度后验分布超参数φ*;
步骤S3:计算通道尺度v后验分布的期望作为最优通道尺度v*,将最优通道尺度v*输入具有参数g*的权重生成器中、生成权重加载到变分结构优化网络中,得到最优剪枝后网络(Optimal PrunedCNN)。
进一步的,所述步骤S1包括以下步骤:
S11:为层数为L的原始CNN设立通道尺度v=(v1,v2,…,vL),vi∈(0,1],同时,预设v0为图像通道数;通道尺度是控制原始CNN各层神经网络层的通道收缩尺度、用以实现通道剪枝;
S12:构建由L个块组成的权重生成器,块与原始CNN中各神经网络层一一对应连接;每一个块由两层全连接层网络组成、以生成对应神经网络层的通道剪枝后权重,第一层全连接层的输入节点数为2、输入为通道尺度变量(vi-1,vi),第二层全连接层的输出节点数为对应神经网络层的权重尺寸积、输出的形状为或者的权重参数;在将所述权重参数变形成形状为或者的权重张量,并进一步剪切得形状为或者的权重张量wi,其中,将生成的权重张量wi输入相应的神经网络层中,实现通道剪枝;具体的讲:
对于卷积层而言,设原始CNN的第i层卷积层权重张量形状为其中,分别为第i层卷积层的初始输入、输出通道数,n为滤波器尺寸;则第i层卷积层对应连接的块的输入为该卷积层的输入、输出通道尺度(vi-1,vi),块输出为此通道尺度控制下的通道剪枝后的权重张量wi、其形状为其中, round(·)代表四舍五入操作;
对于全连接层而言,设原始CNN的第i层全连接层权重张量形状为其中,分别为第i层全连接层的初始输入、输出神经元节点数,则第i层全连接层对应连接的块的输入为该全连接层的输入、输出通道尺度(vi-1,vi),块输出为此通道尺度控制下的通道剪枝后的权重张量wi、其形状是其中,
连接权重生成器与PrunedCNN,将生成的输入PrunedCNN中作为其权重张量,将通道尺度v=(v1,v2,…,vL)输入权重生成器,将图像分类数据集输入PrunedCNN,构建变分结构优化网络,输出预测的类别概率p(y|x,v)。
进一步的,所述步骤S2包括以下步骤:
S21:将控制CNN通道数目的通道尺度v作为变分变量,确定其先验分布p(v)与关于φ超参数的后验分布qφ(v),由于v是(0,1]之间的尺度变量,所以需要使用截尾分布作为其先验与后验,选择截尾均匀分布作为先验p,截尾正态分布作为后验q,有:
S23:将当前后验分布下采样得到的通道尺度v与图像数据输入变分结构优化网络,得到预测的类别概率,进而得到Pruned CNN的输出推出证据下界(ELBO);同时,将权重生成器中所有块的全连接层参数g纳入ELBO中,以实现对于权重生成器与通道尺度v的后验分布参数φ的同步优化:
其中,M为图像数据的批尺寸(Batch size),N为图像数据总数,LD(φ)为对数似然函数项,DKL(qφ(v)‖p(v))是正则化项;
S25:根据最优通道尺度后验分布超参数φ*计算得到最优通道尺度后验分布:
进一步的,所述步骤S3中,最优通道尺度v*的计算过程如下:
进一步的,本发明还包括步骤S4:对获得的最优剪枝后网络进行重训练,得到最终的最优剪枝后网络(Final Optimal PrunedCNN)并保存;具体过程以下:
S41:以交叉熵为损失函数,用图像数据集对得到的最优剪枝后网络进行重训练;
S42:训练至收敛,得到最终的最优剪枝后网络(Final Optimal PrunedCNN),保存最终的模型及参数。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
本发明提供一种基于变分结构优化网络的通道剪枝方法,通过基于变分结构优化网络的通道剪枝技术对深度卷积神经网络模型进行压缩,考虑了目前大型神经网络在资源受限上的应用局限性,采用通道剪枝技术对原始网络进行压缩,在不影响原始网络性能的前提下,尽可能的压缩网络参数,减少网络前向传播过程中激活层的内存占用,降低运行时进行的浮点运算次数,以实现轻量化网络的目标。本发明通过自动优化网络结构,卓有成效地降低了深度卷积神经网路的参数冗余,提高了其运行速度,从而扩大了神经网络在边缘设备上的应用场景。
附图说明
图1为本发明实施例中变分结构优化网络整体框架示意图。
图2为本发明实施例中权重生成器与PrunedCNN连接示意图。
图3为本发明实施例中权重生成器中的块结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合实施方式和附图,对本发明作进一步地详细描述。
本发明提出的基于变分结构优化网络的通道剪枝技术的具体实现步骤如下:
S1:基于要剪枝的原始CNN构建变分结构优化网络框架,变分结构优化网络框架由权重生成器与剪枝后网络(PrunedCNN)连接组成,输入是通道尺度变量v与图像分类数据集输出为预测的类别概率p(y|x,v);其中,xn表示第n张图像数据,yn表示第n张图像数据对应的分类标签,N为数据集图像总数;
S2:将通道尺度v作为变分变量,在变分结构优化网络中进行变分推断,选择截尾对数均匀分布与截尾对数正态分布为v的先验与后验分布,引入使用随机梯度变分贝叶斯(SGVB)方法,利用图像分类数据集计算变分证据下界(ELBO)用于进一步的梯度优化;
S3:训练变分结构优化网络,通过批梯度下降法优化权重生成器参数g*与通道尺度后验分布超参数φ*;
S4:根据最终通道尺度变量的后验分布计算最优的剪枝通道结构与相应结构的初始权重,构建最优剪枝后网络(Optimal PrunedCNN);
S5:对获得的最优剪枝后网络进行进一步微调,得到最终的最优剪枝后网络(Final Optimal PrunedCNN)并保存;具体过程如下:
S51:以交叉熵为损失函数,用图像数据集对得到的最优剪枝后网络进行重训练;
S52:训练至收敛,得到最终的最优剪枝后网络(Final Optimal PrunedCNN),保存最终的轻量模型及参数。
本实施例中,变分结构优化网络引入变分推断,通过通道尺度变量控制下的权重生成器生成对应剪枝结构下的卷积神经网络张量,输入构建好的相应结构的剪枝后网络,利用图像数据集进行训练与优化,从而找到最优的通道剪枝结构,实现了自动,高效的通道剪枝,具体实现方式如下文所述。
本实施例中,所述的通道既包含卷积层的滤波器,也包含全连接层的神经元节点,在变分结构优化网络中,可以同时优化卷积层与全连接层的通道尺度,实现对于卷积层滤波器与全连接层神经元节点的同步剪枝,进而最大化的去除整个卷积神经网络的冗余参数。
本实施例中,权重生成器的具体结构及其与PrunedCNN的连接方式如图2所示,权重生成器由与卷积神经网络每一卷积层或全连接层一一对应的块组成,在相应输入输出通道尺度的控制下,为对应层生成通道剪枝后参数;如图2所示。
本实施例中,块的具体结构如图3所示,块由两层全连接层结合Relu激活函数组成,输入节点数为2,输入的是通道尺度(vi-1,vi),中间层节点数设置为32,实际中可以根据具体情况进行调整,输出的节点数固定为对应原始卷积层神经网络层的权重尺寸积(卷积层为全连接层为),之后,对于第二层全连接层输出的形状为或者的权重参数变形为或者的权重张量,并根据输入的通道尺度进一步剪切为形状是或者的权重张量,其中,将生成的权重张量输入具有对应结构的PrunedCN N中,实现通道剪枝;另外,针对第1个块,其第一层全连接层输入的是通道尺度(v0,v1)、v0为图像通道数、本实施例中:v0=3;
其中,表示截尾上下界为ea、eb的分布,满足0<ea<eb≤1,即-∞<a<b≤0;本发明中,a、b是给定的参数,一般而言,a确定为-5、b确定为0即可,如果希望获得更高的压缩率,可以适当减小b的值;代表每一个通道尺度后验对数正态分布的均值与方差参数;表示均匀分布,表示对数正态分布;
本实施例中对确定了先验与后验分布模型的通道尺度进行随机梯度变分贝叶斯(SGVB),具体而言,为了使变分推断可以在神经网络中通过梯度下降来进行优化,SGVB使用可导函数v=f(φ,∈),∈~p(∈)来对于随机变量进行重参数化:
由此,我们可以在变分结构优化网络输入端根据此时的分布参数φ采样得到v=(v1,v2,…,vL),vi∈(0,1],然后与批图像数据{x1,x2,…,xM}(图像数据总数为N,每次抽取M张输入)同步输入网络中进行前向传播得到预测的类别概率p(yi|xi,v=f(φ,∈),之后利用类别概率推导出ELBO:
将权重生成器中所有块的全连接层参数g纳入ELBO中,以实现对于权重生成器与通道尺度v的后验分布参数φ的同步优化:
参数g只参与最大似然函数项的优化,类似于普通神经网络的参数优化;
每次输入在当前φ下重新采样的v与批尺寸为M的图像数据,经过变分结构优化网络得到预测的类别概率p(y|x,v),计算ELBO,然后反向传播更新权重生成器参数g与通道尺度后验分布的超参数不断迭代优化至网络收敛,得到g*、φ*,最终得到最优通道尺度后验分布与具有参数g*的训练好的权重生成器;
在本实施例中,对变分结构优化网络优化结束之后,根据获得的通道尺度后验分布计算期望得到最优通道尺度:
进而根据训练好的权重生成器生成相应卷积神经网络权重,得到最优剪枝后网络(Optimal PrunedCNN);最优剪枝网络经过进一步的重训练,得到最终的最优剪枝后网络(Final Optimal PrunedCNN)。
为了评估基于变分结构优化网络的通道剪枝技术的剪枝性能,可以统计剪枝前后的卷积神经网络的参数量,以评估网络的压缩效果,同时统计剪枝前后的网络在前向传播时产生的浮点运算次数,以评估网络的加速效果。
本发明在搭建好变分结构优化网络之后,一切的优化过程都是端到端的训练,不需要人工干预,可以自动的寻找到最优通道网络结构及其对应权重张量,实现自动而高效的通道剪枝。
以上所述,仅为本发明的具体实施方式,本说明书中所公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换;所公开的所有特征、或所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以任何方式组合。
Claims (5)
1.一种基于变分结构优化网络的通道剪枝方法,包括以下步骤:
步骤S1:基于原始CNN构建变分结构优化网络;
变分结构优化网络框架由权重生成器与剪枝后网络(PrunedCNN)连接组成,输入为通道尺度变量v与图像分类数据集,输出为预测的类别概率;
步骤S2:训练变分结构优化网络;
将通道尺度v作为变分变量,在变分结构优化网络中进行变分推断,选择截尾对数均匀分布与截尾对数正态分布为通道尺度v的先验与后验分布,使用随机梯度变分贝叶斯(SGVB)方法,利用图像分类数据集计算变分证据下界(ELBO);通过批梯度下降法优化得到最优权重生成器参数g*与通道尺度后验分布超参数φ*;
步骤S3:计算最优通道尺度v后验分布的期望作为最优通道尺度v*,将最优通道尺度v*输入具有参数g*的权重生成器中、生成权重加载到变分结构优化网络中,得到最优剪枝后网络(Optimal PrunedCNN)。
2.按权利要求1所述基于变分结构优化网络的通道剪枝方法,其特征在于,所述步骤S1包括以下步骤:
S11:为层数为L的原始CNN设立通道尺度v=(v1,v2,…,vL),vi∈(0,1],同时,预设v0为图像通道数;
S12:构建由L个块组成的权重生成器,块与原始CNN中各神经网络层一一对应连接;每一个块由两层全连接层网络组成,第一层全连接层的输入节点数为2、输入为通道尺度变量(vi-1,vi),第二层全连接层的输出节点数为对应神经网络层的权重尺寸积、输出权重参数;将所述权重参数变形、剪切得权重张量wi,将生成的权重张量wi输入相应的神经网络层中,实现通道剪枝;具体的讲:
对于卷积层而言,设原始CNN的第i层卷积层权重张量形状为其中,分别为第i层卷积层的初始输入、输出通道数,n为滤波器尺寸;则第i层卷积层对应连接的块的输入为该卷积层的输入输出通道尺度(vi-1,vi),块输出为形状为的权重参数;将所述权重参数变形成形状为的权重张量,并进一步剪切得形状为的权重张量wi,其中,round(·)为四舍五入操作;
对于全连接层而言,设原始CNN的第i层全连接层权重张量形状为其中,分别为第i层全连接层的初始输入输出神经元节点数,则第i层全连接层对应连接的块的输入为该全连接层的输入输出通道尺度(vi-1,vi),块输出为形状为的权重参数;将所述权重参数变形成形状为的权重张量,并进一步剪切得形状为的权重张量wi;
3.按权利要求1所述基于变分结构优化网络的通道剪枝方法,其特征在于,所述步骤S2包括以下步骤:
S21:将控制CNN通道数目的通道尺度v作为变分变量,选择截尾均匀分布作为先验p,截尾正态分布作为后验q:
其中,表示截尾上下界为ea、eb的分布,a、b为预设参数;μi表示通道尺度后验对数正态分布的均值,σi表示通道尺度后验对数正态分布的方差;Zi=Φ(αi)-Φ(βi);表示均匀分布,表示对数正态分布;
其中,Φ(·)为高斯累积分布函数;
S23:将当前后验分布下采样得到的通道尺度v与图像数据输入变分结构优化网络,得到预测的类别概率,进而得到Pruned CNN的输出推出证据下界(ELBO);同时,将权重生成器中所有块的全连接层参数g纳入ELBO中,以实现对于权重生成器与通道尺度v的后验分布参数φ的同步优化:
其中,M为图像数据的批尺寸,N为图像数据总数,LD(φ)为对数似然函数项,DKL(qφ(v)‖p(v))为正则化项;
S25:根据最优通道尺度后验分布超参数φ*计算得到最优通道尺度后验分布:
5.按权利要求1所述基于变分结构优化网络的通道剪枝方法,其特征在于,还包括步骤S4:对获得的最优剪枝后网络进行重训练,得到最终的最优剪枝后网络(Final OptimalPrunedCNN)并保存;具体过程以下:
S41:以交叉熵为损失函数,用图像数据集对得到的最优剪枝后网络进行重训练;
S42:训练至收敛,得到最终的最优剪枝后网络(Final Optimal PrunedCNN),保存最终的模型及参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011050565.2A CN112215353B (zh) | 2020-09-29 | 2020-09-29 | 一种基于变分结构优化网络的通道剪枝方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011050565.2A CN112215353B (zh) | 2020-09-29 | 2020-09-29 | 一种基于变分结构优化网络的通道剪枝方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112215353A true CN112215353A (zh) | 2021-01-12 |
CN112215353B CN112215353B (zh) | 2023-09-01 |
Family
ID=74052432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011050565.2A Active CN112215353B (zh) | 2020-09-29 | 2020-09-29 | 一种基于变分结构优化网络的通道剪枝方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112215353B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113408723A (zh) * | 2021-05-19 | 2021-09-17 | 北京理工大学 | 一种面向遥感应用的卷积神经网络剪枝和量化同步压缩方法 |
CN114998648A (zh) * | 2022-05-16 | 2022-09-02 | 电子科技大学 | 一种基于梯度架构搜索的表现预测压缩方法 |
CN116030063A (zh) * | 2023-03-30 | 2023-04-28 | 同心智医科技(北京)有限公司 | Mri图像的分类诊断系统、方法、电子设备及介质 |
CN117689001A (zh) * | 2024-02-02 | 2024-03-12 | 中科方寸知微(南京)科技有限公司 | 基于零数据搜索的神经网络多粒度剪枝压缩方法及系统 |
GB2624279A (en) * | 2022-11-08 | 2024-05-15 | Adobe Inc | Guided CoModGAN optimization |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2429138A1 (en) * | 2010-09-07 | 2012-03-14 | Technische Universität Graz | Method for the determination of the number of superimposed signals using variational bayesian inference |
US20170286830A1 (en) * | 2016-04-04 | 2017-10-05 | Technion Research & Development Foundation Limited | Quantized neural network training and inference |
WO2018223822A1 (zh) * | 2017-06-07 | 2018-12-13 | 北京深鉴智能科技有限公司 | 基于剪枝和蒸馏的卷积神经网络压缩方法 |
US20190042909A1 (en) * | 2017-11-22 | 2019-02-07 | Intel Corporation | Reconfigurable neuro-synaptic cores for spiking neural network |
CN109784474A (zh) * | 2018-12-24 | 2019-05-21 | 宜通世纪物联网研究院(广州)有限公司 | 一种深度学习模型压缩方法、装置、存储介质及终端设备 |
CN110020718A (zh) * | 2019-03-14 | 2019-07-16 | 上海交通大学 | 基于变分推断的逐层神经网络剪枝方法和系统 |
US20190251441A1 (en) * | 2018-02-13 | 2019-08-15 | Adobe Systems Incorporated | Reducing architectural complexity of convolutional neural networks via channel pruning |
CN110263917A (zh) * | 2019-06-06 | 2019-09-20 | 深圳前海微众银行股份有限公司 | 一种神经网络压缩方法及装置 |
CN110309919A (zh) * | 2019-07-09 | 2019-10-08 | 西北工业大学 | 基于结构化贝叶斯后验概率估计的神经网络压缩方法 |
CN110428045A (zh) * | 2019-08-12 | 2019-11-08 | 电子科技大学 | 基于Tucker算法的深度卷积神经网络压缩方法 |
US20190347551A1 (en) * | 2018-05-10 | 2019-11-14 | Samsung Electronics Co., Ltd. | Electronic apparatus for compressing recurrent neural network and method thereof |
CA3056098A1 (en) * | 2019-06-07 | 2019-11-22 | Tata Consultancy Services Limited | Sparsity constraints and knowledge distillation based learning of sparser and compressed neural networks |
CN111144551A (zh) * | 2019-12-27 | 2020-05-12 | 浙江大学 | 一种基于特征方差比的卷积神经网络通道剪枝方法 |
CN111414852A (zh) * | 2020-03-19 | 2020-07-14 | 驭势科技(南京)有限公司 | 图像预测及车辆行为规划方法、装置和系统及存储介质 |
CN111596134A (zh) * | 2020-05-28 | 2020-08-28 | 中国科学院空天信息创新研究院 | 基于压缩通道的单细胞生物电参量检测装置及检测方法 |
-
2020
- 2020-09-29 CN CN202011050565.2A patent/CN112215353B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2429138A1 (en) * | 2010-09-07 | 2012-03-14 | Technische Universität Graz | Method for the determination of the number of superimposed signals using variational bayesian inference |
US20170286830A1 (en) * | 2016-04-04 | 2017-10-05 | Technion Research & Development Foundation Limited | Quantized neural network training and inference |
WO2018223822A1 (zh) * | 2017-06-07 | 2018-12-13 | 北京深鉴智能科技有限公司 | 基于剪枝和蒸馏的卷积神经网络压缩方法 |
US20190042909A1 (en) * | 2017-11-22 | 2019-02-07 | Intel Corporation | Reconfigurable neuro-synaptic cores for spiking neural network |
US20190251441A1 (en) * | 2018-02-13 | 2019-08-15 | Adobe Systems Incorporated | Reducing architectural complexity of convolutional neural networks via channel pruning |
US20190347551A1 (en) * | 2018-05-10 | 2019-11-14 | Samsung Electronics Co., Ltd. | Electronic apparatus for compressing recurrent neural network and method thereof |
CN109784474A (zh) * | 2018-12-24 | 2019-05-21 | 宜通世纪物联网研究院(广州)有限公司 | 一种深度学习模型压缩方法、装置、存储介质及终端设备 |
CN110020718A (zh) * | 2019-03-14 | 2019-07-16 | 上海交通大学 | 基于变分推断的逐层神经网络剪枝方法和系统 |
CN110263917A (zh) * | 2019-06-06 | 2019-09-20 | 深圳前海微众银行股份有限公司 | 一种神经网络压缩方法及装置 |
CA3056098A1 (en) * | 2019-06-07 | 2019-11-22 | Tata Consultancy Services Limited | Sparsity constraints and knowledge distillation based learning of sparser and compressed neural networks |
CN110309919A (zh) * | 2019-07-09 | 2019-10-08 | 西北工业大学 | 基于结构化贝叶斯后验概率估计的神经网络压缩方法 |
CN110428045A (zh) * | 2019-08-12 | 2019-11-08 | 电子科技大学 | 基于Tucker算法的深度卷积神经网络压缩方法 |
CN111144551A (zh) * | 2019-12-27 | 2020-05-12 | 浙江大学 | 一种基于特征方差比的卷积神经网络通道剪枝方法 |
CN111414852A (zh) * | 2020-03-19 | 2020-07-14 | 驭势科技(南京)有限公司 | 图像预测及车辆行为规划方法、装置和系统及存储介质 |
CN111596134A (zh) * | 2020-05-28 | 2020-08-28 | 中国科学院空天信息创新研究院 | 基于压缩通道的单细胞生物电参量检测装置及检测方法 |
Non-Patent Citations (5)
Title |
---|
C.ZHAO等: ""Variational convolutional neural network pruning"", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
D.P.KINGMA等: ""Auto-Encoding Variational Bayes"", 《ARXIV》 * |
K.NEKLYUDOV等: ""Structured bayesian pruning via log-normal multiplicative noise"", 《ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS》 * |
林景栋等: ""卷积神经网络结构优化综述"", 《自动化学报》 * |
赵义凯等: ""深度神经网络模型压缩综述"", 《工程科学学报》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113408723A (zh) * | 2021-05-19 | 2021-09-17 | 北京理工大学 | 一种面向遥感应用的卷积神经网络剪枝和量化同步压缩方法 |
CN114998648A (zh) * | 2022-05-16 | 2022-09-02 | 电子科技大学 | 一种基于梯度架构搜索的表现预测压缩方法 |
GB2624279A (en) * | 2022-11-08 | 2024-05-15 | Adobe Inc | Guided CoModGAN optimization |
CN116030063A (zh) * | 2023-03-30 | 2023-04-28 | 同心智医科技(北京)有限公司 | Mri图像的分类诊断系统、方法、电子设备及介质 |
CN117689001A (zh) * | 2024-02-02 | 2024-03-12 | 中科方寸知微(南京)科技有限公司 | 基于零数据搜索的神经网络多粒度剪枝压缩方法及系统 |
CN117689001B (zh) * | 2024-02-02 | 2024-05-07 | 中科方寸知微(南京)科技有限公司 | 基于零数据搜索的神经网络多粒度剪枝压缩方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112215353B (zh) | 2023-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112215353A (zh) | 一种基于变分结构优化网络的通道剪枝方法 | |
WO2022141754A1 (zh) | 一种卷积神经网络通用压缩架构的自动剪枝方法及平台 | |
Ghosh et al. | Structured variational learning of Bayesian neural networks with horseshoe priors | |
CN111243045B (zh) | 一种基于高斯混合模型先验变分自编码器的图像生成方法 | |
US20230076457A1 (en) | Edge calculation-oriented reparametric neural network architecture search method | |
CN107729999A (zh) | 考虑矩阵相关性的深度神经网络压缩方法 | |
CN112364913A (zh) | 一种基于核心数据集的联邦学习通信量优化方法及系统 | |
CN115587633A (zh) | 一种基于参数分层的个性化联邦学习方法 | |
Singh et al. | Acceleration of deep convolutional neural networks using adaptive filter pruning | |
Dai et al. | Compressing deep model with pruning and tucker decomposition for smart embedded systems | |
KR20210039921A (ko) | 신경망 모델을 최적화하도록 구성된 심층 신경망 시스템의 동작 방법 | |
CN104050505A (zh) | 一种基于带学习因子蜂群算法的多层感知器训练方法 | |
CN113344182A (zh) | 一种基于深度学习的网络模型压缩方法 | |
CN113128666A (zh) | 基于Mo-S-LSTMs模型的时间序列多步预测方法 | |
CN114742997B (zh) | 一种面向图像分割的全卷积神经网络密度峰剪枝方法 | |
CN110263917B (zh) | 一种神经网络压缩方法及装置 | |
WO2023087303A1 (en) | Method and apparatus for classifying nodes of a graph | |
Xu et al. | LRP-based policy pruning and distillation of reinforcement learning agents for embedded systems | |
Niu et al. | An adaptive device-edge co-inference framework based on soft actor-critic | |
CN113570037A (zh) | 神经网络压缩方法及装置 | |
Joshi et al. | Simulated annealing based integerization of hidden weights for area-efficient IoT edge intelligence | |
US20200372363A1 (en) | Method of Training Artificial Neural Network Using Sparse Connectivity Learning | |
CN116384471A (zh) | 模型剪枝方法、装置、计算机设备、存储介质和程序产品 | |
CN115983366A (zh) | 面向联邦学习的模型剪枝方法及系统 | |
CN115906959A (zh) | 基于de-bp算法的神经网络模型的参数训练方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |