CN112215353A - 一种基于变分结构优化网络的通道剪枝方法 - Google Patents

一种基于变分结构优化网络的通道剪枝方法 Download PDF

Info

Publication number
CN112215353A
CN112215353A CN202011050565.2A CN202011050565A CN112215353A CN 112215353 A CN112215353 A CN 112215353A CN 202011050565 A CN202011050565 A CN 202011050565A CN 112215353 A CN112215353 A CN 112215353A
Authority
CN
China
Prior art keywords
network
channel
optimal
weight
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011050565.2A
Other languages
English (en)
Other versions
CN112215353B (zh
Inventor
刘欣刚
韩硕
孙睿成
宋高宇
曾昕
代成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202011050565.2A priority Critical patent/CN112215353B/zh
Publication of CN112215353A publication Critical patent/CN112215353A/zh
Application granted granted Critical
Publication of CN112215353B publication Critical patent/CN112215353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于卷积神经网络压缩与加速技术领域，具体提供一种基于变分结构优化网络的通道剪枝方法，通过基于变分结构优化网络的通道剪枝技术对深度卷积神经网络模型进行压缩，考虑了目前大型神经网络在资源受限上的应用局限性，采用通道剪枝技术对原始网络进行压缩，在不影响原始网络性能的前提下，尽可能的压缩网络参数，减少网络前向传播过程中激活层的内存占用，降低运行时进行的浮点运算次数，以实现轻量化网络的目标。本发明通过自动优化网络结构，卓有成效地降低了深度卷积神经网路的参数冗余，提高了其运行速度，从而扩大了神经网络在边缘设备上的应用场景。

Description

一种基于变分结构优化网络的通道剪枝方法
技术领域
本发明属于卷积神经网络压缩与加速技术领域，具体提供一种基于变分结构优化网络的通道剪枝方法。
背景技术
神经网络模型是对生物神经网络学习系统的数学表达，卷积神经网络(CNN)是其中的一种，在图像分类、物体检测、图像分割等机器视觉领域的应用中展现出了最先进的性能。然而，卷积神经网络的成功往往依赖于大量的计算和内存资源，图像分类中最先进的模型通常有数以千万计的参数，需要数十亿次浮点运算才能完成对一幅图像的预测；庞大的参数量与计算量使得卷积神经网络的诸多实际应用中(特别是基于移动设备、笔记本电脑和可穿戴设备等资源受限设备的应用)部署困难。
近年来，许多研究表明，深度神经网络面临着严峻的过参数化，模型内部参数存在着巨大的冗余，在实际部署时有巨大的优化空间，从而揭示了模型压缩的可行性。受此启发，一系列模型压缩技术包括张量分解、网络量化、知识蒸馏、模型剪枝等被提出以期在保持高准确率的情况下尽可能降低大型神经网络的复杂度。模型剪枝作为高效、普适性强的方法之一，受到了众多研究者的关注；模型剪枝依据剪枝细粒度可以被分为权重剪枝与通道剪枝两大类，权重剪枝通过修剪小权重实现非结构化的参数稀疏，但不规则的稀疏参数矩阵往往需要专门的软件与硬件以实现进一步压缩与加速；通道剪枝直接修剪不重要的整个滤波器以实现结构化剪枝，其完全被现有的硬软件所支持，在实际应用中更为有效。
通道剪枝的基本思路是衡量滤波器重要性，然后减去不重要的滤波器；不过传统的通道剪枝中往往基于人工设计的方法度量滤波器重要性，其极度依赖专家经验，倾向于片面与主观，而剪去多少不重要的滤波器也往往通过启发式或搜索式的方法进行选择，导致剪枝过程繁琐低效，实现的压缩性能有限。因此，设计一种高效的能自动寻找最优通道剪枝结构的模型压缩方法显得尤为重要。
发明内容
本发明的发明目的在于针对上述存在的问题，提供一种自动寻找最优通道结构的端到端通道剪枝方法，为实现该目的，本发明提供的技术方案如下：
一种基于变分结构优化网络的通道剪枝方法，包括以下步骤：
步骤S1：基于原始CNN构建变分结构优化网络；
变分结构优化网络框架由权重生成器与剪枝后网络(PrunedCNN)连接组成，输入为通道尺度变量v与图像分类数据集，输出为预测的类别概率p(y|x,v)；
步骤S2：训练变分结构优化网络；
将通道尺度v作为变分变量，在变分结构优化网络中进行变分推断，选择截尾对数均匀分布与截尾对数正态分布为通道尺度v的先验与后验分布，使用随机梯度变分贝叶斯(SGVB)方法，利用图像分类数据集计算变分证据下界(ELBO)；通过批梯度下降法优化得到最优权重生成器参数g*与通道尺度后验分布超参数φ*；
步骤S3：计算通道尺度v后验分布的期望作为最优通道尺度v*，将最优通道尺度v*输入具有参数g*的权重生成器中、生成权重加载到变分结构优化网络中，得到最优剪枝后网络(Optimal PrunedCNN)。
进一步的，所述步骤S1包括以下步骤：
S11：为层数为L的原始CNN设立通道尺度v＝(v1,v2,…,vL),vi∈(0,1]，同时，预设v0为图像通道数；通道尺度是控制原始CNN各层神经网络层的通道收缩尺度、用以实现通道剪枝；
S12：构建由L个块组成的权重生成器，块与原始CNN中各神经网络层一一对应连接；每一个块由两层全连接层网络组成、以生成对应神经网络层的通道剪枝后权重，第一层全连接层的输入节点数为2、输入为通道尺度变量(vi-1,vi)，第二层全连接层的输出节点数为对应神经网络层的权重尺寸积、输出的形状为
Figure BDA0002709406930000021
或者
Figure BDA0002709406930000022
的权重参数；在将所述权重参数变形成形状为
Figure BDA0002709406930000023
或者
Figure BDA0002709406930000024
的权重张量，并进一步剪切得形状为
Figure BDA0002709406930000025
或者
Figure BDA0002709406930000026
的权重张量wi，其中，
Figure BDA0002709406930000027
将生成的权重张量wi输入相应的神经网络层中，实现通道剪枝；具体的讲：
对于卷积层而言，设原始CNN的第i层卷积层权重张量形状为
Figure BDA0002709406930000028
其中，
Figure BDA0002709406930000029
分别为第i层卷积层的初始输入、输出通道数，n为滤波器尺寸；则第i层卷积层对应连接的块的输入为该卷积层的输入、输出通道尺度(vi-1,vi)，块输出为此通道尺度控制下的通道剪枝后的权重张量wi、其形状为
Figure BDA0002709406930000031
其中，
Figure BDA0002709406930000032
Figure BDA0002709406930000033
round(·)代表四舍五入操作；
对于全连接层而言，设原始CNN的第i层全连接层权重张量形状为
Figure BDA0002709406930000034
其中，
Figure BDA0002709406930000035
分别为第i层全连接层的初始输入、输出神经元节点数，则第i层全连接层对应连接的块的输入为该全连接层的输入、输出通道尺度(vi-1,vi)，块输出为此通道尺度控制下的通道剪枝后的权重张量wi、其形状是
Figure BDA0002709406930000036
其中，
Figure BDA0002709406930000037
S13：基于
Figure BDA0002709406930000038
的形状构建剪枝后网络(PrunedCNN)；
连接权重生成器与PrunedCNN，将生成的
Figure BDA0002709406930000039
输入PrunedCNN中作为其权重张量，将通道尺度v＝(v1,v2,…,vL)输入权重生成器，将图像分类数据集
Figure BDA00027094069300000310
输入PrunedCNN，构建变分结构优化网络，输出预测的类别概率p(y|x,v)。
进一步的，所述步骤S2包括以下步骤：
S21：将控制CNN通道数目的通道尺度v作为变分变量，确定其先验分布p(v)与关于φ超参数的后验分布qφ(v)，由于v是(0,1]之间的尺度变量，所以需要使用截尾分布作为其先验与后验，选择截尾均匀分布作为先验p，截尾正态分布作为后验q，有：
Figure BDA00027094069300000311
Figure BDA00027094069300000312
其中，
Figure BDA00027094069300000313
表示截尾上下界为ea、eb的分布，a、b为预设参数，
Figure BDA00027094069300000314
S22：在确定的先验与后验分布下，采用随机梯度变分贝叶斯(SGVB)方法，以可导函数v＝f(φ,∈),∈～p(∈)对于随机变量
Figure BDA00027094069300000315
进行重参数化，以便于采样与梯度优化，对截尾对数正态分布重参数化后有：
Figure BDA00027094069300000316
其中，Φ(·)为高斯累积分布函数，
Figure BDA0002709406930000041
代表0到1的均匀分布，
Figure BDA0002709406930000042
Figure BDA0002709406930000043
Zi＝Φ(αi)-Φ(βi)；
S23：将当前后验分布下采样得到的通道尺度v与图像数据输入变分结构优化网络，得到预测的类别概率，进而得到Pruned CNN的输出推出证据下界(ELBO)；同时，将权重生成器中所有块的全连接层参数g纳入ELBO中，以实现对于权重生成器与通道尺度v的后验分布参数φ的同步优化：
Figure BDA0002709406930000044
Figure BDA0002709406930000045
Figure BDA0002709406930000046
其中，M为图像数据的批尺寸(Batch size)，N为图像数据总数，LD(φ)为对数似然函数项，DKL(qφ(v)‖p(v))是正则化项；
S24：采用批梯度下降法优化权重生成器参数g与通道尺度后验分布的超参数
Figure BDA0002709406930000047
直至网络收敛，得到最优权重生成器参数g*及最优通道尺度后验分布超参数φ*；
S25：根据最优通道尺度后验分布超参数φ*计算得到最优通道尺度后验分布：
Figure BDA0002709406930000048
进一步的，所述步骤S3中，最优通道尺度v*的计算过程如下：
Figure BDA0002709406930000049
进一步的，本发明还包括步骤S4：对获得的最优剪枝后网络进行重训练，得到最终的最优剪枝后网络(Final Optimal PrunedCNN)并保存；具体过程以下：
S41：以交叉熵为损失函数，用图像数据集对得到的最优剪枝后网络进行重训练；
S42：训练至收敛，得到最终的最优剪枝后网络(Final Optimal PrunedCNN)，保存最终的模型及参数。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明提供一种基于变分结构优化网络的通道剪枝方法，通过基于变分结构优化网络的通道剪枝技术对深度卷积神经网络模型进行压缩，考虑了目前大型神经网络在资源受限上的应用局限性，采用通道剪枝技术对原始网络进行压缩，在不影响原始网络性能的前提下，尽可能的压缩网络参数，减少网络前向传播过程中激活层的内存占用，降低运行时进行的浮点运算次数，以实现轻量化网络的目标。本发明通过自动优化网络结构，卓有成效地降低了深度卷积神经网路的参数冗余，提高了其运行速度，从而扩大了神经网络在边缘设备上的应用场景。
附图说明
图1为本发明实施例中变分结构优化网络整体框架示意图。
图2为本发明实施例中权重生成器与PrunedCNN连接示意图。
图3为本发明实施例中权重生成器中的块结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。
本发明提出的基于变分结构优化网络的通道剪枝技术的具体实现步骤如下：
S1：基于要剪枝的原始CNN构建变分结构优化网络框架，变分结构优化网络框架由权重生成器与剪枝后网络(PrunedCNN)连接组成，输入是通道尺度变量v与图像分类数据集
Figure BDA0002709406930000051
输出为预测的类别概率p(y|x,v)；其中，xn表示第n张图像数据，yn表示第n张图像数据对应的分类标签，N为数据集图像总数；
S2：将通道尺度v作为变分变量，在变分结构优化网络中进行变分推断，选择截尾对数均匀分布与截尾对数正态分布为v的先验与后验分布，引入使用随机梯度变分贝叶斯(SGVB)方法，利用图像分类数据集计算变分证据下界(ELBO)用于进一步的梯度优化；
S3：训练变分结构优化网络，通过批梯度下降法优化权重生成器参数g*与通道尺度后验分布超参数φ*；
S4：根据最终通道尺度变量的后验分布计算最优的剪枝通道结构与相应结构的初始权重，构建最优剪枝后网络(Optimal PrunedCNN)；
S5：对获得的最优剪枝后网络进行进一步微调，得到最终的最优剪枝后网络(Final Optimal PrunedCNN)并保存；具体过程如下：
S51：以交叉熵为损失函数，用图像数据集对得到的最优剪枝后网络进行重训练；
S52：训练至收敛，得到最终的最优剪枝后网络(Final Optimal PrunedCNN)，保存最终的轻量模型及参数。
本实施例中，变分结构优化网络引入变分推断，通过通道尺度变量控制下的权重生成器生成对应剪枝结构下的卷积神经网络张量，输入构建好的相应结构的剪枝后网络，利用图像数据集进行训练与优化，从而找到最优的通道剪枝结构，实现了自动，高效的通道剪枝，具体实现方式如下文所述。
本实施例中，所述的通道既包含卷积层的滤波器，也包含全连接层的神经元节点，在变分结构优化网络中，可以同时优化卷积层与全连接层的通道尺度，实现对于卷积层滤波器与全连接层神经元节点的同步剪枝，进而最大化的去除整个卷积神经网络的冗余参数。
本实施例中，权重生成器的具体结构及其与PrunedCNN的连接方式如图2所示，权重生成器由与卷积神经网络每一卷积层或全连接层一一对应的块组成，在相应输入输出通道尺度的控制下，为对应层生成通道剪枝后参数；如图2所示。
本实施例中，块的具体结构如图3所示，块由两层全连接层结合Relu激活函数组成，输入节点数为2，输入的是通道尺度(vi-1,vi)，中间层节点数设置为32，实际中可以根据具体情况进行调整，输出的节点数固定为对应原始卷积层神经网络层的权重尺寸积(卷积层为
Figure BDA0002709406930000061
全连接层为
Figure BDA0002709406930000062
)，之后，对于第二层全连接层输出的形状为
Figure BDA0002709406930000063
或者
Figure BDA0002709406930000064
的权重参数变形为
Figure BDA0002709406930000065
或者
Figure BDA0002709406930000066
的权重张量，并根据输入的通道尺度进一步剪切为形状是
Figure BDA0002709406930000067
或者
Figure BDA0002709406930000068
的权重张量，其中，
Figure BDA0002709406930000069
将生成的权重张量输入具有对应结构的PrunedCN N中，实现通道剪枝；另外，针对第1个块，其第一层全连接层输入的是通道尺度(v0,v1)、v0为图像通道数、本实施例中：v0＝3；
本实施例中，引入了变分推断，将通道尺度v＝(v1,v2,…,vL),vi∈(0,1]视为变分变量进行优化，我们选择截尾均匀分布作为其先验
Figure BDA00027094069300000610
关于超参数φ的截尾正态分布作为其后验
Figure BDA0002709406930000071
Figure BDA0002709406930000072
Figure BDA0002709406930000073
其中，
Figure BDA0002709406930000074
表示截尾上下界为ea、eb的分布，满足0＜ea＜eb≤1，即-∞＜a＜b≤0；本发明中，a、b是给定的参数，一般而言，a确定为-5、b确定为0即可，如果希望获得更高的压缩率，可以适当减小b的值；
Figure BDA0002709406930000075
代表每一个通道尺度后验对数正态分布的均值与方差参数；
Figure BDA0002709406930000076
表示均匀分布，
Figure BDA0002709406930000077
表示对数正态分布；
本实施例中对确定了先验与后验分布模型的通道尺度进行随机梯度变分贝叶斯(SGVB)，具体而言，为了使变分推断可以在神经网络中通过梯度下降来进行优化，SGVB使用可导函数v＝f(φ,∈),∈～p(∈)来对于随机变量
Figure BDA0002709406930000078
进行重参数化：
Figure BDA0002709406930000079
其中，Φ(·)为高斯累积分布函数，
Figure BDA00027094069300000710
代表0到1的均匀分布,
Figure BDA00027094069300000711
Zi＝Φ(αi)-Φ(βi)；
由此，我们可以在变分结构优化网络输入端根据此时的分布参数φ采样得到v＝(v1,v2,…,vL),vi∈(0,1]，然后与批图像数据{x1,x2,…,xM}(图像数据总数为N，每次抽取M张输入)同步输入网络中进行前向传播得到预测的类别概率p(yi|xi,v＝f(φ,∈)，之后利用类别概率推导出ELBO：
Figure BDA00027094069300000712
Figure BDA00027094069300000713
Figure BDA00027094069300000714
通过最大化ELBO对分布参数
Figure BDA0002709406930000081
进行梯度更新与优化，就可以获得通道尺度的最优后验分布；在这个优化过程中，权重生成器参数g也可以加入ELBO中进行同步优化，即：
将权重生成器中所有块的全连接层参数g纳入ELBO中，以实现对于权重生成器与通道尺度v的后验分布参数φ的同步优化：
Figure BDA0002709406930000082
Figure BDA0002709406930000083
参数g只参与最大似然函数项的优化，类似于普通神经网络的参数优化；
每次输入在当前φ下重新采样的v与批尺寸为M的图像数据，经过变分结构优化网络得到预测的类别概率p(y|x,v)，计算ELBO，然后反向传播更新权重生成器参数g与通道尺度后验分布的超参数
Figure BDA0002709406930000084
不断迭代优化至网络收敛，得到g*、φ*，最终得到最优通道尺度后验分布
Figure BDA0002709406930000085
与具有参数g*的训练好的权重生成器；
在本实施例中，对变分结构优化网络优化结束之后，根据获得的通道尺度后验分布计算期望得到最优通道尺度：
Figure BDA0002709406930000086
进而根据训练好的权重生成器生成相应卷积神经网络权重，得到最优剪枝后网络(Optimal PrunedCNN)；最优剪枝网络经过进一步的重训练，得到最终的最优剪枝后网络(Final Optimal PrunedCNN)。
为了评估基于变分结构优化网络的通道剪枝技术的剪枝性能，可以统计剪枝前后的卷积神经网络的参数量，以评估网络的压缩效果，同时统计剪枝前后的网络在前向传播时产生的浮点运算次数，以评估网络的加速效果。
本发明在搭建好变分结构优化网络之后，一切的优化过程都是端到端的训练，不需要人工干预，可以自动的寻找到最优通道网络结构及其对应权重张量，实现自动而高效的通道剪枝。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (5)

1.一种基于变分结构优化网络的通道剪枝方法，包括以下步骤：
步骤S1：基于原始CNN构建变分结构优化网络；
变分结构优化网络框架由权重生成器与剪枝后网络(PrunedCNN)连接组成，输入为通道尺度变量v与图像分类数据集，输出为预测的类别概率；
步骤S2：训练变分结构优化网络；
将通道尺度v作为变分变量，在变分结构优化网络中进行变分推断，选择截尾对数均匀分布与截尾对数正态分布为通道尺度v的先验与后验分布，使用随机梯度变分贝叶斯(SGVB)方法，利用图像分类数据集计算变分证据下界(ELBO)；通过批梯度下降法优化得到最优权重生成器参数g*与通道尺度后验分布超参数φ*；
步骤S3：计算最优通道尺度v后验分布的期望作为最优通道尺度v*，将最优通道尺度v*输入具有参数g*的权重生成器中、生成权重加载到变分结构优化网络中，得到最优剪枝后网络(Optimal PrunedCNN)。
2.按权利要求1所述基于变分结构优化网络的通道剪枝方法，其特征在于，所述步骤S1包括以下步骤：
S11：为层数为L的原始CNN设立通道尺度v＝(v1,v2,…,vL),vi∈(0,1]，同时，预设v0为图像通道数；
S12：构建由L个块组成的权重生成器，块与原始CNN中各神经网络层一一对应连接；每一个块由两层全连接层网络组成，第一层全连接层的输入节点数为2、输入为通道尺度变量(vi-1,vi)，第二层全连接层的输出节点数为对应神经网络层的权重尺寸积、输出权重参数；将所述权重参数变形、剪切得权重张量wi，将生成的权重张量wi输入相应的神经网络层中，实现通道剪枝；具体的讲：
对于卷积层而言，设原始CNN的第i层卷积层权重张量形状为
Figure FDA0002709406920000011
其中，
Figure FDA0002709406920000012
分别为第i层卷积层的初始输入、输出通道数，n为滤波器尺寸；则第i层卷积层对应连接的块的输入为该卷积层的输入输出通道尺度(vi-1,vi)，块输出为形状为
Figure FDA0002709406920000013
的权重参数；将所述权重参数变形成形状为
Figure FDA0002709406920000014
的权重张量，并进一步剪切得形状为
Figure FDA0002709406920000015
的权重张量wi，其中，
Figure FDA0002709406920000016
round(·)为四舍五入操作；
对于全连接层而言，设原始CNN的第i层全连接层权重张量形状为
Figure FDA0002709406920000021
其中，
Figure FDA0002709406920000022
分别为第i层全连接层的初始输入输出神经元节点数，则第i层全连接层对应连接的块的输入为该全连接层的输入输出通道尺度(vi-1,vi)，块输出为形状为
Figure FDA0002709406920000023
的权重参数；将所述权重参数变形成形状为
Figure FDA0002709406920000024
的权重张量，并进一步剪切得形状为
Figure FDA0002709406920000025
的权重张量wi；
S13：基于
Figure FDA0002709406920000026
的形状构建剪枝后网络(PrunedCNN)。
3.按权利要求1所述基于变分结构优化网络的通道剪枝方法，其特征在于，所述步骤S2包括以下步骤：
S21：将控制CNN通道数目的通道尺度v作为变分变量，选择截尾均匀分布作为先验p，截尾正态分布作为后验q：
Figure FDA0002709406920000027
Figure FDA0002709406920000028
其中，
Figure FDA0002709406920000029
表示截尾上下界为ea、eb的分布，a、b为预设参数；
Figure FDA00027094069200000210
μi表示通道尺度后验对数正态分布的均值，σi表示通道尺度后验对数正态分布的方差；
Figure FDA00027094069200000211
Zi＝Φ(αi)-Φ(βi)；
Figure FDA00027094069200000212
表示均匀分布，
Figure FDA00027094069200000213
表示对数正态分布；
S22：采用随机梯度变分贝叶斯(SGVB)方法，以可导函数v＝f(φ,∈),∈～p(∈)对于随机变量
Figure FDA00027094069200000214
进行重参数化：
Figure FDA00027094069200000215
其中，Φ(·)为高斯累积分布函数；
S23：将当前后验分布下采样得到的通道尺度v与图像数据输入变分结构优化网络，得到预测的类别概率，进而得到Pruned CNN的输出推出证据下界(ELBO)；同时，将权重生成器中所有块的全连接层参数g纳入ELBO中，以实现对于权重生成器与通道尺度v的后验分布参数φ的同步优化：
Figure FDA0002709406920000031
Figure FDA0002709406920000032
Figure FDA0002709406920000033
其中，M为图像数据的批尺寸，N为图像数据总数，LD(φ)为对数似然函数项，DKL(qφ(v)‖p(v))为正则化项；
S24：采用批梯度下降法优化权重生成器参数g与通道尺度后验分布的超参数
Figure FDA0002709406920000034
直至网络收敛，得到最优权重生成器参数g*及最优通道尺度后验分布超参数φ*；
S25：根据最优通道尺度后验分布超参数φ*计算得到最优通道尺度后验分布：
Figure FDA0002709406920000035
4.按权利要求1所述基于变分结构优化网络的通道剪枝方法，其特征在于，所述步骤S3中，最优通道尺度v*的计算过程如下：
Figure FDA0002709406920000036
5.按权利要求1所述基于变分结构优化网络的通道剪枝方法，其特征在于，还包括步骤S4：对获得的最优剪枝后网络进行重训练，得到最终的最优剪枝后网络(Final OptimalPrunedCNN)并保存；具体过程以下：
S41：以交叉熵为损失函数，用图像数据集对得到的最优剪枝后网络进行重训练；
S42：训练至收敛，得到最终的最优剪枝后网络(Final Optimal PrunedCNN)，保存最终的模型及参数。
CN202011050565.2A 2020-09-29 2020-09-29 一种基于变分结构优化网络的通道剪枝方法 Active CN112215353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011050565.2A CN112215353B (zh) 2020-09-29 2020-09-29 一种基于变分结构优化网络的通道剪枝方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011050565.2A CN112215353B (zh) 2020-09-29 2020-09-29 一种基于变分结构优化网络的通道剪枝方法

Publications (2)

Publication Number Publication Date
CN112215353A true CN112215353A (zh) 2021-01-12
CN112215353B CN112215353B (zh) 2023-09-01

Family

ID=74052432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011050565.2A Active CN112215353B (zh) 2020-09-29 2020-09-29 一种基于变分结构优化网络的通道剪枝方法

Country Status (1)

Country Link
CN (1) CN112215353B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408723A (zh) * 2021-05-19 2021-09-17 北京理工大学 一种面向遥感应用的卷积神经网络剪枝和量化同步压缩方法
CN114998648A (zh) * 2022-05-16 2022-09-02 电子科技大学 一种基于梯度架构搜索的表现预测压缩方法
CN116030063A (zh) * 2023-03-30 2023-04-28 同心智医科技(北京)有限公司 Mri图像的分类诊断系统、方法、电子设备及介质
CN117689001A (zh) * 2024-02-02 2024-03-12 中科方寸知微(南京)科技有限公司 基于零数据搜索的神经网络多粒度剪枝压缩方法及系统
GB2624279A (en) * 2022-11-08 2024-05-15 Adobe Inc Guided CoModGAN optimization

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2429138A1 (en) * 2010-09-07 2012-03-14 Technische Universität Graz Method for the determination of the number of superimposed signals using variational bayesian inference
US20170286830A1 (en) * 2016-04-04 2017-10-05 Technion Research & Development Foundation Limited Quantized neural network training and inference
WO2018223822A1 (zh) * 2017-06-07 2018-12-13 北京深鉴智能科技有限公司 基于剪枝和蒸馏的卷积神经网络压缩方法
US20190042909A1 (en) * 2017-11-22 2019-02-07 Intel Corporation Reconfigurable neuro-synaptic cores for spiking neural network
CN109784474A (zh) * 2018-12-24 2019-05-21 宜通世纪物联网研究院(广州)有限公司 一种深度学习模型压缩方法、装置、存储介质及终端设备
CN110020718A (zh) * 2019-03-14 2019-07-16 上海交通大学 基于变分推断的逐层神经网络剪枝方法和系统
US20190251441A1 (en) * 2018-02-13 2019-08-15 Adobe Systems Incorporated Reducing architectural complexity of convolutional neural networks via channel pruning
CN110263917A (zh) * 2019-06-06 2019-09-20 深圳前海微众银行股份有限公司 一种神经网络压缩方法及装置
CN110309919A (zh) * 2019-07-09 2019-10-08 西北工业大学 基于结构化贝叶斯后验概率估计的神经网络压缩方法
CN110428045A (zh) * 2019-08-12 2019-11-08 电子科技大学 基于Tucker算法的深度卷积神经网络压缩方法
US20190347551A1 (en) * 2018-05-10 2019-11-14 Samsung Electronics Co., Ltd. Electronic apparatus for compressing recurrent neural network and method thereof
CA3056098A1 (en) * 2019-06-07 2019-11-22 Tata Consultancy Services Limited Sparsity constraints and knowledge distillation based learning of sparser and compressed neural networks
CN111144551A (zh) * 2019-12-27 2020-05-12 浙江大学 一种基于特征方差比的卷积神经网络通道剪枝方法
CN111414852A (zh) * 2020-03-19 2020-07-14 驭势科技(南京)有限公司 图像预测及车辆行为规划方法、装置和系统及存储介质
CN111596134A (zh) * 2020-05-28 2020-08-28 中国科学院空天信息创新研究院 基于压缩通道的单细胞生物电参量检测装置及检测方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2429138A1 (en) * 2010-09-07 2012-03-14 Technische Universität Graz Method for the determination of the number of superimposed signals using variational bayesian inference
US20170286830A1 (en) * 2016-04-04 2017-10-05 Technion Research & Development Foundation Limited Quantized neural network training and inference
WO2018223822A1 (zh) * 2017-06-07 2018-12-13 北京深鉴智能科技有限公司 基于剪枝和蒸馏的卷积神经网络压缩方法
US20190042909A1 (en) * 2017-11-22 2019-02-07 Intel Corporation Reconfigurable neuro-synaptic cores for spiking neural network
US20190251441A1 (en) * 2018-02-13 2019-08-15 Adobe Systems Incorporated Reducing architectural complexity of convolutional neural networks via channel pruning
US20190347551A1 (en) * 2018-05-10 2019-11-14 Samsung Electronics Co., Ltd. Electronic apparatus for compressing recurrent neural network and method thereof
CN109784474A (zh) * 2018-12-24 2019-05-21 宜通世纪物联网研究院(广州)有限公司 一种深度学习模型压缩方法、装置、存储介质及终端设备
CN110020718A (zh) * 2019-03-14 2019-07-16 上海交通大学 基于变分推断的逐层神经网络剪枝方法和系统
CN110263917A (zh) * 2019-06-06 2019-09-20 深圳前海微众银行股份有限公司 一种神经网络压缩方法及装置
CA3056098A1 (en) * 2019-06-07 2019-11-22 Tata Consultancy Services Limited Sparsity constraints and knowledge distillation based learning of sparser and compressed neural networks
CN110309919A (zh) * 2019-07-09 2019-10-08 西北工业大学 基于结构化贝叶斯后验概率估计的神经网络压缩方法
CN110428045A (zh) * 2019-08-12 2019-11-08 电子科技大学 基于Tucker算法的深度卷积神经网络压缩方法
CN111144551A (zh) * 2019-12-27 2020-05-12 浙江大学 一种基于特征方差比的卷积神经网络通道剪枝方法
CN111414852A (zh) * 2020-03-19 2020-07-14 驭势科技(南京)有限公司 图像预测及车辆行为规划方法、装置和系统及存储介质
CN111596134A (zh) * 2020-05-28 2020-08-28 中国科学院空天信息创新研究院 基于压缩通道的单细胞生物电参量检测装置及检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
C.ZHAO等: ""Variational convolutional neural network pruning"", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
D.P.KINGMA等: ""Auto-Encoding Variational Bayes"", 《ARXIV》 *
K.NEKLYUDOV等: ""Structured bayesian pruning via log-normal multiplicative noise"", 《ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS》 *
林景栋等: ""卷积神经网络结构优化综述"", 《自动化学报》 *
赵义凯等: ""深度神经网络模型压缩综述"", 《工程科学学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408723A (zh) * 2021-05-19 2021-09-17 北京理工大学 一种面向遥感应用的卷积神经网络剪枝和量化同步压缩方法
CN114998648A (zh) * 2022-05-16 2022-09-02 电子科技大学 一种基于梯度架构搜索的表现预测压缩方法
GB2624279A (en) * 2022-11-08 2024-05-15 Adobe Inc Guided CoModGAN optimization
CN116030063A (zh) * 2023-03-30 2023-04-28 同心智医科技(北京)有限公司 Mri图像的分类诊断系统、方法、电子设备及介质
CN117689001A (zh) * 2024-02-02 2024-03-12 中科方寸知微(南京)科技有限公司 基于零数据搜索的神经网络多粒度剪枝压缩方法及系统
CN117689001B (zh) * 2024-02-02 2024-05-07 中科方寸知微(南京)科技有限公司 基于零数据搜索的神经网络多粒度剪枝压缩方法及系统

Also Published As

Publication number Publication date
CN112215353B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN112215353A (zh) 一种基于变分结构优化网络的通道剪枝方法
WO2022141754A1 (zh) 一种卷积神经网络通用压缩架构的自动剪枝方法及平台
Ghosh et al. Structured variational learning of Bayesian neural networks with horseshoe priors
CN111243045B (zh) 一种基于高斯混合模型先验变分自编码器的图像生成方法
US20230076457A1 (en) Edge calculation-oriented reparametric neural network architecture search method
CN107729999A (zh) 考虑矩阵相关性的深度神经网络压缩方法
CN112364913A (zh) 一种基于核心数据集的联邦学习通信量优化方法及系统
CN115587633A (zh) 一种基于参数分层的个性化联邦学习方法
Singh et al. Acceleration of deep convolutional neural networks using adaptive filter pruning
Dai et al. Compressing deep model with pruning and tucker decomposition for smart embedded systems
KR20210039921A (ko) 신경망 모델을 최적화하도록 구성된 심층 신경망 시스템의 동작 방법
CN104050505A (zh) 一种基于带学习因子蜂群算法的多层感知器训练方法
CN113344182A (zh) 一种基于深度学习的网络模型压缩方法
CN113128666A (zh) 基于Mo-S-LSTMs模型的时间序列多步预测方法
CN114742997B (zh) 一种面向图像分割的全卷积神经网络密度峰剪枝方法
CN110263917B (zh) 一种神经网络压缩方法及装置
WO2023087303A1 (en) Method and apparatus for classifying nodes of a graph
Xu et al. LRP-based policy pruning and distillation of reinforcement learning agents for embedded systems
Niu et al. An adaptive device-edge co-inference framework based on soft actor-critic
CN113570037A (zh) 神经网络压缩方法及装置
Joshi et al. Simulated annealing based integerization of hidden weights for area-efficient IoT edge intelligence
US20200372363A1 (en) Method of Training Artificial Neural Network Using Sparse Connectivity Learning
CN116384471A (zh) 模型剪枝方法、装置、计算机设备、存储介质和程序产品
CN115983366A (zh) 面向联邦学习的模型剪枝方法及系统
CN115906959A (zh) 基于de-bp算法的神经网络模型的参数训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant