CN111612143B - 深度卷积神经网络的压缩方法及系统 - Google Patents
深度卷积神经网络的压缩方法及系统 Download PDFInfo
- Publication number
- CN111612143B CN111612143B CN202010440475.8A CN202010440475A CN111612143B CN 111612143 B CN111612143 B CN 111612143B CN 202010440475 A CN202010440475 A CN 202010440475A CN 111612143 B CN111612143 B CN 111612143B
- Authority
- CN
- China
- Prior art keywords
- filter
- neural network
- convolutional neural
- compressed
- sparse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 102
- 230000006835 compression Effects 0.000 title claims abstract description 45
- 238000007906 compression Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013138 pruning Methods 0.000 claims abstract description 49
- 230000000750 progressive effect Effects 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000013528 artificial neural network Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims description 73
- 239000010410 layer Substances 0.000 claims description 64
- 239000013598 vector Substances 0.000 claims description 15
- 238000003062 neural network model Methods 0.000 claims description 11
- 230000012010 growth Effects 0.000 claims description 6
- 238000012886 linear function Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- 238000003058 natural language processing Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007773 growth pattern Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Complex Calculations (AREA)
Abstract
本发明涉及一种深度卷积神经网络的压缩方法及系统，所述压缩方法包括：根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中不重要的滤波器；对不重要的滤波器施加渐进式稀疏约束，作为正则项加入到网络训练的损失函数中，得到优化损失函数；根据正则项，采用阈值迭代算法及反向传播算法联合求解，得到待压缩深度卷积神经网络的更新参数；基于所述优化损失函数及更新参数，获得具有滤波器稀疏形式的卷积神经网络模型；利用结构化剪枝算法，对所述具有滤波器稀疏形式的卷积神经网络模型进行剪枝，得到网络精度较高的压缩后的卷积神经网络模型。
Description
技术领域
本发明涉及卷积神经网络及人工智能技术领域，特别涉及一种深度卷积神经网络的压缩方法及系统。
背景技术
随着深度神经网络在人工智能领域地不断发展，比如计算机视觉、语音识别和自然语言处理等，社会各行各业研究人员通过将人工智能相关算法部署到实际产品中，并取得了更加智能化的效果，进而促进了人工智能新一轮研究高潮的到来。
然而，深度神经网络在实际应用部署时，需要巨大的存储空间和高额的计算资源消耗，很难应用在一些移动端和嵌入式设备中。因此，深度神经网络模型压缩和加速方法已经被学术和工业界重视起来，相关成果也为人工智能技术落地提供了重要保障。
其中，在深度卷积神经网络模型压缩和加速方法中，结构化剪枝是一种被广泛研究的方法，其压缩获得的模型可以直接快速部署到现有框架下，不需要特殊的软硬件库支持。
但是通常的结构化剪枝方法具有以下缺点：1)在移除冗余时，直接将不重要的连接去掉，导致网络精度有较大的下降；2)基于稀疏约束的剪枝方法，在整个模型训练过程中，对所有的连接一直加入固定的惩罚力度，使重要的连接在学习稀疏过程中受到影响，进而导致模型精度下降。
发明内容
为了解决现有技术中的上述问题，即为了在结构化剪枝过程中，保证网络模型的精度，本发明的目的在于提供一种深度卷积神经网络的压缩方法及系统。
为解决上述技术问题，本发明提供了如下方案：
一种深度卷积神经网络的压缩方法，所述压缩方法包括：
根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中不重要的滤波器；
对不重要的滤波器施加渐进式稀疏约束，作为正则项加入到网络训练的损失函数中，得到优化损失函数；
根据正则项，采用阈值迭代算法及反向传播算法联合求解，得到待压缩深度卷积神经网络的更新参数；
基于所述优化损失函数及更新参数，获得具有滤波器稀疏形式的卷积神经网络模型；
利用结构化剪枝算法，对所述具有滤波器稀疏形式的卷积神经网络模型进行剪枝，得到压缩后的卷积神经网络模型。
可选地，所述根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中不重要的滤波器，具体包括：
根据卷积层滤波器权值的L2范数值，确定待压缩深度卷积神经网络中不重要的滤波器。
可选地，所述根据卷积层滤波器权值的L2范数值，确定待压缩深度卷积神经网络中不重要的滤波器，具体包括：
根据以下公式，计算滤波器权值的L2范数值：
其中，表示卷积层l第j个滤波器L2范数值，/>表示卷积层l第j个滤波器权值，||·||2表示L2范数算子；
将卷积层l中所有滤波器L2范数值组成一重要性得分向量IS(l)：
其中，IS(l)为卷积层l滤波器重要性得分向量，c(l)为卷积层滤波器数目；
通过对重要性得分向量进行排序，确定重要性得分最小的sr*c(l)个滤波器为不重要的滤波器，构成不重要性滤波器参数集Θs，其中，sr为卷积层稀疏率。
可选地，根据以下公式，得到优化损失函数：
s(l)＝sr*c(l)；
其中，Loss表示优化损失函数，表示全部训练数据集，x,y为成对训练数据，且 表示标准损失函数，/>表示网络前向函数，Θ表示待压缩深度卷积神经网络的参数集；Θs表示不重要性滤波器的参数集，/>表示正则项函数，L表示卷积神经网络模型卷积层数目，W(l)表示卷积层l中滤波器权值，/>表示卷积层l第j个滤波器权值，||·||2表示L2范数算子，||·||2,1表示矩阵的L21范数算子，S(l)表示卷积层l被选择稀疏的滤波器数目，sr为卷积层稀疏率；λ表示渐进式的稀疏惩罚因子，能够通过阶梯式函数、线性式函数、指数式函数和正弦式函数中任意一者增长方式确定。
可选地，通过正弦式函数增长方式确定渐进式的稀疏惩罚因子λ，具体包括：
其中，λ(t)为迭代次数t时的惩罚因子，λmax为惩罚因子的幅值，T为总迭代次数。
可选地，所述根据正则项，采用阈值迭代算法及反向传播算法联合求解，得到待压缩深度卷积神经网络的更新参数，具体包括：
根据以下公式，得到滤波器的更新权值：
其中，[Sλ(·)]表示取近似函数，Wj表示第j个滤波器权值，且Θs表示不重要性滤波器参数集，λ表示渐进式的稀疏惩罚因子，||·||2表示L2范数算子；
根据滤波器的更新权值，采用反向传播算法联合求解，得到待压缩深度卷积神经网络的更新参数。
可选地，所述利用结构化剪枝算法，对所述具有滤波器稀疏形式的卷积神经网络模型进行剪枝，得到压缩后的卷积神经网络模型，具体包括：
针对所述具有滤波器稀疏形式的卷积神经网络模型的每一卷积层，去掉所述卷积层中L2范数为零的滤波器；
将当前层和下一层冗余的参数被移除；
将单一层剪枝操作用于整个所述具有滤波器稀疏形式的卷积神经网络模型中，得到压缩后的卷积神经网络模型。
为解决上述技术问题，本发明还提供了如下方案：
一种深度卷积神经网络的压缩系统，所述压缩系统包括：
确定单元，用于根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中不重要的滤波器；
优化单元，用于对不重要的滤波器施加渐进式稀疏约束，作为正则项加入到网络训练的损失函数中，得到优化损失函数；
更新单元，用于根据正则项，采用阈值迭代算法及反向传播算法联合求解，得到待压缩深度卷积神经网络的更新参数；
建模单元，用于基于所述优化损失函数及更新参数，获得具有滤波器稀疏形式的卷积神经网络模型；
剪枝单元，用于利用结构化剪枝算法，对所述具有滤波器稀疏形式的卷积神经网络模型进行剪枝，得到压缩后的卷积神经网络模型。
为解决上述技术问题，本发明还提供了如下方案：
一种深度卷积神经网络的压缩系统，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中不重要的滤波器；
对不重要的滤波器施加渐进式稀疏约束，作为正则项加入到网络训练的损失函数中，得到优化损失函数；
根据正则项，采用阈值迭代算法及反向传播算法联合求解，得到待压缩深度卷积神经网络的更新参数；
基于所述优化损失函数及更新参数，获得具有滤波器稀疏形式的卷积神经网络模型；
利用结构化剪枝算法，对所述具有滤波器稀疏形式的卷积神经网络模型进行剪枝，得到压缩后的卷积神经网络模型。
为解决上述技术问题，本发明还提供了如下方案：
一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中不重要的滤波器；
对不重要的滤波器施加渐进式稀疏约束，作为正则项加入到网络训练的损失函数中，得到优化损失函数；
根据正则项，采用阈值迭代算法及反向传播算法联合求解，得到待压缩深度卷积神经网络的更新参数；
基于所述优化损失函数及更新参数，获得具有滤波器稀疏形式的卷积神经网络模型；
利用结构化剪枝算法，对所述具有滤波器稀疏形式的卷积神经网络模型进行剪枝，得到压缩后的卷积神经网络模型。
根据本发明的实施例，本发明公开了以下技术效果：
本发明考虑到卷积核的重要性，通过对不重要的滤波器施加渐进式稀疏约束，将正则项加入到网络训练的损失函数中，得到优化损失函数；采用阈值迭代算法及反向传播算法联合求解，得到待压缩深度卷积神经网络的更新参数，进而建立具有滤波器稀疏形式的卷积神经网络模型，利用结构化剪枝算法进行剪枝，可得到网络精度较高的压缩后的卷积神经网络模型。
附图说明
图1是本发明深度卷积神经网络的压缩方法的流程图；
图2是选择式稀疏与一般性稀疏对比图；
图3是稀疏惩罚系数采用正弦式增长方式示例图；
图4是本发明深度卷积神经网络的压缩系统的模块结果示意图。
符号说明：
确定单元—1，优化单元—2，更新单元—3，建模单元—4，剪枝单元—5。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明的目的是提供一种深度卷积神经网络的压缩方法，考虑到卷积核的重要性，通过对不重要的滤波器施加渐进式稀疏约束，将正则项加入到网络训练的损失函数中，得到优化损失函数；采用阈值迭代算法及反向传播算法联合求解，得到待压缩深度卷积神经网络的更新参数，进而建立具有滤波器稀疏形式的卷积神经网络模型，利用结构化剪枝算法进行剪枝，可得到网络精度较高的压缩后的卷积神经网络模型。
本发明采用服务器配置为i7-6850K CPU和NVIDIA GTX TITAN GPU，整个网络的训练使用Pytorch深度学习框架。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明深度卷积神经网络的压缩方法包括：
步骤100：根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中不重要的滤波器；
步骤200：对不重要的滤波器施加渐进式稀疏约束，作为正则项加入到网络训练的损失函数中，得到优化损失函数；
步骤300：根据正则项，采用阈值迭代算法及反向传播算法联合求解，得到待压缩深度卷积神经网络的更新参数；
步骤400：基于所述优化损失函数及更新参数，获得具有滤波器稀疏形式的卷积神经网络模型；
步骤500：利用结构化剪枝算法，对所述具有滤波器稀疏形式的卷积神经网络模型进行剪枝，得到压缩后的卷积神经网络模型。
其中，在步骤100中，滤波器重要性选择方式是一种考虑卷积层滤波器重要性的稀疏正则方法，例如通过滤波器权值或范数大小来进行选择。
具体地，所述根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中不重要的滤波器，包括：
根据卷积层滤波器权值的L2范数值，确定待压缩深度卷积神经网络中不重要的滤波器。
进一步地，所述根据卷积层滤波器权值的L2范数值，确定待压缩深度卷积神经网络中不重要的滤波器，具体包括：
步骤101：根据以下公式，计算滤波器权值的L2范数值：
其中，表示卷积层l第j个滤波器L2范数值，/>表示卷积层l第j个滤波器权值，||·||2表示L2范数算子；
步骤102：将卷积层l中所有滤波器L2范数值组成一重要性得分向量IS(l)：
其中，IS(l)为卷积层l滤波器重要性得分向量，c(l)为卷积层滤波器数目；
步骤103：通过对重要性得分向量进行排序，确定重要性得分最小的sr*c(l)个滤波器为不重要的滤波器，构成不重要性滤波器参数集Θs，其中，sr为卷积层稀疏率。
在步骤200中，渐进式稀疏约束是一种逐渐增大稀疏惩罚系数λ的稀疏正则方法，渐进式的稀疏惩罚因子λ的增长方式可以是阶梯式函数、线性式函数、指数式函数和正弦式(四分之一)函数中的任何一种。
具体地，根据以下公式，得到优化损失函数：
s(l)＝sr*c(l)；
其中，Loss表示优化损失函数，表示全部训练数据集，x,y为成对训练数据，且 表示标准损失函数，/>表示网络前向函数，Θ表示待压缩深度卷积神经网络的参数集；Θs表示不重要性滤波器的参数集，/>表示正则项函数，L表示卷积神经网络模型卷积层数目，W(l)表示卷积层l中滤波器权值，/>表示卷积层l第j个滤波器权值，||·||2表示L2范数算子，||·||2,1表示矩阵的L21范数算子，S(l)表示卷积层l被选择稀疏的滤波器数目，sr为卷积层稀疏率(如图2所示为选择式稀疏与一般稀疏的区别)；λ表示渐进式的稀疏惩罚因子，能够通过阶梯式函数、线性式函数、指数式函数和正弦式函数中任意一者增长方式确定。
如图3所示，通过正弦式函数增长方式确定渐进式的稀疏惩罚因子λ，具体包括：
其中，λ(t)为迭代次数t时的惩罚因子，λmax为惩罚因子的幅值，T为总迭代次数。
由于正则项函数的不可微分性，采用联合求解方法，通过利用二次近似算法获得参数的迭代更新公式，包括参数反向传播和阈值迭代更新两部分，两者交替更新参数。
具体地，在步骤300中，所述根据正则项，采用阈值迭代算法及反向传播算法联合求解，得到待压缩深度卷积神经网络的更新参数，具体包括：
步骤301：根据以下公式，得到滤波器的更新权值：
其中，[Sλ(·)]表示取近似函数，Wj表示第j个滤波器权值，且Θs表示不重要性滤波器参数集，λ表示渐进式的稀疏惩罚因子，||·||2表示L2范数算子；
步骤301：根据滤波器的更新权值，采用反向传播算法联合求解，得到待压缩深度卷积神经网络的更新参数。具体地：采用以下算法联合求解。更新参数：
输入：模型，全部训练数据集D、惩罚因子的幅值λmax、卷积层稀疏率sr；
其中，α是学习率，为参数反向传播的梯度。
优选地，在步骤500中，所述利用结构化剪枝算法，对所述具有滤波器(结构化)稀疏形式的卷积神经网络模型进行剪枝，得到压缩后的卷积神经网络模型，具体包括：
步骤501：针对所述具有滤波器稀疏形式的卷积神经网络模型的每一卷积层，去掉所述卷积层中L2范数为零的滤波器；
步骤502：将当前层和下一层冗余的参数被移除；
步骤503：将单一层剪枝操作用于整个所述具有滤波器稀疏形式的卷积神经网络模型中，得到压缩后的卷积神经网络模型。
本发明通过采用选择式和渐进式稀疏正则对深度卷积神经网络进行压缩，解决了通常的结构化剪枝方法存在的缺点。具体地，本发明根据滤波器重要性选择方式和模型压缩率，确定出不重要的滤波器，并对不重要的滤波器施加渐进式稀疏约束，作为正则项加入到网络训练的损失函数中；采用阈值迭代算法处理选择式和渐进式稀疏正则项的不可微分性，同时与反向传播算法联合求解，获得模型参数更新的迭代公式，训练结束后，获得具有结构化(滤波器)稀疏形式的卷积神经网络模型；利用结构化剪枝方法，对获得的稀疏模型进行剪枝处理，获得压缩后的卷积神经网络模型。与通常的结构化稀疏方法比较，本发明获得了更好的压缩效果。
此外，本发明还提供一种深度卷积神经网络的压缩系统，可在结构化剪枝过程中，保证网络模型的精度。
如图4所示，本发明深度卷积神经网络的压缩系统包括确定单元1、优化单元2、更新单元3、建模单元4及剪枝单元5。
具体地，所述确定单元1用于根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中不重要的滤波器；
所述优化单元2用于对不重要的滤波器施加渐进式稀疏约束，作为正则项加入到网络训练的损失函数中，得到优化损失函数；
所述更新单元3用于根据正则项，采用阈值迭代算法及反向传播算法联合求解，得到待压缩深度卷积神经网络的更新参数；
所述建模单元4用于基于所述优化损失函数及更新参数，获得具有滤波器稀疏形式的卷积神经网络模型；
所述剪枝单元5用于利用结构化剪枝算法，对所述具有滤波器稀疏形式的卷积神经网络模型进行剪枝，得到压缩后的卷积神经网络模型。
此外，本发明还提供一种深度卷积神经网络的压缩系统，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中不重要的滤波器；
对不重要的滤波器施加渐进式稀疏约束，作为正则项加入到网络训练的损失函数中，得到优化损失函数；
根据正则项，采用阈值迭代算法及反向传播算法联合求解，得到待压缩深度卷积神经网络的更新参数；
基于所述优化损失函数及更新参数，获得具有滤波器稀疏形式的卷积神经网络模型；
利用结构化剪枝算法，对所述具有滤波器稀疏形式的卷积神经网络模型进行剪枝，得到压缩后的卷积神经网络模型。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中不重要的滤波器；
对不重要的滤波器施加渐进式稀疏约束，作为正则项加入到网络训练的损失函数中，得到优化损失函数；
根据正则项，采用阈值迭代算法及反向传播算法联合求解，得到待压缩深度卷积神经网络的更新参数；
基于所述优化损失函数及更新参数，获得具有滤波器稀疏形式的卷积神经网络模型；
利用结构化剪枝算法，对所述具有滤波器稀疏形式的卷积神经网络模型进行剪枝，得到压缩后的卷积神经网络模型。
相对于现有技术，本发明深度卷积神经网络的压缩系统、计算机可读存储介质与上述深度卷积神经网络的压缩方法的有益效果相同，在此不再赘述。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (7)
1.一种深度卷积神经网络的压缩系统，其特征在于，应用于将深度神经网络部署在移动端和嵌入式设备，进行视觉、语音识别和自然语言处理，所述压缩系统包括：
确定单元，用于根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中不重要的滤波器；包括：根据卷积层滤波器权值的L2范数值，确定待压缩深度卷积神经网络中不重要的滤波器；具体包括：根据以下公式，计算滤波器权值的L2范数值：
其中，表示卷积层l第j个滤波器L2范数值，Wj (l)表示卷积层l第j个滤波器权值，||·||2表示L2范数算子；
将卷积层l中所有滤波器L2范数值组成一重要性得分向量IS(l)：
其中，IS(l)为卷积层l滤波器重要性得分向量，c(l)为卷积层滤波器数目；
通过对重要性得分向量进行排序，确定重要性得分最小的sr*c(l)个滤波器为不重要的滤波器，构成不重要性滤波器参数集Θs，其中，sr为卷积层稀疏率；
优化单元，用于对不重要的滤波器施加渐进式稀疏约束，作为正则项加入到网络训练的损失函数中，得到优化损失函数；
更新单元，用于根据正则项，采用阈值迭代算法及反向传播算法联合求解，得到待压缩深度卷积神经网络的更新参数；
建模单元，用于基于所述优化损失函数及更新参数，获得具有滤波器稀疏形式的卷积神经网络模型；
剪枝单元，用于利用结构化剪枝算法，对所述具有滤波器稀疏形式的卷积神经网络模型进行剪枝，得到压缩后的卷积神经网络模型。
2.根据权利要求1所述的深度卷积神经网络的压缩系统，其特征在于，根据以下公式，得到优化损失函数：
s(l)＝sr*c(l)；
其中，Loss表示优化损失函数，D表示全部训练数据集，x,y为成对训练数据，且(x,y)∈D，l(·)表示标准损失函数，F(·,·)表示网络前向函数，Θ表示待压缩深度卷积神经网络的参数集；Θs表示不重要性滤波器的参数集，RSPSS(·)表示正则项函数，L表示卷积神经网络模型卷积层数目，W(l)表示卷积层l中滤波器权值，Wj (l)表示卷积层l第j个滤波器权值，||·||2表示L2范数算子，||·||2,1表示矩阵的L21范数算子，S(l)表示卷积层l被选择稀疏的滤波器数目，sr为卷积层稀疏率；λ表示渐进式的稀疏惩罚因子，能够通过阶梯式函数、线性式函数、指数式函数和正弦式函数中任意一者增长方式确定。
3.根据权利要求2所述的深度卷积神经网络的压缩系统，其特征在于，通过正弦式函数增长方式确定渐进式的稀疏惩罚因子λ，具体包括：
其中，λ(t)为迭代次数t时的惩罚因子，λmax为惩罚因子的幅值，T为总迭代次数。
4.根据权利要求1所述的深度卷积神经网络的压缩系统，其特征在于，所述根据正则项，采用阈值迭代算法及反向传播算法联合求解，得到待压缩深度卷积神经网络的更新参数，具体包括：
根据以下公式，得到滤波器的更新权值：
其中，[Sλ(·)]表示取近似函数，Wj表示第j个滤波器权值，且Wj∈Θs，Θs表示不重要性滤波器参数集，λ表示渐进式的稀疏惩罚因子，||·||2表示L2范数算子；
根据滤波器的更新权值，采用反向传播算法联合求解，得到待压缩深度卷积神经网络的更新参数。
5.根据权利要求1所述的深度卷积神经网络的压缩系统，其特征在于，所述利用结构化剪枝算法，对所述具有滤波器稀疏形式的卷积神经网络模型进行剪枝，得到压缩后的卷积神经网络模型，具体包括：
针对所述具有滤波器稀疏形式的卷积神经网络模型的每一卷积层，去掉所述卷积层中L2范数为零的滤波器；
将当前层和下一层冗余的参数被移除；
将单一层剪枝操作用于整个所述具有滤波器稀疏形式的卷积神经网络模型中，得到压缩后的卷积神经网络模型。
6.一种深度卷积神经网络的压缩系统，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中不重要的滤波器；包括：根据卷积层滤波器权值的L2范数值，确定待压缩深度卷积神经网络中不重要的滤波器；具体包括：根据以下公式，计算滤波器权值的L2范数值：
其中，表示卷积层l第j个滤波器L2范数值，Wj (l)表示卷积层l第j个滤波器权值，||·||2表示L2范数算子；
将卷积层l中所有滤波器L2范数值组成一重要性得分向量IS(l)：
其中，IS(l)为卷积层l滤波器重要性得分向量，c(l)为卷积层滤波器数目；
通过对重要性得分向量进行排序，确定重要性得分最小的sr*c(l)个滤波器为不重要的滤波器，构成不重要性滤波器参数集Θs，其中，sr为卷积层稀疏率；
对不重要的滤波器施加渐进式稀疏约束，作为正则项加入到网络训练的损失函数中，得到优化损失函数；
根据正则项，采用阈值迭代算法及反向传播算法联合求解，得到待压缩深度卷积神经网络的更新参数；
基于所述优化损失函数及更新参数，获得具有滤波器稀疏形式的卷积神经网络模型；
利用结构化剪枝算法，对所述具有滤波器稀疏形式的卷积神经网络模型进行剪枝，得到压缩后的卷积神经网络模型。
7.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中不重要的滤波器；包括：根据卷积层滤波器权值的L2范数值，确定待压缩深度卷积神经网络中不重要的滤波器；具体包括：根据以下公式，计算滤波器权值的L2范数值：
其中，表示卷积层l第j个滤波器L2范数值，Wj (l)表示卷积层l第j个滤波器权值，||·||2表示L2范数算子；
将卷积层l中所有滤波器L2范数值组成一重要性得分向量IS(l)：
其中，IS(l)为卷积层l滤波器重要性得分向量，c(l)为卷积层滤波器数目；
通过对重要性得分向量进行排序，确定重要性得分最小的sr*c(l)个滤波器为不重要的滤波器，构成不重要性滤波器参数集Θs，其中，sr为卷积层稀疏率；
对不重要的滤波器施加渐进式稀疏约束，作为正则项加入到网络训练的损失函数中，得到优化损失函数；
根据正则项，采用阈值迭代算法及反向传播算法联合求解，得到待压缩深度卷积神经网络的更新参数；
基于所述优化损失函数及更新参数，获得具有滤波器稀疏形式的卷积神经网络模型；
利用结构化剪枝算法，对所述具有滤波器稀疏形式的卷积神经网络模型进行剪枝，得到压缩后的卷积神经网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010440475.8A CN111612143B (zh) | 2020-05-22 | 2020-05-22 | 深度卷积神经网络的压缩方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010440475.8A CN111612143B (zh) | 2020-05-22 | 2020-05-22 | 深度卷积神经网络的压缩方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111612143A CN111612143A (zh) | 2020-09-01 |
| CN111612143B true CN111612143B (zh) | 2023-12-19 |
Family
ID=72201852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010440475.8A Active CN111612143B (zh) | 2020-05-22 | 2020-05-22 | 深度卷积神经网络的压缩方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111612143B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132062B (zh) * | 2020-09-25 | 2021-06-29 | 中南大学 | 一种基于剪枝压缩神经网络的遥感图像分类方法 |
| CN112163628A (zh) * | 2020-10-10 | 2021-01-01 | 北京航空航天大学 | 一种适用于嵌入式设备的改进目标实时识别网络结构的方法 |
| CN112465141A (zh) * | 2020-12-18 | 2021-03-09 | 平安科技（深圳）有限公司 | 模型压缩方法、装置、电子设备及介质 |
| WO2022179492A1 (zh) * | 2021-02-27 | 2022-09-01 | 华为技术有限公司 | 一种卷积神经网络的剪枝处理方法、数据处理方法及设备 |
| CN113537492B (zh) * | 2021-07-19 | 2024-04-26 | 第六镜科技(成都)有限公司 | 模型训练及数据处理方法、装置、设备、介质、产品 |
| CN114037071B (zh) * | 2021-09-18 | 2023-08-08 | 宁波大学 | 获取用于图像前处理以抵抗jpge压缩失真的神经网络的方法 |
| CN114154626B (zh) * | 2021-12-14 | 2022-08-16 | 中国人民解放军国防科技大学 | 一种用于图像分类任务的滤波器剪枝方法 |
| CN115240006B (zh) * | 2022-07-29 | 2023-09-19 | 南京航空航天大学 | 目标检测的卷积神经网络优化方法、装置及网络结构 |
-
2020
- 2020-05-22 CN CN202010440475.8A patent/CN111612143B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111612143A (zh) | 2020-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111612143B (zh) | 深度卷积神经网络的压缩方法及系统 | |
| CN109313670B (zh) | 在计算机辅助设计应用中生成晶格建议的方法和系统 | |
| EP3754521A1 (en) | Structural topology optimization method based on material-field reduction series expansion | |
| CN108846445B (zh) | 一种图像处理方法 | |
| CN109614631B (zh) | 基于强化学习和迁移学习的飞行器全自动气动优化方法 | |
| US20200125960A1 (en) | Small-world nets for fast neural network training and execution | |
| CN112215353B (zh) | 一种基于变分结构优化网络的通道剪枝方法 | |
| CN111783209B (zh) | 一种学习函数与kriging模型结合的自适应结构可靠性分析方法 | |
| CN105243688B (zh) | 基于重心Voronoi图的非钝角的重新网格化方法 | |
| Oishi et al. | A surface-to-surface contact search method enhanced by deep learning | |
| CN115437795B (zh) | 一种异构gpu集群负载感知的显存重计算优化方法及系统 | |
| JP3323894B2 (ja) | ニューラルネットワーク学習方法及び装置 | |
| CN113191105A (zh) | 一种基于分布式并行运算方法的电气仿真方法 | |
| US20170140072A1 (en) | Method and system for determining a configuration of a model having a collection of entities and satisfying a set of constraints | |
| CN108960326B (zh) | 一种基于深度学习框架的点云快速分割方法及其系统 | |
| CN112257466A (zh) | 一种应用于小型机器翻译设备的模型压缩方法 | |
| CN115983366A (zh) | 面向联邦学习的模型剪枝方法及系统 | |
| CN113326582B (zh) | 一种基于应力分布的变密度点阵结构及其设计方法 | |
| CN115712977A (zh) | 一种基于Kriging代理模型辅助的齿轮减速器稳健优化设计方法 | |
| CN115409159A (zh) | 对象操作方法、装置、计算机设备以及计算机存储介质 | |
| Rodríguez-Ferran et al. | Numerical performance of incomplete factorizations for 3D transient convection–diffusion problems | |
| US8031957B1 (en) | Rewritable lossy compression of graphical data | |
| CN114444012A (zh) | 一种基于神经网络架构搜索的偏微分方程数值求解方法 | |
| CN113901552A (zh) | 一种堰体模型的建立方法及装置 | |
| CN117540664B (zh) | 一种基于图神经网络的二维流场预测与修正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |