CN109978135B - 基于量化的神经网络压缩方法及系统 - Google Patents
基于量化的神经网络压缩方法及系统 Download PDFInfo
- Publication number
- CN109978135B CN109978135B CN201910160694.8A CN201910160694A CN109978135B CN 109978135 B CN109978135 B CN 109978135B CN 201910160694 A CN201910160694 A CN 201910160694A CN 109978135 B CN109978135 B CN 109978135B
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolution
- convolutional neural
- correlation
- deep convolutional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000013139 quantization Methods 0.000 title claims abstract description 57
- 230000006835 compression Effects 0.000 title claims abstract description 41
- 238000007906 compression Methods 0.000 title claims abstract description 41
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 110
- 230000004913 activation Effects 0.000 claims abstract description 76
- 230000002787 reinforcement Effects 0.000 claims abstract description 60
- 230000003993 interaction Effects 0.000 claims abstract description 14
- 238000005065 mining Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 25
- 230000009471 action Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 230000002596 correlated effect Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 7
- 230000008439 repair process Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 claims description 6
- 239000013307 optical fiber Substances 0.000 claims description 3
- 230000009467 reduction Effects 0.000 abstract description 7
- 108091006146 Channels Proteins 0.000 description 100
- 239000003795 chemical substances by application Substances 0.000 description 8
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 7
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000007667 floating Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000013138 pruning Methods 0.000 description 4
- 238000012614 Monte-Carlo sampling Methods 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于量化的神经网络压缩方法及系统，其中，该方法包括：S1，利用强化学习策略网络对深度卷积神经网络中卷积通道间的相互作用进行挖掘，获取卷积通道间的相关性信息；S2，根据相关性信息对深度卷积神经网络的原始激活值进行修正和量化。该方法通过挖掘卷积中各通道间的相互作用，利用其相关性信息对深度卷积神经网络的激活值进行修正，从而复原由量化导致的信息损失，解决由于模型表达能力下降导致信息损失的问题。
Description
技术领域
本发明涉及神经网络压缩技术领域，特别涉及一种基于量化的神经网络压缩方法及系统。
背景技术
深度卷积神经网络在目标检测、跟踪、人脸识别等多种视觉应用中都取得了最先进的性能。然而，由于计算和存储成本巨大，运行深度神经网络来完成各种视觉任务需要有较大的储存设备(固态硬盘等)和运算能力较强的计算设备，如GPU(Graphics ProcessingUnit，图形处理器)等，使得深度卷积神经网络在便携式设备中的部署受到非常大的限制。此外，有研究已经证明，在训练完成后的深度卷积神经网络中，参数具有很高的冗余度，这不仅造成了无用的计算，还影响了模型的性能。因此，减少深度卷积神经网络中的参数，简化深度卷积神经网络中的结构不仅能使其被广泛部署到各类设备上，也能提升其在各种任务中的性能。
尽管许多研究人员都对怎样获得表现优异的轻型卷积神经网络进行了广泛的研究，但目前仍存在许多问题。主要有以下几个原因：其一，虽然神经网络参数和结构有较高的冗余性，但由于神经网络可解释性较差，准确找到冗余参数或结构并将其去除变得十分困难；其次，同一种深度卷积神经网络被运用在不同的任务或输入的数据分布不同时，往往有不同的压缩方法；最后，压缩后的深度神经网络往往不具有原始网络的结构化特征，这使得其在现有深度学习平台上实现时较为困难。
目前，主要的深度神经网络压缩方法可以分为四类：基于剪枝的方法、基于量化的方法、基于低秩展开的方法以及基于新型网络结构设计的方法。基于剪枝的方法主要是针对深度卷积神经网络中具有高冗余性的子结构，对其进行剪枝，从而在去除网络冗余的基础上不损害网络的表达能力。比如相关技术中对于绝对值较小的权重进行剪枝，并对无权重连接的神经元进行删除；相关技术中利用LASSO回归找到深度卷积神经网络中冗余的通道，从而结构化地对网络通道进行剪枝。基于量化的方法主要体现在对深度卷积神经网络计算过程中的中间变量进行量化，用低精度的运算取代原本高精度的运算，达到加快计算速度且减小储存空间的目的。相关技术中将原始深度卷积神经网络中的权重量化为1和-1，将卷积中原本的乘加运算简化为加法运算；相关技术中更进一步将深度神经网络中的激活值也量化为1和-1，从而卷积的运算变为和或运算，计算成本大大降低；相关技术中还对深度卷积神经网络权重进行了多量化，大大提高了量化后深度卷积神经网络的性能。基于低秩展开的方法将卷积中复杂的乘加浮点运算展开为若干简单的运算。相关技术中将浮点数卷积核展开为若干由1和-1表示的卷积核，在几乎不损害网络性能的前提下减少了计算成本和储存成本。相关技术中将不同权重进行分组量化，来逼近原始浮点深度卷积神经网络的性能。基于新型网络结构设计的方法通过人为观察的先验知识，对深度卷积神经网络中冗余度较高的结构进行去除或者缩减，以获得更紧致的网络结构。相关技术中通过使用更小尺寸卷积，减少输入通道的方式将冗余的通道进行去除以压缩模型；相关技术中将传统卷积分解为深度卷积和逐点卷积，两种卷积分别提取无关联的信息，从而去除卷积中的冗余信息。基于二值量化的深度卷积神经网络压缩技术能够显著地降低卷积的计算复杂度，所以该种方法近年来被研究者广泛研究，但仍存在如下问题：
下面总结主流的目标匹配方法存在的问题：
对于只二值化权重的深度卷积神经网络压缩方法，其中的卷积核由原始的浮点数变成了量化的1和-1，卷积中原始的乘加操作变成了加法操作。该种网络的储存成本变为了原始的1/32，计算成本变为了原来的1/2。虽然这种压缩方法大大的减少了网络所需要的储存空间，由于加法操作仍然是浮点数运算，所以该种压缩方法对于网络的加速仍然是受到了很大限制，对于例如自动驾驶等一些实时性要求较高的应用而言，只二值化权重的深度卷积神经网络仍然不适用。
对于二值化权重和激活值的深度卷积神经网络的压缩方法，不仅其中的卷积核由原始的浮点数变为了1和-1，在中间变量经过激活层后也会被量化到1和-1，从而卷积的输入也是二值化的值，这就使得卷积的乘加操作变为了非常快速的和或运算，储存成本变为原来的1/32，计算成本降低为原来的1/64。但由于激活值含有样本丰富的信息，只用1和-1表示激活值使得网络的表达能力受到了严重影响，从而该种深度卷积神经网络在各种任务上的性能有明显下降。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于量化的神经网络压缩方法，该方法可以解决由于模型表达能力下降导致信息损失的问题。
本发明的另一个目的在于提出一种基于量化的神经网络压缩系统。
为达到上述目的，本发明一方面实施例提出了一种基于量化的神经网络压缩方法，包括：S1，利用强化学习策略网络对深度卷积神经网络中卷积通道间的相互作用进行挖掘，获取卷积通道间的相关性信息；S2，根据所述相关性信息对所述深度卷积神经网络的原始激活值进行修正和量化。
本发明实施例的基于量化的神经网络压缩方法，通过挖掘卷积中各通道间的相互作用，利用其相关性信息对激活值进行修正，从而复原由量化导致的信息损失，解决由于模型表达能力下降导致信息损失的问题。
另外，根据本发明上述实施例的基于量化的神经网络压缩方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，在步骤S1之前还包括：
根据所述深度卷积神经网络的结构、训练数据集和传统的深度量化卷积神经网络模型预训练所述深度卷积神经网络，搭建与所述深度卷积神经网络结构匹配的所述强化学习策略网络，随机初始化所述强化学习策略网络的网络参数，并将所述深度卷积神经网络的相关性置0。
进一步地，在本发明的一个实施例中，在步骤S2之后还包括：
根据相关卷积通道的特征图对被修正特征图上的像素进行调整，以修复所述深度卷积神经网络的原始激活值在量化过程中损失的信息。
进一步地，在本发明的一个实施例中，所述S1进一步包括：
将所述深度卷积神经网络当前状态下各卷积通道间是否相关以及相关性大小作为状态，由所述强化学习策略网络生成需要相关或去相关的卷积通道对和所述卷积通道对相应的相关性大小，以作为所述强化学习策略网络的动作，将所述深度卷积神经网络的损失函数的下降程度和相关卷积通道激活值的大小关系作为所述强化学习策略网络的奖励函数来对所述强化学习策略网络进行训练，以挖掘所述深度卷积神经网络中不同卷积通道的相关性信息。
进一步地，在本发明的一个实施例中，所述根据所述相关性信息对所述深度卷积神经网络的激活值进行修正和量化，公式为：
其中，s为所有被影响的卷积通道，t为所有影响的卷积通道，
和
分别为修正前后的第l卷积层第s通道的第i行第j列的激活值，
为第l卷积层中第t通道的第i行第j列的像素值，
为修正附加项，由下式决定：
其中，N0为激活值值域的半宽度，U0为手工设定的超参数，表示卷积通道间相关性对于深度卷积神经网络的激活值影响，[U0N0]表示不超过[U0N0]的最大整数将激活值值域等间距划分成
后，pk表示第k段的起点。
为达到上述目的，本发明另一方面实施例提出了一种基于量化的神经网络压缩系统，包括：挖掘模块，用于利用强化学习策略网络对深度卷积神经网络中卷积通道间的相互作用进行挖掘，获取卷积通道间的相关性信息；修复模块，用于根据所述相关性信息对所述深度卷积神经网络的原始激活值进行修正和量化。
本发明实施例的基于量化的神经网络压缩系统，通过挖掘卷积中各通道间的相互作用，利用其相关性信息对激活值进行修正，从而复原由量化导致的信息损失，解决由于模型表达能力下降导致信息损失的问题。
另外，根据本发明上述实施例的基于量化的神经网络压缩系统还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，还包括：预训练模块，
所述预训练模块，用于根据所述深度卷积神经网络的结构、训练数据集和传统的深度量化卷积神经网络模型预训练所述深度卷积神经网络，搭建与所述深度卷积神经网络结构匹配的所述强化学习策略网络，随机初始化所述强化学习策略网络的网络参数，并将所述深度卷积神经网络的相关性置0。
进一步地，在本发明的一个实施例中，还包括：调整模块，
所述调整模块，用于根据相关卷积通道的特征图对被修正特征图上的像素进行调整，以修复所述深度卷积神经网络的原始激活值在量化过程中损失的信息。
进一步地，在本发明的一个实施例中，所述挖掘模块具体用于，
将所述深度卷积神经网络当前状态下各卷积通道间是否相关以及相关性大小作为状态，由所述强化学习策略网络生成需要相关或去相关的卷积通道对和所述卷积通道对相应的相关性大小，以作为所述强化学习策略网络的动作，将所述深度卷积神经网络的损失函数的下降程度和相关卷积通道激活值的大小关系作为所述强化学习策略网络的奖励函数来对所述强化学习策略网络进行训练，以挖掘所述深度卷积神经网络中不同卷积通道的相关性信息。
进一步地，在本发明的一个实施例中，所述根据所述相关性信息对所述深度卷积神经网络的激活值进行修正和量化，公式为：
其中，s为所有被影响的卷积通道，t为所有影响的卷积通道，
和
分别为修正前后的第l卷积层第s通道的第i行第j列的激活值，
为第l卷积层中第t通道的第i行第j列的像素值，
为修正附加项，由下式决定：
其中，N0为激活值值域的半宽度，U0为手工设定的超参数，表示卷积通道间相关性对于深度卷积神经网络的激活值影响，[U0N0]表示不超过[U0N0]的最大整数，将激活值值域等间距划分成
后，pk表示第k段的起点。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的基于量化的神经网络压缩方法流程图；
图2为根据本发明一个具体实施例的基于量化的神经网络压缩方法流程图；
图3为根据本发明一个实施例的训练图；
图4为根据本发明一个实施例的深度卷积神经网络的卷积通道的相关性表示图；
图5为根据本发明一个实施例的基于量化的神经网络压缩系统结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
现有的研究中潜在的问题：将深度卷积神经网络权重和激活值都进行二值化虽然能显著提高运算速度，但性能受到了较大影响，因为网络的表达能力不足以表示激活值中的丰富信息。所以，寻找深度卷积神经网络中的辅助信息，在将激活值中丢失的信息进行复原的同时不增加明显的计算量，不失为一种理想的网络压缩方法。
下面参照附图描述根据本发明实施例提出的基于量化的神经网络压缩方法及系统。
首先将参照附图描述根据本发明实施例提出的基于量化的神经网络压缩方法。
图1为根据本发明一个实施例的基于量化的神经网络压缩方法流程图。
如图1所示，该基于量化的神经网络压缩方法包括以下步骤：
在步骤S1中，利用强化学习策略网络对深度卷积神经网络中卷积通道间的相互作用进行挖掘，获取卷积通道间的相关性信息。
如图2所示，在基于传统权重和激活值都二值化的深度卷积神经网络计算的基础上，利用强化学习模型挖掘到的通道间相关性信息，对于原始激活值进行修正，从而使得由于量化而损失的样本信息得到修复。
进一步地，S1具体包括：将深度卷积神经网络当前状态下各卷积通道间是否相关以及相关性大小作为状态，由强化学习策略网络生成需要相关或去相关的卷积通道对和卷积通道对相应的相关性大小，以作为强化学习策略网络的动作，将深度卷积神经网络的损失函数的下降程度和相关卷积通道激活值的大小关系作为强化学习策略网络的奖励函数来对强化学习策略网络进行训练，以挖掘深度卷积神经网络中不同卷积通道的相关性信息，并且对于不同的样本分布具有较好的泛化性。
进一步地，在本发明的一个实施例中，在步骤S1之前还包括：
根据深度卷积神经网络的结构、训练数据集和传统的深度量化卷积神经网络模型预训练深度卷积神经网络，搭建与深度卷积神经网络结构匹配的强化学习策略网络，随机初始化强化学习策略网络的网络参数，并将深度卷积神经网络的相关性置0。
具体地，对于给定的深度卷积神经网络结构和训练数据集，利用传统的深度量化卷积神经网络模型进行训练。搭建与给定深度卷积神经网络结构相匹配的强化学习策略网络，随机初始化网络参数，并将深度卷积神经网络的相关性置0(相互独立状态)。
进一步地，在根据强化学习策略网络对深度卷积神经网络中卷积通道间的相互作用进行挖掘时，先要训练强化学习策略网络。
首先，定义强化学习策略网络的状态、动作、转移函数和奖励函数如下：
状态：用矩阵
和
表示。
表示在深度卷积神经网络的第l个卷积层中各通道间是否相关，若
中第i行第j列的元素为1，则表明该卷积层中第i通道的激活值影响第j通道的激活值；若两通道之间无影响，则该元素为0。
表示在深度卷积神经网络的第l个卷积层中相关通道间的相关性大小，其中第t行第s列的元素表示第t通道影响第s通道时的相关性大小。
如图4所示，该元素的值通过线性变换转换为相关通道激活值值域的均匀划分段数
图中的
为考虑通道间相关性后被影响通道激活值的修正。划分段数越多，则表示相关性越强。该矩阵的元素取值为绝对值不小于3的奇数值，正数表示正相关，负数表示负相关。
动作：动作分为两方面。对于各通道间是否相关，强化学习代理人的动作可以是连接新的通道对，断开已有通道对，或者保持现有连接关系不变；对于通道间的相关性大小，强化学习代理人可以在状态空间规定的奇数中进行选择。
转移函数：转移函数分为两方面。对于各通道间是否相关，若当前的连接边的密度比某一手工设定的阈值高，则根据策略网络输出的连接性转移矩阵
的值进行蒙特卡洛采样对未连接通道进行连接；同时根据
进行蒙特卡洛采样对已连接的通道对进行去连接；若上述两个操作都未能成功，则保持连接关系不变。对于通道间的相关性大小，令
为策略网络输出的相关性转移矩阵
的第t行，第s列的元素，根据该值由如下公式确认相关性大小：
其中，K0为手工设定的定义相关性矩阵空间大小的参数，[x]表示不超过x的最大整数。
奖励函数：奖励函数由两部分构成。第一部分是要求强化学习代理人在采取新的动作后获得的连接性和相关性关系要使得深度卷积神经网络的目标函数的值下降：
其中，C(sτ)为深度卷积神经网络采用强化学习代理人第τ时刻连接状态与相关性状态时的损失函数，h为手动设定的阈值。从上式可知，若τ+1时刻的状态使得深度卷积神经网络的损失函数比τ时刻降低超过h，则奖励值为1；若升高超过h，则奖励值为-1；若变化不超过h，奖励值为0。第二部分是要求被影响的通道比影响其的通道平均激活值要低，这样可以使得信息丰富的通道影响不丰富的通道，达到修复由量化带来的信息损失的目的：
其中，
为第l卷积层中第t通道的第i行第j列的像素值，s为所有被影响的通道，t为所有影响的通道，N为
当第t通道的激活值平均值超过第s通道越多时强化学习代理人获得的奖励越大，反之亦然。
如图3所示，利用编码器-解码器-循环神经网络的结构，将深度卷积神经网络中各层的相关性作为状态输入，并对于每一层输出下一步应该相关或去相关的通道对以及其相关性大小。深度卷积神经网络根据强化学习策略网络输出的相关性信息对激活值进行修正，从而得出策略网络做出这一步动作所获得的奖励，根据奖励值对策略网络进行梯度更新。当策略网络收敛时，通道间相关性信息固定，即可被用于图2的深度卷积神经网络前传过程对于激活值的修改中。
在步骤S2中，根据相关性信息对深度卷积神经网络的原始激活值进行修正和量化。
进一步地，在本发明的一个实施例中，在步骤S2之后还包括：
根据相关卷积通道的特征图对被修正特征图上的像素进行调整，以修复深度卷积神经网络的原始激活值在量化过程中损失的信息。
进一步地，利用挖掘到的相关性对深度卷积神经网络前传过程中的激活值进行修正，根据相关通道的特征图对被修正特征图上的像素进行调整，使得激活值中由于量化而损失的信息通过其相关通道的影响得到修复，深度卷积神经网络的信息保存能力大大加强。
具体地，当深度卷积神经网络中通道间的连接和相关性被强化学习策略网络发掘到后，根据下式对深度卷积神经网络前传过程中的激活值进行修改后再量化，可有效复原由于上一卷积层量化丢失的信息，并使用交叉熵作为目标函数对深度卷积神经网络进行微调训练：
其中，s为所有被影响的卷积通道，t为所有影响的卷积通道，
和
分别为修正前后的第l卷积层第s通道的第i行第j列的激活值，
为第l卷积层中第t通道的第i行第j列的像素值，，
为修正附加项，由下式决定：
其中，N0为激活值值域的半宽度，U0为手工设定的超参数，表示通道间相关性对于深度卷积神经网络的激活值影响。将激活值值域等间距划分成
后，pk表示第k段的起点。
最后，迭代S1和S2中的步骤，直至网络收敛或达到最大迭代步数。
综上，对于深度卷积神经网络，将其通道间的相关状态以及相关性大小输入到强化学习的策略网络中，然后强化学习代理人通过对卷积通道相关性空间的探索，给出下一步应该相关或者去相关的通道对，以及其相关性大小作为强化学习代理人的动作，将深度卷积神经网络损失函数的下降程度和相关通道激活值的大小关系作为强化学习代理人的奖励函数来对该策略网络进行训练，能够有效的使策略网络挖掘到通道间的相关性，从而提升深度卷积神经网络的性能；将挖掘得到的相关性应用于深度卷积神经网络过程中对于相关通道激活值的修改，能够使由于量化导致的信息损失通过通道间相关性得到复原，从而提高量化神经网络的性能，实验结果证明，本发明实施例的方法很大程度上提高了性能。
根据本发明实施例提出的基于量化的神经网络压缩方法，通过挖掘卷积中各通道间的相互作用，利用其相关性信息对激活值进行修正，从而复原由量化导致的信息损失，解决由于模型表达能力下降导致信息损失的问题。
其次参照附图描述根据本发明实施例提出的基于量化的神经网络压缩系统。
图5为根据本发明一个实施例的基于量化的神经网络压缩系统结构示意图。
如图5所示，该基于量化的神经网络压缩系统10包括：挖掘模块100和修复模块200。
其中，挖掘模块100用于利用强化学习策略网络对深度卷积神经网络中卷积通道间的相互作用进行挖掘，获取卷积通道间的相关性信息。
修复模块200用于根据相关性信息对深度卷积神经网络的原始激活值进行修正和量化。
该基于量化的神经网络压缩系统10可以解决由于模型表达能力下降导致信息损失的问题。
进一步地，在本发明的一个实施例中，还包括：预训练模块，
预训练模块，用于根据深度卷积神经网络的结构、训练数据集和传统的深度量化卷积神经网络模型预训练深度卷积神经网络，搭建与深度卷积神经网络结构匹配的强化学习策略网络，随机初始化强化学习策略网络的网络参数，并将深度卷积神经网络的相关性置0。
进一步地，在本发明的一个实施例中，还包括：调整模块，
调整模块，用于根据相关卷积通道的特征图对被修正特征图上的像素进行调整，以修复深度卷积神经网络的原始激活值在量化过程中损失的信息。
进一步地，在本发明的一个实施例中，挖掘模块具体用于，
将深度卷积神经网络当前状态下各卷积通道间是否相关以及相关性大小作为状态，由强化学习策略网络生成需要相关或去相关的卷积通道对和卷积通道对相应的相关性大小，以作为强化学习策略网络的动作，将深度卷积神经网络的损失函数的下降程度和相关卷积通道激活值的大小关系作为强化学习策略网络的奖励函数来对强化学习策略网络进行训练，以挖掘深度卷积神经网络中不同卷积通道的相关性信息。
进一步地，在本发明的一个实施例中，根据相关性信息对深度卷积神经网络的激活值进行修正和量化，公式为：
其中，s为所有被影响的卷积通道，t为所有影响的卷积通道，
和
分别为修正前后的第l卷积层第s通道的第i行第j列的激活值，
为第l卷积层中第t通道的第i行第j列的像素值，
为修正附加项，由下式决定：
其中，N0为激活值值域的半宽度，U0为手工设定的超参数，表示卷积通道间相关性对于深度卷积神经网络的激活值影响，[U0N0]表示不超过[U0N0]的最大整数，将激活值值域等间距划分成
后，pk表示第k段的起点。
需要说明的是，前述对基于量化的神经网络压缩方法实施例的解释说明也适用于该实施例的系统，此处不再赘述。
根据本发明实施例提出的基于量化的神经网络压缩系统，通过挖掘卷积中各通道间的相互作用，利用其相关性信息对激活值进行修正，从而复原由量化导致的信息损失，解决由于模型表达能力下降导致信息损失的问题。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (6)
1.一种基于量化的神经网络压缩方法，其特征在于，所述压缩方法应用于卷积神经网络的信息保存中，包括以下步骤：
S1，利用强化学习策略网络对深度卷积神经网络中卷积通道间的相互作用进行挖掘，获取卷积通道间的相关性信息；
S2，根据所述相关性信息对所述深度卷积神经网络的原始激活值进行修正和量化，在步骤S2之后还包括：
根据相关卷积通道的特征图对被修正特征图上的像素进行调整，以修复所述深度卷积神经网络的原始激活值在量化过程中损失的信息；所述根据所述相关性信息对所述深度卷积神经网络的激活值进行修正和量化，公式为：
其中，s为所有被影响的卷积通道，t为所有影响的卷积通道，
和
分别为修正前后的第l卷积层第s通道的第i行第j列的激活值，
为第l卷积层中第t通道的第i行第j列的像素值，
为修正附加项，由下式决定：
其中，N0为激活值值域的半宽度，U0为手工设定的超参数，表示卷积通道间相关性对于深度卷积神经网络的激活值影响，[U0N0]表示不超过[U0N0]的最大整数，将激活值值域等间距划分成
后，pk表示第k段的起点。
2.根据权利要求1所述的基于量化的神经网络压缩方法，其特征在于，在步骤S1之前还包括：
根据所述深度卷积神经网络的结构、训练数据集和传统的深度量化卷积神经网络模型预训练所述深度卷积神经网络，搭建与所述深度卷积神经网络结构匹配的所述强化学习策略网络，随机初始化所述强化学习策略网络的网络参数，并将所述深度卷积神经网络的相关性置0。
3.根据权利要求1所述的基于量化的神经网络压缩方法，其特征在于，所述S1进一步包括：
将所述深度卷积神经网络当前状态下各卷积通道间是否相关以及相关性大小作为状态，由所述强化学习策略网络生成需要相关或去相关的卷积通道对和所述卷积通道对相应的相关性大小，以作为所述强化学习策略网络的动作，将所述深度卷积神经网络的损失函数的下降程度和相关卷积通道激活值的大小关系作为所述强化学习策略网络的奖励函数来对所述强化学习策略网络进行训练，以挖掘所述深度卷积神经网络中不同卷积通道的相关性信息。
4.一种基于量化的神经网络压缩系统，其特征在于，包括：
挖掘模块，用于利用强化学习策略网络对深度卷积神经网络中卷积通道间的相互作用进行挖掘，获取卷积通道间的相关性信息；
修复模块，用于根据所述相关性信息对所述深度卷积神经网络的原始激活值进行修正和量化；所述根据所述相关性信息对所述深度卷积神经网络的激活值进行修正和量化，公式为：
其中，s为所有被影响的卷积通道，t为所有影响的卷积通道，
和
分别为修正前后的第l卷积层第s通道的第i行第j列的激活值，
为第l卷积层中第t通道的第i行第j列的像素值，
为修正附加项，由下式决定：
其中，N0为激活值值域的半宽度，U0为手工设定的超参数，表示卷积通道间相关性对于深度卷积神经网络的激活值影响，[U0N0]表示不超过[U0N0]的最大整数，将激活值值域等间距划分成
后，pk表示第k段的起点；
还包括：调整模块，
所述调整模块，用于根据相关卷积通道的特征图对被修正特征图上的像素进行调整，以修复所述深度卷积神经网络的原始激活值在量化过程中损失的信息。
5.根据权利要求4所述的基于量化的神经网络压缩系统，其特征在于，还包括：预训练模块，
所述预训练模块，用于根据所述深度卷积神经网络的结构、训练数据集和传统的深度量化卷积神经网络模型预训练所述深度卷积神经网络，搭建与所述深度卷积神经网络结构匹配的所述强化学习策略网络，随机初始化所述强化学习策略网络的网络参数，并将所述深度卷积神经网络的相关性置0。
6.根据权利要求4所述的基于量化的神经网络压缩系统，其特征在于，所述挖掘模块具体用于，
将所述深度卷积神经网络当前状态下各卷积通道间是否相关以及相关性大小作为状态，由所述强化学习策略网络生成需要相关或去相关的卷积通道对和所述卷积通道对相应的相关性大小，以作为所述强化学习策略网络的动作，将所述深度卷积神经网络的损失函数的下降程度和相关卷积通道激活值的大小关系作为所述强化学习策略网络的奖励函数来对所述强化学习策略网络进行训练，以挖掘所述深度卷积神经网络中不同卷积通道的相关性信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910160694.8A CN109978135B (zh) | 2019-03-04 | 2019-03-04 | 基于量化的神经网络压缩方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910160694.8A CN109978135B (zh) | 2019-03-04 | 2019-03-04 | 基于量化的神经网络压缩方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109978135A CN109978135A (zh) | 2019-07-05 |
| CN109978135B true CN109978135B (zh) | 2022-03-29 |
Family
ID=67077818
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910160694.8A Active CN109978135B (zh) | 2019-03-04 | 2019-03-04 | 基于量化的神经网络压缩方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109978135B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110718211B (zh) * | 2019-09-26 | 2021-12-21 | 东南大学 | 一种基于混合压缩卷积神经网络的关键词识别系统 |
| CN111626328B (zh) * | 2020-04-16 | 2023-12-15 | 湘潭大学 | 一种基于轻量化深度神经网络的图像识别方法及装置 |
| CN112863653A (zh) * | 2021-03-01 | 2021-05-28 | 武汉中旗生物医疗电子有限公司 | 一种心电数据压缩方法及装置 |
| CN113177634B (zh) * | 2021-04-28 | 2022-10-14 | 中国科学院自动化研究所 | 基于神经网络输入输出量化的图像分析系统、方法和设备 |
| CN113657592B (zh) * | 2021-07-29 | 2024-03-05 | 中国科学院软件研究所 | 一种软件定义卫星自适应剪枝模型压缩方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809426A (zh) * | 2014-01-27 | 2015-07-29 | 日本电气株式会社 | 卷积神经网络的训练方法、目标识别方法及装置 |
| CN105160400A (zh) * | 2015-09-08 | 2015-12-16 | 西安交通大学 | 基于l21范数的提升卷积神经网络泛化能力的方法 |
| CN106951395A (zh) * | 2017-02-13 | 2017-07-14 | 上海客鹭信息技术有限公司 | 面向压缩卷积神经网络的并行卷积运算方法及装置 |
| EP3438890A1 (en) * | 2017-08-04 | 2019-02-06 | Samsung Electronics Co., Ltd. | Method and apparatus for generating fixed-point quantized neural network |
-
2019
- 2019-03-04 CN CN201910160694.8A patent/CN109978135B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809426A (zh) * | 2014-01-27 | 2015-07-29 | 日本电气株式会社 | 卷积神经网络的训练方法、目标识别方法及装置 |
| CN105160400A (zh) * | 2015-09-08 | 2015-12-16 | 西安交通大学 | 基于l21范数的提升卷积神经网络泛化能力的方法 |
| CN106951395A (zh) * | 2017-02-13 | 2017-07-14 | 上海客鹭信息技术有限公司 | 面向压缩卷积神经网络的并行卷积运算方法及装置 |
| EP3438890A1 (en) * | 2017-08-04 | 2019-02-06 | Samsung Electronics Co., Ltd. | Method and apparatus for generating fixed-point quantized neural network |
Non-Patent Citations (2)
| Title |
|---|
| Channel pruning for accelerating very deep neural networks;HE Y等;《https：//arxiv.org/abs/1707.06168》;20171101;全文 * |
| 面向嵌入式应用的深度神经网络模型压缩技术综述;王磊 等;《北京交通大学学报》;20170430;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109978135A (zh) | 2019-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109978135B (zh) | 基于量化的神经网络压缩方法及系统 | |
| He et al. | Asymptotic soft filter pruning for deep convolutional neural networks | |
| CN111079781B (zh) | 基于低秩与稀疏分解的轻量化卷积神经网络图像识别方法 | |
| CN106991646B (zh) | 一种基于密集连接网络的图像超分辨率方法 | |
| Lin et al. | Fixed point quantization of deep convolutional networks | |
| CN113159173B (zh) | 一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法 | |
| CN113222138A (zh) | 一种联合层剪枝和通道剪枝的卷积神经网络压缩方法 | |
| Kim et al. | Neuron merging: Compensating for pruned neurons | |
| CN112686384B (zh) | 一种自适应比特位宽的神经网络量化方法及其装置 | |
| CN113269312B (zh) | 一种联合量化与剪枝搜索的模型压缩方法及其系统 | |
| CN113837376B (zh) | 基于动态编码卷积核融合的神经网络剪枝方法 | |
| CN112949553A (zh) | 基于自注意力级联生成对抗网络的人脸图像修复方法 | |
| He et al. | Progressive deep neural networks acceleration via soft filter pruning | |
| Wang et al. | RFPruning: A retraining-free pruning method for accelerating convolutional neural networks | |
| Verma et al. | A" Network Pruning Network''Approach to Deep Model Compression | |
| CN114943335A (zh) | 一种三值神经网络逐层优化方法 | |
| CN117744745B (zh) | 一种基于YOLOv5网络模型的图像优化方法及优化系统 | |
| Yang et al. | Skeleton neural networks via low-rank guided filter pruning | |
| CN117151178A (zh) | 一种面向fpga的cnn定制网络量化加速方法 | |
| CN112613604A (zh) | 神经网络的量化方法及装置 | |
| CN114372565B (zh) | 一种用于边缘设备的目标检测网络压缩方法 | |
| CN116757255A (zh) | 一种改进MobileNetV2的分心驾驶行为检测模型轻量化方法 | |
| CN110633787A (zh) | 基于多比特神经网络非线性量化的深度神经网络压缩方法 | |
| Liao et al. | Convolution filter pruning for transfer learning on small dataset | |
| CN110188692B (zh) | 一种有效目标快速识别的强化循环级联方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |