CN109726799A - 一种深度神经网络的压缩方法 - Google Patents

Abstract

本发明公开一种深度神经网络的压缩方法，包括步骤：网络参数修剪：通过剪枝来修剪网络，删除冗余连接，保留信息量最大的连接；训练量化和权值共享：对权重进行量化，使多个连接共享相同的权重，并存储有效权重和索引；利用有效权值的偏置分布，使用霍夫曼编码获取压缩网络。本发明通过修改剪枝和权重共享等方式，提高压缩后网络的精度，大大减少了计算内存空间，大大提高了运行速度；从而有效减少大型网络的计算量和内存，以便它们可以在有限的硬件设备上有效运行。

Description

一种深度神经网络的压缩方法

技术领域

本发明属于神经网络优化技术领域，特别是涉及一种深度神经网络的压缩方法。

背景技术

深度神经网络存在海量的权重，会占用较大的存储和内存带宽。由于网络巨大，运行严重依赖于高性能显卡，这使得模型的运算和普及受到极大限制，从而导致大规模网络计算硬件开销过大。因此对于深度神经网络的压缩则成为了亟待解决的问题；目前的神经网络压缩方法虽然可以对网络进行一定量的压缩，多采用剪枝方式进行压缩。

传统的剪枝方法是对网络权重进行修剪，即在保持准确性的同时削减权重来减少CNN模型的大小。具体来说，就是将一些权重低于阈值的连接从网络中删除，然后重新训练这个经过剪枝的稀疏连接网络，得到稀疏连接的最终权重。但是这种方法仅考虑是否独立修剪每个权重，不考虑权重之间的相关性。因此，限制了可实现的压缩比，压缩精度低且压缩效果差。

发明内容

为了解决上述问题，本发明提出了一种深度神经网络的压缩方法，通过修改剪枝和权重共享等方式，提高压缩后网络的精度，大大减少了计算内存空间，大大提高了运行速度；从而有效减少大型网络的计算量和内存，以便它们可以在有限的硬件设备上有效运行。

为达到上述目的，本发明采用的技术方案是：一种深度神经网络的压缩方法，包括步骤：

S100，网络参数修剪：通过剪枝来修剪网络，删除冗余连接，保留信息量最大的连接；

S200，训练量化和权值共享：对权重进行量化，使多个连接共享相同的权重，并存储有效权重和索引；

S300，利用有效权值的偏置分布，使用霍夫曼编码获取压缩网络。

进一步的是，在所述步骤S100中网络参数修剪，包括步骤：

S101，在权重剪枝的基础上，引入能量函数修剪卷积层；

S102，恢复误差大的权重；

S103，通过反向传播利用修剪后的权重微调网络。从而实现更高的压缩比以及压缩后网络的精度。

进一步的是所述步骤S101中，所述能量函数修剪卷积层，包括步骤：

使用能量函数计算特征图能量；

并根据各个卷积层的能量排序确定各卷积层的修剪顺序；

修剪掉能量最多的卷积层，从而达到更高的压缩比和能量减少；

其中，对于网络的卷积层，将卷积运算转换为矩阵乘法运算，将输入特征映射转换为托普利兹矩阵，并计算输出特征映射；

对于网络的全连接层，输出的第i个特征图为Y_i＝X_iA_i+B_il；其中，A_i为全连接层的第i个滤波器，X_i为全连接层输入的特征图，B_i为全连接层的第i个偏置，l为元素全为1的向量；

通过所述全能量函数为：获得特征图Y_i的能量。

进一步的是，由于修剪掉卷积层后，使用传统的阈值法则修剪掉权值，此时网络已经达到一定的压缩比，但影响到了网络的准确度；为此通过专注于最小化输出特征映射的误差来恢复指定权重，从而保证网络的精度；

在所述步骤S102中，所述恢复权重过程包括步骤：最小化所述输出特征映射的误差来恢复指定权重，从而保证网络的精度；通过滤波器计算公式迭代恢复权重，直到非零权重的数量等于q；

所述滤波器计算公式为：

s.t.||A||₀≤q，i＝1，…，n；

其中，Y_i＝Y-B_il，||·||₁表示1范数，q为所有滤波器中保留权重数量的期望值，A_i由卷积和权重的剪枝获得。

进一步的是，步骤S101和步骤S102选择要保留的权重的子集，但不会改变权重的值；为了进一步减少输出误差并恢复网络精度，对每个滤波器执行最小二乘优化，改变所述滤波器的权值：

其中，下标S_i表示从第i个滤波器和X_i的相应列中选择非剪枝权重。

进一步的是，所述步骤S103中通过反向传播利用修剪后的权重来微调整个网络，包括步骤：

经过剪枝后的稀疏网络，采用紧凑的存储方式CSC或CSR来表示；

存储权重索引的相对位置，并且在卷积层进行8bit插值编码以及在全连接层位进行5bit插值编码；

进行精度判断：当需要大于边界的索引差异时，使用零填充解决方案；在所述零填充解决方案中：如果采用3bit，则最大表述差值为8，当一个非零元素距其前一个非零元素位置超过8，则将该元素值置零。

进一步的是，通过步骤S100的剪枝去掉了网络一些不太重要的权值，大大压缩了网络；为了更进一步压缩，可对权重本身的大小进行压缩；

在所述步骤S200中，训练量化和权值共享过程中，包括步骤：

通过减少表示每个权重所需的位数来进一步压缩剪枝后的网络；

通过使多个连接共享相同的权重来限制需要存储的有效权重的数量，并对这些共享权重进行微调。

进一步的是，在所述权重共享中采用k-均值聚类方法识别网络中每个层的共享权重，使落入同一个群集的所有权重共享相同的权重。

进一步的是，在k-均值聚类中，初始点以及簇群数目k的选择至关重要；随机选择的初始点及k训练的k-均值网络量化方法作为训练后量化类技术，会改变网络多样性，容易造成精度损失，在一定程度上限制了量化后模型的使用接受程度；

在k-均值聚类方法中初始点以及簇群数目k的计算过程为：通过假设聚类中心被密度较低的邻居环绕，并且它们与任何较高密度的点相距较远，从而自动获得正确数量的簇群；

所述初始点以及簇群数目k的计算过程包括步骤：计算出所有数据点的局部密度值和得到高密度点的距离后，得到一张决策图；在决策图中选择具有较大密度以及较大距离的数据点作为聚类中心，其它样本点依据局部密度从高到低，按先后顺序确定所属的簇，从而获得正确数量的簇群。

进一步的是，将所述k-均值聚类的质心设置为共享权重，通过前馈和后向传播查找权重表的间接级别作为每个连接存储共享权重表的索引；在反向传播期间，计算每个共享权重的梯度并用于更新共享权重。

采用本技术方案的有益效果：

本发明利用三步流水线保持原始精度的方式，减少神经网络所需的存储量；并将基于权重和滤波器的剪枝方法结合，在权重剪枝的基础上，引入能量函数修剪卷积层，并恢复对误差影响较大的权重，从而实现更高的压缩比以及压缩后网络精度；大大减少了计算内存空间，且提高了运行速度；从而有效减少大型网络的计算量和内存，以便它们可以在有限的硬件设备上有效运行。

附图说明

图1为本发明的一种深度神经网络的压缩方法的流程示意图；

图2为本发明实施例中网络参数修剪的流程示意图；

图3为本发明实施例中网络填充的原理示意图；

图4为本发明实施例中权重共享的原理示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。

在本实施例中，参见图1所示，本发明提出了一种深度神经网络的压缩方法，包括步骤：

S100，网络参数修剪：通过剪枝来修剪网络，删除冗余连接，保留信息量最大的连接；

S200，训练量化和权值共享：对权重进行量化，使多个连接共享相同的权重，并存储有效权重和索引；

S300，利用有效权值的偏置分布，使用霍夫曼编码获取压缩网络。

作为上述实施例的优化方案，在所述步骤S100中网络参数修剪，如图2所示，包括步骤：

S101，在权重剪枝的基础上，引入能量函数修剪卷积层；

S102，恢复误差大的权重；

S103，通过反向传播利用修剪后的权重微调网络。从而实现更高的压缩比以及压缩后网络的精度。

所述步骤S101中，所述能量函数修剪卷积层，包括步骤：

使用能量函数计算特征图能量；

并根据各个卷积层的能量排序确定各卷积层的修剪顺序；

修剪掉能量最多的卷积层，从而达到更高的压缩比和能量减少；

其中，对于网络的卷积层，将卷积运算转换为矩阵乘法运算，将输入特征映射转换为托普利兹矩阵，并计算输出特征映射；

对于网络的全连接层，输出的第i个特征图为Y_i＝X_iA_i+B_il；其中，A_i为全连接层的第i个滤波器，X_i为全连接层输入的特征图，B_i为全连接层的第i个偏置，l为元素全为1的向量；

通过所述全能量函数为：获得特征图Y_i的能量。

由于修剪掉卷积层后，使用传统的阈值法则修剪掉权值，此时网络已经达到一定的压缩比，但影响到了网络的准确度；为此通过专注于最小化输出特征映射的误差来恢复指定权重，从而保证网络的精度；

在所述步骤S102中，所述恢复权重过程包括步骤：最小化所述输出特征映射的误差来恢复指定权重，从而保证网络的精度；通过滤波器计算公式迭代恢复权重，直到非零权重的数量等于q；

所述滤波器计算公式为：

s.t.||A||₀≤q，i＝1，…，n；

其中，Yi＝Y-B_il，||·||₁表示1范数，q为所有滤波器中保留权重数量的期望值，A_i由卷积和权重的剪枝获得。

步骤S101和步骤S102选择要保留的权重的子集，但不会改变权重的值；为了进一步减少输出误差并恢复网络精度，对每个滤波器执行最小二乘优化，改变所述滤波器的权值：

其中，下标S_i表示从第i个滤波器和X_i的相应列中选择非剪枝权重。

所述步骤S103中通过反向传播利用修剪后的权重来微调整个网络，包括步骤：

经过剪枝后的稀疏网络，采用紧凑的存储方式CSC或CSR来表示；

存储权重索引的相对位置，并且在卷积层进行8bit插值编码以及在全连接层位进行5bit插值编码；

进行精度判断：如图3所示，当需要大于边界的索引差异时，使用零填充解决方案；在所述零填充解决方案中：如果采用3bit，则最大表述差值为8，当一个非零元素距其前一个非零元素位置超过8，则将该元素值置零。

作为上述实施例的优化方案，通过步骤S100的剪枝去掉了网络一些不太重要的权值，大大压缩了网络；为了更进一步压缩，可对权重本身的大小进行压缩；

在所述步骤S200中，训练量化和权值共享过程中，包括步骤：

通过减少表示每个权重所需的位数来进一步压缩剪枝后的网络；

通过使多个连接共享相同的权重来限制需要存储的有效权重的数量，并对这些共享权重进行微调。

具体实施例中，假定某层有4个输入单元，则权重矩阵为4×4。如图4所示，图中左上是权重矩阵，左下是梯度矩阵。权重矩阵被聚类成4个簇，同一个簇中的所有权重共享相同的值，因此对于每个权重，只需要将一个小索引存储到共享权重表中。权值更新时，所有梯度都按颜色分组并汇总在一起，乘以学习率并从上一次迭代的共享质心中减去。对于网络剪枝后的VGG网络，卷积层量化到8bits(256个共享权值)，而全连接层量化到5bits(32个共享权值)。

在所述权重共享中采用k-均值聚类方法识别网络中每个层的共享权重，使落入同一个群集的所有权重共享相同的权重。

具体实施例中，将n个原始权重W＝{w₁，w₂，…，w_n}划分到k个群集C＝{c₁，c₂，…，c_k}中，以便最小化群内平方和：

在k-均值聚类中，初始点以及簇群数目k的选择至关重要；随机选择的初始点及k训练的k-均值网络量化方法作为训练后量化类技术，会改变网络多样性，容易造成精度损失，在一定程度上限制了量化后模型的使用接受程度；

在k-均值聚类方法中初始点以及簇群数目k的计算过程为：通过假设聚类中心被密度较低的邻居环绕，并且它们与任何较高密度的点相距较远，从而自动获得正确数量的簇群；

所述初始点以及簇群数目k的计算过程包括步骤：计算出所有数据点的局部密度值和得到高密度点的距离后，得到一张决策图；在决策图中选择具有较大密度以及较大距离的数据点作为聚类中心，其它样本点依据局部密度从高到低，按先后顺序确定所属的簇，从而获得正确数量的簇群。

具体实施例中，假设一个数据集合X＝{x₁，x₂，…，x_n}，对每个数据点X_i与任何其他具有高密度的点之间的最小距离来测量。

将所述k-均值聚类的质心设置为共享权重，通过前馈和后向传播查找权重表的间接级别作为每个连接存储共享权重表的索引；在反向传播期间，计算每个共享权重的梯度并用于更新共享权重。

具体实施例中，定义L为随时函数，第i行第j列的权重为W_ij，元素W_ij索引为I_ij,该层的第k个质心由C_k表示，通过使用指示函数l，质心梯度计算公式为：

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种深度神经网络的压缩方法，其特征在于，包括步骤：

S100，网络参数修剪：通过剪枝来修剪网络，删除冗余连接，保留信息量最大的连接；

S200，训练量化和权值共享：对权重进行量化，使多个连接共享相同的权重，并存储有效权重和索引；

S300，利用有效权值的偏置分布，使用霍夫曼编码获取压缩网络。

2.根据权利要求1所述的一种深度神经网络的压缩方法，其特征在于，在所述步骤S100中网络参数修剪，包括步骤：

S101，在权重剪枝的基础上，引入能量函数修剪卷积层；

S102，恢复误差大的权重；

S103，通过反向传播利用修剪后的权重微调网络。

3.根据权利要求2所述的一种深度神经网络的压缩方法，其特征在于，所述步骤S101中，所述能量函数修剪卷积层，包括步骤：

使用能量函数计算特征图能量；

并根据各个卷积层的能量排序确定各卷积层的修剪顺序；

修剪掉能量最多的卷积层；

其中，对于网络的卷积层，将卷积运算转换为矩阵乘法运算，将输入特征映射转换为托普利兹矩阵，并计算输出特征映射；

对于网络的全连接层，输出的第i个特征图为Y_i＝X_iA_i+B_il；其中，A_i为全连接层的第i个滤波器，X_i为全连接层输入的特征图，B_i为全连接层的第i个偏置，l为元素全为1的向量；

通过所述全能量函数为：获得特征图Y_i的能量。

4.根据权利要求3所述的一种深度神经网络的压缩方法，其特征在于，在所述步骤S102中，所述恢复权重过程包括步骤：最小化所述输出特征映射的误差来恢复指定权重；通过滤波器计算公式迭代恢复权重，直到非零权重的数量等于q；

所述滤波器计算公式为：

s.t.||A||₀≤q，i＝1，…，n；

其中，Y_i＝Y-B_il，||·||₁表示1范数，q为所有滤波器中保留权重数量的期望值，A_i由卷积和权重的剪枝获得。

5.根据权利要求4所述的一种深度神经网络的压缩方法，其特征在于，对每个滤波器执行最小二乘优化，改变所述滤波器的权值：

其中，下标S_i表示从第i个滤波器和X_i的相应列中选择非剪枝权重。

6.根据权利要求5所述的一种深度神经网络的压缩方法，其特征在于，所述步骤S103中通过反向传播利用修剪后的权重来微调整个网络，包括步骤：

经过剪枝后的稀疏网络，采用紧凑的存储方式CSC或CSR来表示；

存储权重索引的相对位置，并且在卷积层进行8bit插值编码以及在全连接层位进行5bit插值编码；

进行精度判断：当需要大于边界的索引差异时，使用零填充解决方案；在所述零填充解决方案中：如果采用3bit，则最大表述差值为8，当一个非零元素距其前一个非零元素位置超过8，则将该元素值置零。

7.根据权利要求1或6所述的一种深度神经网络的压缩方法，其特征在于，在所述步骤S200中，训练量化和权值共享过程中，包括步骤：

通过减少表示每个权重所需的位数来进一步压缩剪枝后的网络；

通过使多个连接共享相同的权重来限制需要存储的有效权重的数量，并对这些共享权重进行微调。

8.根据权利要求7所述的一种深度神经网络的压缩方法，其特征在于，在所述权重共享中采用k-均值聚类方法识别网络中每个层的共享权重，使落入同一个群集的所有权重共享相同的权重。

9.根据权利要求8所述的一种深度神经网络的压缩方法，其特征在于，在k-均值聚类方法中初始点以及簇群数目k的计算过程为：通过假设聚类中心被密度较低的邻居环绕，并且它们与任何较高密度的点相距较远，从而自动获得正确数量的簇群；

所述初始点以及簇群数目k的计算过程包括步骤：计算出所有数据点的局部密度值和得到高密度点的距离后，得到一张决策图；在决策图中选择具有较大密度以及较大距离的数据点作为聚类中心，其它样本点依据局部密度从高到低，按先后顺序确定所属的簇，从而获得正确数量的簇群。

10.根据权利要求9所述的一种深度神经网络的压缩方法，其特征在于，将所述k-均值聚类的质心设置为共享权重，通过前馈和后向传播查找权重表的间接级别作为每个连接存储共享权重表的索引；在反向传播期间，计算每个共享权重的梯度并用于更新共享权重。