CN107832837A - 一种基于压缩感知原理的卷积神经网络压缩方法及解压缩方法 - Google Patents

Abstract

本发明公开了一种基于压缩感知原理的卷积神经网络压缩方法及解压缩方法，其中压缩方法包括：预处理步骤、将卷积神经网络中的每一层的权值预处理为一系列矩阵；压缩步骤、将预处理步骤得到的预处理结果进行压缩处理得出压缩后的权值；训练步骤、对压缩后的权值进行训练；编码步骤、对训练步骤训练后的已压缩权值进行编码；模型生成步骤、根据经编码步骤得到的编码结果生成压缩后的卷积神经网络模型文件。本发明基于压缩感知原理的卷积神经网络压缩方法，相比其他方法，会比现在较为流行的直接剪枝量化方法有更高的压缩率，而且可以通过在频域中保留低频信息来防止过多的信息损失。

Description

一种基于压缩感知原理的卷积神经网络压缩方法及解压缩 方法

技术领域

本发明涉及一种卷积神经网络模型压缩的方法，属于深度学习技术领域。

背景技术

由于2012年Alexnet卷积神经网络获得ImageNet图像分类比赛的第一名，并且其准确率远超第二名，深度学习技术便迎来了热潮。至今5年来，深度学习技术可以说是已经进入各行各业，包括自动驾驶、推荐系统、医学成像、游戏AI等等技术领域都使用了深度学习技术，并且获得了较之前更好的性能。但是，由于深度神经网络的计算需要用到高性能GPU和大量内存，而现阶段的嵌入式设备又无法提供如此高性能的计算能力和内存容量，所以神经网络的压缩技术需求很迫切。

现有的卷积神经网络压缩技术，例如发表于ICLR2016的深度压缩(DeepCompression) 算法，它在剪枝过程中未考虑到将权值转换到稀疏域上再去剪枝，所以在剪枝以后往往会损失很多信息。而如果将其转换至稀疏域，比如将其转换至频率域，那么由于高频信息远没有低频信息有用，对高频信息做剪枝要比对低频信息做剪枝产生的信息丢失要小得多。

发明内容

本发明所要解决的技术问题是针对上述现有技术存在的不足，而提供压缩率高且对对卷积神经网络的精度影响小的基于压缩感知原理的卷积神经网络压缩方法。

为解决上述技术问题，本发明采用的技术方案是：

一种基于压缩感知原理的卷积神经网络压缩方法，其特征在于，包括：

预处理步骤、将卷积神经网络中的每一层的权值预处理为一系列矩阵(排列成一系列 K×K的矩阵)；

压缩步骤、将预处理步骤得到的预处理结果送入压缩算法模块中，压缩算法模块得出压缩后的权值；

训练步骤、将压缩后的权值送入训练模块进行训练，以补偿压缩后产生的模型精度损失。

编码步骤、将训练步骤训练后的已压缩权值送入编码模块进行编码；

模型生成步骤、将经编码步骤得到的编码结果送入文件生成模块产生压缩后的卷积神经网络模型文件。

所述预处理步骤中预处理方法为：将神经网络每一层的权值按其在卷积核内的行优先顺序排列成一系列K×K的矩阵，若数据量不满K×K则用每一层权值的均值来补齐，K为大于3的正整数，若K取太小可能会导致比较多的缓存未命中(cache-miss)现象，取太大的话会使得后面的压缩步骤的计算量过大，实验发现K取15比较合适。

所述压缩步骤的压缩方法为：

使用DCT变换将输入的K×K的矩阵N从空间域转换到频率域得到输出矩阵M；

对使用DCT变换得到的输出矩阵M进行剪枝处理得到矩阵P；

将剪枝得到的矩阵P使用高斯随机矩阵进行降维采样得到压缩后的矩阵：

C＝M·Φ^-1 (1)

其中，矩阵C为得到的压缩矩阵，矩阵M为输入矩阵，矩阵Φ为高斯随机矩阵。

使用DCT变换得到的输出矩阵M为：

M＝ANA^T (2)

其中，A为DCT变换矩阵，i,j＝0,1,2,…,K，当i＝ 0时，当i≠0时，

所述剪枝处理的方法为：对输出矩阵M中每个值，取绝对值并作为临时变量t，若t>ρ，则略过；若t≤ρ,则将输出矩阵M中的对应的值设为0，其中，ρ是一个设定的正实数。

所述训练模块进行压缩后的模型精度补偿方法为：

本压缩方法在压缩模块后对模型进行训练，以补偿压缩后的精度损失，完整的一轮训练迭代步骤如下：

i.使用训练集对卷积神经网络做一次常规的前向传播，前向传播时，要使用未压缩的卷积神经网络权值；

ii.使用前向传播的结果对比训练集的标注算出卷积神经网络的误差值，使用该误差值做一次反向传播,然后反向传播得到梯度值，使用这个梯度值来更新这些权值。设误差值为δ，则卷积神经网络的每个权值对应的梯度为权值矩阵N的更新迭代式就是：其中，μ是学习率。对应的压缩后的结果的梯度便是：

其中，得到的是使用高斯随机矩阵降维采样后的结果对应的梯度，f_measure是降维采样函数，Mask_i,j是遮罩函数，当时，当时， f_dct是DCT变换函数，C是降维采样后得到的压缩矩阵，ρ是剪枝时设定的正实数。对应的压缩后的结果的更新迭代式为：其中，μ是学习率。

所述编码模块进行编码的方法为：对训练模块得到的已压缩卷积神经网络权值使用 huffman编码方法进行编码。

所述文件生成步骤生成卷积神经网络模型文件的方法是：对编码模块得到的编码结果生成二进制序列并且存入二进制文件中，该二进制文件即为卷积神经网络模型文件。

一种基于压缩感知原理的卷积神经网络解压缩方法，其特征在于，包括：

模型文件读取步骤、读取二进制卷积神经网络模型文件；

解码步骤、使用霍夫曼编码，解码读取步骤中读取的二进制卷积神经网络模型文件，得到权值；

剪枝还原步骤、还原出频域上的剪枝过的结果，方法是：

x^t+1＝η_t(Q^*z^t+x^t) (3)

其中，z^t＝y-Qx^t，y为压缩算法模块的步骤iii得到的降维采样后的矩阵向量化的结果，Q为观测矩阵，在这里就是压缩算法模块的步骤iii的高斯随机矩阵，η_t为常量阈值矩阵，设初始值x⁰＝0，然后开始迭代。最终，经过t+1轮的迭代得到的x^t+1便是还原出来的结果；

空域还原步骤、将剪枝还原步骤得到的结果使用DCT变换矩阵的逆矩阵求出空域上的结果N：

N＝A^-1M(A^T)^-1 (4)

其中，M为剪枝还原步骤得到的结果，A为DCT变换矩阵。本发明通过基于压缩感知原理来对卷积神经网络的模型进行压缩，其中，压缩过程通过预处理模块对卷积神经网络的权值进行重组，通过压缩算法模块对重组的结果进行压缩，通过训练模块对压缩后的模型进行精度补偿，通过编码模块对已压缩的模型进行编码，通过文件生成模块来生成模型的文件；解压缩过程则通过二进制模型文件读取与解码模块把存储的模型文件解压缩并解码成压缩后的结果，通过近似消息传递还原模块来还原出卷积神经网络权值在频域上的数据，最后通过空域还原模块来还原出原始的卷积神经网络权值。另外，本发明还可以集成在卷积神经网络的训练中。

与现有技术相比，本发明的有益效果如下：

现有的卷积神经网络模型压缩方式，如通过使用剪枝量化实现的压缩方法等，虽然也能压缩模型的大小，但是会损失模型里面很多有用的信息，例如发表于ICLR2016的深度压缩(Deep Compression)算法，它在剪枝过程中未考虑到将权值转换到稀疏域上再去剪枝，所以在剪枝以后往往会损失很多信息。而如果将其转换至稀疏域，比如将其转换至频率域，那么由于高频信息远没有低频信息有用，对高频信息做剪枝要比对低频信息做剪枝产生的信息丢失要小得多。本发明基于压缩感知原理的卷积神经网络压缩方法，相比其他方法，它将压缩感知原理应用于压缩卷积神经网络，其在压缩过程中会将卷积神经网络权值转换至稀疏域并通过高斯随机矩阵进行下采样，会比现在较为流行的直接剪枝量化方法有更高的压缩率。而且，压缩感知领域已从数学上证明了在数据是稀疏的并且测量矩阵是正交阵时，能以高概率还原出原数据，这一定理保证了解压过程的可靠，所以这种压缩方式对卷积神经网络的精度影响是很小的，可以通过在频域中保留低频信息来防止过多的信息损失。另外，本发明在将权值矩阵降维采样得到压缩后的权值矩阵后会使用训练集进行训练来调整压缩后的权值矩阵，这一步可以进一步地降低压缩对卷积神经网络精度的影响。

附图说明

图1是基于压缩感知原理的卷积神经网络模型的压缩方法的压缩流程图；

图2是基于压缩感知原理的卷积神经网络模型的压缩方法的解压缩流程图；

图3展示了卷积神经网络权值使用了离散余弦变换后，从空间域转换至频率域，数据变得稀疏。其中，(a)是K×K的原数据，(b)是频率域上的数据，(c)是剪枝后的数据。

图4是图1表格中的SNR¹、SNR²、PSNR¹、PSNR²数据的折线图。

图5是图1表格中的mAP¹、mAP²数据的折线图。

图6是经过基于压缩感知原理的卷积神经网络模型的压缩方法压缩过的YOLOv2卷积神经网络的物体检测结果。

具体实施方式

下面结合附图及具体实施例对本发明作进一步说明。

一种基于压缩感知原理的卷积神经网络压缩方法：该方法流程如图1所示，将卷积神经网络中的每一层的权值送入预处理模块得到预处理结果，然后将预处理结果送入压缩算法模块中，压缩算法模块得出压缩后的权值，将压缩后的权值送入训练模块进行训练，将训练后的权值送入编码模块进行编码，最后将编码模块得到的编码结果送入文件生成模块产生压缩后的卷积神经网络模型文件。

本发明预处理模块的工作过程为：将输入进该模块的神经网络权值重新排列成一系列 K×K的矩阵，若数据量不满K×K则用这些数据的均值来补齐。将每个K×K的矩阵输出至下一个模块。

本发明压缩算法模块的工作过程为：

i.使用DCT变换将输入的K×K的矩阵N从空间域转换到频率域，其中DCT变换的公式为：设输入的矩阵为N，变换出来的结果为M，则 M＝ANA^T，其中A为DCT变换矩阵，i,j＝ 0,1,2,…,14，当i＝0时，当i≠0时，在此情况下， K＝15。此操作得到了输入结果在频率域上的K×K的矩阵结果，经过结果可视化可以发现这个结果是稀疏的，见图3(b)。

ii.对i步骤得到的矩阵结果进行剪枝，具体的剪枝方法为：对结果中每个值，取绝对值并作为临时变量t，若t>ρ，则略过；若t≤ρ,则将原结果中的对应的值设为0。这里的值ρ是一个正实数，由用户自己设定，一般可以设为输入结果的中位数，剪枝后的结果将会主要集中在低频区域，见图3(C)。

iii.将ii得到的结果使用高斯随机矩阵进行降维采样得到压缩后的矩阵，具体的方法为：C＝M·Φ^-1，其中，矩阵M为输入矩阵，矩阵C为得到的压缩矩阵，矩阵Φ为高斯随机矩阵。

本发明训练模块的工作过程为：

i.使用训练集对卷积神经网络做一次常规的前向传播，前向传播时，卷积神经网络使用未压缩的卷积神经网络权值；

ii.使用前向传播的结果对比训练集的标注算出卷积神经网络的误差值，使用该误差值做一次反向传播,然后反向传播得到梯度值，使用这个梯度值来更新这些权值；设误差值为δ，权值矩阵为N则卷积神经网络的每个权值对应的梯度为权值矩阵N的更新迭代式就是：其中，μ是学习率。对应的压缩后的结果的梯度便是：

其中，得到的是使用高斯随机矩阵降维采样后的结果对应的梯度，f_measure是降维采样函数，Mask_i,j是遮罩函数，当时， 当时，f_dct是DCT变换函数，C是降维采样后得到的压缩矩阵，ρ是剪枝时设定的正实数。对应的压缩后的结果的更新迭代式为：其中，μ是学习率。

iii.重复进行i、ii步骤，直到模型的精度稳定为止。

本发明所述的编码模块的工作过程为：对训练模块得到的已压缩卷积神经网络权值使用huffman编码方法进行编码，具体的编码方式为：

i.将卷积神经网络所有的权值量化成n种权值，这个n可以改变，一般取256，这样卷积神经网络的每一个权值只能有n个取值可能。

ii.将这n个权值按出现次数占总权值数的比例从大到小排序，这个比例也称为这个权值的概率。

iii.从最小概率的两个符号开始，选上支路为0，下支路为1。再将已编码的两支路的概率合并，并重新排队。多次重复使用上述方法直至合并概率归一时为止

iv.由步骤iii得到了n个权值的编码，生成权值对应编码的字典。通过这个字典算出卷积神经网络的权值的编码结果。

本发明文件生成模块的工作过程为：对编码模块得到的编码结果生成二进制序列并且存入二进制文件中，该文件称为卷积神经网络模型文件。

本发明的解压缩过程如图2所示，包括二进制模型文件读取与解码模块、近似消息传递还原模块、空域还原模块。

其中，二进制模型文件读取与解码模块工作过程为：读取二进制卷积神经网络结果并使用huffman编码步骤iv中的字典解码得到权值，得到了压缩算法模块中的步骤iii得到的结果并将其送入近似消息传递还原模块。

近似消息传递还原模块的工作过程为：将二进制模型文件读取与解码模块得到的结果使用近似消息传递(approximate message-passing)算法还原出频域上的剪枝过的结果。其中，近似消息传递算法是一个迭代的算法，其迭代式为：x^t+1＝η_t(A^*z^t+x^t)，z^t＝y-Ax^t，其中，A为观测矩阵，在这里就是压缩算法模块的步骤iii的高斯随机矩阵，η_t为常量阈值矩阵，设初始值x⁰＝0，然后开始迭代。最终，经过t+1轮的迭代得到的x^t+1便是还原出来的结果。将此结果送至空域还原模块。

空域还原模块工作过程为：将近似消息传递还原模块得到的结果使用DCT变换矩阵的逆矩阵求出空域上的结果，设原始空域上的结果为N，近似消息传递还原模块得到的结果为M，则N＝A^-1M(A^T)^-1，其中，DCT变换矩阵A已经在上述压缩算法模块的步骤i中描述过，这里不再赘述。

本发明压缩算法使用C++实现。算法中，压缩算法模块使用armadillo库来实现。近似消息传递还原模块中的近似消息传递算法建议使用KL1p库来实现。

本发明预处理模块中，将卷积神经网络的权值转换成K×K的一系列矩阵这一过程可以用armadillo库的reshape函数来达成，每个K×K的矩阵可以用armadillo的Mat类型来存储。

本发明压缩算法模块中，DCT操作可以使用KL1p库中的kl1p::TDCT2Doperator来实现，这是一个二维的DCT操作算子。高斯随机矩阵可以使用KL1p库中的kl1p::TNormalRandomMatrixOperator来实现，这一步中的高斯随机矩阵也可以换成其他的测量矩阵，例如：二值随机矩阵、局部傅里叶矩阵、局部哈达玛测量矩阵托普利兹矩阵等，这里使用的测量矩阵要满足压缩感知理论中的RIP定理。

本发明近似消息传递还原模块中，近似消息传递还原算法可以使用KL1p库中的kl1p::TAMPSolver来实现。在将数据送入kl1p::TAMPSolver之前，要先将数据做正则化处理。

实施例1

本实施例使用的卷积神经网络是YOLOv2，训练数据是VOC2012。

具体压缩过程为：

i.YOLOv2卷积神经网络一共有22层卷积层，将每一层的卷积层权值经过本方法的预处理过程分割成一个个15×15的矩阵块。比如，第一层卷积层的权值有32×3 ×3＝288个，可以分割成2个15×15的矩阵块，但是第二个矩阵块数据不满225 个，空余位置用前63个权值的均值来补齐。

ii.将预处理结果经过本方法的压缩过程，即依次经过DCT变换、剪枝、降维采样这几步。在剪枝时，可人为调整剪枝阈值ρ，可依次设置不同的ρ值观察模型的压缩后的性能。

iii.将压缩过程的结果经过本方法的编码过程，得到huffman编码结果的二进制序列，将这些二进制序列写入二进制文件，便是压缩完后的模型文件。

压缩完成后，使用VOC2012数据集来训练YOLOv2卷积神经网络，训练时，前向传播要使用未压缩的卷积神经网络权值，反向传播使用说明书中提供的公式(5)来计算权值的梯度，训练过程迭代40000次后停止。

表1是本发明基于压缩感知原理的卷积神经网络模型的压缩方法和现有哈希网络(HashedNet)压缩方法在YOLOv2上的对比实验。

表1

其中，SNR¹、PSNR¹和mAP¹列是基于压缩感知原理的卷积神经网络模型的压缩方法的信噪比、峰值信噪比和平均正确率均值数据；SNR²、PSNR²和mAP²列是哈希网络(HashedNet) 压缩方法的信噪比、峰值信噪比和平均正确率均值数据；SNR³、PSNR³和mAP³列是基于压缩感知原理的卷积神经网络模型的压缩方法和哈希网络(HashedNet)压缩方法的信噪比、峰值信噪比和平均正确率均值数据的差值(改进)，可以发现，本压缩方法SNR最高比对比方法提高了20.98dB，PSNR最高比对比方法提高了19.7dB，mAP最高比对比方法提高了 11.43％。图6为使用该压缩方法训练过的YOLOv2的检测结果例图。

Claims (9)

1.一种基于压缩感知原理的卷积神经网络压缩方法，其特征在于，包括：

预处理步骤、将卷积神经网络中的每一层的权值预处理为一系列矩阵；

压缩步骤、将预处理步骤得到的预处理结果进行压缩处理得出压缩后的权值；

训练步骤、对压缩后的权值进行训练；

编码步骤、对训练步骤训练后的已压缩权值进行编码；

模型生成步骤、根据经编码步骤得到的编码结果生成压缩后的卷积神经网络模型文件。

2.根据权利要求1所述的卷积神经网络压缩方法，其特征在于，所述预处理步骤中预处理方法为：将神经网络每一层的权值按其在卷积核内的行优先顺序排列成一系列K×K的矩阵，若数据量不满K×K则用每一层权值的均值来补齐，其中K≥3。

3.根据权利要求2所述的卷积神经网络压缩方法，其特征在于，所述压缩步骤的压缩方法为：

使用DCT变换将输入的K×K的矩阵N从空间域转换到频率域得到输出矩阵M；

对使用DCT变换得到的输出矩阵M进行剪枝处理得到矩阵P；

将矩阵M剪枝得到的矩阵P使用高斯随机矩阵进行降维采样得到压缩后的矩阵：

C＝P·Φ^-1

其中，矩阵C为得到的压缩矩阵，矩阵P为输入矩阵，矩阵Φ为高斯随机矩阵。

4.根据权利要求3所述的卷积神经网络压缩方法，其特征在于，所述训练步骤包括：

使用训练集对卷积神经网络做一次常规的前向传播，前向传播时，卷积神经网络使用未压缩的卷积神经网络权值；

使用前向传播的结果对比训练集的标注算出卷积神经网络的误差值，使用该误差值做一次反向传播,然后反向传播得到梯度值，使用得到的梯度值来更新卷积神经网络权值；

设误差值为δ，则卷积神经网络的每个权值对应的梯度为权值矩阵N的更新迭代式就是：其中，μ是学习率；

对应的压缩后的结果的梯度便是：

<mrow> <mfrac> <mrow> <mo>&amp;part;</mo> <mi>&amp;delta;</mi> </mrow> <mrow> <mo>&amp;part;</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> </mrow> </mfrac> <mo>=</mo> <msub> <mi>f</mi> <mrow> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>s</mi> <mi>u</mi> <mi>r</mi> <mi>e</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>Mask</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>(</mo> <mrow> <msub> <mi>f</mi> <mrow> <mi>d</mi> <mi>c</mi> <mi>t</mi> </mrow> </msub> <mrow> <mo>(</mo> <mfrac> <mrow> <mo>&amp;part;</mo> <mi>&amp;delta;</mi> </mrow> <mrow> <mo>&amp;part;</mo> <msub> <mi>N</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>

其中，得到的是使用高斯随机矩阵降维采样后的结果对应的梯度，f_measure是降维采样函数，Mask_i,j是遮罩函数，当时，当时，f_dct是DCT变换函数，C_i,j是降维采样后得到的压缩矩阵，ρ是剪枝时设定的正实数；

对压缩的结果矩阵C_i,j进行更新迭代训练：

5.根据权利要求4所述的卷积神经网络压缩方法，其特征在于，使用DCT变换得到的输出矩阵M为：

M＝ANA^T

其中，A为DCT变换矩阵，

当i＝0时，当i≠0时，

6.根据权利要求5所述的卷积神经网络压缩方法，其特征在于，所述剪枝处理的方法为：对输出矩阵M中每个值，取绝对值并作为临时变量t，若t>ρ，则略过；若t<ρ,则将输出矩阵M中的对应的值设为0，其中，ρ是一个设定的正实数。

7.根据权利要求1所述的卷积神经网络压缩方法，其特征在于，所述编码模块进行编码的方法为：对压缩算法模块得到的卷积神经网络权值使用huffman编码方法进行编码。

8.根据权利要求1所述的卷积神经网络压缩方法，其特征在于，所述文件生成步骤生成卷积神经网络模型文件的方法是：对编码模块得到的编码结果生成二进制序列并且存入二进制文件中，该二进制文件即为卷积神经网络模型文件。

9.一种基于压缩感知原理的卷积神经网络解压缩方法，其特征在于，包括：

模型文件读取步骤、读取二进制卷积神经网络模型文件；

解码步骤、使用霍夫曼编码，解码读取步骤中读取的二进制卷积神经网络模型文件，得到权值；

剪枝还原步骤、还原出频域上的剪枝过的结果，方法是：

x^t+1＝η_t(Q^*z^t+x^t)

其中，z^t＝y-Qx^t，y为压缩算法模块的步骤iii得到的降维采样后的矩阵向量化的结果，Q为观测矩阵，在这里就是压缩算法模块的步骤iii的高斯随机矩阵，η_t为常量阈值矩阵，设初始值x⁰＝0，然后开始迭代；最终，经过t+1轮的迭代得到的x^t+1便是还原出来的结果；

空域还原步骤、将剪枝还原步骤得到的结果使用DCT变换矩阵的逆矩阵求出空域上的结果N：

N＝A^-1M(A^T)^-1

其中，M为剪枝还原步骤得到的结果，A为DCT变换矩阵。