CN109063834A - 一种基于卷积特征响应图的神经网络剪枝方法 - Google Patents

Abstract

本发明公开了一种基于卷积特征响应图的网络剪枝方法，它通过卷积特征响应图剪枝的神经网络压缩方法，能实现不影响神经网络精度的基础上，实现神经网络的压缩和加速。本发明通过采用上述技术，剔除神经网络中冗余的卷积操作实现网络的加速和压缩；根据卷积特征响应图的特征响应比判断，实现自动有效的特征提取，结合网络剪枝操作，能在不影响神经网络精度的基础上，实现神经网络的压缩和加速，减少了神经网络中大量的计算量和参数数量，加快神经网络的运算，解决了深度学习难以应用在现实场景中的问题。

Description

一种基于卷积特征响应图的神经网络剪枝方法

技术领域

本发明涉及一种基于卷积特征响应图的神经网络剪枝方法，尤其涉及利用卷积特征响应图的可视化方法，对冗余的网络卷积结构进行剪枝操作，实现网络缩减和加速的神经网络压缩方法。

背景技术

神经网络由于其准确率高，通用性强的特点，受到各行各业学者的持续关注和研究，但由于神经网络的高复杂性和网络计算量巨大的原因，只有较少的方法能应用到实际的场景中。而神经网络的使用需要大量的计算量，因此许多学者针对神经网络进行压缩和加速的研究。而多数方法在实现网络加速的同时，需要对网络结构进行修改并牺牲部分的网络精度。因此基于卷积特征响应图的神经网络剪枝方法是一种较好的解决方案，在不影响网络精度的基础上，实现神经网络的缩减，达到网络加速的目的。

为了解决神经网络计算量过大的问题，国内外学术界、工业界提出了很多方案。其中与本发明较为接近的技术方案包括：Y.Gong(Y.Gong,L.Liu,M.Yang,L.Bourdev,“Compressing Deep Convolutional Networks using Vector Quantization”[J],arXiv:1412.6115,2014)提出了一种压缩神经网络模型大小的方法，主要通过密集权重矩阵进行量化编码实现网络压缩，但该方法只适用于全链接层的网络压缩，不能应用于其他的网络结构。S.Han等人(S.Han,H.Mao,W.J.Dally,“DeepCompression:Compressing Deep NeuralNetworks with Pruning,Trained Quantization and Huffman Coding”,[C]in2016international conference of Learning Representations,October 2016,vol.56,No.4,pp.1-14.)提出了“Deep Compression”压缩方法，通过减去小权重的分支再训练，权重聚类压缩和哈夫曼编码的方式，减少了网络大小，提高了运算速度和减少了网络使用的能量损耗，但该算法在实现了网络加速的同时影响了神经网络的精度。Z.Lin等人(Z.Lin,M.Courbariaux,R.Memisevic,et al.“Neural Networks with Few Multiplications”,[C]in 2016International Conference on Learning Representations,2016)通过在隐层中随机二值化和在反向传播中将乘法转换为移位操作实现网络量化加速。二值网络虽然能极大的压缩网络的大小和提升网络的速度，但相应的牺牲网络精度是不可避免的，特别是在目标检测的问题上。

综上所述，当前神经网络压缩和加速的方案中存在如下不足：

(1)多数方法对在网络速度提高的基础上，减少了部分网络参数的精度，导致网络整体精度受到影响；

(2)部分方法只能针对全连接层进行压缩和加速，而全连接层由于参数过多训练复杂而渐渐被全卷积结构所替代，应用场景局限性较大；

(3)许多方法用二值化操作替代神经网络中复杂的浮点数计算，需要特定的硬件才能有较好的实际应用，对硬件依赖性较高。

人工神经网络在各行业中都有较好的实际应用场景，但由于网络依赖大规模的计算能力，导致神经网络在实际应用中受到限制。而现在多数方法为了实现网络加速的目标，需要牺牲部分的网络精度或依赖于特殊的硬件。

发明内容

针对现有技术中存在的上述问题，为了不影响神经网络精度并实现神经网络压缩和加速，本发明提供了一种基于卷积特征响应图的网络剪枝方法；它通过卷积特征响应图剪枝的神经网络压缩方法，能实现不影响神经网络精度的基础上，实现神经网络的压缩和加速。

所述的一种基于卷积特征响应图的网络剪枝方法，其特征在于包括如下步骤：

步骤1：读取网络权重文件和网络配置文件，得到初始网络结构N₀；

步骤2：读入训练样本集合Sample＝{(I_k,label_k)|k＝1,2,3,…,n_sample}，其中I_k表示宽度为W_k高度为H_k的训练样本图像，label_k为对应的图像标签信息，n_sample表示训练样本数量，label_k＝(x_k,y_k,w_k,h_k)，(x_k,y_k)表示目标区域在图像中所在位置的左上角坐标，w_k和h_k分别表示目标区域在图像I_k中的宽度和高度；

步骤3：将图像和标签文件(I_k,label_k)输入到网络中，并根据各层特征响应图进行网络剪枝操作，具体如下：

步骤3.1：将图像I_k输入初始网络结构N₀中，并进行前向传播，得到网络卷积特征图集合R＝{r_ij|i＝1,2,3,…,n,j＝1,2,3,…,m}，其中r_ij表示图像I_k经过第i层中第j个卷积后得到的卷积特征响应图，n表示网络的层数，m表示该卷积层中的卷积数量；

步骤3.2：根据式(1)计算卷积特征图r_ij中标签区域内的像素值之和v_posij，根据式(2)计算r_ij中标签区域外的像素值之和v_negij；

其中，v_pq表示在卷积特征图r_ij中坐标(p,q)位置的像素值，(x_ij,y_ij)表示在r_ij中目标区域左上角的坐标，w_ij和h_ij分别表示在r_ij中目标区域的宽度和高度，W_ij和H_ij分别表示r_ij的宽度和高度；

步骤3.3：根据式(4)计算特征图r_ij中的目标响应比t_ij；

步骤3.4：剔除满足式(5)的卷积滤波器，并更新初始网络结构N₀；

t_ij＜λ (5)

其中λ表示事先给定的卷积剔除阈值；

步骤4：将样本(I_k,label_k)从训练样本集合Sample中剔除，并重复步骤3和4，直到Sample中无样本，得到最终的剪枝网络N_final。

通过采用上述技术，本发明的有益效果如下：本发明通过采用上述技术，剔除神经网络中冗余的卷积操作实现网络的加速和压缩；根据卷积特征响应图的特征响应比判断，实现自动有效的特征提取，结合网络剪枝操作，能在不影响神经网络精度的基础上，实现神经网络的压缩和加速，减少了神经网络中大量的计算量和参数数量，加快神经网络的运算，解决了深度学习难以应用在现实场景中的问题；

附图说明

图1为本发明根据卷积特征响应图进行剪枝的流程图；

图2为本发明经过步骤3.1前向传播后的网络卷积特征图。

具体实施方法

下面结合实施实例来详细阐述本发明基于卷积特征响应图的神经网络剪枝方法具体实施方式。

如图1所示，本发明的一种基于卷积特征响应图的网络剪枝方法，包括如下步骤：

步骤1：读取网络权重文件和网络配置文件，得到初始网络结构N₀；

步骤2：读入训练样本集合Sample＝{(I_k,label_k)|k＝1,2,3,…,n_sample}，其中I_k表示宽度为W_k高度为H_k的训练样本图像，label_k为对应的图像标签信息，n_sample表示训练样本数量，label_k＝(x_k,y_k,w_k,h_k)，(x_k,y_k)表示目标区域在图像中所在位置的左上角坐标，w_k和h_k分别表示目标区域在图像I_k中的宽度和高度；

步骤3：将图像和标签文件(I_k,label_k)输入到网络中，并根据各层特征响应图进行网络剪枝操作，具体如下：

步骤3.1：将图像I_k输入初始网络结构N₀中，并进行前向传播，得到网络卷积特征图集合R＝{r_ij|i＝1,2,3,…,n,j＝1,2,3,…,m}，其中r_ij表示图像I_k经过第i层中第j个卷积后得到的卷积特征响应图，n表示网络的层数，m表示该卷积层中的卷积数量，经过步骤3.1前向传播后的网络卷积特征图如图2所示；

步骤3.2：根据式(1)计算卷积特征图r_ij中标签区域内的像素值之和v_posij，根据式(2)计算r_ij中标签区域外的像素值之和v_negij；

其中，v_pq表示在卷积特征图r_ij中坐标(p,q)位置的像素值，(x_ij,y_ij)表示在r_ij中目标区域左上角的坐标，w_ij和h_ij分别表示在r_ij中目标区域的宽度和高度，W_ij和H_ij分别表示r_ij的宽度和高度；

步骤3.3：根据式(4)计算特征图r_ij中的目标响应比t_ij；

步骤3.4：剔除满足式(5)的卷积滤波器，并更新初始网络结构N₀；

t_ij＜λ (5)

其中λ表示事先给定的卷积剔除阈值；在本实例中，λ＝1；

步骤4：将样本(I_k,label_k)从训练样本集合Sample中剔除，并重复步骤3和4，直到Sample中无样本，得到最终的剪枝网络N_final。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种基于卷积特征响应图的网络剪枝方法，其特征在于包括如下步骤：

步骤1：读取网络权重文件和网络配置文件，得到初始网络结构N₀；

步骤2：读入训练样本集合Sample＝{(I_k,label_k)|k＝1,2,3,…,n_sample}，其中I_k表示宽度为W_k高度为H_k的训练样本图像，label_k为对应的图像标签信息，n_sample表示训练样本数量，label_k＝(x_k,y_k,w_k,h_k)，(x_k,y_k)表示目标区域在图像中所在位置的左上角坐标，w_k和h_k分别表示目标区域在图像I_k中的宽度和高度；

步骤3：将图像和标签文件(I_k,label_k)输入到网络中，并根据各层特征响应图进行网络剪枝操作，具体如下：

步骤3.1：将图像I_k输入初始网络结构N₀中，并进行前向传播，得到网络卷积特征图集合R＝{r_ij|i＝1,2,3,…,n,j＝1,2,3,…,m}，其中r_ij表示图像I_k经过第i层中第j个卷积后得到的卷积特征响应图，n表示网络的层数，m表示该卷积层中的卷积数量，经过步骤3.1前向传播后的网络卷积特征图如图2所示；

步骤3.2：根据式(1)计算卷积特征图r_ij中标签区域内的像素值之和v_posij，根据式(2)计算r_ij中标签区域外的像素值之和v_negij；

其中，v_pq表示在卷积特征图r_ij中坐标(p,q)位置的像素值，(x_ij,y_ij)表示在r_ij中目标区域左上角的坐标，w_ij和h_ij分别表示在r_ij中目标区域的宽度和高度，W_ij和H_ij分别表示r_ij的宽度和高度；

步骤3.3：根据式(4)计算特征图r_ij中的目标响应比t_ij；

步骤3.4：剔除满足式(5)的卷积滤波器，并更新初始网络结构N₀；

t_ij＜λ (5)

其中λ表示事先给定的卷积剔除阈值；

步骤4：将样本(I_k,label_k)从训练样本集合Sample中剔除，并重复步骤3和4，直到Sample中再无样本可剔除，得到最终的剪枝网络N_final。