CN111126602A - 一种基于卷积核相似性剪枝的循环神经网络模型压缩方法 - Google Patents

Abstract

本发明公开了一种基于卷积核相似性剪枝的循环神经网络模型压缩方法，属于计算机电子信息技术领域，该方法包括，将预训练循环神经网络模型载入压缩循环神经网络中进行训练，得到权重矩阵初始化的循环神经网络模型；计算循环神经网络模型中每个卷积核的L2范数并排序，选取范数修剪率范围内的卷积核进行剪枝；计算剪枝后的预训练循环神经网络模型的卷积核的权值中心，选取相似性修剪率P2范围内的卷积核进行修剪后对卷积核对应的权重矩阵进行梯度更新，对更新后的权重矩阵中的参数进行剪枝，得到压缩后的循环神经网络模型。本发明提供的循环神经网络模型压缩方法，在降低剪枝过程中的精确度损失的同时，有效地压缩大型循环神经网络模型。

Description

一种基于卷积核相似性剪枝的循环神经网络模型压缩方法

技术领域

本发明涉及计算机及电子信息技术领域，具体涉及一种基于卷积核相似性剪枝的循环神经网络模型压缩方法。

背景技术

循环神经网络(RNN)具有处理顺序数据的能力，大大提高了语音识别、自然语言处理和机器翻译准确性，然而，循环神经网络的效果提升是以高计算复杂性为代价的，对于具有有限计算资源的嵌入式移动设备来说要求过高。因而，循环神经网络模型的推广部署受到了推理性能、功耗和内存要求的限制。

智能手机，平板电脑和笔记本电脑等所有普及设备具有有限的内存和计算资源，很难处理大型复杂的RNN模型。然而，在移动端直接应用深度学习网络，基本要求之一是模型推理要小而快，小可以使得整个应用的存储空间减小，而快可以提高应用的实时性，要求模型推理速度在可接受范围内，同时也可以使应用在一些低配设备上具有更好的效果。

模型压缩是一个蓬勃发展的领域，通过对模型的网络结构或者权重表示方式进行简化，减少深度学习模型的计算量和内存需求，在尽量少精确度损失的前提下，解决普及设备上由于有限的内存和计算资源，很难处理大型复杂的RNN模型的问题。

现有的卷积神经网络压缩与加速的方法大致分为三种：剪枝，量化和低秩分解；常用的剪枝方法是指通过一定的规则修剪网络中不重要的权重，主要分为非结构化剪枝和结构化剪枝两种；其中，非结构化剪枝是指独立修剪权重，对精度影响较小；非结构化剪枝在推理预测时是硬件不友好的，容易造成硬件设备的损伤；而结构化稀疏剪枝方法提出了内部稀疏结构，剪枝的同时将循环单元内所有基础结构的尺寸减小一个，从而始终保持尺寸一致性，减小模型尺寸，加快推理速度，但由于结构化稀疏剪枝方法的稀疏结构非常粗糙，因此很难在不降低精度的情况下推出高稀疏性。

大多数剪枝方法是基于不同的规则，加入正则约束，在反向传播的过程中约束参数，进行稀疏；在设计剪枝规则时，现有的剪枝策略大多是基于范数剪枝及其变体，更多考虑的是卷积核的重要性，理想地认为范数分布较为规则，标准差足够大，没有更多考虑卷积核之间的相似性，造成剪枝过程中的精确度损失较大。

发明内容

本发明提供了一种基于卷积核相似性剪枝的循环神经网络模型压缩方法，该方法在剪枝过程中同时考虑了卷积核的范数重要性标准与卷积核间的相似性标准，为每个卷积核设置一个掩膜矩阵，根据所述的范数重要性标准与积核间的相似性标准设置掩膜矩阵的值，使得参数可选择地参与到网络计算中，同时不改变网络的本质内容，使得参数可以在可能的需要时被恢复，网络修剪也更为可控。

一种基于卷积核相似性剪枝的循环神经网络模型压缩方法，包括：

步骤1、将预训练循环神经网络模型载入压缩循环神经网络中进行训练，设置预训练循环神经网络模型的参数与压缩循环神经网络中的参数一致，得到权重矩阵初始化的循环神经网络模型。

所述的参数为数据集、配置参数、范数修剪率P1及相似性修剪率P2。

步骤2、计算循环神经网络模型中每个卷积核的L2范数并根据L2范数对卷积核进行排序，选取范数修剪率P1范围内的卷积核进行剪枝，得到剪枝后的循环神经网络模型。

所述的选取范数修剪率P1范围内的卷积核的计算公式为公式(1)所示：

n＝P1×N (1)

其中，n为范数排序小的卷积核的个数；P1为范数修剪率，1>P1>0；N为循环神经网络模型所有卷积核的个数。

优选的，为了避免被零除，所述的L2范数中添加了一个微小常数∈，具体为公式(2)所示：

其中‖w_k‖₂为定义的第k个卷积核的L2范数，w_kj为第k个卷积核的第j个权重。

所述的选取范数修剪率P1范围内的卷积核进行剪枝，包括：

步骤2.1、为循环神经网络模型的每个卷积核分配一个掩膜矩阵，所述的掩膜矩阵是由卷积核中的每个参数对应一个掩码(mask)组成；所述的掩码的区间为mask∈{0,1}，mask初始值为1。

步骤2.2对范数最小的卷积核中的参数的掩码进行排序，将排序小的参数对应的mask设置为0，其余参数所对应的mask为1，mask为0的参数在下轮迭代中不发挥作用。

所述的排序为采取A-Res加权随机采样的方式获得排序k_i；所述的排序k_i计算公式为式(3)所示：

其中，u_i＝rand(0,1)；w_i为mask对应参数。

步骤2.3、对mask为0的参数进行剪枝更新，实现对范数最小的卷积核进行剪枝，得到剪枝后的循环神经网络模型。

步骤3、计算步骤2中得到的剪枝后的预训练循环神经网络模型的卷积核的权值中心，选取相似性修剪率P2范围内权值中心最接近的卷积核进行修剪，得到卷积核相似性剪枝后的循环神经网络模型。

所述的选取相似性修剪率P2范围内权值中心最接近的卷积核的计算公式为公式(4)所示：

m＝P2×M (4)

其中，m为权值中心最接近的卷积核的个数；P2为范数修剪率，1>P2>0；M为循环神经网络模型所有卷积核的个数。

所述的权值中心为欧氏距离中心；所述的欧氏距离中心w^*的计算公式为式(5)所示：

w为可变量，w_i为相应卷积核的第i个权值，求得某一确定w，使得∑_i‖w-w_i‖₂值最小，则此w为所求矩阵的权值中心w^*。

步骤4、对步骤3中得到的循环神经网络模型中的卷积核对应的权重矩阵进行梯度更新，得到权重矩阵更新后的循环神经网络模型。

若掩码矩阵中的参数对应的mask为0，则更新后的权重矩阵中的参数为0；若掩码矩阵中的参数对应的mask为1，则更新后的权重矩阵中的参数保持不变。

步骤5、对步骤4得到的循环神经网络模型中更新后的权重矩阵中的参数进行剪枝，得到压缩后的循环神经网络模型。

将步骤4中更新后的权重矩阵中mask为0的参数进行剪枝，得到实质最小的压缩后的循环神经网络模型。

发明具有以下的优点：

1、本发明提供的基于卷积核相似性剪枝的循环神经网络模型压缩方法，在降低剪枝过程中的精确度损失的同时，有效地压缩大型循环神经网络模型。

2、本发明提供的基于卷积核相似性剪枝的循环神经网络模型压缩方法为粗粒剪枝，保持了权重矩阵的规则性，对于硬件的快速计算库是友好的，可以有效提升应用模型时的推理速度。

3、本发明提供的基于卷积核相似性剪枝的循环神经网络模型压缩方法，探索了较少人关注的循环神经网络冗余参数问题，使得循环神经网络可以更好的应用到移动端设备中运行。

附图说明

图1为本发明中循环神经网络模型压缩方法的训练流程图。

图2为本发明中循环神经网络模型的基本结构图。

图3为本发明中循环神经网络模型压缩方法中L2范数示意图。

图4为本发明中循环神经网络模型压缩方法中相似性原则示意图。

图5为本发明中循环神经网络模型压缩方法的准确率示意图；其中，(a)图为训练损失示意图；(b)图为训练误差示意图。

具体实施方式

下面结合具体实施例对本发明进行进一步说明。

如图1所示，步骤1、将预训练循环神经网络模型载入压缩循环神经网络中进行训练，设置预训练循环神经网络模型的参数与压缩循环神经网络中的参数一致，得到权重矩阵初始化的循环神经网络模型。

准备待压缩的预训练循环神经网络模型设置数据集、配置参数、给定范数修剪率P1及相似性修剪率P2与压缩循环神经网络中参数一致，并将待压缩的预训练循环神经网络模型载入压缩循环神经网络中进行训练。

如图2所示，使用的数据集为WikiText-2英语词库数据，每个词汇还同时保留产生该词汇的原始文章，这尤其适合当需要长时依赖自然语言建模的场景；dropout为0.2，L2范数与基于相似的修剪率均为0.1。

步骤2、计算循环神经网络模型中每个卷积核的L2范数并根据L2范数对卷积核进行排序，选取范数修剪率P1范围内的卷积核进行剪枝，得到剪枝后的循环神经网络模型。

L2范数，又叫“岭回归”(Ridge Regression)、“权值衰减”(weight decay)。这用的很多吧，它的作用是改善过拟合。

过拟合是：模型训练时候的误差很小，但是测试误差很大，也就是说模型复杂到可以拟合到所有训练数据，但在预测新的数据的时候，结果很差。

L2范数是指向量中各元素的平方和然后开根，让L2范数的规则项||W||2最小，可以使得W的每个元素都很小，都接近于0；而越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象。

所述的选取范数修剪率P1范围内的卷积核的计算公式为公式(1)所示：

n＝P1×N (1)

其中，n为范数排序小的卷积核的个数；P1为范数修剪率，1>P1>0；N为循环神经网络模型所有卷积核的个数。

优选的，为了避免被零除，所述的L2范数中添加了一个微小常数∈，具体为公式(2)所示：

其中‖w_k‖₂为定义的第k个卷积核的L2范数，w_kj为第k个卷积核的第j个权重。

所述的对选取的卷积核进行剪枝，包括：

步骤2.1、为循环神经网络模型的每个卷积核分配一个掩膜矩阵，所述的掩膜矩阵是由卷积核中的每个参数对应一个掩码(mask)组成；所述的掩码的区间为mask∈{0,1}，mask初始值为1。

步骤2.2对范数最小的卷积核中的参数的掩码进行排序，将排序小的参数对应的mask设置为0，其余参数所对应的mask为1，mask为0的参数在下轮迭代中不发挥作用。

所述的排序为采取A-Res加权随机采样的方式获得排序k_i；所述的排序k_i计算公式为式(3)所示：

其中，u_i＝rand(0,1)；w_i为mask对应参数。

步骤2.3、对mask为0的参数进行剪枝更新，实现对范数最小的卷积核进行剪枝，得到剪枝后的循环神经网络模型。

如图3所示，在循环神经网络训练的每个周期，对每个卷积核计算L2范数并排序，最大K个卷积核的数组索引对应的mask保持为1，其余为0，修剪后更新权重参数。本实验中权重修剪概率为0.9；大部分权重L2范数集中在0处附近，对网络的贡献较小，修剪后对网络精度影响较小。

步骤3、计算步骤2中得到的剪枝后的预训练循环神经网络模型的卷积核的权值中心，选取相似性修剪率P2范围内权值中心最接近的卷积核进行修剪，得到卷积核相似性剪枝后的循环神经网络模型。

所述的选取相似性修剪率P2范围内权值中心最接近的卷积核的计算公式为公式(4)所示：

m＝P2×M (4)

其中，m为权值中心最接近的卷积核的个数；P2为范数修剪率，1>P2>0；M为循环神经网络模型所有卷积核的个数。

所述的权值中心为欧氏距离中心；所述的欧氏距离中心w^*的计算公式为式(5)所示：

w为可变量，w_i为相应卷积核的第i个权值，求得某一确定w，使得∑_i‖w-w_i‖₂值最小，则此w为所求矩阵的权值中心w^*。

如图4所示，对更新后的权重矩阵计算对应的权值中心相似性并排序，相似性最小的K个值索引对应的mask保持为1，L2范数与相似性修剪后mask仍为1的部分权重保留，其余被修剪掉，本发明中相似性保留率为0.9。

步骤4、对步骤3中得到的循环神经网络模型中的卷积核对应的权重矩阵进行梯度更新，得到权重矩阵更新后的循环神经网络模型。

若掩码矩阵中的参数对应的mask为0，则更新后的权重矩阵中的参数为0；若掩码矩阵中的参数对应的mask为1，则更新后的权重矩阵中的参数保持不变。

步骤5、对步骤4得到的循环神经网络模型中更新后的权重矩阵中的参数进行剪枝，得到压缩后的循环神经网络模型。

将步骤4中更新后的权重矩阵中mask为0的参数进行剪枝，得到实质最小的压缩后的循环神经网络模型。

如图5所示，本发明中循环神经网络模型压缩方法的准确率示意图，在同样的修剪概率下，如(a)图所示，随机修剪训练损失收敛为5.82，推理perplexity为130；如(b)图所示本发明中训练误差收敛为4.68，推理perplexity为107.33，有17.4％的提升。

Claims (7)

1.一种基于卷积核相似性剪枝的循环神经网络模型压缩方法，其特征在于，包括：

步骤1、将预训练循环神经网络模型载入压缩循环神经网络中进行训练，设置预训练循环神经网络模型的参数与压缩循环神经网络中的参数一致，得到权重矩阵初始化的循环神经网络模型；

步骤2、计算循环神经网络模型中每个卷积核的L2范数并根据L2范数对卷积核进行排序，选取范数修剪率P1范围内的卷积核进行剪枝，得到剪枝后的循环神经网络模型；

步骤3、计算步骤2中得到的剪枝后的预训练循环神经网络模型的卷积核的权值中心，选取相似性修剪率P2范围内权值中心最接近的卷积核进行修剪，得到卷积核相似性剪枝后的循环神经网络模型；

步骤4、对步骤3中得到的循环神经网络模型中的卷积核对应的权重矩阵进行梯度更新，得到权重矩阵更新后的循环神经网络模型；

步骤5、对步骤4得到的循环神经网络模型中更新后的权重矩阵中的参数进行剪枝，得到压缩后的循环神经网络模型。

2.根据权利要求1所述的基于卷积核相似性剪枝的循环神经网络模型压缩方法，其特征在于，步骤2中，所述的选取范数修剪率P1范围内的卷积核的计算公式为公式(1)所示：

n＝P1×N (1)

其中，n为范数排序小的卷积核的个数；P1为范数修剪率，1>P1>0；N为循环神经网络模型所有卷积核的个数。

3.根据权利要求1所述的基于卷积核相似性剪枝的循环神经网络模型压缩方法，其特征在于，步骤2中，所述的L2范数中添加了一个微小常数∈，具体为公式(2)所示：

其中‖w_k‖₂为定义的第k个卷积核的L2范数，w_kj为第k个卷积核的第j个权重。

4.根据权利要求1所述的基于卷积核相似性剪枝的循环神经网络模型压缩方法，其特征在于，步骤2中，所述的选取范数修剪率P1范围内的卷积核进行剪枝，包括：

步骤2.1、为循环神经网络模型的每个卷积核分配一个掩膜矩阵，所述的掩膜矩阵是由卷积核中的每个参数对应一个掩码组成；所述的掩码的区间为mask∈{0,1}，mask初始值为1；

步骤2.2对范数最小的卷积核中的参数的掩码进行排序，将排序小的参数对应的mask设置为0，其余参数所对应的mask为1，mask为0的参数在下轮迭代中不发挥作用；

步骤2.3、对mask为0的参数进行剪枝更新，实现对范数最小的卷积核进行剪枝，得到剪枝后的循环神经网络模型。

5.根据权利要求1所述的基于卷积核相似性剪枝的循环神经网络模型压缩方法，其特征在于，步骤2.2中，所述的排序为采取A-Res加权随机采样的方式获得排序k_i；所述的排序k_i计算公式为式(3)所示：

其中，u_i＝rand(0,1)；w_i为mask对应参数。

6.根据权利要求1所述的基于卷积核相似性剪枝的循环神经网络模型压缩方法，其特征在于，步骤3中，所述的选取相似性修剪率P2范围内权值中心最接近的卷积核的计算公式为公式(4)所示：

m＝P2×M (4)

其中，m为权值中心最接近的卷积核的个数；P2为范数修剪率，1>P2>0；M为循环神经网络模型所有卷积核的个数。

7.根据权利要求1所述的基于卷积核相似性剪枝的循环神经网络模型压缩方法，其特征在于，步骤3中，所述的权值中心为欧氏距离中心；所述的欧氏距离中心w^*的计算公式为式(5)所示：

w为可变量，w_i为相应卷积核的第i个权值，求得某一确定w，使得∑_i‖w-w_i‖₂值最小，则此w为所求矩阵的权值中心w^*。

Images