CN111667068A - 一种基于掩码的深度图卷积神经网络模型剪枝方法与系统 - Google Patents

Abstract

本发明公开了一种基于掩码的深度图卷积神经网络模型剪枝方法,包括：步骤1、获取待剪枝深度图卷积神经网络模型，步骤2、提取掩码信息，步骤3、完成模型剪枝，步骤4、完成紧致的深度图卷积神经网络模型重训。本发明还提供了一种基于掩码的深度图卷积神经网络模型剪枝系统。通过本发明中的技术方案，实现了在保证原有网络精度维持在原有水平的前提下，有效压缩了深度图卷积神经网络模型的大小，并大大加快了网络模型的检测速度。

Description

一种基于掩码的深度图卷积神经网络模型剪枝方法与系统

技术领域

本发明涉及人工智能技术领域，具体而言，涉及一种基于掩码的深度图卷积神经网络模型剪枝方法与系统。

背景技术

随着图表示学习的快速发展，图卷积神经网络凭借其强大的性能在推荐系统、交通预测、知识图谱、生物医疗等各大领域取得了巨大的成果，其中，深度图卷积神经网络更是通过加深网络的层数取得了当前最优的结果。然而，网络层数的加深就会引起网络参数量的增多，网络模型运行时所需的计算开销以及存储时所占据的空间资源变得越来越庞大，影响其在资源受限的移动嵌入式终端的应用。因此，如何在保证网络模型性能的同时对网络模型进行压缩并加快其模型计算时间能使深度图卷积神经网络得到更好的应用。

而现在并没有针对图卷积神经网络模型压缩的算法。现有对传统深度神经网络模型的压缩算法中，权值量化算法和奇异值分解算法只能减小网络模型的大小，无法实现网络模型的加速，并且往往会带来较大的网络模型精度损失，而剪枝算法大多采用逐层剪枝的方法，难以使模型得到全局的最优解并且使剪枝步骤过于复杂，同时剪枝算法通常只针对网络模型卷积层的通道(Channel)进行剪枝，无法对网络中的其他结构进行剪枝。

发明内容

为了解决深度图卷积神经网络模型的压缩和加速问题，本发明提供了一种基于掩码的深度图卷积神经网络模型剪枝方法，采用端到端的方式全局地对图卷积神经网络进行剪枝，在保证网络性能的同时大大减小网络模型的大小，并加速网络模型的运行时间。

本发明的技术方案是提供一种基于掩码的深度图卷积神经网络模型剪枝方法，其特征在于其特征在于，包括如下步骤：

步骤1、获取待剪枝深度图卷积神经网络模型，即对原预训练的深度图卷积神经网络模型中需要考虑剪枝的网络结构添加掩码约束，形成待剪枝深度图卷积神经网络模型，其中，添加的掩码用于记录网络结构的重要性；

步骤2、提取掩码信息，即利用训练数据标签训练待剪枝深度图卷积神经网络模型，通过在目标函数添加掩码的稀疏性约束使得掩码权值稀疏化，训练结束时得到模型的最终掩码信息；

步骤3、完成模型剪枝，即根据模型最终的掩码信息，对权值为0的掩码所对应的网络结构进行剪枝，得到紧致的深度图卷积神经网络模型；

步骤4、完成紧致的深度图卷积神经网络模型重训，即利用训练数据标签重新训练所得到的紧致的深度图卷积神经网络模型，输出最终网络模型。

进一步地，所述步骤1具体包括：

对原预训练的深度图卷积神经网络模型中的每一个考虑剪枝的网络结构记为f(x)，首先随机初始化一个[0,1]之间的浮点值作为掩码，记为m，然后给网络结构f(x)添加上掩码m的约束，得到受约束的网络结构：

其中，x为该网络结构的输入值，f(x)表示原网络结构输出的值，m为网络结构对应的掩码值，F(x)为添加掩码约束后的网络结构的输出值；当原预训练的深度图卷积神经网络模型中所有考虑剪枝的网络结构都添加完掩码时，就得到了掩码数组M以及待剪枝深度图卷积神经网络模型，记为

进一步地，步骤2还包括以下步骤：

使用训练数据训练待剪枝深度图卷积神经网络模型

进行网络参数W以及掩码数组M的权值更新；

判断网络模型是否收敛至最优解，如果没有收敛至最优解，则继续训练，如果收敛至最优解，则获得最终固定的掩码数组。

本发明还提供了一种基于掩码的深度图卷积神经网络模型剪枝系统，其特征在于其特征在于，该系统包括：获取单元、提取单元、剪枝单元、输出单元；

所述获取单元用于获取待剪枝深度图卷积神经网络模型，对原预训练的深度图卷积神经网络模型中所考虑剪枝的网络结构添加掩码约束形成待剪枝深度图卷积神经网络模型，其中所添加的掩码记录着该网络结构的重要性；

所述提取单元用于提取掩码信息，利用训练数据标签训练待剪枝深度图卷积神经网络模型，通过在目标函数添加掩码的稀疏性约束使得掩码权值稀疏化，训练结束时得到模型的最终掩码信息；

所述剪枝单元用于模型剪枝，根据最终模型的掩码信息，对权值为0的掩码所对应的网络结构进行剪枝，得到紧致的深度图卷积神经网络模型；

所述输出单元用于进行紧致的深度图卷积神经网络模型重训，利用训练数据标签重新训练所得到的紧致的深度图卷积神经网络模型，输出最终网络模型。

进一步地，所述获取单元的作用是:

对原预训练的深度图卷积神经网络模型中的每一个考虑剪枝的网络结构记为f(x)，首先随机初始化一个[0,1]之间的浮点值作为掩码，记为m，然后给网络结构f(x)添加上掩码m的约束，得到受约束的网络结构：

其中，x为该网络结构的输入值，f(x)表示原网络结构输出的值，m为网络结构对应的掩码值，F(x)为添加掩码约束后的网络结构的输出值。当原预训练的深度图卷积神经网络模型中所有考虑剪枝的网络结构都添加完掩码时，就得到了掩码数组M以及待剪枝深度图卷积神经网络模型，记为

进一步地，所述提取单元的作用是：

使用训练数据训练待剪枝深度图卷积神经网络模型

进行网络参数W以及掩码数组M的权值更新；

判断网络模型是否收敛至最优解，如果没有收敛至最优解，则继续训练，如果收敛至最优解，则获得最终固定的掩码数组。

本发明的有益效果是：通过给深度图卷积神经网络模型添加全局掩码约束，根据掩码信息进行冗余网络结构的筛选，从而从原预训练的深度图卷积神经网络模型中移除掉冗余网络的结构，实现在保证网络性能的同时大大减小网络模型的大小，并加速网络模型的运行时间。

附图说明

本发明的上述和/或附加方面的优点在结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是一个实施例的基于掩码的深度图卷积神经网络模型剪枝方法示意流程图。

图2是一个实施例的给深度图卷积神经网络模型的待剪枝网络结构添加掩码示意图。

图3是一个实施例的基于掩码的深度图卷积神经网络模型剪枝系统示意框图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互结合。

在下面的描述中，阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

如图1所示，一种基于掩码约束的深度图卷积神经网络模型剪枝方法，包括如下步骤：

步骤1、获取待剪枝深度图卷积神经网络模型

对原预训练的深度图卷积神经网络模型中所考虑剪枝的网络结构添加掩码约束形成待剪枝深度图卷积神经网络模型。

如图2所示，可以将x记为该网络结构的输入值，f(x)为该网络结构的输出值，掩码值记为m，添加掩码约束后的网络结构的新输出值记为F(x)，可得到添加掩码的公式：

这时可以得到下一个网络结构的输入：

m随机初始化为[0-1]之间的值，当掩码值m为0时，此时F(x)的值也为0，下一个网络结构的输入f₁(x)为x，此时可以理解为该网络结构在模型中没有贡献，是冗余的。当原预训练的深度图卷积神经网络模型中所有考虑剪枝的网络结构都添加完掩码时，就得到了掩码数组M以及待剪枝深度图卷积神经网络模型，记为

步骤2、提取掩码信息

使用训练集训练待剪枝深度图卷积神经网络模型，进行网络参数W以及掩码数组M的权值更新，神经网络模型在训练时添加正则项可以得到稀疏的权值，为了得到稀疏的掩码数组，训练时在目标函数中添加掩码数组的正则项。

其中，对于原网络参数W使用随机梯度下降算法进行更新，对于掩码数组M，使用快速的迭代阈值收缩算法进行更新，其中快速的迭代阈值收缩算法有利于掩码权值快速收敛到0值。

然后判断网络模型是否收敛至最优解，如果没有收敛至最优解，则继续训练，如果收敛至最优解，则获得最终固定的掩码数组。

步骤3、模型剪枝

依次判断掩码数组M中的各个掩码值是否为0。假设掩码数组M＝{m₁,m₂,m₃,…,m_n}，掩码数组中所对应的考虑剪枝的网络结构集合为F＝{f₁,f₂,f₃,…,f_n}，若其中掩码m₂权值为0，即将掩码m₂对应的网络结构f₂从网络模型中移除.在移除完所有的冗余网络结构之后，即得到了紧致的深度图卷积神经网络模型。

步骤4、紧致的深度图卷积神经网络模型重训

重新训练剪枝后的网络模型，寻找网络模型的最优解。

在保留下来的网络参数和掩码数组的基础上，使用训练集重新训练网络模型。保持掩码数组不更新，使用随机梯度下降算法更新网络参数的权值。判断网络模型是否收敛至最优解，如果没有收敛至最优解，则重新进行训练步骤，如果收敛至最优解，即获得最终的网络模型。

如图3所示，该实施例还提供了一种基于掩码的深度图卷积神经网络模型剪枝系统，其包括：获取单元、提取单元、剪枝单元、输出单元；

所述获取单元用于获取待剪枝深度图卷积神经网络模型，对原预训练的深度图卷积神经网络模型中所考虑剪枝的网络结构添加掩码约束形成待剪枝深度图卷积神经网络模型；

具体地，将x记为该网络结构的输入值，f(x)为该网络结构的输出值，掩码值记为m，添加掩码约束后的网络结构的新输出值记为F(x)，可得到添加掩码的公式：

这时可以得到下一个网络结构的输入：

m随机初始化为[0-1]之间的值，当掩码值m为0时，此时F(x)的值也为0，下一个网络结构的输入f₁(x)为x，此时可以理解为该网络结构在模型中没有贡献，是冗余的。当原预训练的深度图卷积神经网络模型中所有考虑剪枝的网络结构都添加完掩码时，就得到了掩码数组M以及待剪枝深度图卷积神经网络模型，记为

所述提取单元用于提取掩码信息，利用训练数据标签训练待剪枝深度图卷积神经网络模型，通过在目标函数添加掩码的稀疏性约束使得掩码权值稀疏化，得到模型的最终掩码信息；

具体地，对于原网络参数W使用随机梯度下降算法进行更新，对于掩码数组M，使用快速的迭代阈值收缩算法进行更新，其中快速的迭代阈值收缩算法有利于掩码权值快速收敛到0值。

然后判断网络模型是否收敛至最优解，如果没有收敛至最优解，则继续训练，如果收敛至最优解，则获得最终固定的掩码数组。

所述剪枝单元用于模型剪枝，根据最终模型的掩码信息，对权值为0的掩码所对应的网络结构进行剪枝，得到紧致的深度图卷积神经网络模型；

具体地，依次判断掩码数组M中的各个掩码值是否为0。假设掩码数组M＝{m₁,m₂,m₃,…,m_n}，掩码数组中所对应的考虑剪枝的网络结构集合为F＝{f₁,f₂,f₃,…,f_n}，若其中掩码m₂权值为0，即将掩码m₂对应的网络结构f₂从网络模型中移除.在移除完所有的冗余网络结构之后，即得到了紧致的深度图卷积神经网络模型。

所述输出单元用于进行紧致的深度图卷积神经网络模型重训，利用训练数据标签重新训练所得到的紧致的深度图卷积神经网络模型，输出最终网络模型。

具体地，在保留下来的网络参数和掩码数组的基础上，使用训练集重新训练网络模型。保持掩码数组不更新，使用随机梯度下降算法更新网络参数的权值。判断网络模型是否收敛至最优解，如果没有收敛至最优解，则重新进行训练步骤，如果收敛至最优解，即获得最终的网络模型。

本发明中的步骤可根据实际需求进行顺序调整、合并和删减。

尽管参考附图详地公开了本发明，但应理解的是，这些描述仅仅是示例性的，并非用来限制本发明的应用。本发明的保护范围由附加权利要求限定，并可包括在不脱离本发明保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

Claims (6)

1.一种基于掩码的深度图卷积神经网络模型剪枝方法，其特征在于其特征在于，包括如下步骤：

步骤1、获取待剪枝深度图卷积神经网络模型，即对原预训练的深度图卷积神经网络模型中需要考虑剪枝的网络结构添加掩码约束，形成待剪枝深度图卷积神经网络模型，其中，添加的掩码用于记录网络结构的重要性；

步骤2、提取掩码信息，即利用训练数据标签训练待剪枝深度图卷积神经网络模型，通过在目标函数添加掩码的稀疏性约束使得掩码权值稀疏化，训练结束时得到模型的最终掩码信息；

步骤3、完成模型剪枝，即根据模型最终的掩码信息，对权值为0的掩码所对应的网络结构进行剪枝，得到紧致的深度图卷积神经网络模型；

步骤4、完成紧致的深度图卷积神经网络模型重训，即利用训练数据标签重新训练所得到的紧致的深度图卷积神经网络模型，输出最终网络模型。

2.如权利要求1所述的基于掩码的深度图卷积神经网络模型剪枝方法，其特征在于，所述步骤1具体包括：

对原预训练的深度图卷积神经网络模型中的每一个考虑剪枝的网络结构记为f(x)，首先随机初始化一个[0，1]之间的浮点值作为掩码，记为m，然后给网络结构f(x)添加上掩码m的约束，得到受约束的网络结构：

其中，x为该网络结构的输入值，f(x)表示原网络结构输出的值，m为网络结构对应的掩码值，F(x)为添加掩码约束后的网络结构的输出值；当原预训练的深度图卷积神经网络模型中所有考虑剪枝的网络结构都添加完掩码时，就得到了掩码数组M以及待剪枝深度图卷积神经网络模型，记为

3.如权利要求2所述的基于掩码的深度图卷积神经网络模型剪枝方法，其特征在于，步骤2还包括以下步骤：

使用训练数据训练待剪枝深度图卷积神经网络模型

进行网络参数W以及掩码数组M的权值更新；

判断网络模型是否收敛至最优解，如果没有收敛至最优解，则继续训练，如果收敛至最优解，则获得最终固定的掩码数组。

4.一种基于掩码的深度图卷积神经网络模型剪枝系统，其特征在于其特征在于，该系统包括：获取单元、提取单元、剪枝单元、输出单元；

所述获取单元用于获取待剪枝深度图卷积神经网络模型，对原预训练的深度图卷积神经网络模型中所考虑剪枝的网络结构添加掩码约束形成待剪枝深度图卷积神经网络模型，其中所添加的掩码记录着该网络结构的重要性；

所述提取单元用于提取掩码信息，利用训练数据标签训练待剪枝深度图卷积神经网络模型，通过在目标函数添加掩码的稀疏性约束使得掩码权值稀疏化，训练结束时得到模型的最终掩码信息；

所述剪枝单元用于模型剪枝，根据最终模型的掩码信息，对权值为0的掩码所对应的网络结构进行剪枝，得到紧致的深度图卷积神经网络模型；

所述输出单元用于进行紧致的深度图卷积神经网络模型重训，利用训练数据标签重新训练所得到的紧致的深度图卷积神经网络模型，输出最终网络模型。

5.如权利要求4所述的基于掩码的深度图卷积神经网络模型剪枝系统，其特征在于，所述获取单元的作用是：

对原预训练的深度图卷积神经网络模型中的每一个考虑剪枝的网络结构记为f(x)，首先随机初始化一个[0，1]之间的浮点值作为掩码，记为m，然后给网络结构f(x)添加上掩码m的约束，得到受约束的网络结构：

其中，x为该网络结构的输入值，f(x)表示原网络结构输出的值，m为网络结构对应的掩码值，F(x)为添加掩码约束后的网络结构的输出值。当原预训练的深度图卷积神经网络模型中所有考虑剪枝的网络结构都添加完掩码时，就得到了掩码数组M以及待剪枝深度图卷积神经网络模型，记为

6.如权利要求4所述的基于掩码的深度图卷积神经网络模型剪枝系统，其特征在于，所述提取单元的作用是：

使用训练数据训练待剪枝深度图卷积神经网络模型

进行网络参数W以及掩码数组M的权值更新；

判断网络模型是否收敛至最优解，如果没有收敛至最优解，则继续训练，如果收敛至最优解，则获得最终固定的掩码数组。

Images