CN110659734B - 深度可分离卷积结构的低比特量化方法 - Google Patents

Abstract

一种深度可分离卷积结构的低比特量化方法，该方法包括：选择量化系数对训练结束的深度可分离卷积神经网络的权重和特征图数据进行均匀量化；对训练结束的深度可分离卷积神经网络中的权重进行逐通道量化；利用特征图数据对深度可分离卷积神经网络进行逐层量化；基于训练集在训练结束的深度可分离卷积神经网络中进行前向运算，并对批量归一化层中的滑动平均参数进行更新；将更新后的批量归一化层中的滑动平均参数和可学习的参数融合到网络权重量化系数和偏置中，实现深度可分离卷积结构的低比特量化。本发明提供的深度可分离卷积结构的低比特量化方法无需任何有标签数据参与、计算简单且与传统方法相比提高了低比特量化后的准确率。

Description

深度可分离卷积结构的低比特量化方法

技术领域

本发明涉及深度学习和人工智能领域，尤其涉及用于一种深度可分离卷积结构的低比特量化方法。

背景技术

自2012年以来，深度卷积神经网络(CNN)在图像分类、图像分割、目标检测等计算机视觉领域获得广泛应用。在利用深度卷积神经网络解决问题时人们常常倾向于设计更为复杂的网络以期获得更高的性能。随之而来的是模型的复杂度极具提升，给嵌入式端模型的存储带来了很大的挑战，同时模型推理时间越来越长，延迟越来越大，给深度卷积神经网络在终端智能设备上的推广带来了很大的挑战。例如经典的网络模型VGG-16模型权值大小达到528M，在一般的智能手机上识别一张图像的时间高达3000+ms。

将深度卷积神经网络部署在嵌入式设备上能够大大减轻服务器的运算压力以及带宽压力。低比特量化是硬件上常用的一种提高乘加运算效率的方法，由于卷积神经网络的预测精度对参数变化不敏感，近年来低比特量化逐渐被用于硬件加速深度卷积神经网络。然而，直接对网络进行低比特量化会大大降低网络的精度，尤其是对于含有深度可分离卷积结构的网络，如MobileNet，ShuffleNet等，为了恢复网络精度，通常需要对量化后的网络重新进行训练并微调，耗费大量时间与资源。

发明内容

(一)要解决的技术问题

本发明的目的在于提供一种深度可分离卷积结构的低比特量化方法，以解决对网络进行低比特量化时网络精度下降的问题。

(二)技术方案

本发明提供了一种深度可分离卷积结构的低比特量化方法流程图，该方法包括以下步骤：

步骤1：选择量化系数对训练结束的深度可分离卷积神经网络的权重和特征图数据进行均匀量化，使得量化前后权重和特征图数据的最小均方误差最小；

步骤11：根据训练结束的深度可分离卷积神经网络中的权重、特征图数据分布和网络量化位数n，均匀构造量化系数表，构造方式为将数据绝对值的最大值均匀分为m份，第i个量化系s_i数值为：

假如深度可分离卷积神经网络中的权重、特征图数据非负，将这m个量化系数作为最终的量化系数表，否则，将m个量化系数的负值也加入表中作为最终的量化系数表；

步骤12：基于构造的量化系数表，分别对训练结束的深度可分离卷积神经网络的权重、特征图数据进行均匀量化，求解量化前后数据均方误差，并将最小均方误差对应的量化系数作为最终的量化系数，其中，对训练结束的深度可分离卷积神经网络中的权重、特征图数据采用的均匀量化方式如下：

首先将原始训练结束的深度可分离卷积神经网络中的权重、特征图数据除以量化系数并取整，取整方式为四舍五入，

其中，s表示量化系数，x表示训练结束的深度可分离卷积神经网络中的权重、特征图数据，y为计算的中间变量；

对量化后的深度可分离卷积神经网络中的权重、特征图数据根据网络量化位数进行截断，假如量化后的数据非负，截断方式为，

z＝max(min(y，2^n-1-1)，0)

否则，截断方式为，

z＝max(min(y，2^n-1-1)，-2^n-1)

其中，z为计算的中间变量，n表示网络量化位数。

然后将截断后的数据乘以量化系数s作为原始数据的近似值，

x_q＝s*z

其中，x_q表示原始数据的近似值。

步骤2：对训练结束的深度可分离卷积神经网络中的权重进行逐通道量化。

步骤21：将训练结束的深度可分离卷积神经网络中的四维权重张量按照输出通道分组。

在本发明中，采用的深度可分离卷积神经网络如图2所示，包括逐通道卷积(Depthwise Convolution)和逐点卷积(Pointwise Convolution)。

步骤22：利用一维线性搜索算法，对每个通道的三维权重张量分别选择合适的量化系数；

步骤23：利用上述量化系数，分别对每个通道的三维权重张量进行量化，并将量化系数和量化过程中截断后的n位整数存储下来。

步骤3：输入图片，在训练结束的深度可分离卷积神经网络中进行前向运算，得到深度可分离卷积神经网络的特征图数据，并利用特征图数据对深度可分离卷积神经网络进行逐层量化；

步骤31：将少量与所述深度可分离卷积神经网络应用场景相似的图片按照网络输入要求进行处理并送入网络进行前向运算，得到网络中每一层输出特征图数据；

在本发明中，为保证网络中每一层输出特征图数据分布范围具有代表性，用于前向运算的图片应该与网络实际应用场景接近，并且保证应用场景丰富，例如用于目标识别的分类网络，图片种类应该尽可能丰富，避免局限于少数类别，影响网络量化系数的估计。

步骤32：利用一维线性搜索算法，对深度可分离卷积神经网络中每一层特征图数据分别选择合适的量化系数，并将量化系数存储下来。

步骤4：基于训练集在训练结束的深度可分离卷积神经网络中进行前向运算，并对批量归一化层中的滑动平均参数进行更新。

步骤41：将收集得到的少量数据集作为训练集，不需要对数据提供标签。对其进行在线数据增广，构建批次大小为512的数据队列，其中采用的数据增广方式有：随机裁剪、随机翻转、随机亮度变化、随机饱和度变化、随机色调变化或随机透明度变化。

步骤42：将上述数据队列中的数据送入训练结束的深度可分离卷积神经网络中，在训练结束的深度可分离卷积神经网络中进行前向运算，并更新训练结束的深度可分离卷积神经网络中批量归一化层中的滑动平均参数，包括均值与方差。

步骤5：将更新后的批量归一化层中的滑动平均参数和可学习的参数融合到训练结束的深度可分离卷积神经网络的权重量化系数和偏置中，实现深度可分离卷积结构的低比特量化。进行参数融合采用以下公式实现：

其中，s表示深度可分离卷积神经网络的权重量化系数，b表示偏置，γ和β表示批量归一化层中可学习的参数，μ和σ表示当前节点的均值和标准差，训练时可通过滑动平均得到，ε为防止除零产生错误而设置的一个小数，通常设置为10^-5。

(三)有益效果

1、本发明提供的深度可分离卷积结构的低比特量化方法，与传统方法相比，由于对深度可分离卷积神经网络中的权重进行逐通道量化、利用特征图数据对深度可分离卷积神经网络进行逐层量化、对深度可分离卷积神经网络中批量归一化层中的滑动平均参数进行更新的操作，使得本发明低比特量化后网络的准确率大幅提升；

2、本发明提供的深度可分离卷积结构的低比特量化方法，是在训练结束后完成，无需任何有标签数据参与，减少了收集数据的工作量；

3、本发明提供的深度可分离卷积结构的低比特量化方法，在实现过程没有引入新的计算困难，便于实现和应用。

附图说明

图1是依照本发明实施例的深度可分离卷积结构的低比特量化方法流程图；

图2是依照本发明实施例的深度可分离卷积神经网络示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

如图1所示，图1是依照本发明实施例的深度可分离卷积结构的低比特量化方法流程图，该方法包括以下步骤：

步骤1：选择量化系数对训练结束的深度可分离卷积神经网络的权重和特征图数据进行均匀量化，使得量化前后权重和特征图数据的最小均方误差最小；

步骤2：对训练结束的深度可分离卷积神经网络中的权重进行逐通道量化；

步骤3：输入图片，在训练结束的深度可分离卷积神经网络中进行前向运算，得到深度可分离卷积神经网络的特征图数据，并利用特征图数据对深度可分离卷积神经网络进行逐层量化；

步骤4：基于训练集在训练结束的深度可分离卷积神经网络中进行前向运算，并对批量归一化层中的滑动平均参数进行更新；

步骤5：将更新后的批量归一化层中的滑动平均参数和可学习的参数融合到网络权重量化系数和偏置中，实现深度可分离卷积结构的低比特量化。

结合实施例，以下分别对本发明的主要步骤进行详细说明。

步骤1中所述选择量化系数对训练结束的深度可分离卷积神经网络的权重和特征图数据进行均匀量化，使得量化前后权重和特征图数据的最小均方误差最小，具体包括：

步骤11：根据训练结束的深度可分离卷积神经网络中的权重、特征图数据分布和网络量化位数n，均匀构造量化系数表，构造方式为将数据绝对值的最大值均匀分为m份，第i个量化系s_i数值为：

假如深度可分离卷积神经网络中的权重、特征图数据非负，将这m个量化系数作为最终的量化系数表，否则，将m个量化系数的负值也加入表中作为最终的量化系数表；

步骤12：基于构造的量化系数表，分别对训练结束的深度可分离卷积神经网络的权重、特征图数据进行均匀量化，求解量化前后数据均方误差，并将最小均方误差对应的量化系数作为最终的量化系数，其中，对训练结束的深度可分离卷积神经网络中的权重、特征图数据采用的均匀量化方式如下：

首先将原始训练结束的深度可分离卷积神经网络中的权重、特征图数据除以量化系数并取整，取整方式为四舍五入，

其中，s表示量化系数，x表示训练结束的深度可分离卷积神经网络中的权重、特征图数据，少为计算的中间变量；

对量化后的深度可分离卷积神经网络中的权重、特征图数据根据网络量化位数进行截断，假如量化后的数据非负，截断方式为，

z＝max(min(y，2^n-1-1)，0)

否则，截断方式为，

z＝max(min(y，2^n-1-1)，-2^n-1)

其中，z为计算的中间变量，n表示网络量化位数。

然后将截断后的数据乘以量化系数s作为原始数据的近似值，

x_q＝s*z

其中，x_q表示原始数据的近似值。

步骤2中所述对训练结束的深度可分离卷积神经网络中的权重进行逐通道量化，具体包括：

步骤21：将训练结束的深度可分离卷积神经网络中的四维权重张量按照输出通道分组。

在本发明中，采用的深度可分离卷积神经网络如图2所示，包括逐通道卷积(Depthwise Convolution)和逐点卷积(Pointwise Convolution)。

步骤22：利用一维线性搜索算法，对每个通道的三维权重张量分别选择合适的量化系数；

步骤23：利用上述量化系数，分别对每个通道的三维权重张量进行量化，并将量化系数和量化过程中截断后的n位整数存储下来。

步骤3中所述输入图片，在训练结束的深度可分离卷积神经网络中进行前向运算，得到深度可分离卷积神经网络的特征图数据，并利用特征图数据对深度可分离卷积神经网络进行逐层量化，具体包括：

步骤31：将少量与所述深度可分离卷积神经网络应用场景相似的图片按照网络输入要求进行处理并送入网络进行前向运算，得到网络中每一层输出特征图数据；

在本发明中，为保证网络中每一层输出特征图数据分布范围具有代表性，用于前向运算的图片应该与网络实际应用场景接近，并且保证应用场景丰富，例如用于目标识别的分类网络，图片种类应该尽可能丰富，避免局限于少数类别，影响网络量化系数的估计。

步骤32：利用一维线性搜索算法，对深度可分离卷积神经网络中每一层特征图数据分别选择合适的量化系数，并将量化系数存储下来。

步骤4中所述基于训练集在训练结束的深度可分离卷积神经网络中进行前向运算，并对批量归一化层中的滑动平均参数进行更新，具体包括：

步骤41：将收集得到的少量数据集作为训练集，不需要对数据提供标签。对其进行在线数据增广，构建批次大小为512的数据队列，其中采用的数据增广方式有：随机裁剪、随机翻转、随机亮度变化、随机饱和度变化、随机色调变化或随机透明度变化。

步骤42：将上述数据队列中的数据送入训练结束的深度可分离卷积神经网络中，在训练结束的深度可分离卷积神经网络中进行前向运算，并更新训练结束的深度可分离卷积神经网络中批量归一化层中的滑动平均参数，包括均值与方差。

步骤5中所述将更新后的批量归一化层中的滑动平均参数和可学习的参数融合到训练结束的深度可分离卷积神经网络的权重量化系数和偏置中，采用以下公式实现：

其中，s表示深度可分离卷积神经网络的权重量化系数，b表示偏置，γ和β表示批量归一化层中可学习的参数，μ和σ表示当前节点的均值和标准差，训练时可通过滑动平均得到，ε为防止除零产生错误而设置的一个小数，通常设置为10^-5。在常用图像分类数据库ImageNet上训练得到的MobileNet进行4bit量化，直接对网络进行量化后的分类准确率为0.48％(接近于0)，采用本发明提供的方法对MobileNet进行量化后准确率提升至52.184％，准确率得到了大幅度提升。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种深度可分离卷积结构的低比特量化方法，其特征在于，该方法包括：

选择量化系数对训练结束的深度可分离卷积神经网络的权重和特征图数据进行均匀量化，使得量化前后权重和特征图数据的最小均方误差最小；

对训练结束的深度可分离卷积神经网络中的权重进行逐通道量化；

输入图片，在训练结束的深度可分离卷积神经网络中进行前向运算，得到深度可分离卷积神经网络的特征图数据，并利用特征图数据对深度可分离卷积神经网络进行逐层量化；

基于训练集在训练结束的深度可分离卷积神经网络中进行前向运算，并对批量归一化层中的滑动平均参数进行更新；以及

将更新后的批量归一化层中的滑动平均参数和可学习的参数融合到网络权重量化系数和偏置中，实现深度可分离卷积结构的低比特量化。

2.根据权利要求1所述的深度可分离卷积结构的低比特量化方法，其特征在于，所述选择量化系数对训练结束的深度可分离卷积神经网络的权重和特征图数据进行均匀量化，使得量化前后权重和特征图数据的最小均方误差最小，包括：

根据训练结束的深度可分离卷积神经网络中的权重x、特征图数据分布和网络量化位数n，均匀构造量化系数表，构造方式为将数据绝对值的最大值均匀分为m份，第i个量化系数值s_i为：

假如训练结束的深度可分离卷积神经网络中的权重x、特征图数据非负，将这m个量化系数作为最终的量化系数表，否则，将m个量化系数的负值也加入表中作为最终的量化系数表；

基于构造的量化系数表，分别对训练结束的深度可分离卷积神经网络中的权重、特征图数据进行均匀量化，求解量化前后数据均方误差，并将最小均方误差对应的量化系数作为最终的量化系数。

3.根据权利要求2所述的深度可分离卷积结构的低比特量化方法，其特征在于，所述对训练结束的深度可分离卷积神经网络中的权重、特征图数据进行均匀量化包括：

首先将原始的训练结束的深度可分离卷积神经网络中的权重、特征图数据除以量化系数并取整，取整方式为四舍五入，

其中，s表示量化系数，x表示训练结束的深度可分离卷积神经网络中的权重、特征图数据，y为计算的中间变量；

对量化后的深度可分离卷积神经网络中的权重、特征图数据根据网络量化位数进行截断，假如量化后的数据非负，截断方式为：

z＝max(min(y，2^n-1-1)，0)

否则，截断方式为，

z＝max(min(y，2^n-1-1)，-2^n-1)

其中，z为计算的中间变量，n表示网络量化位数；

最后将截断后的数据乘以量化系数s作为原始数据的近似值：

x_q＝s*z

其中，x_q表示原始数据的近似值。

4.根据权利要求1所述的深度可分离卷积结构的低比特量化方法，其特征在于，所述对训练结束的深度可分离卷积神经网络中的权重进行逐通道量化，包括：

将训练结束的深度可分离卷积神经网络中的四维权重张量按照输出通道分组；

利用一维线性搜索算法，对每个通道的三维权重张量分别选择量化系数；以及

利用上述量化系数，分别对每个通道的三维权重张量进行量化，并将量化系数和量化过程中截断后的n位整数存储下来。

5.根据权利要求1所述的深度可分离卷积结构的低比特量化方法，其特征在于，所述输入图片，在训练结束的深度可分离卷积神经网络中进行前向运算，得到深度可分离卷积神经网络的特征图数据，并利用特征图数据对深度可分离卷积神经网络进行逐层量化，包括：

将数据集中的图片按照网络输入要求进行处理并送入深度可分离卷积神经网络的输入端，进行深度可分离卷积神经网络的前向计算，得到深度可分离卷积神经网络中每一层输出特征图数据；以及

利用一维线性搜索算法，对深度可分离卷积神经网络中每一层特征图数据分别选择量化系数，并将量化系数存储下来。

6.根据权利要求1所述的深度可分离卷积结构的低比特量化方法，其特征在于，所述基于训练集在训练结束的深度可分离卷积神经网络中进行前向运算，并对批量归一化层中的滑动平均参数进行更新，包括：

将收集得到的数据集作为训练集，不需要对数据提供标签，对训练集进行在线数据增广，构建批次大小为512的数据队列；以及

将上述数据队列中的数据送入训练结束的深度可分离卷积神经网络中，在训练结束的深度可分离卷积神经网络中进行前向运算，并更新训练结束的深度可分离卷积神经网络中批量归一化层中的滑动平均参数，包括均值与方差。

7.根据权利要求6所述的深度可分离卷积结构的低比特量化方法，其特征在于，所述对训练集进行在线数据增广，采用的方式包括：随机裁剪、随机翻转、随机亮度变化、随机饱和度变化、随机色调变化或随机透明度变化。

8.根据权利要求1所述的深度可分离卷积结构的低比特量化方法，其特征在于，将更新后的批量归一化层中的滑动平均参数和可学习的参数融合到训练结束的深度可分离卷积神经网络的权重量化系数和偏置中，采用以下公式实现：

其中，s表示深度可分离卷积神经网络的权重量化系数，b表示偏置，γ和β表示批量归一化层中可学习的参数，μ和σ表示当前节点的均值和标准差，训练时可通过滑动平均得到，ε为防止除零产生错误而设置的一个小数，设置为10^-5。

Images