CN110942148A

CN110942148A - 一种自适应的非对称量化的深度神经网络模型压缩方法

Info

Publication number: CN110942148A
Application number: CN201911269550.2A
Authority: CN
Inventors: 张丽; 潘何益
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2019-12-11
Filing date: 2019-12-11
Publication date: 2020-03-31
Anticipated expiration: 2039-12-11
Also published as: CN110942148B

Abstract

本发明公开了一种自适应的非对称量化的深度神经网络模型压缩方法，该方法包括：在深度神经网络训练时，每一个批次的训练过程，在前向传播开始计算之前，将网络的每一层浮点权重自适应的量化为非对称的三元或四元值；并在反向传播更新参数阶段，使用原始的浮点型网络权重进行参数更新；最后对训练完成的量化深度神经网络进行压缩存储。本发明降低了深度神经网络的参数冗余程度，并对剩余参数实现自适应的量化，对网络模型进行极大限度的压缩，提升了量化方法在深度网络及大数据集上的识别准确率。

Description

一种自适应的非对称量化的深度神经网络模型压缩方法

技术领域

本发明涉及深度神经网络模型压缩技术领域，尤其涉及一种自适应的非对称量化的深度神经网络模型压缩方法。

背景技术

近些年，深度学习逐渐替代了传统机器学习在日常生活中的应用，诸如语音识别、图像分类、机器翻译等一系列机器学习任务中，深度神经网络都取得了一定成果。但是，经典的深度神经网络模型，由于其厚重的层级结构带来数以百万计的浮点网络参数运算量，使得大多数网络难以部署到移动设备、嵌入式设备当中并保持良好的处理性能。而如何极大限度压缩神经网络参数并保证不低于原网络识别性能逐渐成为当前深度学习的重要研究方向。

目前，针对模型参数冗余性的深度模型压缩方法分为两种，早在ICLR2016获得最佳论文奖的Deep Compression中便对这两种方法做了详尽的解释。其一是基于参数修剪的技术(也被称为网络剪枝)，其通过分析网络结构的重要性，将不重要的网络结构剪掉，来削减模型参数的冗余性。其二是基于参数量化的技术，其将32bit浮点权重，量化到1-bit、2-bit的有限数值，以此降低模型参数占用的内存。较为典型的有二值权重网络(BinaryWeight Network，BWN)、三值权重网络(Ternary Weight Network，TWN)，但上述算法选用的量化阈值都存在近似计算，存在一定的不可解释性。

目前最新的对称三元量化训练算法(Trained Ternary Quantization，TTQ)会将网络权重根据固定的阈值，量化到可训练的浮点三元值{+α,0,+β}，其将三元值纳入损失计算，实现了可解释的三元值量化，但对于2-bit的参数空间存在25％的参数空间浪费的问题。

目前最新的非对称三元量化算法(Asymmetric Ternary Networks，ATNs)会将网络权重根据非对称的阈值因子，量化到非对称的三元值{-α，0，+α}，其采用的量化算法为：

在量化算法的设定上，其认为经过训练，网络的正负权重不满足相同的分布，但申请人认为当正负权重分布的不均匀程度过大时，会对非对称三元量化值的表征能力起反作用。

发明内容

针对上述现有技术中存在的不足之处，本发明提供一种自适应的非对称量化的深度神经网络模型压缩方法，以解决使用假设场景的近似计算获得阈值带来的不稳定性；使用三元值量化所导致的表征能力不足的问题；以及三元值压缩至2-bit导致的参数空间利用率低的问题。

针对上述问题，为了避免三元值在某些情况下表征能力不足的问题，本发明提出在一定情况下采用非对称的四元值进行量化，在一般情况下仍采用非对称的三元值进行量化的解决方案。为了避免近似计算取得量化缩放因子所带来的不稳定性，本发明提出采用可训练的多元量化缩放因子的解决方案。

具体地，该自适应的非对称量化的深度神经网络模型压缩方法包括：

在深度神经网络训练时，对于每一批次的训练过程，在前向传播开始计算之前，将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值；

在反向传播更新参数阶段，使用原始的浮点型网络权重进行参数更新；

对训练完成的量化深度神经网络进行压缩存储。

其中，在将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值时，自适应量化的三元值的表达式如下：

其中，

表示对应的缩放因子，W₁表示当前待量化的浮点权重，

表示量化过程中采用的阈值。

其中，在将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值时，自适应量化的四元值的表达式如下：

其中，

表示对应的缩放因子，W₁表示当前待量化的浮点权重，

表示量化过程中采用的阈值。

其中，在将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值时，所述方案还包括：

采用L2范式最小来降低量化过程所带来的损失，公式如下：

其中，

表示对应的缩放因子，W₁表示当前待量化的浮点权重,

表示自适应量化的三元值或四元值。

其中，所述参数更新为：

采用损失计算的方式，使用可训练的多元量化缩放因子，在预设值的基础上进行更新，公式如下：

其中，

表示对应的缩放因子。

其中，所述

和

的表达式分别如下：

其中，t为预设的固定阈值。

其中，在将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值时，所述方法包括：

若正负两侧量化阈值的相似程度差距不超过预设差距值，则自适应的采用非对称的三元量化方案将相应的浮点权重自适应的量化为非对称三元值；

若正负两侧量化阈值的相似程度差距超过预设差距值，则自适应的采用非对称的四元量化方案将相应的浮点权重自适应的量化为非对称四元值。

其中，所述对训练完成的量化深度神经网络进行压缩存储为：

采用2-bit编码技术对训练完成的量化深度神经网络进行压缩存储。

本发明采用阈值分割的方式，根据当前正负权重分布来确认量化方案，并根据固定阈值及正负权重分布来确定量化方案采用的量化阈值，然后对应量化阈值的相关关系及量化方案，对权重进行可训练的非对称多元量化获得特征表达能力更强的量化深度神经网络。本发明有效降低了深度神经网络的参数冗余程度，并对剩余参数实现自适应的量化，可以对网络模型进行极大限度的压缩，有效提升了量化方法在深度网络及大数据集上的识别准确率。

附图说明

图1为本发明实施例提供的自适应的非对称量化的深度神经网络模型压缩方法的流程示意图；

图2为本发明实施例提供的量化网络训练流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本实施例提供一种自适应的非对称量化的深度神经网络模型压缩方法，该方法包括以下步骤：

S101，在深度神经网络训练时，对于每一批次的训练过程，在前向传播开始计算之前，将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值；

S102，在反向传播更新参数阶段，使用原始的浮点型网络权重进行参数更新；

S103,对训练完成的量化深度神经网络进行压缩存储。

具体地，本实施例的自适应的非对称量化的深度神经网络模型压缩方法包括三个过程，下面分别一一进行详细阐述：

一、自适应的非对称量化网络量化过程：

在将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值时，自适应量化的三元值的表达式如下：

在将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值时，自适应量化的四元值的表达式如下：

其中，

表示对应的缩放因子，用来减少量化过程带来的损失。W₁表示当前待量化的浮点权重，

表示量化过程中采用的阈值，任意的浮点数可根据其范围分配到不用的三元或四元值当中。在上面设置的阈值方法中，存在

五个独立的参数因子。

采用L2范式最小来降低量化过程所带来的损失，公式如下：

采用固定的阈值t分别计算正负方向两侧的量化阈值，所述

和

的表达式分别如下：

网络权重W₁经过训练之后其正负值仍然满足基本的正态分布，但不够均匀，遂采用阈值因子tq作为正负两侧量化阈值的相似程度，差距较大时，自适应的采用非对称的四元量化方案。

对于给定阈值因子tq，自适应量化方案标志位W_flag为：

then选择三元非对称量化方法，且W_flag置0

then选择四元非对称量化方法，且W_flag置1

对于四元对称量化方案，及任一量化阈值

自适应量化方案标志位W_flag应按照如下公式更新：

then W_flag置1

then W_flag置-1

最终结合上述公式，即可从原有的浮点型权重当中，自适应的量化得到适合的非对称三元或四元权重值，实现网络权重的离散化处理。

二、自适应的非对称量化网络训练过程：

自适应的非对称量化方法将网络的每一层浮点权重都约束到了

四个值当中，极大限度的降低了参数的冗余程度，有效防止了过拟合现象的发生，将量化方法移植到神经网络的训练过程中从而加速梯度下降，有效减少的训练时间，提升训练效率。量化网络的训练方法与传统浮点型网络相似，训练流程如图2所示。

图2显示了自适应的非对称量化网络训练的两个关键点：其一是量化方法需要添加在每一次前向传播开始之前，网络的损失是由自适应量化后的权重计算得到的，主要目的是获取量化方法对最终结果的影响。其二是反向传播阶段，采用原始的浮点型网络权重对参数进行更新，目的在于获取准确的梯度更新参数使得网络始终朝着最优的方向更新。

三、自适应的非对称量化网络存储过程：

自适应的非对称量化网络经过训练之后，每一层的网络权重都会量化到

当中，其中1代表对应的网络层，但是量化权重仍然是浮点型的表示，为了实现参数空间的压缩存储，本实施例采用2-bit编码技术进行压缩存储，具体编码方式如下：

2-bit编码可以存储四种数值，本实施例中采用了其中所有四种表示，在压缩过程中，可以通过移位操作，将16个2-bit值存储为一个32-bit定点整数，理论上可以获得16倍左右的模型压缩比，本实施例的方案中额外设定的量化方案选择标志W_flag其可能值为{-1,0,+1}，0代表采用非对称三元量化方案；±1代表采用非对称四元量化方案时，

的符号。该标志位仅占用2-bit空间，在数以百万计参数的网络中，不会对模型压缩比造成影响。

本实施例的自适应的非对称量化网络(Adaptive Asymmetric Quantization，AAQ)，相比于对称的三元量化训练网络(Trained Ternary Network，TTQ)，可以有效提升量化网络在CIFAR-10数据集上的识别准确率，具体结果如表1所示。

表1 ResNet量化网络在CIFAR-10数据集上的准确率

相比于非对称的三元量化网络(Asymmetric Ternary Networks，ATNS)，本实施例的方法有效提升了量化网络在ImageNet数据集上的识别准确率，具体结果如表2所示。

表2 AlexNet量化网络在ImageNet数据集上的准确率

可以看出AAQ在CIFAR-10数据集上相比于TTQ提升了0.33％，同时比全精度网络识别率高了近0.20％。在ImageNet数据集上，AAQ相比于ATNS提高了1.36％，相比于全精度网络提高了0.73％，有效地提升了量化方法在大数据集上的识别准确率。

本实施例采用阈值分割的方式，根据当前正负权重分布来确认量化方案，并根据固定阈值及正负权重分布来确定量化方案采用的量化阈值，然后对应量化阈值的相关关系及量化方案，对权重进行可训练的非对称多元量化获得特征表达能力更强的量化深度神经网络。本发明有效降低了深度神经网络的参数冗余程度，并对剩余参数实现自适应的量化，可以对网络模型进行极大限度的压缩，有效提升了量化方法在深度网络及大数据集上的识别准确率。

此外，本领域内的技术人员应明白，本发明的实施例可提供为方法或计算机程序产品。因此，本发明实施例可采用结合软件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上仅为本发明优选实施例而已，并不用于限制本发明，对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。