CN112613604A - 神经网络的量化方法及装置 - Google Patents

Abstract

本发明公开了一种神经网络的量化方法及装置，涉及神经网络模型压缩技术领域，解决了神经网络不能根据实际需要自动量化的技术问题，其技术方案要点是通过限定位宽，逐层对网络模型的卷积层的权重进行量化，以获得在相对较小的位宽下能够得到较高的准确率，并且不需要通过训练集对网络模型重新训练，直接在验证集上做验证就可以确定每一层卷积层在不同的位宽下的权重和准确率。并能够根据每个网络模型的特点，自动用更合理的低精度来进行运算，降低了计算位宽，进一步提升了计算效率。

Description

神经网络的量化方法及装置

技术领域

本公开涉及神经网络模型压缩技术领域，尤其涉及一种神经网络的量化方法及装置。

背景技术

近年来，随着人工智能技术的不断发展，卷积神经网络(Convolutional NeuralNetworks，CNNs)在人工智能中的应用也是俞渐广泛，尤其是在语音识别、图像分类、目标检测等领域取得了较好的成果。为了追求更好的性能，新提出的卷积神经网络往往具有很深的层数，甚至超过了1000层，权重体积和计算复杂度也随之大大增加，甚至对于GPU(Graphics Processing Unit,图形处理器)而言也是一种挑战。此外，许多现实的应用场景往往只能采用嵌入式或移动设备，存储和计算资源非常有限，不能满足多数卷积神经网络的部署要求。

在传统的神经网络中，都是利用数据集对网络模型进行训练，训练过程即对参数不断更新调整的过程，让参数可以利用网络模型的情况对预测的数据进行处理。早期的设计工程中，对网络模型的训练都是为了提升模型精度，并没有考虑模型大小，因此，传统的训练方法训练出来的模型精度都是32位浮点数，这会导致模型比较大，使得大型规模和计算成本成为在低功耗、资源有限的移动系统中部署算法的主要阻碍。因此，在对神经网络模型进行压缩的同时保证模型精度成为深度学习的一个重要研究方向，对神经网络模型进行压缩的方法有很多，例如，网络剪枝，知识蒸馏，权重稀疏，权重量化等。

研究发现卷积神经网络的权重以及特征图不一定需要被表示为浮点数，即使是使用很低的精度来表示，卷积神经网络的性能也不一定会有明显下降。这说明浮点数模型在精度表示方面存在着很大的冗余，如果能把它去除，那么神经网络模型的体积会进一步得到压缩，并且低精度变量的运算也往往比浮点运算耗费更少的时间。

现有技术中都采用统一的量化精度，例如谷歌提出的量化算法，从32bit浮点数转成低精度8/16bit定点数，事实上可以用一些更低的精度去量化卷积神经网络模型结构和算法，例如2、4、6bit等等，但是如何给出合理比特位是个问题。最简单的量化规则为均匀量化，即量化步长一定、量化值成倍增长的方法。此外，还有许多方法会按照原始权重的分布来制定量化规则，例如先用clamp函数将原始值截断后再量化、取对数再量化、保持分布的量化、满足高斯分布的量化等等。为了消除各层权重分布范围差异的影响，许多算法还会先将各层权重归一化再量化，最后再乘上一个与原始分布范围有关的尺度因子。通过不断改进量化规则，单一精度量化技术可以将神经网络的权重量化得越来越低，甚至已有不少工作尝试将权重二值化(量化值取1和-1)和三值化(量化值取1、0和-1)。

但上述量化方法都是固定位宽量化，不能根据实际情况进行自动量化。

发明内容

本公开提供了一种神经网络的量化方法及装置，其技术目的是改变神经网络的固定位宽量化，使得神经网络根据实际需要进行自动量化。

本公开的上述技术目的是通过以下技术方案得以实现的：

一种神经网络的量化方法，包括：

加载网络模型，从所述网络模型中按照卷积层逐层提取权重W_i，其中，i为自然数；

将验证集投入到所述网络模型的每一层卷积层分别提取特征值，获取特征值的数据范围；

对每一层卷积层的权重W_i进行量化，具体包括：

W'＝W_i×2^j-1；(1)

其中j∈[2,8]，表示位宽；[-2^j-1+1,2^j-1-1]为通过位宽j表示的所述特征值的数据范围，对于不在所述数据范围之内的特征值，对式(1)进行clip饱和操作，即将大于值域|[-2^j-1+1,2^j-1-1]|的数据饱和到[-2^j-1+1,2^j-1-1]内重新计算卷积层i的权重W_final,i；

将所述验证集投入到权重为所述W_final,i的卷积层进行验证获取验证准确率；

获取不同的位宽j对应的权重W_final,i及验证准确率，确定最大的验证准确率对应的位宽j及卷积层的权重W_final,i，直至确定每一层卷积层的权重，完成神经网络的量化，保存量化后的网络模型。

进一步地，所述网络模型包括VGG16、YOLOv3和ResNet50。

一种神经网络的量化装置，包括：

权重提取单元，用于加载网络模型，从所述网络模型中按照卷积层逐层提取权重W_i，其中，i为自然数；

特征值提取单元，用于将验证集投入到所述网络模型的每一层卷积层分别提取特征值，获取特征值的数据范围；

量化单元，用于对每一层卷积层的权重W_i进行量化，具体包括：

W'＝W_i×2^j-1；(1)

其中j∈[2,8]，表示位宽；[-2^j-1+1,2^j-1-1]为通过位宽j表示的所述特征值的数据范围，对于不在所述数据范围之内的特征值，对式(1)进行clip饱和操作，即将大于值域|[-2^j-1+1,2^j-1-1]|的数据饱和到[-2^j-1+1,2^j-1-1]内重新计算卷积层i的权重W_final,i；

验证单元，将所述验证集投入到权重为W_final,i的卷积层进行验证获取验证准确率；

确定单元，获取不同的位宽j对应的权重W_final,i及验证准确率，确定最大的验证准确率对应的位宽j及卷积层的权重W_final,i，直至确定每一层卷积层的权重，完成神经网络的量化，保存量化后的网络模型。

本公开的有益效果在于：本公开所述的神经网络的量化方法及装置，通过限定位宽，逐层对网络模型的卷积层的权重进行量化，以获得在相对较小的位宽下能够得到较高的准确率，并且不需要通过训练集对网络模型重新训练，直接在验证集上做验证就可以确定每一层卷积层在不同的位宽下的权重和准确率。并能够根据每个网络模型的特点，自动用更合理的低精度来进行运算，降低了计算位宽，进一步提升了计算效率。

附图说明

图1为本发明所述方法的流程图；

图2为本发明实施例的流程图；

图3为本发明所述装置的示意图。

具体实施方式

下面将结合附图对本公开技术方案进行详细说明。

图1为本发明所述方法的流程图，如图1所示，S100：加载网络模型，从所述网络模型中按照卷积层逐层提取权重W_i，其中，i为自然数。例如，第一层卷积层的权重为W₁，第二层卷积层的权重为W₂，若网络模型一共有16层卷积层，则i∈[0,15]。

S101：将验证集投入到所述网络模型的每一层卷积层分别提取特征值，获取特征值的数据范围。

S102：对每一层卷积层的权重W_i进行量化，具体包括：

W'＝W_i×2^j-1；(1)

其中j∈[2,8]，表示位宽；[-2^j-1+1,2^j-1-1]为通过位宽j表示的所述特征值的数据范围，对于不在所述数据范围之内的特征值，对式(1)进行clip饱和操作，即将大于值域|[-2^j-1+1,2^j-1-1]|的数据饱和到[-2^j-1+1,2^j-1-1]内重新计算卷积层i的权重W_final,i。

S103：将所述验证集投入到权重为W_final,i的卷积层进行验证获取验证准确率。验证准确率由识别正确的数量除以验证集的总数量而得来。

S104：获取不同的位宽j对应的权重W_final,i及验证准确率，确定最大的验证准确率对应的位宽j及卷积层的权重W_final,i，直至确定每一层卷积层的权重，完成神经网络的量化，保存量化后的网络模型。

由上述式(1)和式(2)计算出第i层卷积层的权重W_final,i后，将验证集投入到第i层卷积层进行验证获取验证准确率，获取不同的位宽j对应的权重W_final,i及验证准确率，确定最大的验证准确率对应的位宽j(例如位宽为3)及第i层卷积层的权重W_final,i(该权重即为位宽为3时由式(1)和式(2)计算得到的权重)。然后继续由式(1)和式(2)计算出第(i+1)层卷积层的权重W_final,i+1，再通过步骤S103和步骤S104，确定最大的验证准确率对应的第(i+1)层卷积层的位宽j和权重W_final,i+1，逐层确定每一层卷积层的位宽和权重，最终完成神经网络的量化，保存量化后的网络模型。

图2为本发明实施例流程图，如图2所示，初始化i＝0，j＝2，然后获取卷积层的长度len(例如len＝16，即一共有16层卷积层)，i≤len，j≤8，然后通过位宽j＝2对第0层卷积层的权重进行量化。量化完成后，使用验证集对第0层卷积层进行验证，计算验证准确率m，保存验证准确率m和对应的位宽j＝2。依次通过j＝3，j＝4，...，j＝8对第0层卷积层的权重进行量化，得到量化后不同的位宽对应的不同的权重和不同的验证准确率m。找出第0层卷积层最大的验证准确率m对应的位宽及权重并进行保存，然后开始对第1层卷积层的权重进行量化，直至全部卷积层量化完毕，保存最终的网络模型，该网络模型即是需要的模型。

图3为本发明所述装置的示意图，该装置包括权重提取单元、特征提取单元、量化单元、验证单元和确定单元。权重提取单元用于加载网络模型，从所述网络模型中按照卷积层逐层提取权重W_i，其中，i为自然数。

特征值提取单元用于将验证集投入到所述网络模型的每一层卷积层分别提取特征值，获取特征值的数据范围。

量化单元用于对每一层卷积层的权重W_i进行量化，具体包括：

W'＝W_i×2^j-1；(1)

其中j∈[2,8]，表示位宽；[-2^j-1+1,2^j-1-1]为通过位宽j表示的所述特征值的数据范围，对于不在所述数据范围之内的特征值，对式(1)进行clip饱和操作，即将大于值域|[-2^j-1+1,2^j-1-1]|的数据饱和到[-2^j-1+1,2^j-1-1]内重新计算卷积层i的权重W_final,i。

验证单元用于将所述验证集投入到权重为W_final,i的卷积层进行验证获取验证准确率。

确定单元用于获取不同的位宽j对应的权重W_final,i及验证准确率，确定最大的验证准确率对应的位宽j及卷积层的权重W_final,i，直至确定每一层卷积层的权重，完成神经网络的量化，保存量化后的网络模型。

作为具体实施例地，网络模型包括VGG16、YOLOv3和ResNet50。

以上为本公开示范性实施例，本公开的保护范围由权利要求书及其等效物限定。

Claims (4)

1.一种神经网络的量化方法，其特征在于，包括：

加载网络模型，从所述网络模型中按照卷积层逐层提取权重W_i，其中，i为自然数；

将验证集投入到所述网络模型的每一层卷积层分别提取特征值，获取特征值的数据范围；

对每一层卷积层的权重W_i进行量化，得到量化后的权重W_final,i，具体包括：

W'＝W_i×2^j-1； (1)

其中j∈[2,8]，表示位宽；[-2^j-1+1,2^j-1-1]为通过位宽j表示的所述特征值的数据范围，对于不在所述数据范围之内的特征值，对式(1)进行clip饱和操作，即将大于值域|[-2^{j -1}+1,2^j-1-1]|的数据饱和到[-2^j-1+1,2^j-1-1]内重新计算卷积层i的权重W_final,i；

将所述验证集投入到权重为所述W_final,i的卷积层进行验证获取验证准确率；

获取不同的位宽j对应的权重W_final,i及验证准确率，确定最大的验证准确率对应的位宽j及卷积层的权重W_final,i，直至确定每一层卷积层的权重，完成神经网络的量化，保存量化后的网络模型。

2.如权利要求1所述的神经网络的量化方法，其特征在于，所述网络模型包括VGG16、YOLOv3和ResNet50。

3.一种神经网络的量化装置，其特征在于，包括：

权重提取单元，用于加载网络模型，从所述网络模型中按照卷积层逐层提取权重W_i，其中，i为自然数；

特征值提取单元，用于将验证集投入到所述网络模型的每一层卷积层分别提取特征值，获取特征值的数据范围；

量化单元，用于对每一层卷积层的权重W_i进行量化，具体包括：

W'＝W_i×2^j-1； (1)

其中j∈[2,8]，表示位宽；[-2^j-1+1,2^j-1-1]为通过位宽j表示的所述特征值的数据范围，对于不在所述数据范围之内的特征值，对式(1)进行clip饱和操作，即将大于值域|[-2^{j -1}+1,2^j-1-1]|的数据饱和到[-2^j-1+1,2^j-1-1]内重新计算卷积层i的权重W_final,i；

验证单元，将所述验证集投入到权重为W_final,i的卷积层进行验证获取验证准确率；

确定单元，获取不同的位宽j对应的权重W_final,i及验证准确率，确定最大的验证准确率对应的位宽j及卷积层的权重W_final,i，直至确定每一层卷积层的权重，完成神经网络的量化，保存量化后的网络模型。

4.如权利要求3所述的神经网络的量化装置，其特征在于，所述网络模型包括VGG16、YOLOv3和ResNet50。

Images