CN108537322A - 神经网络层间激活值量化方法及装置 - Google Patents

Abstract

一种神经网络层间激活值量化方法及装置，其中，所述方法包括：获取神经网络上一级激活层的激活值；根据上一级激活层的激活值得到当前激活层的激活值极限；根据当前激活层的激活值极限和上一级激活层的激活值确定当前激活层各个激活值。从而能够将上一级激活层的激活值信息传递到当前激活层，相对于现有技术中固定设定极限的方式，本发明提供的技术方案能够根据上一级激活层的激活值动态适应激活值的变化，从而减小量化的估计偏差。

Description

神经网络层间激活值量化方法及装置

技术领域

本发明涉及神经网络技术领域，具体涉及一种神经网络层间激活值量化方法及装置。

背景技术

随着人工智能的发展，尤其是卷积神经网络的发展，其在智能监控领域得到了广泛的运用，成为不可缺少的一个工具，比如人脸识别、车辆检测、物体识别等。但是随着现代卷积神经网络的层数加深，网络的复杂度也变得越来越大，比如说对于一个卷积神经网络，其卷积层数量可以超过10层，此外所有卷积层的计算量几乎占据了整个网络计算量的80％。这就导致类似的卷积神经网络不能够运行在监控摄像头等嵌入式设备上。

因此，如何降低神经网络的计算复杂度，是神经网络算法所需要解决的问题。现有的量化技术会对神经网络的层间激活和每一层的权重进行一些量化操作，从而使得神经网络中所有的矩阵乘法变成指数移位操作。现有技术中，为了保证量化值不超过位宽(bitwidth)所表达的范围，都会为卷积神经网络的每一层预先设立一个最小值min V和最大值max V。在为卷积神经网络的每一层确定最大值和最小值的时候需要通过如下几步来得到：首先训练一个浮点卷积神经网络，得到一个预训练模型；而后，取一小部分训练数据，并送入预训练模型，得到卷积神经网络的每一层的激活输出；根据这些激活和权重，通过统计算法得到层间激活的分布范围；根据分布范围以及位宽(bitwidth)估计得到最小值minV和最大值max V；根据最大值和最小值对网络进行微调训练。

一个良好的量化方法需要在对网络完成量化后还能保持精度不下降。这就要求在量化过程中对激活的分布范围有精确的估计。如果估计不准确，就会导致量化之后的卷积神经网络模型在优化空间中偏离最优模型。本申请人发现：现有的量化算法都是根据某一个固定模型来预先确定量化的最大值和最小值，没有考虑到卷积神经网络的激活在训练过程中是动态变化的，这就导致对量化最大值和最小值的估计偏差。

因此，如何减小量化的估计偏差成为亟待解决的技术问题。

发明内容

本发明要解决的技术问题在于如何减小量化的估计偏差。

为此，根据第一方面，本发明实施例公开了一种神经网络层间激活值量化方法，包括：

获取神经网络上一级激活层的激活值；根据上一级激活层的激活值得到当前激活层的激活值极限；根据当前激活层的激活值极限和上一级激活层的激活值确定当前激活层各个激活值。

可选地，根据当前激活层的激活值极限和上一级激活层的激活值确定当前激活层各个激活值包括：在当前激活层的激活值极限范围内对上一级激活层的激活值进行取整得到当前激活层各个激活值。

可选地，当前激活层的激活值极限包括当前激活层的最大激活值和当前激活层的最小激活值；在当前激活层的激活值极限范围内对上一级激活层的激活值进行取整得到当前激活层各个激活值包括：根据用于表征激活值的比特位数确定的步长对上一级激活层的激活值进行等分取整；在当前激活层的激活值极限范围内对等分取整后的上一级激活层的激活值进行计算得到当前激活层各个激活值。

可选地，上一级激活层的激活值包括：上一级激活层的最大激活值；根据上一级激活层的激活值得到当前激活层的激活值极限包括：对上一级激活层的最大激活值进行加权得到当前激活层的最大激活值；根据当前激活层的最大激活值得到当前激活层的最小激活值。

可选地，对上一级激活层的最大激活值进行加权得到当前激活层的最大激活值采用如下公式得到：cur_max_i＝α×cur_max_i+(1-α)×cur_max_i-1其中，cur_max_i为当前激活层的最大激活值，α为滑动平均超参数，i为迭代次数，cur_max_i-1为上一级激活层的最大激活值。

可选地，根据当前激活层的最大激活值得到当前激活层的最小激活值包括：根据当前激活层的最大激活值采用线性或者非线性等步长的方式得到当前激活层的最小激活值。

根据第二方面，本发明实施例公开了一种神经网络层间激活值量化装置，包括：

激活值获取模块，用于获取神经网络上一级激活层的激活值；极限确定模块，用于根据上一级激活层的激活值得到当前激活层的激活值极限；激活量化模块，用于根据当前激活层的激活值极限和上一级激活层的激活值确定当前激活层各个激活值。

可选地，激活量化模块具体用于在当前激活层的激活值极限范围内对上一级激活层的激活值进行取整得到当前激活层各个激活值。

可选地，当前激活层的激活值极限包括当前激活层的最大激活值和当前激活层的最小激活值；激活量化模块包括：等分单元，用于根据用于表征激活值的比特位数确定的步长对上一级激活层的激活值进行等分取整；计算单元，用于在当前激活层的激活值极限范围内对等分取整后的上一级激活层的激活值进行计算得到当前激活层各个激活值。

可选地，上一级激活层的激活值包括：上一级激活层的最大激活值；极限确定模块包括：最大激活值单元，用于对上一级激活层的最大激活值进行加权得到当前激活层的最大激活值；最小激活值单元，用于根据当前激活层的最大激活值得到当前激活层的最小激活值。

本发明技术方案，具有如下优点：

本发明实施例提供的神经网络层间激活值量化方法及装置，由于根据上一级激活层的激活值得到当前激活层的激活值极限，而后根据当前激活层的激活值极限和上一级激活层的激活值确定当前激活层各个激活值，从而能够将上一级激活层的激活值信息传递到当前激活层，相对于现有技术中固定设定极限的方式，本发明提供的技术方案能够根据上一级激活层的激活值动态适应激活值的变化，从而减小量化的估计偏差。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种神经网络层间激活值量化方法流程图；

图2为本发明实施例中一种神经网络层间激活值量化装置原理框图；

图3a为本发明实施例中一种神经网络训练过程损失函数曲线对比示意图；

图3b为本发明实施例中一种神经网络准确度曲线对比示意图；

图4为本发明实施例中一种神经网络动态量化阈值曲线对比示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

为了减小量化的估计偏差，本实施例公开了一种神经网络层间激活值量化方法，本实施例公开的神经网络层间激活值量化方法适用于需要量化激活值的神经网络结构，例如BP、RNN、卷积神经网络等，本实施例以卷积神经网络为例进行说明。请参考图1，为该神经网络层间激活值量化方法流程图，该神经网络层间激活值量化方法包括：

步骤S101，获取神经网络上一级激活层的激活值。对于设计好的神经网络模型(例如卷积神经网络模型)，在该网络模型未经过训练时，需要对激活层ReLU之后的非负激活值进行量化。本实施例中，在对本级激活层的各个激活值进行量化时，参照上一级激活层的激活值进行量化，因此，需要获取神经网络上一级激活层的激活值。

步骤S102，根据上一级激活层的激活值得到当前激活层的激活值极限。在具体实施例中，上一级激活层的激活值包括：上一级激活层的最大激活值，在根据上一级激活层的激活值得到当前激活层的激活值极限的操作中，具体包括：对上一级激活层的最大激活值进行加权得到当前激活层的最大激活值；根据当前激活层的最大激活值得到当前激活层的最小激活值。

具体地，在加权得到当前激活层的最大激活值时，可以采用如下公式得到：

cur_max_i＝α×cur_max_i+(1-α)×cur_max_i-1

其中，cur_max_i为当前激活层的最大激活值，α为滑动平均超参数，i为迭代次数，cur_max_i-1为上一级激活层的最大激活值。本实施例中，当第一次进行前向传播的时候，cur_max就是其本身。在得到当前激活层的最大激活值cur_max_i后，可以对当前激活层的最大激活值cur_max_i进行量化取整，具体地，可以通过向下取整、向上取整或者四舍五入的方式进行取整，作为例子，可以采用如下公式对当前激活层的最大激活值cur_max_i进行量化取整：

exponent＝floor(log₂(cur_max_i))

max V＝2^exponent

其中，max V为量化取整后的当前激活层的最大激活值。

在根据当前激活层的最大激活值得到当前激活层的最小激活值时，具体可以通过线性量化或者非线性量化的方式得到当前激活层的最小激活值，即根据当前激活层的最大激活值采用线性或者非线性等步长的方式得到当前激活层的最小激活值。具体地，在通过线性量化得到当前激活层的最小激活值时，可以采用如下公式：

num＝2^bitwidth

step＝max V/num＝2^exponent/2^bitwidth＝2^{exponent-bitwidth}

min V＝1×step＝2^{exponent-bitwidth}

其中，min V为量化取整后的当前激活层的最小激活值，bitwidth为用于表征激活值的比特位数，可以预先设定bitwidth。

在在通过非线性量化得到当前激活层的最小激活值时，可以采用如下公式：

num＝2^bitwidth

min V＝2^{exponent-(num-1)}＝2^{exponent-num+1}

其中，min V为量化取整后的当前激活层的最小激活值，bitwidth为用于表征激活值的比特位数，可以预先设定bitwidth。

步骤S103，根据当前激活层的激活值极限和上一级激活层的激活值确定当前激活层各个激活值。本实施例中，在根据上一级激活层的激活值确定当前激活层的各个激活值时，应在当前激活层的激活值的极限范围内，即确定的当前激活层的各个激活值应不能溢出当前激活层的激活值极限。在具体实施例中，可以在当前激活层的激活值极限范围内对上一级激活层的激活值进行取整得到当前激活层各个激活值。具体地，可以根据用于表征激活值的比特位数确定的步长对上一级激活层的激活值进行等分取整；在当前激活层的激活值极限范围内对等分取整后的上一级激活层的激活值进行计算得到当前激活层各个激活值。具体地，可以采用如下公式对每个激活值进行等分取整，等分取整的方式可以是线性等分取整，也可以是非线性等分取整。

在采用线性等分取整时，可以通过如下公式计算得到当前激活层各个激活值：

其中，step＝2^{exponent-bitwidth}，x为上一级激活层的激活值，LinearQuant(x,bitwidth)为与上一级激活层的激活值x对应的当前激活层量化后的激活值。

在采用非线性等分取整时，可以通过如下公式计算得到当前激活层各个激活值：

其中，x为上一级激活层的激活值，LogQuant(x,bitwidth)为与上一级激活层的激活值x对应的当前激活层量化后的激活值。

本实施例还公开了一种神经网络层间激活值量化装置，请参考图2，该神经网络层间激活值量化装置包括：激活值获取模块201、极限确定模块202和激活量化模块203，其中：

激活值获取模块201用于获取神经网络上一级激活层的激活值；极限确定模块202用于根据上一级激活层的激活值得到当前激活层的激活值极限；激活量化模块203用于根据当前激活层的激活值极限和上一级激活层的激活值确定当前激活层各个激活值。

在可选的实施例中，激活量化模块具体用于在当前激活层的激活值极限范围内对上一级激活层的激活值进行取整得到当前激活层各个激活值。

在可选的实施例中，当前激活层的激活值极限包括当前激活层的最大激活值和当前激活层的最小激活值；激活量化模块包括：等分单元，用于根据用于表征激活值的比特位数确定的步长对上一级激活层的激活值进行等分取整；计算单元，用于在当前激活层的激活值极限范围内对等分取整后的上一级激活层的激活值进行计算得到当前激活层各个激活值。

在可选的实施例中，上一级激活层的激活值包括：上一级激活层的最大激活值；极限确定模块包括：最大激活值单元，用于对上一级激活层的最大激活值进行加权得到当前激活层的最大激活值；最小激活值单元，用于根据当前激活层的最大激活值得到当前激活层的最小激活值。

为便于本领域技术人员理解，本实施例还以卷积神经网络为例进行了实验，请参考下表，本实施例按照下表的参数顺序构建mnist分类实验的卷积神经网络。

其中，Quant1和Quant2为激活值量化结果。

请参考图3a和图3b，其中，图3a表示的是在训练过程中损失函数loss的下降情况，其中，曲线B代表采用了本实施例的动态量化方案的损失函数曲线，曲线A代表采用了固定的量化方案的损失函数曲线。图3a表明，采用固定的量化阈值会导致损失函数loss曲线的强烈变化。这是由于神经网络的权重分布在不同的随机梯度优化阶段是不同的，这就导致单一的阈值不能适应所有情况。而本实施例的动态量化阈值会自适应优化的不同阶段，逐渐更新当前优化阶段的阈值，如图3b所示，示意了准确度曲线对比，曲线C代表采用了本实施例的动态量化方案的准确度曲线，曲线D代表采用了固定的量化方案的准确度曲线。

请参考图4，本实施例的动态量化阈值会随着优化算法迭代次数的增多逐渐保持稳定，如曲线E所示。

本实施例提供的神经网络层间激活值量化方法及装置，由于根据上一级激活层的激活值得到当前激活层的激活值极限，而后根据当前激活层的激活值极限和上一级激活层的激活值确定当前激活层各个激活值，从而能够将上一级激活层的激活值信息传递到当前激活层，相对于现有技术中固定设定极限的方式，本发明提供的技术方案能够根据上一级激活层的激活值动态适应激活值的变化，从而减小量化的估计偏差。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种神经网络层间激活值量化方法，其特征在于，包括：

获取神经网络上一级激活层的激活值；

根据所述上一级激活层的激活值得到当前激活层的激活值极限；

根据所述当前激活层的激活值极限和所述上一级激活层的激活值确定当前激活层各个激活值。

2.如权利要求1所述的神经网络层间激活值量化方法，其特征在于，所述根据所述当前激活层的激活值极限和所述上一级激活层的激活值确定当前激活层各个激活值包括：在所述当前激活层的激活值极限范围内对所述上一级激活层的激活值进行取整得到所述当前激活层各个激活值。

3.如权利要求2所述的神经网络层间激活值量化方法，其特征在于，所述在所述当前激活层的激活值极限范围内对所述上一级激活层的激活值进行取整得到所述当前激活层各个激活值包括：

根据用于表征激活值的比特位数确定的步长对所述上一级激活层的激活值进行等分取整；

在所述当前激活层的激活值极限范围内对所述等分取整后的所述上一级激活层的激活值进行计算得到所述当前激活层各个激活值。

4.如权利要求1-3任意一项所述的神经网络层间激活值量化方法，其特征在于，所述上一级激活层的激活值包括：所述上一级激活层的最大激活值；

所述根据所述上一级激活层的激活值得到当前激活层的激活值极限包括：

对所述上一级激活层的最大激活值进行加权得到所述当前激活层的最大激活值；

根据所述当前激活层的最大激活值得到所述当前激活层的最小激活值。

5.如权利要求4所述的神经网络层间激活值量化方法，其特征在于，所述对所述上一级激活层的最大激活值进行加权得到所述当前激活层的最大激活值采用如下公式得到：

cur_max_i＝α×cur_max_i+(1-α)×cur_max_i-1

其中，cur_max_i为当前激活层的最大激活值，α为滑动平均超参数，i为迭代次数，cur_max_i-1为上一级激活层的最大激活值。

6.如权利要求4所述的神经网络层间激活值量化方法，其特征在于，所述根据所述当前激活层的最大激活值得到所述当前激活层的最小激活值包括：根据所述当前激活层的最大激活值采用线性或者非线性等步长的方式得到所述当前激活层的最小激活值。

7.一种神经网络层间激活值量化装置，其特征在于，包括：

激活值获取模块，用于获取神经网络上一级激活层的激活值；

极限确定模块，用于根据所述上一级激活层的激活值得到当前激活层的激活值极限；

激活量化模块，用于根据所述当前激活层的激活值极限和所述上一级激活层的激活值确定当前激活层各个激活值。

8.如权利要求7所述的神经网络层间激活值量化装置，其特征在于，所述激活量化模块具体用于在所述当前激活层的激活值极限范围内对所述上一级激活层的激活值进行取整得到所述当前激活层各个激活值。

9.如权利要求8所述的神经网络层间激活值量化装置，其特征在于，所述当前激活层的激活值极限包括所述当前激活层的最大激活值和所述当前激活层的最小激活值；

所述激活量化模块包括：

等分单元，用于根据用于表征激活值的比特位数确定的步长对所述上一级激活层的激活值进行等分取整；

计算单元，用于在所述当前激活层的激活值极限范围内对所述等分取整后的所述上一级激活层的激活值进行计算得到所述当前激活层各个激活值。

10.如权利要求7-9任意一项所述的神经网络层间激活值量化装置，其特征在于，所述上一级激活层的激活值包括：所述上一级激活层的最大激活值；

所述极限确定模块包括：

最大激活值单元，用于对所述上一级激活层的最大激活值进行加权得到所述当前激活层的最大激活值；

最小激活值单元，用于根据所述当前激活层的最大激活值得到所述当前激活层的最小激活值。