CN110378466A - 基于神经网络差分的量化方法及系统 - Google Patents

Abstract

本发明涉及数字信号处理领域，特别涉及一种基于神经网络差分的量化方法及系统。具体包括：训练网络模型，将网络模型进行初始化；将网络模型的训练参数表达形式做为在初始化模型参数基础上的改变量；对网络模型的训练参数表达形式的改变量进行聚类量化处理，得到对应的网络模型紧凑表达形式。本发明解决预训练模型存在的条件下，如何在低比特量化的情况下尽可能提升神经网络模型的性能。

Description

基于神经网络差分的量化方法及系统

技术领域

本发明涉及数字信号处理领域，特别涉及一种基于神经网络差分的量化方法及系统。

背景技术

随着深度学习的不断发展，在计算机视觉与自然语言处理领域的应用越来越广泛。在图像分类、图像识别与目标检测和图像质量增强等众多的问题上获得了广泛的应用。另一方面，随着网络模型应用的日渐增多，网络模型的分发与传输也逐渐成为重要的研究课题。在视频编码等相关领域，为了最大程度提升网络模型的性能，相关的技术提案指出在编码得到的码流中传输网络模型能够获得明显的性能提升，在众多应用中也涉及到网络模型的分发部署，因此如何降低网络模型的存储大小是一个重要的问题。另一方面，深度神经网络模型的参数量大，精度要求高，在降低网络模型存储的过程中性能损失比较严重。如何能够保持网络模型的性能是一个关键的问题。

在压缩网络模型的过程中，量化是非常重要的一个环节。因为网络模型往往使用浮点数表示，精度要求高。量化环节在最大程度保留神经网络模型性能的前提下，降低网络模型参数保存的精度，通过这样的方式能够显著的降低网络模型的大小，增加网络模型的传输鲁棒性。如何能够在低精度的条件下最大程度保持网络模型的性能，是量化环节的一个重要的研究课题。

发明内容

本发明实施例提供了一种基于神经网络差分的量化方法及系统，解决预训练模型存在的条件下，如何在低比特量化的情况下尽可能提升神经网络模型的性能。

根据本发明实施例的第一方面，一种基于神经网络差分的量化方法，具体包括：

训练网络模型，将网络模型进行初始化；

将网络模型的训练参数表达形式做为在初始化模型参数基础上的改变量；

对网络模型的训练参数表达形式的改变量进行聚类量化处理，得到对应的网络模型紧凑表达形式。

所述网络模型的卷积层的运算表示为：

其中，网络模型L⁽ⁱ⁾表示网络模型的第i层的输出结果，L^(i-1)表示网络模型的第i-1层的输出结果，b⁽ⁱ⁾表示偏置项，运算表示卷积，函数σ(x)＝max{x,0}表示激活函数；W⁽ⁱ⁾初始值为0；为预训练模型第i层的卷积参数表达形式，W⁽ⁱ⁾为新训练得到的模型的卷积参数表达形式。

对网络模型的训练参数表达形式的改变量进行聚类量化处理，具体为对每一层的参数W⁽ⁱ⁾进行k-means聚类。

所述对网络模型的训练参数表达形式的改变量进行聚类量化处理的优化，其中，损失函数为：

e(L⁽ⁱ⁾,L_true)＝||L⁽ⁱ⁾-L_true||²

其中，为网络模型的第i层的真实值；L⁽ⁱ⁾为网络模型的第i层的输出结果。

所述网络模型的卷积层，最后一层N的卷积层的运算表示为：

其中，网络模型L^(N)表示网络模型的第i层的输出结果，L^(N-1)表示网络模型的第N-1层的输出结果，b^(N)表示偏置项，运算表示卷积，W^(N)初始值为0；为预训练模型第i层的卷积参数表达形式，W^(N)为新训练得到的模型的卷积参数表达形式。

一种基于神经网络差分的量化系统，具体包括：

初始化模块，将网络模型进行初始化；

变量设定模块，将网络模型的训练参数表达形式做为在初始化模型参数基础上的改变量；

聚类量化模块，对网络模型的训练参数表达形式的改变量进行聚类量化处理，得到对应的网络模型紧凑表达形式。

所述网络模型的卷积层的运算表示为：

其中，网络模型L⁽ⁱ⁾表示网络模型的第i层的输出结果，L^(i-1)表示网络模型的第i-1层的输出结果，b⁽ⁱ⁾表示偏置项，运算表示卷积，函数σ(x)＝max{x,0}表示激活函数；W⁽ⁱ⁾初始值为0；为预训练模型第i层的卷积参数表达形式，W⁽ⁱ⁾为新训练得到的模型的卷积参数表达形式。

对网络模型的训练参数表达形式的改变量进行聚类量化处理，具体为对每一层的参数W⁽ⁱ⁾进行k-means聚类。

所述对网络模型的训练参数表达形式的改变量进行聚类量化处理的优化，其中，损失函数为：

e(L⁽ⁱ⁾,L_true)＝||L⁽ⁱ⁾-L_true||²

其中，为网络模型的第i层的真实值；L⁽ⁱ⁾为网络模型的第i层的输出结果。

所述网络模型的卷积层，最后一层N的卷积层的运算表示为：

其中，网络模型L^(N)表示网络模型的第i层的输出结果，L^(N-1)表示网络模型的第N-1层的输出结果，b^(N)表示偏置项，运算表示卷积，W^(N)初始值为0；为预训练模型第i层的卷积参数表达形式，W^(N)为新训练得到的模型的卷积参数表达形式。

本发明实施例提供的技术方案可以包括以下有益效果：本发明通过量化差分值，能够实现网络模型的极低比特压缩，并能够最大程度维持网络模型的性能。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是本发明提供了一种基于神经网络差分的量化方法流程图；

图2是本发明提供了一种基于神经网络差分的量化系统模块图；

图3是使用预训练模型的基本方式；

图4是本发明使用的性能结果。

具体实施方式

实施例一

如图1、图3所示，本发明提供了一种基于神经网络差分的量化方法，具体包括：

在训练当前网络模型的过程中，选择相关问题的预训练网络模型与网络结构作为当前模型的初始化；

为了能够充分利用预训练模型降低网络模型的大小，将网络模型的训练参数表达形式做为在初始化模型参数基础上的改变量；

具体来说，假设预训练模型第i层的卷积参数表达为新训练得到的模型的卷积参数表示为W⁽ⁱ⁾。在这样的假设条件下，当前卷积层的运算表示为：

其中，网络模型L⁽ⁱ⁾表示网络模型的第i层的输出结果，L^(i-1)表示网络模型的第i-1层的输出结果，b⁽ⁱ⁾表示偏置项，运算表示卷积，函数σ(x)＝max{x,0}表示激活函数；与传统的卷积网络模型不同的是，当前网络模型的卷积核表示为预训练模型的参数与新训练参数的增量；W⁽ⁱ⁾初始值为0；

优选的，对于预训练模型最后一层N，卷积层的运算表示为：

其中，网络模型L^(N)表示网络模型的最后一层第N层的输出结果，L^(N-1)表示网络模型的倒数第二层第N-1层的输出结果，b^(N)表示偏置项，运算表示卷积。

以下面的图像质量增强问题为例，网络模型采用了SRCNN的结构，有三层卷积组成，具体的数学表达形式如下：

其中激活函数σ(x)＝max{x,0}增加网络模型的非线性表达能力，L⁽⁰⁾表示网络模型的输入图像。

在训练的过程中模型的改变量进行聚类量化处理，从而得到对应的网络模型紧凑表达形式；

训练的网络参数W⁽ⁱ⁾初始化为零，优化的损失函数为：

为网络模型的第i层的真实值；L⁽ⁱ⁾为网络模型的第i层的输出结果；

通过反向传播算法，我们能够逐层得到W⁽ⁱ⁾的梯度，由于是固定的常数，所以梯度具有如下关系：

因此网络模型的梯度可以通过传统的反向传播过程得到。

为了能够获得紧凑的网络模型参数的表达形式，在训练过程中引入了量化操作。具体来说，在训练的过程中，我们对每一层的参数W⁽ⁱ⁾进行k-means聚类。举例来说，如果我们将每一层的网络模型参数聚类为2类，那么W⁽ⁱ⁾中只会出现两个不同的浮点数值，这样我们通过记录两个浮点数值，以及使用{0,1}来表示使用的是哪一个浮点数，就能够显著的降低网络模型的存储大小。为了在反向传播的过程中保持参数的聚类结果不变，我们对梯度按照聚类得到的结果进行平均。这样保证了网络参数相同的聚类结果具有相同的梯度。通过使用随机梯度下降算法，网络模型能够学习得到紧凑的表达。

实施例二

本发明提供了一种基于神经网络差分的量化方法，

使用的网络结构为SRCNN网络模型，其中SRCNN为三层卷积神经网络模型。具体来说，第一层网络模型的卷积核大小为9×9，主要用于提取输入图像上面的纹理信息；第二层网络模型的卷积核大小为1×1，主要用于变换输入图像的特征；最后一层网络模型的卷积核大小为5×5，用于重建输出图像。在第一层网络模型与第二层网络模型之后，添加了ReLU激活函数来增加神经网络的非线性变换能力。

本发明测试的图像质量恢复问题的设置如下。本发明测试的图像分为两组，分别标志为高质量图像组与低质量图像组，两组图像通过HEVC标准的参考软件HM进行压缩编码。高质量图像组使用的量化参数为32，低质量图像组使用的量化参数为37。实验过程中，使用在高质量图像组上训练得到的网络模型作为低质量图像组的预训练模型参数。具体来说，网络模型能够表示为下面的公式：

其中网络模型中的初始化参数标记为该参数在训练过程中为不可训练常数。在预训练模型基础之上的增量为网络模型的训练参数W⁽ⁱ⁾，在网络模型训练过程中计算W⁽ⁱ⁾的梯度，并使用随机梯度下降进行更新。

训练过程中通过反向传播计算W⁽ⁱ⁾和b⁽ⁱ⁾的梯度信息，并通过随机梯度下降算法进行参数更新。在图像质量增强的问题上，使用MSE作为训练的损失函数，并通过Adam优化算法更新网络模型的参数，网络模型的参数设置为0.001。

神经网络的量化操作能够极大的降低网络模型的存储与传输大小。在本发明中，量化的相关操作应用到了可变换的网络模型参数W⁽ⁱ⁾上，用来进一步降低网络模型的存储大小。在图像增强的过程中，我们在网络模型的一定数量的前向传播以及其之后的后向传播的过程应用了聚类与量化的处理方式。具体来说，针对网络模型中的某一个卷积层W⁽ⁱ⁾而言，在执行完一定数量的训练之后，对网络模型的参数进行聚类处理，将网络模型的参数聚类为2^l个不同的数值，其中l表示量化的比特数，同时记录下来卷积参数内聚类结果。在图像增强的过程中，为了能够在反向传播的过程中保持参数的聚类结果，通过MSE损失函数反向传播得到的结果按照聚类的结果求平均，即具有相同数值的W⁽ⁱ⁾值具有相同的梯度值，从而在优化的过程中能够保持网络模型的量化效果不变。

如图2所示，本发明一种基于神经网络差分的量化系统，包括

初始化模块，将网络模型进行初始化；

变量设定模块，将网络模型的训练参数表达形式做为在初始化模型参数基础上的改变量；

聚类量化模块，对网络模型的训练参数表达形式的改变量进行聚类量化处理，得到对应的网络模型紧凑表达形式。

具体来说，假设预训练模型第i层的卷积参数表达为新训练得到的模型的卷积参数表示为W⁽ⁱ⁾。在这样的假设条件下，当前卷积层的运算表示为：

其中，网络模型L⁽ⁱ⁾表示网络模型的第i层的输出结果，L^(i-1)表示网络模型的第i-1层的输出结果，b⁽ⁱ⁾表示偏置项，运算表示卷积，函数σ(x)＝max{x,0}表示激活函数；与传统的卷积网络模型不同的是，当前网络模型的卷积核表示为预训练模型的参数与新训练参数的增量；W⁽ⁱ⁾初始值为0；

优选的，对于预训练模型最后一层N，卷积层的运算表示为：

其中，网络模型L^(N)表示网络模型的最后一层第N层的输出结果，L^(N-1)表示网络模型的倒数第二层第N-1层的输出结果，b^(N)表示偏置项，运算表示卷积。

以下面的图像质量增强问题为例，网络模型采用了SRCNN的结构，有三层卷积组成，具体的数学表达形式如下：

其中激活函数σ(x)＝max{x,0}增加网络模型的非线性表达能力，L⁽⁰⁾表示网络模型的输入图像。

聚类量化模块，在训练的过程中模型的改变量进行聚类量化处理，从而得到对应的网络模型紧凑表达形式；

训练的网络参数W⁽ⁱ⁾初始化为零，优化的损失函数为：

为网络模型的第i层的真实值；L⁽ⁱ⁾为网络模型的第i层的输出结果；

通过反向传播算法，我们能够逐层得到W⁽ⁱ⁾的梯度，由于是固定的常数，所以梯度具有如下关系：

因此网络模型的梯度可以通过传统的反向传播过程得到。

本发明在相关的问题上应用了提出的量化算法，证明了本发明专利的有效性。本文实验使用了图像增强问题作为实验的对象。网络模型使用了SRCNN模型作为实验的目标。在实验过程中，使用在较低是真的图像上训练得到的网络模型作为预训练模型，新的模型在高失真的图像数据集上面进行参数调整。

实验结果如图4所示，其中虚线表示网络模型的参数本发明使用的网络模型参数聚类与量化的实验结果，实线表示传统的量化方法的性能，即针对网络模型参数本事进行量化的效果。实验结果显示，通过对卷积网络模型进行新的参数表示形式，相应的网络模型参数即使在1比特量化的条件下，依然能够获得很好的性能保持，誉为经过量化的模型相比较，网络模型的性能下降很低，充分显示出了网络模型新的表达形式与对应的量化优化算法的优势。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于神经网络差分的量化方法，其特征在于，具体包括：

训练网络模型，将网络模型进行初始化；

将网络模型的训练参数表达形式做为在初始化模型参数基础上的改变量；

对网络模型的训练参数表达形式的改变量进行聚类量化处理，得到对应的网络模型紧凑表达形式。

2.如权利要求1所述的方法，其特征在于，所述网络模型的卷积层的运算表示为：

其中，网络模型L⁽ⁱ⁾表示网络模型的第i层的输出结果，L^(i-1)表示网络模型的第i-1层的输出结果，b⁽ⁱ⁾表示偏置项，运算表示卷积，函数σ(x)＝max{x,0}表示激活函数；W⁽ⁱ⁾初始值为0；为预训练模型第i层的卷积参数表达形式，W⁽ⁱ⁾为新训练得到的模型的卷积参数表达形式。

3.如权利要求1所述的方法，其特征在于，对网络模型的训练参数表达形式的改变量进行聚类量化处理，具体为对每一层的参数W⁽ⁱ⁾进行k-means聚类。

4.如权利要求1-3任意一项所述的方法，其特征在于，所述对网络模型的训练参数表达形式的改变量进行聚类量化处理的优化，其中，损失函数为：

e(L⁽ⁱ⁾,L_true)＝||L⁽ⁱ⁾-L_true||²

其中，为网络模型的第i层的真实值；L⁽ⁱ⁾为网络模型的第i层的输出结果。

5.如权利要求4所述的方法，其特征在于，所述网络模型的卷积层，最后一层N的卷积层的运算表示为：

其中，网络模型L^(N)表示网络模型的第i层的输出结果，L^(N-1)表示网络模型的第N-1层的输出结果，b^(N)表示偏置项，运算表示卷积，W^(N)初始值为0；为预训练模型第i层的卷积参数表达形式，W^(N)为新训练得到的模型的卷积参数表达形式。

6.一种基于神经网络差分的量化系统，其特征在于，具体包括：

初始化模块，将网络模型进行初始化；

变量设定模块，将网络模型的训练参数表达形式做为在初始化模型参数基础上的改变量；

聚类量化模块，对网络模型的训练参数表达形式的改变量进行聚类量化处理，得到对应的网络模型紧凑表达形式。

7.如权利要求6所述的系统，其特征在于，所述网络模型的卷积层的运算表示为：

其中，网络模型L⁽ⁱ⁾表示网络模型的第i层的输出结果，L^(i-1)表示网络模型的第i-1层的输出结果，b⁽ⁱ⁾表示偏置项，运算表示卷积，函数σ(x)＝max{x,0}表示激活函数；W⁽ⁱ⁾初始值为0；为预训练模型第i层的卷积参数表达形式，W⁽ⁱ⁾为新训练得到的模型的卷积参数表达形式。

8.如权利要求1所述的系统，其特征在于，对网络模型的训练参数表达形式的改变量进行聚类量化处理，具体为对每一层的参数W⁽ⁱ⁾进行k-means聚类。

9.如权利要求6-8任意一项所述的系统，其特征在于，所述对网络模型的训练参数表达形式的改变量进行聚类量化处理的优化，其中，损失函数为：

e(L⁽ⁱ⁾,L_true)＝||L⁽ⁱ⁾-L_true||²

其中，为网络模型的第i层的真实值；L⁽ⁱ⁾为网络模型的第i层的输出结果。

10.如权利要求9所述的系统，其特征在于，所述网络模型的卷积层，最后一层N的卷积层的运算表示为：

其中，网络模型L^(N)表示网络模型的第i层的输出结果，L^(N-1)表示网络模型的第N-1层的输出结果，b^(N)表示偏置项，运算表示卷积，W^(N)初始值为0；为预训练模型第i层的卷积参数表达形式，W^(N)为新训练得到的模型的卷积参数表达形式。