CN113762489A - 一种对深度卷积神经网络进行多位宽量化的方法 - Google Patents

Abstract

本发明提供了一种对深度卷积神经网络进行多位宽量化的方法。该方法包括：建立权重共享的多位宽感知量化模型，对多位宽感知量化模型进行多位宽感知的量化超网训练，根据需求设置目标约束，根据所述目标约束对训练好的多位宽感知量化模型进行混合精度搜索，得到满足约束的子网络，利用各个满足约束的子网络组成多位宽量化的深度卷积神经网络。本发明实施例通过最小‑随机‑最大位宽协同训练以及自适应标签软化解决不同比特子网下竞争训练的问题，实现不同平均比特位宽约束下更高的模型精度。

Description

一种对深度卷积神经网络进行多位宽量化的方法

技术领域

本发明涉及媒体通信技术领域，尤其涉及一种对深度卷积神经网络进行多位宽量化的方法。

背景技术

神经网络量化指将32位浮点格式的神经网络模型压缩到8～1比特定点数格式，以减少存储和计算代价，神经网络量化技术是目前流行的用于压缩深度神经网络的一种技术，用于对神经网络进行压缩，使得神经网络能够在进行定点计算的边缘设备上部署。而一次量化，多场景部署的技术路线是新的量化方向，目前的技术方案有apq，oqa，coquant，anyprecision，robust quantization。一次量化多场景部署的多位宽感知的量化方法，仅需一次量化训练即可实现多次部署，解决传统量化方法对每一个场景下的单独模型进行量化训练而造成的训练成本。

目前，现有技术中的神经网络压缩量化的方法都聚焦于固定位宽(单一精度)的量化模型，模型针对不同的硬件设备特性(处理器计算精度)和约束(模型准确度)时都要进行独立的模型量化和压缩，在面对不同场景的部署(比如有时需要进行云端计算、有时需要进行边缘计算)需求时容易造成较大的计算资源、人力资源和时间上的开销。

而现有技术中的其他一次量化多场景部署的技术方案也存在比较多的缺陷。其中，apq方法不能够实现较低比特的量化，只能做到4，6，8比特3种比特之间的混合精度量化而没有做到4比特以下的量化。oqa只能实现统一比特位宽量化，不能做到混合比特量化(指不同神经网络层的比特精度必须一致，不能实现不同层压缩到不一样的比特精度)，灵活性较差。其他如coquant，any precision，robust quantization在低比特量化时精度损失较大。

发明内容

本发明的实施例提供了一种对深度卷积神经网络进行多位宽量化的方法，以克服现有技术的问题。

为了实现上述目的，本发明采取了如下技术方案。

一种对深度卷积神经网络进行多位宽量化的方法，包括：

建立权重共享的多位宽感知量化模型；

对所述多位宽感知量化模型进行多位宽感知的量化超网训练；

根据需求设置目标约束，根据所述目标约束对训练好的多位宽感知量化模型进行混合精度搜索，得到满足约束的子网络，利用各个满足约束的子网络组成多位宽量化的深度卷积神经网络。

优选地，所述的建立权重共享的多位宽感知量化模型，包括：

建立权重共享的多位宽感知量化模型，该多位宽感知量化模型是一个多层结构的超网络，多位宽感知量化模型的子网络包括最低比特位宽模型、最高比特位宽模型和随机比特位宽模型，对所述多位宽感知量化模型中的多种子网络同时进行量化并训练；

设多位宽感知量化模型的量化配置表示成

分别表示层l的权重和激活的位宽，给定一个浮点的权重w、激活v,可学习的量化步长集合

和zero-point集合

则多位宽感知量化模型训练的目标函数表示为：

Q(·)表示量化函数。

优选地，所述的对所述多位宽感知量化模型进行多位宽感知的量化超网训练，包括：

采用最小-随机-最大位宽协同训练方式在每一次训练迭代中，对多位宽感知量化模型中的最低比特位宽模型、最高比特位宽模型和M个随机比特位宽模型M+2种子网络同时进行优化，训练目标为公式1所示的目标函数，M+2种不同的模型由公式1中不同的

进行表示；

自适应标签软化，给定一个数据集

包含N个类别，x_i表示输入图像，y_i表示对应的真实标签，定义

作为每一轮的类级别的软标签，A^e是一个N行N列的方阵,A^e中的每一列对应着一个类别的软标签，当一个输入样本(x_i，y_i)被任意的量化模型正确判断,构造{p_L(x_i)，p_R(x_i)，p_H(x_i)}去更新A^e中的y_i列,M表示随机子网的数量，n表示预测值，p_L(x_i)，p_R(x_i)，p_H(x_i)三者都是描述同一个对象，被如下描述:

则Adaptive Soft Label Loss表示为：

表示e轮时矩阵A在坐标(n，y_i)的值，平衡系数ζ设置成0.5；

p_L(x_i)，p_R(x_i)，p_H(x_i)分别是最高比特位宽模型、随机比特位宽模型以及最低比特位宽模型的logit输出；

每一轮迭代iteration下都做一次公式3的更新，在每一个轮次epoch结束后对A^e进行归一化，在下一个轮次epoch时的公式4中使用，直到多位宽感知量化模型收敛为止或者达到设定的训练次数，则所述多位宽感知量化模型的训练过程结束。

优选地，所述的根据需求设置目标约束，根据所述目标约束对训练好的多位宽感知量化模型进行混合精度搜索，得到满足约束的子网络，利用各个满足约束的子网络组成多位宽量化的深度卷积神经网络，包括：

将训练完成后的多位宽感知量化模型看作一个包含很多个子网络的模型池，根据需要的多位宽量化的深度卷积神经网络设置目标约束，该目标约束包括平均比特约束，根据目标约束采用蒙特卡洛采样、量化感知准确率预测器、遗传算法三种方法对训练好的多位宽感知量化模型进行混合精度搜索，搜索出满足约束的子网络；

根据满足约束的目标子网络组成需要的多位宽量化的深度卷积神经网络，各个目标子网络分别单独作为多位宽量化的深度卷积神经网络中的独立单元。

优选地，所述根据目标约束采用蒙特卡洛采样、量化感知准确率预测器、遗传算法三种方法对训练好的多位宽感知量化模型进行混合精度搜索，搜索出满足约束的子网络，包括：

利用蒙特卡洛采样构建量化感知准确率预测器的训练数据集，构建针对混合精度搜索的遗传算法中采样初始满足约束的种群，利用量化感知准确率预测器对混合精度搜索的精度进行估计；

根据子网络的配置和不同层的比特数设定采用蒙特卡洛采样生成若干条染色体，将所述若干条染色体作为初始帕累托解集，使用蒙特卡罗采样生成结构-精度数据对，针对不同的染色体，采用量化感知准确率预测器的预测输出作为该染色体的适应度分数，将适应度得分最高的染色体保存并添加到精英集合中，根据预定的概率选择精英进行变异和交叉以获得新的种群，选择-变异-交叉的过程重复进行，直到算法达到满足权重和激活平均位宽目标的帕累托解。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例通过最小-随机-最大位宽协同训练以及自适应标签软化解决不同比特子网下竞争训练的问题，实现不同平均比特位宽约束下更高的模型精度。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种对深度卷积神经网络进行多位宽量化的方法的处理流程图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

本发明实施例提供了一种面向多场景部署(每种应用场景对神经网络计算精度需求不同)的多位宽感知的量化方法，仅需对量化深度卷积神经网络训练一次，即可获得满足任意次部署的需求的多位宽感知的量化模型all-in-once network，极大减少了深度卷积神经网络压缩在时间上和计算上的开支，并在不同平均比特约束下达到较高的模型精度，形成更好的帕累托最优前沿，使得神经网络部署更轻量更好。

在权重共享的前提下，通过最小-随机-最大位宽协同训练实现模型的多位宽感知，构建一次量化多场景部署的量化模型。通过自适应标签软化，解决不同位宽下的子网恶性竞争的问题。通过蒙特卡洛搜索完成量化感知准确率预测器的性能提升。

本发明实施例提供的一种对深度卷积神经网络进行多位宽量化的方法的处理流程如图1所示，包括如下的处理步骤：

步骤S10、建立权重共享的多位宽感知量化模型。

首先对本方法中的多位宽感知量化训练问题进行建模。和一般的针对某个模型单独量化不同，本方法需要在同一个模型下同时量化并训练多个子网络。以resnet18为例，一个位宽范围2-8的resnet18的模型包含742个子网模型。同时训练多个子网模型需要重新对网络训练问题进行多位宽感知的量化建模。超网是超网模型的缩写，多位宽感知量化模型是超网从功能层面的一种描述方式，超网、超网模型和多位宽感知量化模型三者都是同一个对象，超网包括多层。resnet18共有21层，每一层的激活和权重可独立设置，量化位宽可选择为2-8比特，则子网模型包括(21×2)⁷个子网模型。

all-in-once量化模型支持多样化的量化位宽配置。假设一个模型的量化配置可以表示成

同时

分别表示层l的权重和激活的位宽，给定一个浮点的权重w和激活v,可学习的量化步长集合

和zero-point集合

则超网训练的目标函数可以表示为：

Q(·)表示量化函数。Multi-bit量化的目标是为了在不同位宽配置下学习鲁棒性强的权重分布，独立的量化步长和zero-point集合。为了高效训练量化模型，我们采用了低比特量化训练方式LSQ(Learned Step-size Quantization，基于可训练步长低比特量化).以激活v量化到k-bit为例,权重共享的量化函数如下所示:

公式1表示的是超网训练的目标函数。公式2表示的是lsq量化的公式。可以看作公式1里的Q()的具体描述，k表示量化到kbits。

多位宽感知量化模型旨在通过剥离模型权重和量化步长构建多位宽场景下权重共享，量化步长独立的模型结构。多位宽感知量化模型通过预先定义各层不同位宽下的量化步长，通过设置模型各层的量化位宽可以激活对应的量化步长和量化边界。从而使得该模型可以灵活调整为不同位宽场景下的统一量化和混合精度量化形式。

步骤S20、对多位宽感知量化模型进行多位宽感知的量化超网训练。

本方法提出了最小-随机-最大位宽协同训练以及自适应标签软化方法，来对多位宽感知量化模型进行迭代训练。

多位宽感知量化模型训练包括最低比特位宽模型、最高比特位宽模型和M个随机比特位宽模型M+2种子网络同时进行优化，训练目标为公式1所示的目标函数，M+2种不同的模型由公式1中不同的

进行表示。采用最小-随机-最大位宽协同训练方式在每一次训练迭代中，对最低比特位宽模型(比如每层固定2比特)和最高比特位宽模型(比如每层固定8比特)和两个随机比特位宽模型同时进行训练，来对超网模型的整体性能进行提升。

自适应标签软化。给定一个数据集

包含N个类别，x_i表示输入图像，y_i表示对应的真实标签。定义

作为每一轮的类级别的软标签，A^e是一个N行N列的方阵,A^e中的每一列对应着一个类别的软标签.当一个输入样本(x_i，y_i)被任意的量化模型正确判断,我们构造{p_L(x_i)，p_R(x_i)，p_H(x_i)}去更新A^e中的y_i列,M表示随机子网的数量，n表示预测值。p_L(x_i)，p_R(x_i)，p_H(x_i)三者都是描述同一个对象。

可以被如下描述:

则Adaptive Soft Label Loss可以表示为：

表示e轮时矩阵A在坐标(n，y_i)的值。平衡系数ζ一般设置成0.5.

p_L(x_i)，p_R(x_i)，p_H(x_i)分别是上面说的最高比特位宽模型、随机比特位宽模型以及最低比特位宽模型的logit输出。

每一轮迭代iteration下都做一次公式3的更新，在每一个轮次epoch结束后对A^e进行归一化，在下一个轮次epoch时的公式4中使用。总轮次epoch人为设定。一直到多位宽感知量化模型收敛为止或者达到设定的训练轮次，则所述多位宽感知量化模型的训练过程结束。判断多位宽感知量化模型收敛的条件包括精度不再随着训练轮数的增加而提升。

步骤S30、将训练完成后的多位宽感知量化模型看作一个很大的模型池，其中包含很多个子网络，可以根据需求再从里面挑出满足需求的子网络。比如，需要一个平均位宽数是4的量化深度卷积神经网络，就设置目标约束是4，根据目标约束采用蒙特卡洛采样、量化感知准确率预测器、遗传算法三种方法对训练好的多位宽感知量化模型进行混合精度搜索，搜索出目标子网。

目标约束包括平均比特约束。平均比特约束是指每一层的激活和权重都有不同的位宽表示，把所有层的激活和权重乘上他们的比例加权得到的一个值就是平均比特。

根据满足约束的目标子网络组成多位宽量化的深度卷积神经网络，各个目标子网络分别单独作为多位宽量化的深度卷积神经网络中的独立单元。

蒙特卡洛采样。首先讲解蒙特卡洛采样。是在一个超网中，通过随机均匀采样得到一个(子网架构，平均比特)的采样池。比如随机采集50万个子网模型以及计算出对应的平均比特数，即可得到每一个平均比特数下不同层比特数的一个经验分布。从该经验分布下采样，可以更高概率获得满足目标分布的结果。

蒙特卡洛采样应用于两个方面：量化感知准确率预测器中构建量化精度预测训练数据集。以及针对混合精度搜索的遗传算法中采样初始满足约束的种群。

技术细节如下：

分别给定权重和激活平均比特约束τ_w和τ_a,

的经验近似为

为了便于统计，,

通过如下方式进行计算:

为了构建上述分布，我们在采样空间中随机采样大量的结构-平均比特数据对

来构建采样池。令#(τ_w＝τ₀)表示在采样池中平均位宽为τ₀merits子网的总数，同时

表示数据对

在采样池出现的总数,则

可以如下估计:

量化感知准确率预测器Quantization-Aware Accuracy Predictor.

在搜索过程中，加快搜索模型的评估过程是非常重要的。我们提出量化感知准确率预测器对网络的精度进行准确的估计，它可以预测给定配置的模型的准确度。更具体地说，它是一个7层前馈神经网络，每个嵌入维度等于150。位宽配置被编码成一个one-hot向量作为输入，(比如[2,4,6,4,8]这样一组权重位宽配置，每一个数字代表某一层的权重的量化位宽，激活值同理)输入到预测器中以获得预测精度作为输出。

特别地，我们使用蒙特卡罗采样生成结构-精度数据对，可以避免数据集的不平衡，提高较低和较高位宽的预测性能，比如3比特以下模型的精度预测或者7比特以上的模型预测。

具体做法是，均匀随机采样一个平均比特数，比如5比特，然后再使用蒙特卡洛采样技术，在5比特下的经验分布中进行采样，能够使得采样的模型容易满足5比特的约束，这样构建出来的数据集可以更加均匀，而不是像随机均匀采样一样使得采样得到的子网络大量集中在中间比特部分。

针对混合精度搜索的遗传算法首先采用蒙特卡洛采样生成若干条染色体(即子网络的配置：不同层的比特数设定)作为初始帕累托解集。蒙特卡洛采样可以极大加速构建初始解集的时间。

然后，针对不同的染色体，采用量化感知准确率预测器的预测输出作为该染色体的适应度分数。

最后将适应度得分最高的染色体保存并添加到精英集合中，然后根据预定的概率选择精英进行变异和交叉以获得新的种群。选择-变异-交叉的过程重复进行，直到算法达到满足权重和激活平均位宽目标的帕累托解。

综上所述，本发明实施例通过最小-随机-最大位宽协同训练以及自适应标签软化解决不同比特子网下竞争训练的问题，实现不同平均比特位宽约束下更高的模型精度能够针对不同量化约束的应用场景下快速进行高性能的模型部署而不必重新进行量化训练，减少大量的计算资源和时间开销。

本发明实施例通过蒙特卡洛采样优化的进化算法，能够提升量化感知准确率预测器的性能，以及极大提高搜索效率，减少获取目标子网的时间。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种对深度卷积神经网络进行多位宽量化的方法，其特征在于，包括：

建立权重共享的多位宽感知量化模型；

对所述多位宽感知量化模型进行多位宽感知的量化超网训练；

根据需求设置目标约束，根据所述目标约束对训练好的多位宽感知量化模型进行混合精度搜索，得到满足约束的子网络，利用各个满足约束的子网络组成多位宽量化的深度卷积神经网络。

2.根据权利要求1所述的方法，其特征在于，所述的建立权重共享的多位宽感知量化模型，包括：

建立权重共享的多位宽感知量化模型，该多位宽感知量化模型是一个多层结构的超网络，多位宽感知量化模型的子网络包括最低比特位宽模型、最高比特位宽模型和随机比特位宽模型，对所述多位宽感知量化模型中的多种子网络同时进行量化并训练；

设多位宽感知量化模型的量化配置表示成

分别表示层l的权重和激活的位宽，给定一个浮点的权重w、激活v,可学习的量化步长集合

和zero-point集合

则多位宽感知量化模型训练的目标函数表示为：

Q(·)表示量化函数。

3.根据权利要求2所述的方法，其特征在于，所述的对所述多位宽感知量化模型进行多位宽感知的量化超网训练，包括：

采用最小-随机-最大位宽协同训练方式在每一次训练迭代中，对多位宽感知量化模型中的最低比特位宽模型、最高比特位宽模型和M个随机比特位宽模型M+2种子网络同时进行优化，训练目标为公式1所示的目标函数，M+2种不同的模型由公式1中不同的

进行表示；

自适应标签软化，给定一个数据集

包含N个类别，x_i表示输入图像，y_i表示对应的真实标签，定义

作为每一轮的类级别的软标签，A^e是一个N行N列的方阵,A^e中的每一列对应着一个类别的软标签，当一个输入样本(x_i，y_i)被任意的量化模型正确判断,构造{p_L(x_i)，p_R(x_i)，p_H(x_i)}去更新A^e中的y_i列,M表示随机子网的数量，n表示预测值，p_L(x_i)，p_R(x_i)，p_H(x_i)三者都是描述同一个对象，被如下描述:

则Adaptive Soft Label Loss表示为：

表示e轮时矩阵A在坐标(n，y_i)的值，平衡系数ζ设置成0.5；

p_L(x_i)，p_R(x_i)，p_H(x_i)分别是最高比特位宽模型、随机比特位宽模型以及最低比特位宽模型的logit输出；

每一轮迭代iteration下都做一次公式3的更新，在每一个轮次epoch结束后对A^e进行归一化，在下一个轮次epoch时的公式4中使用，直到多位宽感知量化模型收敛为止或者达到设定的训练次数，则所述多位宽感知量化模型的训练过程结束。

4.根据权利要求3所述的方法，其特征在于，所述的根据需求设置目标约束，根据所述目标约束对训练好的多位宽感知量化模型进行混合精度搜索，得到满足约束的子网络，利用各个满足约束的子网络组成多位宽量化的深度卷积神经网络，包括：

将训练完成后的多位宽感知量化模型看作一个包含很多个子网络的模型池，根据需要的多位宽量化的深度卷积神经网络设置目标约束，该目标约束包括平均比特约束，根据目标约束采用蒙特卡洛采样、量化感知准确率预测器、遗传算法三种方法对训练好的多位宽感知量化模型进行混合精度搜索，搜索出满足约束的子网络；

根据满足约束的目标子网络组成需要的多位宽量化的深度卷积神经网络，各个目标子网络分别单独作为多位宽量化的深度卷积神经网络中的独立单元。

5.根据权利要求4所述的方法，其特征在于，所述根据目标约束采用蒙特卡洛采样、量化感知准确率预测器、遗传算法三种方法对训练好的多位宽感知量化模型进行混合精度搜索，搜索出满足约束的子网络，包括：

利用蒙特卡洛采样构建量化感知准确率预测器的训练数据集，构建针对混合精度搜索的遗传算法中采样初始满足约束的种群，利用量化感知准确率预测器对混合精度搜索的精度进行估计；

根据子网络的配置和不同层的比特数设定采用蒙特卡洛采样生成若干条染色体，将所述若干条染色体作为初始帕累托解集，使用蒙特卡罗采样生成结构-精度数据对，针对不同的染色体，采用量化感知准确率预测器的预测输出作为该染色体的适应度分数，将适应度得分最高的染色体保存并添加到精英集合中，根据预定的概率选择精英进行变异和交叉以获得新的种群，选择-变异-交叉的过程重复进行，直到算法达到满足权重和激活平均位宽目标的帕累托解。

Images