CN118095371A - 一种基于低秩字典的大模型量化算法 - Google Patents

Abstract

本发明公开一种基于低秩字典的大模型量化算法，采用训练后权重量化算法对大模型进行压缩。为了解决在量化比特较低时大模型量化性能下降明显的问题，本发明引入低秩的量化字典量化权重，设置量化字典的秩大于1，不再限制量化字典的秩为1，从而增强了量化字典的表达能力，减小了模型的量化损失。基于梯度的优化算法优化量化字典参数。通过二次量化的方法进一步压缩量化字典参数，使得增大字典的秩带来的额外存储开销很小。本发明可以适用现有主流大模型的压缩，可以把大模型权重从原有的16比特量化到小于4比特。在自然语言生成任务上和零样本推理任务上可以取得较小的性能损失，且在3比特时可以取得接近原模型的性能。

Description

一种基于低秩字典的大模型量化算法

技术领域

本发明涉及一种基于低秩字典的大模型量化方法，适用于当前主流大模型的压缩。通过将模型权重量化到低比特，减小大模型极高的存储开销，减小大模型的推理延迟。

背景技术

近年来，GPT等一系列大模型的兴起，在多种模态的数据以及理解和生成等多种任务上展现了超越以往模型的卓越性能。但是大模型的存储和计算开销对比以往的模型也呈现巨大的增长，例如GPT模型可以达到175B的参数。因此一系列大模型压缩算法被提出。

权重量化算法不仅可以减小模型的存储开销，还可以通过减小访存开销降低推理延迟。尽管大模型权重量化在4比特量化的条件下已经可以取得接近原模型的性能，但是在更低比特的情况下依然和原模型的性能差距较大。通常来说每个通道/层的压缩误差会逐渐累积，由于在压缩率较高时每个线性层的量化误差较大，而这个误差会逐层累积，从而导致大模型最终输出的误差较大，因此在量化比特较低时大模型量化性能下降明显。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提供一种基于低秩字典的大模型量化算法，本发明通过量化大模型的权重减少了大模型的存储开销，同时本发明能缓解在量化比特较低时大模型量化性能下降明显的问题。

技术方案：一种基于低秩字典的大模型量化算法，引入低秩的量化字典量化权重，设置量化字典的秩大于1，不再限制量化字典的秩为1，从而增强了量化字典的表达能力，减小了模型的量化损失。进一步地，基于梯度的优化算法优化量化字典参数。进一步地，引入了二次量化的方法进一步压缩量化字典参数，使得增大字典的秩带来的额外存储开销很小。

所述的基于低秩字典的大模型量化算法，引入低秩的量化字典，具体步骤为：

步骤100，获取当前模型块的预训练权重对于其中一个线性层权重的一个子块对权重进行分组量化，定义权重W的分组大小G，权重W的分组数目为N_G，量化偏移量/>量化的索引记为/>N_Q＝2^b为每个分组的量化字典对应的量化值数目，其中b为比特数。当前模型块的所有校准样本的全精度输入特征为其中/>代表第i个校准样本对应的全精度输入特征，N_X为校准样本总数。

步骤101，将量化字典的秩设置为大于1，也就是采用多个缩放向量和量化点集向量而不是一个，从而增强了量化字典的表达能力，更好地适应不同权重分组的不同分布，减小了模型的量化损失。本发明定义量化字典的缩放参数定义量化点集参数/>S_i是S中的第i行，代表一个缩放向量，V_i是V中的第i行，代表一个量化点集向量，其中N_D代表秩的大小，N_D可以大于1。

步骤102，计算量化字典，量化字典C由S，V通过矩阵乘法得到，字典根据函数Φ(S，V，B)计算得到，具体定义如下：

C＝Φ(S，V，B)＝S^TV-B

步骤103，根据量化字典得到当前权重的量化结果，把每个权重量化到距离最近的量化值：

其中Z_i，j为量化索引Z的第i行，第j列对应的元素。W_i，j为权重W的第i行，第j列对应的元素，为W_i，j的量化结果。C_i,k为量化字典C的第i行，第k列对应的元素，C_i为量化字典C的第i行。Q(W_i，j，C_i)为量化函数。

步骤104，定义每个模型块的优化目标，最小化当前模型块量化权重的输出和不量化权重的输出的差值的F-范数：

其中S，V，B对应到一个Transformer模型块的参数记为为一个Transformer模型块的所有权重，函数h(·)代表一个Transformer模型块。

所述步骤104中优化目标，采用了一种基于梯度的优化算法优化这个目标，求解最优的字典参数，具体步骤为：

步骤200，对量化函数Q(W_i，j，C_i)的梯度进行近似。首先，将量化函数重写为多段相加的形式：

排序函数π_i(·)：N₊→N₊，把一个正整数的索引映射到另外一个正整数的索引，负责对量化字典C_i按照从小到大排序。clip(x，0，1)函数把输入x限制在[0，1]之内。其中阶跃函数是一个逐元素函数，起到离散化权重的作用，定义如下：

为了解决阶跃函数梯度几乎处处为零的问题，对阶跃函数/>的反向传播函数采用STE近似，定义如下：

然后通过链式法则得到量化权重W^Q对S，B，V的梯度

步骤201，量化参数重参数化把量化参数S，B，V分别重参数化为

首先对于S采用重参数化技巧解决量化参数中数值相差较大难以收敛的问题，把权重的范围从S中解耦出来，对第i分组权重W_i对应的缩放参数S_*，i(S_*，i为S的第i列对应的参数)进行重参数化，可以写为如下形式：

其中为/>的第i列对应的参数。

然后重参数化B，首先定义参数B′如下(B′_i为B′的第i行)：

其中为/>的第i行，然后需要根据B′_i计算偏移量B_i，保证在使用偏移量B_i时数值0是包含在量化值C_i中，偏移量B_i的计算公式为B_i＝Q(B′_i，C′_i)，其中/>

最后重参数化V，由于权重的范围已经由S所表示，V不需要再表示权重的范围，因此重参数化表示如下：

步骤202，采用AWQ AWQ：Activaiton-aware Weight Quantization for LLMCompression and Acceleration.Ji Lin et.al arXiv’2023)的结果初始化具体步骤如下：运行AWQ算法，得到量化字典参数S₁，B′，V₁，根据S₁，B′，V₁和步骤201中的三个重参数化函数/> 对应的反函数分别计算出对应的/>具体形式如下：

其中为/>的第i个元素，/>为/>的第i行，arctanh为tanh的反函数。

对于剩余参数，初始化为全零，/>采用标准高斯分布的等分位点初始化。

所述的基于低秩字典的大模型量化算法，引入了二次量化的方法进一步压缩量化字典参数，使得增大字典的秩带来的额外存储开销很小，具体步骤为：

步骤301，定义二次量化的优化目标，最小化F-范数量化误差：

其中S^dq，V^dq，B^dq为二次量化的量化参数，分别为二次量化的缩放参数、二次量化的量化点集参数和二次量化的偏移量。

步骤302，通过网格搜索找到S对应的二次量化参数，然后固定。

步骤303，再通过网格搜索V对应的二次量化参数。

所述的基于低秩字典的大模型量化算法，最后需要把量化字典S，V和量化索引Z存储到计算机的硬盘上，不需要存储原来的全精度权重W。量化字典S，V通常是一个分组的权重共享，参数数目相比权重W自身的参数数目少很多，同时量化索引Z可以把每个权重编码到小于4比特，而原来的全精度权重W是采用16比特编码，因此最终的存储开销得到了极大地降低。在推理时根据量化参数S，V和量化索引Z解码得到量化权重W^Q，由于解码时只读取当前层的量化参数S，V和量化索引Z到计算机内存中，读取的参数量相比直接读取全精度权重的参数量降低很多，因此也可以降低推理时的访存开销。

有益效果：本发明通过引入低秩的量化字典，增强了量化字典的表达能力，减小了模型的量化损失，从而解决在量化比特较低时大模型量化性能下降明显的问题。本发明可以适用现有主流大模型的压缩，例如GPT，LLama，本发明可以把大模型权重从原有的16比特量化到小于4比特(如2比特、3比特)，不仅可以减小大模型极高的存储开销，还可以通过减小访存开销降低大模型的推理延迟。在自然语言生成任务上和零样本推理任务上对比以往的大模型量化算法可以取得较小的性能损失，且在3比特时可以取得接近原模型的性能。

附图说明

图1为本发明的低秩量化字典示意图；

图2为本发明的优化算法总体流程图；

图3为本发明的重参数化方法示意图；

图4为本发明的二次量化方法流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

基于低秩字典的大模型量化算法，低秩量化字典示意图如图1所示。本发明将量化字典的秩设置为大于1，也就是采用多个缩放向量和量化点集向量而不是一个，从而增强了量化字典的表达能力，更好地适应不同权重分组的不同分布，减小了模型的量化损失。本发明定义量化字典的缩放参数和量化点集参数： 然后计算量化字典，量化字典C由S，V通过矩阵乘法得到，形式化定义如下：C＝Φ(S，V，B)＝S^TV-B。最后根据量化字典得到当前权重的量化结果，把每个权重量化到距离最近的量化值。

基于低秩字典的大模型量化算法，优化算法总体流程如图2所示。每个模型块的量化参数单独求解。对于第i个模型块，首先获取当前模型块的全精度输入特征作为训练样本，然后每次从中随机采样一个批量的输入特征，计算得到步骤104中的目标函数，之后根据步骤200中的梯度近似算法计算梯度，通过梯度下降优化模型中的量化参数。由于本发明对量化参数进行了重参数化(如步骤201所述)，把S，B，V参数重参数化为因此量化参数的更新是在/>上进行的，重参数化示意图如图3所示。梯度下降达到指定轮数之后结束当前模型块的优化，对量化参数S，V进行二次量化并保存。二次量化算法流程图如图4所示，二次量化采用均匀量化算法，二次量化首先通过网格搜索找到S对应的二次量化参数，然后固定，再通过网格搜索V对应的二次量化参数，二次量化算法采用最小化F-范数量化误差作为优化目标。循环优化每个模型块的量化参数，直到所有的模型块都优化完一遍，优化流程结束。

具体实施的方法步骤为：

步骤100，获取当前模型块的预训练权重对于其中一个线性层权重的一个子块对权重进行分组量化，定义权重W的分组大小G，权重W的分组数目为N_G，量化偏移量/>量化的索引记为/>N_Q＝2^b为每个分组的量化字典对应的量化值数目，其中b为比特数。当前模型块的所有校准样本的全精度输入特征为其中/>代表第i个校准样本对应的全精度输入特征，N_X为校准样本总数。

步骤101，将量化字典的秩设置为大于1，也就是采用多个缩放向量和量化点集向量而不是一个，从而增强了量化字典的表达能力，更好地适应不同权重分组的不同分布，减小了模型的量化损失。本发明定义量化字典的缩放参数定义量化点集参数/>S_i是S中的第i行，代表一个缩放向量，V_i是V中的第i行，代表一个量化点集向量，其中N_D代表秩的大小，N_D可以大于1。

步骤102，计算量化字典，量化字典C由S，V通过矩阵乘法得到，字典根据函数Φ(S，V，B)计算得到，具体定义如下：

C＝Φ(S，V，B)＝S^TV-B

步骤103，根据量化字典得到当前权重的量化结果，把每个权重量化到距离最近的量化值：

其中Z_i,j为量化索引Z的第i行，第j列对应的元素。W_i，j为权重W的第i行，第j列对应的元素，为W_i，j的量化结果。C_i,k为量化字典C的第i行，第k列对应的元素，C_i为量化字典C的第i行。Q(W_i，j，C_i)为量化函数。

步骤104，定义每个模型块的优化目标，最小化当前模型块量化权重的输出和不量化权重的输出的差值的F-范数：

其中S，V，B对应到一个Transformer模型块的参数记为为一个Transformer模型块的所有权重，函数h(·)代表一个Transformer模型块。

步骤104中优化目标，采用了一种基于梯度的优化算法优化这个目标，求解最优的字典参数，具体步骤为：

步骤200，对量化函数Q(W_i，j，C_i)的梯度进行近似。首先，将量化函数重写为多段相加的形式：

排序函数π_i(·)：N₊→N₊，把一个正整数的索引映射到另外一个正整数的索引，负责对量化字典C_i按照从小到大排序。clip(x,0,1)函数把输入x限制在[0，1]之内。其中阶跃函数是一个逐元素函数，起到离散化权重的作用，定义如下：

为了解决阶跃函数梯度几乎处处为零的问题，对阶跃函数/>的反向传播函数采用STE近似，定义如下：

然后通过链式法则得到量化权重W^Q对S，B，V的梯度

步骤201，量化参数重参数化把量化参数S，B，V分别重参数化为

首先对于S采用重参数化技巧解决量化参数中数值相差较大难以收敛的问题，把权重的范围从S中解耦出来，对第i分组权重W_i对应的缩放参数S_*，i(S_*，i为S的第i列对应的参数)进行重参数化，可以写为如下形式：

其中为/>的第i列对应的参数。

然后重参数化B，首先定义参数B′如下(B′_i为B′的第i行)：

其中为/>的第i行，然后需要根据B′_i计算偏移量Bi，保证在使用偏移量B_i时数值0是包含在量化值C_i中，偏移量B_i的计算公式为B_i＝Q(B′_i，C′_i)，其中/>

最后重参数化V，由于权重的范围已经由S所表示，V不需要再表示权重的范围，因此重参数化表示如下：

步骤202，采用AWQ的结果初始化具体步骤如下：运行AWQ算法，得到量化字典参数S₁，B′，V₁，根据S₁，B′，V₁和步骤201中的三个重参数化函数/> 对应的反函数分别计算出对应的/>具体形式如下：

其中为/>的第i个元素，/>为/>的第i行，arctanh为tanh的反函数。

对于剩余参数，初始化为全零，/>采用标准高斯分布的等分位点初始化。

引入二次量化的方法进一步压缩量化字典参数，使得增大字典的秩带来的额外存储开销很小，具体步骤为：

步骤301，定义二次量化的优化目标，最小化F-范数量化误差：

其中S^dq，V^dq，B^dq为二次量化的量化参数，分别为二次量化的缩放参数、二次量化的量化点集参数和二次量化的偏移量。

步骤302，通过网格搜索找到S对应的二次量化参数，然后固定。

步骤303，再通过网格搜索V对应的二次量化参数。

最后需要把量化字典S，V和量化索引Z存储到计算机的硬盘上，不需要存储原来的全精度权重W。量化字典S，V通常是一个分组的权重共享，参数数目相比权重W自身的参数数目少很多，同时量化索引Z可以把每个权重编码到小于4比特，而原来的全精度权重W是采用16比特编码，因此最终的存储开销得到了极大地降低。在推理时根据量化参数S，V和量化索引Z解码得到量化权重W^Q，由于解码时只读取当前层的量化参数S，V和量化索引Z到计算机内存中，读取的参数量相比直接读取全精度权重的参数量降低很多，因此也可以降低推理时的访存开销。

本发明在一些公开的数据集上进行了实验，数据集包括wikitext2、c4、ptb，采用ppl(perplexity)指标评估模型预测下一个单词的能力，评估模型的自然语言生成能力。本发明也对比了量化模型在零样本推理任务上的性能，采用了几个常用的数据集：PIQA、ARC_easy、WinoGrande。实验对比了目前已有的最好方法，已有的最好方法是发表在2024年计算机项级会ICLR上的论文OmniQuant(Wenqi Shao et.al.OmniQuant：OmnidirectionallyCalibrated Quantization for Large Language Models.ICLR’2024)以及在arXiv上的受到广泛关注的论文AWQ(Ji Lin et.al.AWQ：Activaiton-aware Weight Quantization forLLM Compression and Acceleration.arXiv’2023)。实验结果表明，对比以往的方法，本发明能够在相同的压缩率下取得更好的模型效果，在更低的压缩率下可以取得更为明显的性能提升(例如在零样本任务上采用2比特量化可以取得平均4％的性能提升)，验证了本文提出的低秩字典的有效性。

Claims (5)

1.一种基于低秩字典的大模型量化算法，其特征在于，引入低秩的量化字典量化权重，设置量化字典的秩大于1；基于梯度的优化算法优化量化字典参数；引入了二次量化的方法进一步压缩量化字典参数，使得增大字典的秩带来的额外存储开销很小。

2.根据权利要求1所述的基于低秩字典的大模型量化算法，其特征在于，引入低秩的量化字典量化权重，具体步骤为：

步骤100，获取当前模型块的预训练权重对于其中一个线性层权重的一个子块对权重进行分组量化，定义权重W的分组大小G，权重W的分组数目为N_G，量化偏移量/>量化的索引记为/>N_Q＝2^b为每个分组的量化字典对应的量化值数目，其中b为比特数；当前模型块的所有校准样本的全精度输入特征为其中/>代表第i个校准样本对应的全精度输入特征，N_X为校准样本总数；

步骤101，将量化字典的秩设置为大于1，定义量化字典的缩放参数： 定义量化点集参数：/>其中N_D代表秩的大小，N_D大于1；

步骤102，计算量化字典，量化字典由S，V通过矩阵乘法得到，字典根据函数Φ(S，V，B)计算得到，具体定义如下：

C＝Φ(S，V，B)＝S^TV-B

步骤103，根据量化字典得到当前权重的量化结果，把每个权重量化到距离最近的量化值：

其中Z_i，j为量化索引Z的第i行，第j列对应的元素；W_i，j为权重W的第i行，第j列对应的元素，为W_i，j的量化结果；C_i，k为量化字典C的第i行，第k列对应的元素，C_i为量化字典C的第i行；Q(W_i，j，C_i)为量化函数；

步骤104，定义每个模型块的优化目标，最小化当前模型块量化权重的输出和不量化权重的输出的差值的F-范数：

其中S，V，B对应到一个Transformer模型块的参数记为 为一个Transformer模型块的所有权重，函数h(·)代表一个Transformer模型块。

3.根据权利要求1所述的基于低秩字典的大模型量化算法，其特征在于，所述步骤104中优化目标，采用了一种基于梯度的优化算法优化这个目标，求解最优的字典参数，具体步骤为：

步骤200，对量化函数Q(W_i，j，C_i)的梯度进行近似；首先，将量化函数等价地重写为多段相加的形式：

排序函数π_i(·)：N₊→N₊，把一个正整数的索引映射到另外一个正整数的索引，负责对量化字典C_i按照从小到大排序；cliμ(x，0，1)函数把输入x限制在[0，1]之内；其中阶跃函数是一个逐元素函数，定义如下：

对阶跃函数的反向传播函数采用STE近似，定义如下：

然后通过链式法则得到量化权重W^Q对S，B，V的梯度

步骤201，量化参数重参数化把量化参数S，B，V分别重参数化为

首先重参数化S，把权重的范围从S中解耦出来；对第i分组权重W_i对应的缩放参数S_*，i进行重参数化，S_*,i为S的第i列对应的参数，写为如下形式：

其中为/>的第i列对应的参数。

然后重参数化B，首先定义参数B′如下(B′_i为B′的第i行)：

其中为/>的第i行，然后需要根据B′_i计算偏移量B_i，保证在使用偏移量B_i时数值0是包含在量化值C_i中，偏移量B_i的计算公式为B_i＝Q(B′_i，C′_i)，其中/>

最后重参数化V，由于权重的范围已经由S表示，V不需要再表示权重的范围，因此重参数化表示如下：

步骤202，采用AWQ的结果初始化具体步骤如下：运行AWQ算法，得到量化字典参数S₁，B′，V₁，根据S₁，B′，V₁和步骤201中的三个重参数化函数/> 对应的反函数分别计算出对应的/>具体形式如下：

其中为/>的第i个元素，/>为/>的第i行，arctanh为tanh的反函数；

对于剩余参数，初始化为全零，/>采用标准高斯分布的等分位点初始化。

4.根据权利要求1所述的基于低秩字典的大模型量化算法，其特征在于，引入了二次量化的方法进一步压缩量化字典参数，具体步骤为：

步骤301，定义二次量化的优化目标，以缩放参数S的二次量化为例，最小化F-范数量化误差：

其中S^dq，V^dq，B^dq为二次量化的量化参数，分别为二次量化的缩放参数、二次量化的量化点集参数和二次量化的偏移量；

步骤302，通过网格搜索找到S对应的二次量化参数，然后固定；

步骤303，再通过网格搜索V对应的二次量化参数。

5.根据权利要求1所述的基于低秩字典的大模型量化算法，其特征在于，最后需要把量化字典S，V和量化索引Z存储到计算机的硬盘上，不需要存储原来的全精度权重W；在推理时根据量化参数S，V和量化索引Z解码得到量化权重W^Q。