CN110942148B - 一种自适应的非对称量化的深度神经网络模型压缩方法 - Google Patents

一种自适应的非对称量化的深度神经网络模型压缩方法 Download PDF

Info

Publication number
CN110942148B
CN110942148B CN201911269550.2A CN201911269550A CN110942148B CN 110942148 B CN110942148 B CN 110942148B CN 201911269550 A CN201911269550 A CN 201911269550A CN 110942148 B CN110942148 B CN 110942148B
Authority
CN
China
Prior art keywords
quantization
neural network
quantized
deep neural
adaptive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911269550.2A
Other languages
English (en)
Other versions
CN110942148A (zh
Inventor
张丽
潘何益
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201911269550.2A priority Critical patent/CN110942148B/zh
Publication of CN110942148A publication Critical patent/CN110942148A/zh
Application granted granted Critical
Publication of CN110942148B publication Critical patent/CN110942148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种自适应的非对称量化的深度神经网络模型压缩方法，该方法包括：在深度神经网络训练时，每一个批次的训练过程，在前向传播开始计算之前，将网络的每一层浮点权重自适应的量化为非对称的三元或四元值；并在反向传播更新参数阶段，使用原始的浮点型网络权重进行参数更新；最后对训练完成的量化深度神经网络进行压缩存储。本发明降低了深度神经网络的参数冗余程度，并对剩余参数实现自适应的量化，对网络模型进行极大限度的压缩，提升了量化方法在深度网络及大数据集上的识别准确率。

Description

一种自适应的非对称量化的深度神经网络模型压缩方法
技术领域
本发明涉及深度神经网络模型压缩技术领域，尤其涉及一种自适应的非对称量化的深度神经网络模型压缩方法。
背景技术
近些年，深度学习逐渐替代了传统机器学习在日常生活中的应用，诸如语音识别、图像分类、机器翻译等一系列机器学习任务中，深度神经网络都取得了一定成果。但是，经典的深度神经网络模型，由于其厚重的层级结构带来数以百万计的浮点网络参数运算量，使得大多数网络难以部署到移动设备、嵌入式设备当中并保持良好的处理性能。而如何极大限度压缩神经网络参数并保证不低于原网络识别性能逐渐成为当前深度学习的重要研究方向。
目前，针对模型参数冗余性的深度模型压缩方法分为两种，早在ICLR2016获得最佳论文奖的Deep Compression中便对这两种方法做了详尽的解释。其一是基于参数修剪的技术(也被称为网络剪枝)，其通过分析网络结构的重要性，将不重要的网络结构剪掉，来削减模型参数的冗余性。其二是基于参数量化的技术，其将32bit浮点权重，量化到1-bit、2-bit的有限数值，以此降低模型参数占用的内存。较为典型的有二值权重网络(BinaryWeight Network，BWN)、三值权重网络(Ternary Weight Network，TWN)，但上述算法选用的量化阈值都存在近似计算，存在一定的不可解释性。
目前最新的对称三元量化训练算法(Trained Ternary Quantization，TTQ)会将网络权重根据固定的阈值，量化到可训练的浮点三元值{+α,0,+β}，其将三元值纳入损失计算，实现了可解释的三元值量化，但对于2-bit的参数空间存在25％的参数空间浪费的问题。
目前最新的非对称三元量化算法(Asymmetric Ternary Networks，ATNs)会将网络权重根据非对称的阈值因子，量化到非对称的三元值{-α，0，+α}，其采用的量化算法为：
Figure BDA0002313785260000021
在量化算法的设定上，其认为经过训练，网络的正负权重不满足相同的分布，但申请人认为当正负权重分布的不均匀程度过大时，会对非对称三元量化值的表征能力起反作用。
发明内容
针对上述现有技术中存在的不足之处，本发明提供一种自适应的非对称量化的深度神经网络模型压缩方法，以解决使用假设场景的近似计算获得阈值带来的不稳定性；使用三元值量化所导致的表征能力不足的问题；以及三元值压缩至2-bit导致的参数空间利用率低的问题。
针对上述问题，为了避免三元值在某些情况下表征能力不足的问题，本发明提出在一定情况下采用非对称的四元值进行量化，在一般情况下仍采用非对称的三元值进行量化的解决方案。为了避免近似计算取得量化缩放因子所带来的不稳定性，本发明提出采用可训练的多元量化缩放因子的解决方案。
具体地，该自适应的非对称量化的深度神经网络模型压缩方法包括：
在深度神经网络训练时，对于每一批次的训练过程，在前向传播开始计算之前，将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值；
在反向传播更新参数阶段，使用原始的浮点型网络权重进行参数更新；
对训练完成的量化深度神经网络进行压缩存储。
其中，在将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值时，自适应量化的三元值的表达式如下：
Figure BDA0002313785260000022
其中，
Figure BDA0002313785260000023
表示对应的缩放因子，W1表示当前待量化的浮点权重，
Figure BDA0002313785260000024
Figure BDA0002313785260000025
表示量化过程中采用的阈值。
其中，在将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值时，自适应量化的四元值的表达式如下：
Figure BDA0002313785260000031
Figure BDA0002313785260000032
其中，
Figure BDA0002313785260000033
表示对应的缩放因子，W1表示当前待量化的浮点权重，
Figure BDA0002313785260000034
表示量化过程中采用的阈值。
其中，在将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值时，所述方案还包括：
采用L2范式最小来降低量化过程所带来的损失，公式如下：
Figure BDA0002313785260000035
其中，
Figure BDA0002313785260000036
表示对应的缩放因子，W1表示当前待量化的浮点权重,
Figure BDA0002313785260000037
表示自适应量化的三元值或四元值。
其中，所述参数更新为：
采用损失计算的方式，使用可训练的多元量化缩放因子，在预设值的基础上进行更新，公式如下：
Figure BDA0002313785260000038
其中，
Figure BDA0002313785260000039
表示对应的缩放因子。
其中，所述
Figure BDA00023137852600000310
和
Figure BDA00023137852600000311
的表达式分别如下：
Figure BDA00023137852600000312
Figure BDA00023137852600000313
其中，t为预设的固定阈值。
其中，在将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值时，所述方法包括：
若正负两侧量化阈值的相似程度差距不超过预设差距值，则自适应的采用非对称的三元量化方案将相应的浮点权重自适应的量化为非对称三元值；
若正负两侧量化阈值的相似程度差距超过预设差距值，则自适应的采用非对称的四元量化方案将相应的浮点权重自适应的量化为非对称四元值。
其中，所述对训练完成的量化深度神经网络进行压缩存储为：
采用2-bit编码技术对训练完成的量化深度神经网络进行压缩存储。
本发明采用阈值分割的方式，根据当前正负权重分布来确认量化方案，并根据固定阈值及正负权重分布来确定量化方案采用的量化阈值，然后对应量化阈值的相关关系及量化方案，对权重进行可训练的非对称多元量化获得特征表达能力更强的量化深度神经网络。本发明有效降低了深度神经网络的参数冗余程度，并对剩余参数实现自适应的量化，可以对网络模型进行极大限度的压缩，有效提升了量化方法在深度网络及大数据集上的识别准确率。
附图说明
图1为本发明实施例提供的自适应的非对称量化的深度神经网络模型压缩方法的流程示意图；
图2为本发明实施例提供的量化网络训练流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本实施例提供一种自适应的非对称量化的深度神经网络模型压缩方法，该方法包括以下步骤：
S101，在深度神经网络训练时，对于每一批次的训练过程，在前向传播开始计算之前，将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值；
S102，在反向传播更新参数阶段，使用原始的浮点型网络权重进行参数更新；
S103,对训练完成的量化深度神经网络进行压缩存储。
具体地，本实施例的自适应的非对称量化的深度神经网络模型压缩方法包括三个过程，下面分别一一进行详细阐述：
一、自适应的非对称量化网络量化过程：
在将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值时，自适应量化的三元值的表达式如下：
Figure BDA0002313785260000051
在将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值时，自适应量化的四元值的表达式如下：
Figure BDA0002313785260000052
Figure BDA0002313785260000053
其中，
Figure BDA0002313785260000054
表示对应的缩放因子，用来减少量化过程带来的损失。W1表示当前待量化的浮点权重，
Figure BDA0002313785260000055
表示量化过程中采用的阈值，任意的浮点数可根据其范围分配到不用的三元或四元值当中。在上面设置的阈值方法中，存在
Figure BDA0002313785260000056
五个独立的参数因子。
采用L2范式最小来降低量化过程所带来的损失，公式如下：
Figure BDA0002313785260000061
采用损失计算的方式，使用可训练的多元量化缩放因子，在预设值的基础上进行更新，公式如下：
Figure BDA0002313785260000062
采用固定的阈值t分别计算正负方向两侧的量化阈值，所述
Figure BDA0002313785260000063
和
Figure BDA0002313785260000064
的表达式分别如下：
Figure BDA0002313785260000065
Figure BDA0002313785260000066
网络权重W1经过训练之后其正负值仍然满足基本的正态分布，但不够均匀，遂采用阈值因子tq作为正负两侧量化阈值的相似程度，差距较大时，自适应的采用非对称的四元量化方案。
对于给定阈值因子tq，自适应量化方案标志位Wflag为：
Figure BDA0002313785260000067
then选择三元非对称量化方法，且Wflag置0
Figure BDA0002313785260000068
then选择四元非对称量化方法，且Wflag置1
对于四元对称量化方案，及任一量化阈值
Figure BDA0002313785260000069
自适应量化方案标志位Wflag应按照如下公式更新：
Figure BDA00023137852600000610
then Wflag置1
Figure BDA00023137852600000611
then Wflag置-1
最终结合上述公式，即可从原有的浮点型权重当中，自适应的量化得到适合的非对称三元或四元权重值，实现网络权重的离散化处理。
二、自适应的非对称量化网络训练过程：
自适应的非对称量化方法将网络的每一层浮点权重都约束到了
Figure BDA00023137852600000612
Figure BDA0002313785260000071
四个值当中，极大限度的降低了参数的冗余程度，有效防止了过拟合现象的发生，将量化方法移植到神经网络的训练过程中从而加速梯度下降，有效减少的训练时间，提升训练效率。量化网络的训练方法与传统浮点型网络相似，训练流程如图2所示。
图2显示了自适应的非对称量化网络训练的两个关键点：其一是量化方法需要添加在每一次前向传播开始之前，网络的损失是由自适应量化后的权重计算得到的，主要目的是获取量化方法对最终结果的影响。其二是反向传播阶段，采用原始的浮点型网络权重对参数进行更新，目的在于获取准确的梯度更新参数使得网络始终朝着最优的方向更新。
三、自适应的非对称量化网络存储过程：
自适应的非对称量化网络经过训练之后，每一层的网络权重都会量化到
Figure BDA0002313785260000072
当中，其中1代表对应的网络层，但是量化权重仍然是浮点型的表示，为了实现参数空间的压缩存储，本实施例采用2-bit编码技术进行压缩存储，具体编码方式如下：
Figure BDA0002313785260000073
2-bit编码可以存储四种数值，本实施例中采用了其中所有四种表示，在压缩过程中，可以通过移位操作，将16个2-bit值存储为一个32-bit定点整数，理论上可以获得16倍左右的模型压缩比，本实施例的方案中额外设定的量化方案选择标志Wflag其可能值为{-1,0,+1}，0代表采用非对称三元量化方案；±1代表采用非对称四元量化方案时，
Figure BDA0002313785260000074
的符号。该标志位仅占用2-bit空间，在数以百万计参数的网络中，不会对模型压缩比造成影响。
本实施例的自适应的非对称量化网络(Adaptive Asymmetric Quantization，AAQ)，相比于对称的三元量化训练网络(Trained Ternary Network，TTQ)，可以有效提升量化网络在CIFAR-10数据集上的识别准确率，具体结果如表1所示。
表1 ResNet量化网络在CIFAR-10数据集上的准确率
Figure BDA0002313785260000081
相比于非对称的三元量化网络(Asymmetric Ternary Networks，ATNS)，本实施例的方法有效提升了量化网络在ImageNet数据集上的识别准确率，具体结果如表2所示。
表2 AlexNet量化网络在ImageNet数据集上的准确率
Figure BDA0002313785260000082
可以看出AAQ在CIFAR-10数据集上相比于TTQ提升了0.33％，同时比全精度网络识别率高了近0.20％。在ImageNet数据集上，AAQ相比于ATNS提高了1.36％，相比于全精度网络提高了0.73％，有效地提升了量化方法在大数据集上的识别准确率。
本实施例采用阈值分割的方式，根据当前正负权重分布来确认量化方案，并根据固定阈值及正负权重分布来确定量化方案采用的量化阈值，然后对应量化阈值的相关关系及量化方案，对权重进行可训练的非对称多元量化获得特征表达能力更强的量化深度神经网络。本发明有效降低了深度神经网络的参数冗余程度，并对剩余参数实现自适应的量化，可以对网络模型进行极大限度的压缩，有效提升了量化方法在深度网络及大数据集上的识别准确率。
此外，本领域内的技术人员应明白，本发明的实施例可提供为方法或计算机程序产品。因此，本发明实施例可采用结合软件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上仅为本发明优选实施例而已，并不用于限制本发明，对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种自适应的非对称量化的深度神经网络模型压缩方法，其特征在于，所述自适应的非对称量化的深度神经网络模型压缩方法包括：
在深度神经网络训练时，对于每一批次的训练过程，在前向传播开始计算之前，将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值；其中，若正负两侧量化阈值的相似程度差距不超过预设差距值，则自适应的采用非对称的三元量化方案将相应的浮点权重自适应的量化为非对称三元值；若正负两侧量化阈值的相似程度差距超过预设差距值，则自适应的采用非对称的四元量化方案将相应的浮点权重自适应的量化为非对称四元值；
自适应量化的四元值的表达式如下：
Figure FDA0002699325770000011
Figure FDA0002699325770000012
其中，
Figure FDA0002699325770000013
表示对应的缩放因子，W1表示当前待量化的浮点权重，
Figure FDA0002699325770000014
表示量化过程中采用的阈值；
在反向传播更新参数阶段，使用原始的浮点型网络权重进行参数更新；
对训练完成的量化深度神经网络进行压缩存储。
2.如权利要求1所述的自适应的非对称量化的深度神经网络模型压缩方法，其特征在于，在将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值时，自适应量化的三元值的表达式如下：
Figure FDA0002699325770000015
其中，
Figure FDA0002699325770000016
表示对应的缩放因子，W1表示当前待量化的浮点权重，
Figure FDA0002699325770000017
Figure FDA0002699325770000018
表示量化过程中采用的阈值。
3.如权利要求2所述的自适应的非对称量化的深度神经网络模型压缩方法，其特征在于，在将网络的每一层浮点权重自适应的量化为非对称的三元值或四元值时，所述方法还包括：
采用L2范式最小来降低量化过程所带来的损失，公式如下：
Figure FDA0002699325770000021
其中，
Figure FDA0002699325770000022
表示对应的缩放因子，W1表示当前待量化的浮点权重,
Figure FDA0002699325770000023
表示自适应量化的三元值或四元值。
4.如权利要求3所述的自适应的非对称量化的深度神经网络模型压缩方法，其特征在于，所述参数更新为：
采用损失计算的方式，使用可训练的多元量化缩放因子，在预设值的基础上进行更新，公式如下：
Figure FDA0002699325770000024
其中，
Figure FDA0002699325770000025
表示对应的缩放因子。
5.如权利要求4所述的自适应的非对称量化的深度神经网络模型压缩方法，其特征在于，所述
Figure FDA0002699325770000026
和
Figure FDA0002699325770000027
的表达式分别如下：
Figure FDA0002699325770000028
Figure FDA0002699325770000029
其中，t为预设的固定阈值。
6.如权利要求1所述的自适应的非对称量化的深度神经网络模型压缩方法，其特征在于，所述对训练完成的量化深度神经网络进行压缩存储为：
采用2-bit编码技术对训练完成的量化深度神经网络进行压缩存储。
CN201911269550.2A 2019-12-11 2019-12-11 一种自适应的非对称量化的深度神经网络模型压缩方法 Active CN110942148B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911269550.2A CN110942148B (zh) 2019-12-11 2019-12-11 一种自适应的非对称量化的深度神经网络模型压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911269550.2A CN110942148B (zh) 2019-12-11 2019-12-11 一种自适应的非对称量化的深度神经网络模型压缩方法

Publications (2)

Publication Number Publication Date
CN110942148A CN110942148A (zh) 2020-03-31
CN110942148B true CN110942148B (zh) 2020-11-24

Family

ID=69910884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911269550.2A Active CN110942148B (zh) 2019-12-11 2019-12-11 一种自适应的非对称量化的深度神经网络模型压缩方法

Country Status (1)

Country Link
CN (1) CN110942148B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021230006A1 (zh) * 2020-05-13 2021-11-18
CN111814676B (zh) * 2020-07-08 2023-09-29 上海雪湖科技有限公司 基于kl散度的fpga离线量化方法
CN112200296B (zh) * 2020-07-31 2024-04-05 星宸科技股份有限公司 网络模型量化方法、装置、存储介质及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635927A (zh) * 2018-12-05 2019-04-16 东软睿驰汽车技术（沈阳）有限公司 一种卷积神经网络训练方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985453A (zh) * 2018-06-27 2018-12-11 中国科学技术大学苏州研究院 基于非对称三元权重量化的深度神经网络模型压缩方法
CN110363281A (zh) * 2019-06-06 2019-10-22 上海交通大学 一种卷积神经网络量化方法、装置、计算机和存储介质
CN111008694B (zh) * 2019-12-02 2023-10-27 许昌北邮万联网络技术有限公司 基于深度卷积对抗生成网络的无数据模型量化压缩方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635927A (zh) * 2018-12-05 2019-04-16 东软睿驰汽车技术（沈阳）有限公司 一种卷积神经网络训练方法及装置

Also Published As

Publication number Publication date
CN110942148A (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
CN110942148B (zh) 一种自适应的非对称量化的深度神经网络模型压缩方法
Li et al. Training quantized nets: A deeper understanding
CN105912611A (zh) 一种基于cnn的快速图像检索方法
CN115802056B (zh) 用于移动终端的用户数据压缩存储方法
CN109635935A (zh) 基于模长聚类的深度卷积神经网络模型自适应量化方法
CN111078911A (zh) 一种基于自编码器的无监督哈希方法
CN108985453A (zh) 基于非对称三元权重量化的深度神经网络模型压缩方法
CN110188877A (zh) 一种神经网络压缩方法与装置
CN111898751B (zh) 一种数据处理的方法、系统、设备及可读存储介质
CN109523016A (zh) 面向嵌入式系统的多值量化深度神经网络压缩方法及系统
CN114783427B (zh) 基于命令词的语音识别模型压缩方法
CN118466852B (zh) 一种油藏数字孪生数据的分类分级存储方法
Xiang et al. Adaptive and dynamic multi-grouping scheme for absolute moment block truncation coding
Naik et al. Survey on comparative study of pruning mechanism on mobilenetv3 model
Tang et al. Mkq-bert: Quantized bert with 4-bits weights and activations
CN112329923B (zh) 一种模型压缩方法、装置、电子设备及可读存储介质
CN117671271A (zh) 模型训练方法、图像分割方法、装置、设备和介质
CN110032642B (zh) 基于词嵌入的流形主题模型的建模方法
CN115905546B (zh) 基于阻变存储器的图卷积网络文献识别装置与方法
CN117172301A (zh) 一种适用于超分网络的分布灵活子集量化方法
CN112488291A (zh) 一种神经网络8比特量化压缩方法
CN117493551A (zh) 文本分类方法、装置、电子设备及可读存储介质
CN117348837A (zh) 浮点精度模型的量化方法、装置、电子设备以及存储介质
CN112464014B (zh) 一种基于图卷积的无监督哈希工业布匹纹理图片检索方法
CN114860972B (zh) 一种小程序开发数据传输优化存储方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant