CN109583561B - 一种深度神经网络的激活量量化方法及装置 - Google Patents

一种深度神经网络的激活量量化方法及装置 Download PDF

Info

Publication number
CN109583561B
CN109583561B CN201710899328.5A CN201710899328A CN109583561B CN 109583561 B CN109583561 B CN 109583561B CN 201710899328 A CN201710899328 A CN 201710899328A CN 109583561 B CN109583561 B CN 109583561B
Authority
CN
China
Prior art keywords
reconstruction error
value
quantization
value set
maximum value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710899328.5A
Other languages
English (en)
Other versions
CN109583561A (zh
Inventor
杨希超
张渊
谢迪
浦世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201710899328.5A priority Critical patent/CN109583561B/zh
Publication of CN109583561A publication Critical patent/CN109583561A/zh
Application granted granted Critical
Publication of CN109583561B publication Critical patent/CN109583561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means

Abstract

本发明实施例提供了一种深度神经网络的激活量量化方法及装置，其中，深度神经网络的激活量量化方法包括：针对深度神经网络中网络层的激活量，获取激活量的初始量化最大值；从初始量化最大值开始，按预设方式递减，得到包括多个数值的初始待选数值集合；计算利用初始待选数值集合中各数值对激活量进行量化得到的量化结果与激活量之间的重构误差；确定各数值对应的重构误差中的最小重构误差；基于与最小重构误差相对应的数值，确定第一量化最大值；根据第一量化最大值及预设比特数，对激活量进行量化。通过本方案可以减少量化带来的误差。

Description

一种深度神经网络的激活量量化方法及装置
技术领域
本发明涉及机器学习技术领域，特别是涉及一种深度神经网络的激活量量化方法及装置。
背景技术
深度神经网络作为机器学习研究中的一个新兴领域，通过模仿人脑的机制来解析数据，是一种通过建立和模拟人脑进行分析学习的智能模型。目前，深度神经网络在图像分类、目标检测、目标跟踪、语音识别等方面已经成为了主流的应用方法。但是，由于深度神经网络中每个网络层都有大量的数据参与运算，并且，参与运算的每一个数据都是较大比特数的浮点数据，使得所需要的硬件计算资源非常巨大，导致硬件成本和带宽消耗都非常大。
针对上述问题，相关的深度神经网络中，提出了对输入数据进行量化的思想，将大比特数的浮点数据，量化为较低比特数的定点数据，由于量化后的定点数据具有较低的比特数，使得参与运算的数据量得以降低，从而能够降低深度神经网络在运算过程中硬件计算资源和带宽资源的消耗。
上述深度神经网络中，针对各网络层，对量化最大值的范围进行限定，并根据量化最大值的范围计算得到步长值，按照该步长值对输入数据进行量化。由于量化最大值的范围为通过实验得到的经验数据，得到的步长值也与经验数据相关，各网络层的步长值均是固定的，步长值越大，量化后的数据的比特数越低，但是步长值越大，量化过程中数据丢失的信息就越多，使得量化后的数据与原始数据之间存在较大的误差。
发明内容
本发明实施例的目的在于提供一种深度神经网络的激活量量化方法及装置，以减少量化带来的误差。具体技术方案如下：
第一方面，本发明实施例提供了一种深度神经网络的激活量量化方法，所述方法包括：
针对深度神经网络中网络层的激活量，获取所述激活量的初始量化最大值；
从所述初始量化最大值开始，按预设方式递减，得到包括多个数值的初始待选数值集合；
计算利用所述初始待选数值集合中各数值对所述激活量进行量化得到的量化结果与所述激活量之间的重构误差；
确定各数值对应的重构误差中的最小重构误差；
基于与所述最小重构误差相对应的数值，确定第一量化最大值；
根据所述第一量化最大值及预设比特数，对所述激活量进行量化。
可选的，所述从所述初始量化最大值开始，按预设方式递减，得到包括多个数值的初始待选数值集合，包括：
从所述初始量化最大值开始，每次以除以2的方式递减，得到多个数值；
将所述多个数值组合成为初始待选数值集合。
可选的，所述基于与所述最小重构误差相对应的数值，确定第一量化最大值，包括：
将与所述最小重构误差相对应的数值确定为第一量化最大值。
可选的，所确定的各数值对应的重构误差中的最小重构误差，作为所述初始待选数值集合对应的最小重构误差；
在所述根据所述第一量化最大值及预设比特数，对所述激活量进行量化之后，所述方法还包括：
获取对量化后的激活量进行深度神经网络运算，得到的运算结果；
对比所述运算结果与预设任务结果之间的差异；
如果所述差异大于第一预设阈值，则通过将包含所述初始待选数值集合对应的最小重构误差的预设区间划分为新的待选数值集合，查找使得所述新的待选数值集合对应的最小重构误差与上一次得到的待选数值集合对应的最小重构误差之间的差值小于第二预设阈值的第二量化最大值，并根据所述第二量化最大值及预设比特数，对所述激活量进行量化。
可选的，所述通过将包含所述初始待选数值集合对应的最小重构误差的预设区间划分为新的待选数值集合，查找使得所述新的待选数值集合对应的最小重构误差与上一次得到的待选数值集合对应的最小重构误差之间的差值小于第二预设阈值的第二量化最大值，包括：
步骤A、按照预设数量，将所述待选数值集合中，与最小重构误差相对应的数值相邻的两个数值构成的区间进行等分，得到包括多个更新数值的新的待选数值集合；
步骤B、计算利用各更新数值对所述激活量进行量化得到的量化结果与所述激活量之间的重构误差；
步骤C、确定各更新数值对应的重构误差中的最小重构误差，作为所述新的待选数值集合对应的最小重构误差；
步骤D、判断所述新的待选数值集合对应的最小重构误差与上一次得到的待选数值集合对应的最小重构误差之间的差值的是否小于第二预设阈值：
步骤E、如果小于，则将与所述新的待选数值集合对应的最小重构误差相对应的数值确定为第二量化最大值；
步骤F、如果不小于，则返回步骤A。
第二方面，本发明实施例提供了一种深度神经网络的激活量量化装置，所述装置包括：
第一获取模块，用于针对深度神经网络中网络层的激活量，获取所述激活量的初始量化最大值；
递减模块，用于从所述初始量化最大值开始，按预设方式递减，得到包括多个数值的初始待选数值集合；
计算模块，用于计算利用所述初始待选数值集合中各数值对所述激活量进行量化得到的量化结果与所述激活量之间的重构误差；
确定模块，用于确定各数值对应的重构误差中的最小重构误差；基于与所述最小重构误差相对应的数值，确定第一量化最大值；
量化模块，用于根据所述第一量化最大值及预设比特数，对所述激活量进行量化。
可选的，所述递减模块，具体用于：
从所述初始量化最大值开始，每次以除以2的方式递减，得到多个数值；
将所述多个数值组合成为初始待选数值集合。
可选的，所述确定模块，具体用于：
将与所述最小重构误差相对应的数值确定为第一量化最大值。
可选的，所确定的各数值对应的重构误差中的最小重构误差，作为所述初始待选数值集合对应的最小重构误差；
所述装置还包括：
第二获取模块，用于获取对量化后的激活量进行深度神经网络运算，得到的运算结果；
对比模块，用于对比所述运算结果与预设任务结果之间的差异；
查找模块，用于如果所述差异大于第一预设阈值，则通过将包含所述初始待选数值集合对应的最小重构误差的预设区间划分为新的待选数值集合，查找使得所述新的待选数值集合对应的最小重构误差与上一次得到的待选数值集合对应的最小重构误差之间的差值小于第二预设阈值的第二量化最大值，并根据所述第二量化最大值及预设比特数，对所述激活量进行量化。
可选的，所述查找模块，具体用于执行如下步骤：
步骤A、按照预设数量，将所述待选数值集合中，与最小重构误差相对应的数值相邻的两个数值构成的区间进行等分，得到包括多个更新数值的新的待选数值集合；
步骤B、计算利用各更新数值对所述激活量进行量化得到的量化结果与所述激活量之间的重构误差；
步骤C、确定各更新数值对应的重构误差中的最小重构误差，作为所述新的待选数值集合对应的最小重构误差；
步骤D、判断所述新的待选数值集合对应的最小重构误差与上一次得到的待选数值集合对应的最小重构误差之间的差值的是否小于第二预设阈值：
步骤E、如果小于，则将与所述新的待选数值集合对应的最小重构误差相对应的数值确定为第二量化最大值；
步骤F、如果不小于，则返回步骤A。
第三方面，本发明实施例提供了一种计算机设备，包括处理器和存储器，其中，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，，实现如第一方面所述的方法步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法步骤。
本发明实施例提供的一种深度神经网络的激活量量化方法及装置，通过获取深度神经网络中网络层的激活量的初始量化最大值，从该初始量化最大值开始，按预设方式递减，得到多个数值，从多个数值中，确定使得重构误差最小的数值作为第一量化最大值，最终，根据该量化最大值及预设比特数，对激活量进行量化。由于在确定量化最大值的过程中，始终保证确定的量化最大值能够使得重构误差最小，而重构误差为激活量与量化结果之间的误差，因此，能够有效的减少量化带来的误差。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的深度神经网络的激活量量化方法的一种流程示意图；
图2为本发明实施例的深度神经网络中激活量的示意图；
图3为本发明一实施例的深度神经网络的激活量量化方法的流程示意图；
图4为本发明实施例的深度神经网络的激活量量化装置的一种结构示意图；
图5为本发明实施例的深度神经网络的激活量量化装置的另一种结构示意图；
图6为本发明实施例的计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了减少量化带来的误差，本发明实施例提供了一种深度神经网络的激活量量化方法及装置。下面，首先对本发明实施例所提供的深度神经网络的激活量量化方法进行介绍。
本发明实施例所提供的一种深度神经网络的激活量量化方法的执行主体可以为实现图像分类、语音识别、目标检测等功能的计算机设备，也可以为具有图像分类、目标检测等功能的摄像机，还可以为具有语音识别功能的麦克风，执行主体中至少包括具有数据处理能力的核心处理芯片，其中，核心处理芯片可以为DSP(Digital Signal Processor，数字信号处理器)、ARM(Advanced Reduced Instruction Set Computer Machines，精简指令集计算机微处理器)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)等核心处理芯片中的任一种。实现本发明实施例所提供的一种深度神经网络的激活量量化方法的方式可以为设置于执行主体中的软件、硬件电路和逻辑电路的至少一种方式。
如图1所示，为本发明实施例所提供的一种深度神经网络的激活量量化方法，该深度神经网络的激活量量化方法可以包括如下步骤：
S101，针对深度神经网络中网络层的激活量，获取激活量的初始量化最大值。
深度神经网络中的激活量为任一网络层的输入或者输出的全部元素或者部分元素，也就是网络中层与层之间传输的数据流，如图2所示，激活量A的大小为W×H×O。DNN(Deep Neural Network，深度神经网络)为一个较为宽泛的数据处理方法，具体的，DNN可以为CNN(Convolutional Neural Network，卷积神经网络)、RNN(Recurrent NeuralNetwork，循环神经网络)、LSTM(Long Short Term Memory，长短期记忆网络)等数据处理方法中的任意一种。
初始量化最大值可以为根据激活量中的元素特征预先设置的较大的值，也可以为根据激活量中的元素数值计算得到的值。为了能够覆盖激活量中的全部元素，可以通过激活量中的元素绝对值的最大值计算得到初始量化最大值，由于量化后的量化结果为具有指定比特数的二进制数据，因此，初始量化最大值可以基于2M得到，其中M＝ceil(log2max|ai|)为大于或等于表达式log2max|ai|的最小整数，ai为激活量A中的各元素，max|ai|为激活量A中的元素绝对值的最大值。
S102，从初始量化最大值开始，按预设方式递减，得到包括多个数值的初始待选数值集合。
由于初始量化最大值仅考虑了覆盖激活量中的全部元素，但是根据统计实验可知，激活量的概率密度在量化参数为0时较大，越靠近量化最大值概率密度就越小，由于激活量概率分布的影响，会导致较大的初始量化误差。所以在小于初始量化最大值的范围内，一定存在其他数值能够减小量化误差。
由于小于初始量化最大值的范围内包含的数值很多，然而，量化的过程是将激活量量化为指定比特数的二进制数据，则实际上并不需要对小于初始量化最大值的范围内的所有数据都进行遍历，因此，在确定量化最大值的过程中，可以按照预设方式对小于初始量化最大值的范围内的数值递减，得到多个数值，这些数值可以组成一个初始待选数值集合，这里的预设方式可以为每次减去固定数值，也可以为每次除以固定数值。
S103，计算利用初始待选数值集合中各数值对激活量进行量化得到的量化结果与激活量之间的重构误差。
S104，确定各数值对应的重构误差中的最小重构误差。
S105，基于与最小重构误差相对应的数值，确定第一量化最大值。
本实施例中，以使得激活量与量化结果之间的重构误差最小为优化目的，重构误差代表了激活量与基于小于初始量化最大值的范围内的任一数值对激活量进行量化后的量化结果之间的误差，可以用N范数表示。可以通过对利用各数值对激活量进行量化得到的量化结果与激活量之间的重构误差的计算，得到重构误差中的最小重构误差，然后将与重构误差相对应的数值作为对激活量进行量化所使用的量化最大值。
S106，根据第一量化最大值及预设比特数，对激活量进行量化。
其中，预设比特数为期望将激活量量化后得到的二进制数的比特数，例如，期望将激活量量化为2比特的二进制数、4比特的二进制数或者16比特的二进制数等。可选地，预设比特数可以为1～32范围内的任意整数值。在得到使得激活量与量化结果之间的重构误差最小的第一量化最大值之后，可以根据该量化最大值及预设比特数，对激活量进行量化。可选地，可以按照量化公式，根据量化最大值及预设比特数，得到量化为预设比特数的优化步长，根据该优化步长就可以实现对激活量的量化。
具体的，量化公式可以为：
Figure BDA0001422825940000081
其中，step为优化步长，MaxA为得到的第一量化最大值，B为预设比特数。
应用本实施例，通过获取深度神经网络中网络层的激活量的初始量化最大值，从该初始量化最大值开始，按预设方式递减，得到多个数值，从多个数值中，确定使得重构误差最小的数值作为第一量化最大值，最终，根据该量化最大值及预设比特数，对激活量进行量化。由于在确定量化最大值的过程中，始终保证确定的量化最大值能够使得重构误差最小，而重构误差为激活量与量化结果之间的误差，因此，能够有效的减少量化带来的误差。
在利用如图1所示实施例对激活量进行量化之后，对量化后的激活量进行深度神经网络运算，运算结果可能与预期的任务结果差异较大，则需要进一步查找使得重构误差相对最小且能够达到预期运算结果的量化最大值。如图3所示，为本发明实施例提供的一种深度神经网络的激活量量化方法，该深度神经网络的激活量量化方法包括：
S301，通过查找激活量中的元素绝对值的最大值，确定激活量的初始量化最大值。
针对深度神经网络中网络层的激活量，查找激活量中的元素绝对值的最大值，在查找到元素绝对值的最大值max|ai|后，通过计算得到该激活量的初始量化最大值2M，其中，M＝ceil(log2max|ai|)，ai为激活量A中的各元素。
S302，从初始量化最大值开始，每次以除以2的方式递减，得到包括多个数值的初始待选数值集合。
由于量化后的量化结果为二进制数，则总位数为2的n次方，其中n为自然数，因此，对小于初始量化最大值的范围内的数值进行查找的过程，可以以每次除以2的方式递减，得到多个数值。例如，得到的初始量化最大值为16(即24)，则得到的初始待选数值集合为(1、2、4、8、16)。
S303，利用初始待选数值集合中的各数值，分别对激活量进行量化运算，得到各数值对应的量化结果。
利用各数值，分别对激活量进行量化运算，具体量化运算的过程如公式(2)和(3)所示。
Figure BDA0001422825940000091
Figure BDA0001422825940000092
其中，st为利用数值t对激活量进行量化的量化步长，B为预设比特数，q(ai)为对激活量中各元素进行量化的量化结果，ai为激活量A中的各元素，Clip函数如公式(4)所示。
Figure BDA0001422825940000101
S304，确定激活量与各数值对应的量化结果之间的重构误差，并确定各数值对应的重构误差中的最小重构误差，作为初始待选数值集合对应的最小重构误差。
根据激活量以及通过S303计算得到的各数值对应的量化结果，可以确定重构误差，重构误差可以为任意范数。重构误差代表了激活量与基于小于初始量化最大值的范围内的任一数值对激活量进行量化后的量化结果之间的误差，范数用于体现对该误差大小的衡量结果，这里以重构误差为2范数为例，重构误差Diff(A,q(A))＝||A-q(A)||2，其中，A为激活量，q(A)为对激活量进行量化的量化结果，||A-q(A)||2为激活量A与对激活量进行量化的量化结果q(A)之间的差值的2范数，即激活量与量化结果之间的重构误差。上述步骤中的数值组中，每个数值对应有一个重构误差。从各数值对应的重构误差中可以确定最小重构误差，将该最小重构误差作为初始待选数值集合对应的最小重构误差。
S305，将与初始待选数值集合对应的最小重构误差相对应的数值确定为第一量化最大值。
通过重构误差的表达式，可以从多个数值中确定使得所对应的重构误差最小的数值。具体的，例如，初始量化最大值为MaxA0＝2M，从初始量化最大值开始，以2M、2M-1、2M-2…2M -k的方式向下查找使得重构误差最小的数值2j，则可以将该数值确定为第一量化最大值
Figure BDA0001422825940000102
S306，根据第一量化最大值及预设比特数，对激活量进行量化。
例如，将得到的第一量化最大值及预设比特数代入量化公式(5)，可以得到量化为预设比特数的优化步长，根据该优化步长就可以实现对激活量的量化。
Figure BDA0001422825940000111
其中，step为优化步长，MaxA为得到的第一量化最大值，B为预设比特数。
S307，获取对量化后的激活量进行深度神经网络运算，得到的运算结果。
S308，对比运算结果与预设任务结果之间的差异，如果该差异大于第一预设阈值，则执行S309。
对量化后的激活量进行深度神经网络运算，运算后得到的运算结果可能与预设任务结果之间存在较大的差异，如果差异较大则说明量化处理的结果并未达到理想结果，则需要通过计算邻近数值对应的重构误差的方式，进一步查找使得重构误差更小的更理想的量化最大值，其中，预设任务结果可以为对浮点值进行深度神经网络运算的结果，也可以为期望达到的任务结果。
S309，按照预设数量，将待选数值集合中，与最小重构误差相对应的数值相邻的两个数值构成的区间进行等分，得到包括多个更新数值的新的待选数值集合。
S310，计算利用各更新数值对激活量进行量化得到的量化结果与激活量之间的重构误差。
S311，确定各更新数值对应的重构误差中的最小重构误差，作为新的待选数值集合对应的最小重构误差。
如果运算结果与预设任务结果之间的差异超过预设阈值，则可以在待选数值集合中，与最小重构误差相对应的数值相邻的两个数值构成的区间内确定使得重构误差更小的数值。基于上述实例，由于使得激活量与量化结果之间的重构误差最小的数值为2j，则可以等分区间[2j-1,2j+1]，得到N个更新数值。
在对区间进行划分后，可以根据公式(6)得到多个更新数值，多个更新数值组成新的待选数值集合。
nl＝2j-1+l*Δ (6)
其中，nl为对预设区间进行划分得到的第l个数值，2j-1为预设区间的下限，Δ＝(2j +1-2j-1)/N，2j+1为预设区间的上限，N为预设数量。
S312，判断新的待选数值集合对应的最小重构误差与上一次得到的待选数值集合对应的最小重构误差之间的差值的是否小于第二预设阈值，若是则执行S313，否则执行S309。
为了能够得到相对最小的重构误差，可以通过判断新的待选数值集合对应的最小重构误差与上一次得到的待选数值集合对应的最小重构误差之间的差值，如果差值小于第二预设阈值，则说明新计算得到的重构误差相对最小，如果差值不小于第二预设阈值，则需要返回执行等分的步骤，再次等分的区间为[t-delta,t+delta]，t为当前最小重构误差对应的数值，delta为上一步等分区间的步长。
S313，将与新的待选数值集合对应的最小重构误差相对应的数值确定为第二量化最大值，并根据第二量化最大值及预设比特数，对激活量进行量化。
应用本实施例，通过获取深度神经网络中网络层的激活量的初始量化最大值，从该初始量化最大值开始，按预设方式递减，得到多个数值，从多个数值中，确定使得重构误差最小的数值作为第一量化最大值，最终，根据该量化最大值及预设比特数，对激活量进行量化。由于在确定量化最大值的过程中，始终保证确定的量化最大值能够使得重构误差最小，而重构误差为激活量与量化结果之间的误差，因此，能够有效的减少量化带来的误差。并且通过对比对量化后的激活量进行深度神经网络运算，得到的运算结果与预设任务结果的差异，若差异大于第一预设阈值，则可以通过对与最小重构误差相对应的数值相邻的两个数值构成的区间内的数值进行遍历，得到使得重构误差更小的数值，通过不断的精细划分，直至新的待选数值集合对应的最小重构误差与上一次得到的待选数值集合对应的最小重构误差之间的差值的小于第二预设阈值，将新的待选数值集合对应的最小重构误差相对应的数值作为量化最大值对激活量进行量化，使得量化结果更为精准。
相应于上述方法实施例，本发明实施例提供了一种深度神经网络的激活量量化装置，如图4所示，该深度神经网络的激活量量化装置可以包括：
第一获取模块410，用于针对深度神经网络中网络层的激活量，获取所述激活量的初始量化最大值；
递减模块420，用于从所述初始量化最大值开始，按预设方式递减，得到包括多个数值的初始待选数值集合；
计算模块430，用于计算利用所述初始待选数值集合中各数值对所述激活量进行量化得到的量化结果与所述激活量之间的重构误差；
确定模块440，用于确定各数值对应的重构误差中的最小重构误差；基于与所述最小重构误差相对应的数值，确定第一量化最大值；
量化模块450，用于根据所述第一量化最大值及预设比特数，对所述激活量进行量化。
应用本实施例，通过获取深度神经网络中网络层的激活量的初始量化最大值，从该初始量化最大值开始，按预设方式递减，得到多个数值，从多个数值中，确定使得重构误差最小的数值作为第一量化最大值，最终，根据该量化最大值及预设比特数，对激活量进行量化。由于在确定量化最大值的过程中，始终保证确定的量化最大值能够使得重构误差最小，而重构误差为激活量与量化结果之间的误差，因此，能够有效的减少量化带来的误差。
可选的，所述递减模块420，具体可以用于：
从所述初始量化最大值开始，每次以除以2的方式递减，得到多个数值；
将所述多个数值组合成为初始待选数值集合。
可选的，所述确定模块440，具体可以用于：
将与所述最小重构误差相对应的数值确定为第一量化最大值。
本发明实施例的深度神经网络的激活量量化装置为应用如图1所示深度神经网络的激活量量化方法的装置，则图1所示深度神经网络的激活量量化方法的所有实施例均适用于该深度神经网络的激活量量化装置，且均能达到相同或相似的有益效果。
基于图4所示实施例，本发明实施例还提供了一种深度神经网络的激活量量化装置，如图5所示，该深度神经网络的激活量量化装置可以包括：
第一获取模块510，用于针对深度神经网络中网络层的激活量，获取所述激活量的初始量化最大值；
递减模块520，用于从所述初始量化最大值开始，按预设方式递减，得到包括多个数值的初始待选数值集合；
计算模块530，用于计算利用所述初始待选数值集合中各数值对所述激活量进行量化得到的量化结果与所述激活量之间的重构误差；
确定模块540，用于确定各数值对应的重构误差中的最小重构误差；基于与所述最小重构误差相对应的数值，确定第一量化最大值；
量化模块550，用于根据所述第一量化最大值及预设比特数，对所述激活量进行量化；
第二获取模块560，用于获取对量化后的激活量进行深度神经网络运算，得到的运算结果；
对比模块570，用于对比所述运算结果与预设任务结果之间的差异；
查找模块580，用于如果所述差异大于第一预设阈值，则通过将包含所述初始待选数值集合对应的最小重构误差的预设区间划分为新的待选数值集合，查找使得所述新的待选数值集合对应的最小重构误差与上一次得到的待选数值集合对应的最小重构误差之间的差值小于第二预设阈值的第二量化最大值，并根据所述第二量化最大值及预设比特数，对所述激活量进行量化。
应用本实施例，通过获取深度神经网络中网络层的激活量的初始量化最大值，从该初始量化最大值开始，按预设方式递减，得到多个数值，从多个数值中，确定使得重构误差最小的数值作为第一量化最大值，最终，根据该量化最大值及预设比特数，对激活量进行量化。由于在确定量化最大值的过程中，始终保证确定的量化最大值能够使得重构误差最小，而重构误差为激活量与量化结果之间的误差，因此，能够有效的减少量化带来的误差。并且通过对比对量化后的激活量进行深度神经网络运算，得到的运算结果与预设任务结果的差异，若差异大于第一预设阈值，则可以通过对与最小重构误差相对应的数值相邻的两个数值构成的区间内的数值进行遍历，得到使得重构误差更小的数值，通过不断的精细划分，直至新的待选数值集合对应的最小重构误差与上一次得到的待选数值集合对应的最小重构误差之间的差值的小于第二预设阈值，将新的待选数值集合对应的最小重构误差相对应的数值作为量化最大值对激活量进行量化，使得量化结果更为精准。
可选的，所确定的各数值对应的重构误差中的最小重构误差，作为所述初始待选数值集合对应的最小重构误差。
可选的，所述查找模块580，具体可以用于执行如下步骤：
步骤A、按照预设数量，将所述待选数值集合中，与最小重构误差相对应的数值相邻的两个数值构成的区间进行等分，得到包括多个更新数值的新的待选数值集合；
步骤B、计算利用各更新数值对所述激活量进行量化得到的量化结果与所述激活量之间的重构误差；
步骤C、确定各更新数值对应的重构误差中的最小重构误差，作为所述新的待选数值集合对应的最小重构误差；
步骤D、判断所述新的待选数值集合对应的最小重构误差与上一次得到的待选数值集合对应的最小重构误差之间的差值的是否小于第二预设阈值：
步骤E、如果小于，则将与所述新的待选数值集合对应的最小重构误差相对应的数值确定为第二量化最大值；
步骤F、如果不小于，则返回步骤A。
本发明实施例的深度神经网络的激活量量化装置为应用如图3所示深度神经网络的激活量量化方法的装置，则图3所示深度神经网络的激活量量化方法的所有实施例均适用于该深度神经网络的激活量量化装置，且均能达到相同或相似的有益效果。
本发明实施例还提供了一种计算机设备，包括处理器和存储器，其中，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述方法步骤。
本发明实施例还提供了一种计算机设备，如图6所示，包括处理器610、通信接口620、存储器630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信，
存储器630，用于存放计算机程序；
处理器610，用于执行存储器630上所存放的程序时，实现如下步骤：
针对深度神经网络中网络层的激活量，获取所述激活量的初始量化最大值；
从所述初始量化最大值开始，按预设方式递减，得到包括多个数值的初始待选数值集合；
计算利用所述初始待选数值集合中各数值对所述激活量进行量化得到的量化结果与所述激活量之间的重构误差；
确定各数值对应的重构误差中的最小重构误差；
基于与所述最小重构误差相对应的数值，确定第一量化最大值；
根据所述第一量化最大值及预设比特数，对所述激活量进行量化。
可选的，所述处理器610在实现所述从所述初始量化最大值开始，按预设方式递减，得到包括多个数值的初始待选数值集合的步骤中，具体可以实现：
从所述初始量化最大值开始，每次以除以2的方式递减，得到多个数值；
将所述多个数值组合成为初始待选数值集合。
可选的，所述处理器610在实现所述基于与所述最小重构误差相对应的数值，确定第一量化最大值的步骤中，具体可以实现：
将与所述最小重构误差相对应的数值确定为第一量化最大值。
可选的，所确定的各数值对应的重构误差中的最小重构误差，作为所述初始待选数值集合对应的最小重构误差；
所述处理器610还可以实现：
获取对量化后的激活量进行深度神经网络运算，得到的运算结果；
对比所述运算结果与预设任务结果之间的差异；
如果所述差异大于第一预设阈值，则通过将包含所述初始待选数值集合对应的最小重构误差的预设区间划分为新的待选数值集合，查找使得所述新的待选数值集合对应的最小重构误差与上一次得到的待选数值集合对应的最小重构误差之间的差值小于第二预设阈值的第二量化最大值，并根据所述第二量化最大值及预设比特数，对所述激活量进行量化。
所述处理器610在实现所述通过将包含所述初始待选数值集合对应的最小重构误差的预设区间划分为新的待选数值集合，查找使得所述新的待选数值集合对应的最小重构误差与上一次得到的待选数值集合对应的最小重构误差之间的差值小于第二预设阈值的第二量化最大值的步骤中，具体可以实现：
步骤A、按照预设数量，将所述待选数值集合中，与最小重构误差相对应的数值相邻的两个数值构成的区间进行等分，得到包括多个更新数值的新的待选数值集合；
步骤B、计算利用各更新数值对所述激活量进行量化得到的量化结果与所述激活量之间的重构误差；
步骤C、确定各更新数值对应的重构误差中的最小重构误差，作为所述新的待选数值集合对应的最小重构误差；
步骤D、判断所述新的待选数值集合对应的最小重构误差与上一次得到的待选数值集合对应的最小重构误差之间的差值的是否小于第二预设阈值：
步骤E、如果小于，则将与所述新的待选数值集合对应的最小重构误差相对应的数值确定为第二量化最大值；
步骤F、如果不小于，则返回步骤A。
上述计算机设备中提到的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述计算机设备与其他设备之间的通信。
存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本实施例中，该计算机设备的处理器通过读取存储器中存储的计算机程序，并通过运行该计算机程序，能够实现：通过获取深度神经网络中网络层的激活量的初始量化最大值，从该初始量化最大值开始，按预设方式递减，得到多个数值，从多个数值中，确定使得重构误差最小的数值作为第一量化最大值，最终，根据该量化最大值及预设比特数，对激活量进行量化。由于在确定量化最大值的过程中，始终保证确定的量化最大值能够使得重构误差最小，而重构误差为激活量与量化结果之间的误差，因此，能够有效的减少量化带来的误差。
另外，相应于上述实施例所提供的深度神经网络的激活量量化方法，本发明实施例提供了一种计算机可读存储介质，用于存储计算机程序，所述计算机程序被处理器执行时，实现如上述深度神经网络的激活量量化方法的步骤。
本实施例中，计算机可读存储介质存储有在运行时执行本申请实施例所提供的深度神经网络的激活量量化方法的应用程序，因此能够实现：通过获取深度神经网络中网络层的激活量的初始量化最大值，从该初始量化最大值开始，按预设方式递减，得到多个数值，从多个数值中，确定使得重构误差最小的数值作为第一量化最大值，最终，根据该量化最大值及预设比特数，对激活量进行量化。由于在确定量化最大值的过程中，始终保证确定的量化最大值能够使得重构误差最小，而重构误差为激活量与量化结果之间的误差，因此，能够有效的减少量化带来的误差。
对于计算机设备以及计算机可读存储介质实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (11)

1.一种深度神经网络的激活量量化方法，其特征在于，所述方法包括：
针对深度神经网络中网络层的激活量，获取所述激活量的初始量化最大值，其中，所述激活量为输入至所述深度神经网络的图像或音频的特征的数字化表示；
从所述初始量化最大值开始，按预设方式递减，得到包括多个数值的初始待选数值集合；
计算利用所述初始待选数值集合中各数值对所述激活量进行量化得到的量化结果与所述激活量之间的重构误差；
确定各数值对应的重构误差中的最小重构误差；
基于与所述最小重构误差相对应的数值，确定第一量化最大值；
根据所述第一量化最大值及预设比特数，对所述激活量进行量化。
2.根据权利要求1所述的方法，其特征在于，所述从所述初始量化最大值开始，按预设方式递减，得到包括多个数值的初始待选数值集合，包括：
从所述初始量化最大值开始，每次以除以2的方式递减，得到多个数值；
将所述多个数值组合成为初始待选数值集合。
3.根据权利要求1所述的方法，其特征在于，所述基于与所述最小重构误差相对应的数值，确定第一量化最大值，包括：
将与所述最小重构误差相对应的数值确定为第一量化最大值。
4.根据权利要求1所述的方法，其特征在于，所确定的各数值对应的重构误差中的最小重构误差，作为所述初始待选数值集合对应的最小重构误差；
在所述根据所述第一量化最大值及预设比特数，对所述激活量进行量化之后，所述方法还包括：
获取对量化后的激活量进行深度神经网络运算，得到的运算结果；
对比所述运算结果与预设任务结果之间的差异；
如果所述差异大于第一预设阈值，则通过将包含所述初始待选数值集合对应的最小重构误差的预设区间划分为新的待选数值集合，查找使得所述新的待选数值集合对应的最小重构误差与上一次得到的待选数值集合对应的最小重构误差之间的差值小于第二预设阈值的第二量化最大值，并根据所述第二量化最大值及预设比特数，对所述激活量进行量化。
5.根据权利要求4所述的方法，其特征在于，所述通过将包含所述初始待选数值集合对应的最小重构误差的预设区间划分为新的待选数值集合，查找使得所述新的待选数值集合对应的最小重构误差与上一次得到的待选数值集合对应的最小重构误差之间的差值小于第二预设阈值的第二量化最大值，包括：
步骤A、按照预设数量，将所述待选数值集合中，与最小重构误差相对应的数值相邻的两个数值构成的区间进行等分，得到包括多个更新数值的新的待选数值集合；
步骤B、计算利用各更新数值对所述激活量进行量化得到的量化结果与所述激活量之间的重构误差；
步骤C、确定各更新数值对应的重构误差中的最小重构误差，作为所述新的待选数值集合对应的最小重构误差；
步骤D、判断所述新的待选数值集合对应的最小重构误差与上一次得到的待选数值集合对应的最小重构误差之间的差值的是否小于第二预设阈值：
步骤E、如果小于，则将与所述新的待选数值集合对应的最小重构误差相对应的数值确定为第二量化最大值；
步骤F、如果不小于，则返回步骤A。
6.一种深度神经网络的激活量量化装置，其特征在于，所述装置包括：
第一获取模块，用于针对深度神经网络中网络层的激活量，获取所述激活量的初始量化最大值，其中，所述激活量为输入至所述深度神经网络的图像或音频的特征的数字化表示；
递减模块，用于从所述初始量化最大值开始，按预设方式递减，得到包括多个数值的初始待选数值集合；
计算模块，用于计算利用所述初始待选数值集合中各数值对所述激活量进行量化得到的量化结果与所述激活量之间的重构误差；
确定模块，用于确定各数值对应的重构误差中的最小重构误差；基于与所述最小重构误差相对应的数值，确定第一量化最大值；
量化模块，用于根据所述第一量化最大值及预设比特数，对所述激活量进行量化。
7.根据权利要求6所述的装置，其特征在于，所述递减模块，具体用于：
从所述初始量化最大值开始，每次以除以2的方式递减，得到多个数值；
将所述多个数值组合成为初始待选数值集合。
8.根据权利要求6所述的装置，其特征在于，所述确定模块，具体用于：
将与所述最小重构误差相对应的数值确定为第一量化最大值。
9.根据权利要求6所述的装置，其特征在于，所确定的各数值对应的重构误差中的最小重构误差，作为所述初始待选数值集合对应的最小重构误差；
所述装置还包括：
第二获取模块，用于获取对量化后的激活量进行深度神经网络运算，得到的运算结果；
对比模块，用于对比所述运算结果与预设任务结果之间的差异；
查找模块，用于如果所述差异大于第一预设阈值，则通过将包含所述初始待选数值集合对应的最小重构误差的预设区间划分为新的待选数值集合，查找使得所述新的待选数值集合对应的最小重构误差与上一次得到的待选数值集合对应的最小重构误差之间的差值小于第二预设阈值的第二量化最大值，并根据所述第二量化最大值及预设比特数，对所述激活量进行量化。
10.根据权利要求9所述的装置，其特征在于，所述查找模块，具体用于执行如下步骤：
步骤A、按照预设数量，将所述待选数值集合中，与最小重构误差相对应的数值相邻的两个数值构成的区间进行等分，得到包括多个更新数值的新的待选数值集合；
步骤B、计算利用各更新数值对所述激活量进行量化得到的量化结果与所述激活量之间的重构误差；
步骤C、确定各更新数值对应的重构误差中的最小重构误差，作为所述新的待选数值集合对应的最小重构误差；
步骤D、判断所述新的待选数值集合对应的最小重构误差与上一次得到的待选数值集合对应的最小重构误差之间的差值的是否小于第二预设阈值：
步骤E、如果小于，则将与所述新的待选数值集合对应的最小重构误差相对应的数值确定为第二量化最大值；
步骤F、如果不小于，则返回步骤A。
11.一种计算机设备，其特征在于，包括处理器和存储器，其中，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
CN201710899328.5A 2017-09-28 2017-09-28 一种深度神经网络的激活量量化方法及装置 Active CN109583561B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710899328.5A CN109583561B (zh) 2017-09-28 2017-09-28 一种深度神经网络的激活量量化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710899328.5A CN109583561B (zh) 2017-09-28 2017-09-28 一种深度神经网络的激活量量化方法及装置

Publications (2)

Publication Number Publication Date
CN109583561A CN109583561A (zh) 2019-04-05
CN109583561B true CN109583561B (zh) 2021-05-07

Family

ID=65913686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710899328.5A Active CN109583561B (zh) 2017-09-28 2017-09-28 一种深度神经网络的激活量量化方法及装置

Country Status (1)

Country Link
CN (1) CN109583561B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020258071A1 (en) * 2019-06-26 2020-12-30 Intel Corporation Universal loss-error-aware quantization for deep neural networks with flexible ultra-low-bit weights and activations
CN111047007B (zh) * 2019-11-06 2021-07-30 北京中科胜芯科技有限公司 一种针对量化后的lstm的激活函数计算单元
CN111008701A (zh) * 2019-12-03 2020-04-14 杭州嘉楠耘智信息科技有限公司 一种基于神经网络的数据量化方法、装置及计算机可读存储介质
CN113111997B (zh) * 2020-01-13 2024-03-22 中科寒武纪科技股份有限公司 用于神经网络数据量化的方法、装置和相关产品
CN111339092B (zh) * 2020-02-24 2023-09-08 江苏省南通环境监测中心 一种基于深度学习的多尺度空气质量预报方法
CN111401518A (zh) * 2020-03-04 2020-07-10 杭州嘉楠耘智信息科技有限公司 一种神经网络量化方法、装置及计算机可读存储介质
CN111783957B (zh) * 2020-07-02 2024-05-03 厦门美图之家科技有限公司 模型量化训练方法、装置、机器可读存储介质及电子设备
JP2023031367A (ja) * 2021-08-25 2023-03-09 富士通株式会社 閾値決定プログラム及び閾値決定方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485316A (zh) * 2016-10-31 2017-03-08 北京百度网讯科技有限公司 神经网络模型压缩方法以及装置
CN106991472A (zh) * 2017-03-30 2017-07-28 中国人民解放军国防科学技术大学 一种融合ReLU激活函数与最大值池化的向量化实现方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7328197B2 (en) * 2004-09-23 2008-02-05 International Business Machines Corporation Identifying a state of a data storage drive using an artificial neural network generated model
US10515301B2 (en) * 2015-04-17 2019-12-24 Microsoft Technology Licensing, Llc Small-footprint deep neural network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485316A (zh) * 2016-10-31 2017-03-08 北京百度网讯科技有限公司 神经网络模型压缩方法以及装置
CN106991472A (zh) * 2017-03-30 2017-07-28 中国人民解放军国防科学技术大学 一种融合ReLU激活函数与最大值池化的向量化实现方法

Also Published As

Publication number Publication date
CN109583561A (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
CN109583561B (zh) 一种深度神经网络的激活量量化方法及装置
CN110619423B (zh) 多任务预测方法、装置、电子设备及存储介质
US20190130255A1 (en) Method and apparatus for generating fixed-point type neural network
CN109840589B (zh) 一种在fpga上运行卷积神经网络的方法和装置
US11741339B2 (en) Deep neural network-based method and device for quantifying activation amount
CN106855952B (zh) 基于神经网络的计算方法及装置
CN112287986A (zh) 一种图像处理方法、装置、设备及可读存储介质
CN110647974A (zh) 深度神经网络中的网络层运算方法及装置
CN110874625A (zh) 一种深度神经网络量化方法及装置
CN110969600A (zh) 一种产品缺陷检测方法、装置、电子设备及存储介质
WO2021012148A1 (zh) 基于深度神经网络的数据处理方法、装置及移动设备
CN111242158A (zh) 神经网络训练方法、图像处理方法及装置
CN114168318A (zh) 存储释放模型的训练方法、存储释放方法及设备
CN116383521B (zh) 主题词挖掘方法及装置、计算机设备及存储介质
CN111160517B (zh) 一种深度神经网络的卷积层量化方法及装置
CN115759238A (zh) 一种量化模型的生成方法及装置、电子设备及存储介质
CN112434817B (zh) 构建通信算法数据库的方法、装置和计算机存储介质
CN110874553A (zh) 一种识别模型训练方法及装置
CN109492759B (zh) 神经网络模型预测方法、装置和终端
CN112926608A (zh) 一种图像分类方法、装置、电子设备及存储介质
CN116187094B (zh) 一种基于工作情况实时分析的质量工作预测系统
TWI755176B (zh) 細胞密度分類方法及裝置、電子裝置及存儲介質
CN114065947B (zh) 一种数据访问推测方法、装置、存储介质及电子设备
CN114548244A (zh) 一种对象分类方法、装置、电子设备及存储介质
CN117574975A (zh) 用于部分数字再训练的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant