CN109902803A - 一种神经网络参数量化的方法及系统 - Google Patents

Abstract

本申请提供了一种神经网络参数量化的方法和系统，用于对卷积神经网络的权重参数进行量化，所述方法包括：获取目标权重参数的下限阈值和上限阈值；所述上限阈值大于所述下限阈值；使所述下限阈值减去所述下限阈值以获取相对下限阈值并使所述上限阈值减去所述下限阈值以获取所述相对上限阈值，根据所述相对下限阈值和所述相对上限阈值确定相对权重参数；用2的预设整数次方对所述相对权重参数进行量化。利用本申请提供的方法，能够有效提高卷积神经网络的运算能力，减少占用的设备资源，降低设备的能耗。

Description

一种神经网络参数量化的方法及系统

技术领域

本申请涉及车辆控制技术领域，尤其涉及一种神经网络参数量化的方法及系统。

背景技术

ADAS(Advanced Driver Assistance System，高级驾驶辅助系统)是利用安装于车上的各式各样的传感器，在第一时间收集车内外的环境数据，进行静、动态物体的辨识、侦测与追踪等技术上的处理，从而能够让驾驶者在最快的时间察觉可能发生的危险，以引起注意和提高安全性的主动安全技术。

ADAS业务需要在车载移动终端上使用卷积神经网络来实现对各种应用场景的检测，但卷积神经网络的巨大计算量严重妨碍了ADAS业务实际应用中的推广，其中卷积神经网络的权重参数是造成卷积神经网络的计算量巨大的重要原因，这是由于一个卷积神经网络模型中常常有数百万个连接，每个链接都会对应一个权重，几乎所有的空间都被神经元连接的权重所占据，当这些权重都是不同的高精度浮点数时，卷积神经网络的训练过程中对权重的不断更新会严重占用设备的资源，提升设备的能耗，对与设备的计算能力有着极高的要求。

发明内容

为了解决现有技术存在的上述技术问题，本申请提供了一种神经网络参数量化的方法及系统，能够有效提高卷积神经网络的运算能力，减少占用的设备资源，降低设备的能耗。

本申请提供了一种神经网络参数量化的方法，所述方法用于对卷积神经网络的权重参数进行量化，所述方法包括：

获取目标权重参数的下限阈值和上限阈值；所述上限阈值大于所述下限阈值；

使所述下限阈值减去所述下限阈值以获取相对下限阈值并使所述上限阈值减去所述下限阈值以获取所述相对上限阈值，根据所述相对下限阈值和所述相对上限阈值确定相对权重参数；

用2的预设整数次方对所述相对权重参数进行量化。

可选的，所述用2的预设整数次方对所述相对权重参数进行量化包括：

量化时用0表征所述相对下限阈值，用2的所述预设整数次方与1的差值表征所述相对上限阈值。

可选的，所述方法还包括：

选取所述卷积神经网络中第一预设比例的所述权重参数作为目标权重参数进行量化；

判断对所述目标权重参数的量化结果是否达到预设目标，若否，调整所述预设整数次方并对已经量化的所述第一预设比例的所述目标权重参数重新进行量化。

可选的，所述方法还包括：

按照递减规范依次在所述卷积神经网络中剩余的权重参数中选择不同比例的权重参数作为所述目标参数进行量化，直至所述卷积神经网络中的全部权重参数均被量化。

可选的，若所述卷积神经网络中的权重参数无法被全部被量化，所述方法还包括：

调整所述第一预设比例并重新对所述权重参数进行量化。

本申请实施例还提供了一种神经网络参数量化的系统，所述系统包括：第一获取单元、第二获取单元和量化单元；

所述第一获取单元，用于获取目标权重参数的下限阈值和上限阈值；所述上限阈值大于所述下限阈值；

所述第二获取单元，用于使所述下限阈值减去所述下限阈值以获取相对下限阈值并使所述上限阈值减去所述下限阈值以获取所述相对上限阈值，根据所述相对下限阈值和所述相对上限阈值确定相对权重参数；

所述量化单元，用于用2的预设整数次方对所述相对权重参数进行量化。

可选的，量化单元具体用于量化时用0表征所述相对下限阈值，用2的所述预设整数次方与1的差值表征所述相对上限阈值。

可选的，所述装置还包括：选取单元和判断单元；

所述选择单元，用于选择所述卷积神经网络中第一预设比例的所述权重参数作为目标权重参数进行量化；

所述判断单元，用于判断对所述目标权重参数的量化结果是否达到预设目标，若否，调整所述预设整数次方并对已经量化的所述第一预设比例的所述目标权重参数重新进行量化。

可选的，所述选择单元还用于：

按照递减规范依次在所述卷积神经网络中剩余的权重参数中选择不同比例的权重参数作为所述目标参数进行量化，直至所述卷积神经网络中的全部权重参数均被量化。

可选的，所述系统还包括：调整单元；

所述调整单元，用于若所述卷积神经网络中的权重参数无法被全部被量化时调整所述第一预设比例并重新对所述权重参数进行量化。

本申请所述方法至少具有以下优点：

本申请提供的神经网络参数量化的方法，应用于对卷积神经网络的权重参数进行量化，首先获取目标权重参数的下限阈值和上限阈值，所述上限阈值大于所述下限阈值；然后使所述下限阈值减去所述下限阈值以获取相对下限阈值并使所述上限阈值减去所述下限阈值以获取所述相对上限阈值，根据所述相对下限阈值和所述相对上限阈值确定相对权重参数，通过该步骤使获得的相对权重参数为非负数；最后用2的预设整数次方对所述相对权重参数进行量化，可以将卷积神经网络中复杂的乘法计算转换为简单的移位计算，当所述预设整数大于0时，表明计算时左移位，当所述预设整数小于0时，表明计算时右移位，大大简化了计算量。

利用本申请提供的方法，能够有效降低卷积神经网络的运算量，减少占用的设备资源，降低设备的能耗。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例一提供的一种神经网络参数量化的方法的流程图；

图2为本申请实施例二提供的一种神经网络参数量化的系统的结构图；

图3为本申请实施例二提供的另一种神经网络参数量化的系统的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一：

本申请实施例一提供了一种神经网络参数量化的方法，下面结合附图具体说明。

参见图1，该图为本申请实施例一提供的一种神经网络参数量化的方法的流程图。

本申请实施例所述方法包括以下步骤：

S101：获取目标权重参数的下限阈值和上限阈值；所述上限阈值大于所述下限阈值。

下面具体说明卷积神经网络模型的训练生成步骤：

第1步：首先初始化神经网络的各个卷积核初始值数据(一般按照正态分布随机初始化)。

第2步：按照预设的卷积神经网络结构前向计算。

第3步：如果预设损失函数达到给定阈值或迭代次数到规定次数，跳转到第7步。所述损失函数的函数值范围决定了权重参数的阈值范围，一般以所述损失函数的最小函数值作为所述权重参数的下限阈值，以所述损失函数的最大函数值作为所述权重参数的上限阈值。

第4步：按照神经网络结构反向传播计算。

第5步：按照网络结构更新卷积核的权重参数。

第6步：重复2、3、4、5步反复进行训练。

通过上述步骤完成了对所述卷积神经网络模型的生成，此时获取了各个卷积核的权重参数，接着开始进行对于卷积核的权重参数的量化。

开始进行量化时，由于无法直接判定量化过程中涉及到的参数选择是否正确，所述参数包括S103中的所述预设整数。若将所述权重参数全部量化，计算的损失函数值可能比较大，不利于数据的收敛，因此，通过部分迭代量化，能够使得数据的收敛更加快速准确。因此首先选取所述卷积神经网络中第一预设比例的所述权重参数作为目标权重参数进行量化，本申请对所述第一预设比例不做具体限定。

S102：使所述下限阈值减去所述下限阈值以获取相对下限阈值并使所述上限阈值减去所述下限阈值以获取所述相对上限阈值，根据所述相对下限阈值和所述相对上限阈值确定相对权重参数。

通过该步骤使获得的相对权重参数成为非负数，下面举例说明：

不妨预设采用2的8次方对所述相对权重参数进行量化。

若所述目标权重参数的阈值为[0,1]，下限阈值为0，上限阈值为1，通过上述步骤获得的相对下限阈值为0，相对上限阈值为255，即获得的相对权重参数的阈值为[0,255]内的整数。

若所述目标权重参数的阈值为[-0.5,1]，下限阈值为-0.5，上限阈值为1，通过上述步骤获得的相对下限阈值为0，相对上限阈值为255，即获得的相对权重参数的阈值为[0,255]内的整数，通过该步骤使获得的相对权重参数成为非负数，可以提升量化的准确度，下面具体说明：

同样，若目标权重参数的阈值为[-0.5,1]，采用2的8次方对所述相对权重参数进行量化时，获得的相对权重参数为[-127,127]内的整数，但实际上只能用到[-64,127]这个范围内的整数，导致了量化的精确度下降，但若通过S102的方法使相对权重参数保持为非负数，获得的相对权重参数的阈值为[0,255]内的整数，增加了量化后的可取值数目，量化准确度更高。

S103：用2的预设整数次方对所述相对权重参数进行量化。

通过上述步骤将卷积神经网络中复杂的乘法计算转换为简单的移位计算，当所述预设整数大于0时，表明计算时左移位，当所述预设整数小于0时，表明计算时右移位，大大简化了计算量。

进一步的，在进行量化时用0表征所述相对下限阈值，用2的所述预设整数次方与1的差值表征所述相对上限阈值。

举例说明，若目标权重参数的阈值为[-1,1]，选择的所述预设整数为8，即用2的8次方对所述相对权重参数进行量化，量化后的权重参数的阈值取值为0-255这256个整数，权重参数的取值为0，则量化后的结果为0；权重参数的取值为1，则量化后的结果为255；权重参数的取值为[-1,1]之间的一个浮点数，量化后的结果对应0-255之间的一个整数。

完成对所述第一预设比例的权重参数的量化后还需要判断对所述目标权重参数的量化结果是否达到预设目标，若否，调整所述预设整数次方并对已经量化的所述第一预设比例的所述目标权重参数重新进行量化。

所述判断对所述目标权重参数的量化结果是否达到预设目标具体可以指判断量化后的模型准确率是否达到要求以及判断量化后是否节省足够的计算资源等。

若达到预设目标按照递减规范依次在所述卷积神经网络中剩余的权重参数中选择不同比例的权重参数作为所述目标参数进行量化，直至所述卷积神经网络中的全部权重参数均被量化。

进一步的，若所述卷积神经网络中的权重参数无法被全部被量化，表征所述第一预设比例选择不当，调整所述第一预设比例并重新对所述权重参数进行量化。

本申请实施例提供的神经网络参数量化的方法，应用于对卷积神经网络的权重参数进行量化，首先获取目标权重参数的下限阈值和上限阈值；然后使所述下限阈值减去所述下限阈值以获取相对下限阈值并使所述上限阈值减去所述下限阈值以获取所述相对上限阈值，根据所述相对下限阈值和所述相对上限阈值确定相对权重参数，通过该步骤使获得的相对权重参数为非负数；最后用2的预设整数次方对所述相对权重参数进行量化，可以将卷积神经网络中复杂的乘法计算转换为简单的移位计算，当所述预设整数大于0时，表明计算时左移位，当所述预设整数小于0时，表明计算时右移位，大大简化了计算量。

利用本申请实施例提供的方法，能够有效降低卷积神经网络的运算量，减少占用的设备资源，降低设备的能耗。

实施例二：

基于上述实施例提供的神经网络参数量化的方法，本申请实施例二还提供了一种神经网络参数量化的系统，下面结合附图具体说明。

参见图2，该图为本申请实施例二提供的一种神经网络参数量化的系统的结构图。

本申请实施例所述系统包括：第一获取单元201、第二获取单元202和量化单元203。

所述第一获取单元201，用于获取目标权重参数的下限阈值和上限阈值；所述上限阈值大于所述下限阈值。

所述第二获取单元202，用于使所述下限阈值减去所述下限阈值以获取相对下限阈值并使所述上限阈值减去所述下限阈值以获取所述相对上限阈值，根据所述相对下限阈值和所述相对上限阈值确定相对权重参数。

所述量化单元203，用于用2的预设整数次方对所述相对权重参数进行量化，具体的，在量化时用0表征所述相对下限阈值，用2的所述预设整数次方与1的差值表征所述相对上限阈值。

还可以参见图3，该图为本申请实施例二提供的另一种神经网络参数量化的系统的结构图。

进一步的，所述装置还包括：选取单元204和判断单元205。

所述选择单元204，用于选择所述卷积神经网络中第一预设比例的所述权重参数作为目标权重参数进行量化。

所述判断单元205，用于判断对所述目标权重参数的量化结果是否达到预设目标，若否，调整所述预设整数次方并对已经量化的所述第一预设比例的所述目标权重参数重新进行量化。

进一步，所述选择单元204还用于：

按照递减规范依次在所述卷积神经网络中剩余的权重参数中选择不同比例的权重参数作为所述目标参数进行量化，直至所述卷积神经网络中的全部权重参数均被量化。

进一步的，所述系统还包括：调整单元206。

所述调整单元206，用于若所述卷积神经网络中的权重参数无法被全部被量化时调整所述第一预设比例并重新对所述权重参数进行量化。

本申请实施例提供的神经网络参数量化的系统，应用于对卷积神经网络的权重参数进行量化，通过第一获取单元获取目标权重参数的下限阈值和上限阈值；通过第二获取单元使所述下限阈值减去所述下限阈值以获取相对下限阈值并使所述上限阈值减去所述下限阈值以获取所述相对上限阈值，根据所述相对下限阈值和所述相对上限阈值确定相对权重参数，通过该步骤使获得的相对权重参数为非负数；通过量化单元用2的预设整数次方对所述相对权重参数进行量化，可以将卷积神经网络中复杂的乘法计算转换为简单的移位计算，当所述预设整数大于0时，表明计算时左移位，当所述预设整数小于0时，表明计算时右移位，大大简化了计算量。

利用本申请实施例提供的系统，能够有效降低卷积神经网络的运算量，减少占用的设备资源，降低设备的能耗。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元及模块可以是或者也可以不是物理上分开的。另外，还可以根据实际的需要选择其中的部分或者全部单元和模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种神经网络参数量化的方法，其特征在于，用于对卷积神经网络的权重参数进行量化，所述方法包括：

获取目标权重参数的下限阈值和上限阈值；所述上限阈值大于所述下限阈值；

使所述下限阈值减去所述下限阈值以获取相对下限阈值并使所述上限阈值减去所述下限阈值以获取所述相对上限阈值，根据所述相对下限阈值和所述相对上限阈值确定相对权重参数；

用2的预设整数次方对所述相对权重参数进行量化。

2.根据权利要求1所述的神经网络参数量化的方法，其特征在于，所述用2的预设整数次方对所述相对权重参数进行量化包括：

量化时用0表征所述相对下限阈值，用2的所述预设整数次方与1的差值表征所述相对上限阈值。

3.根据权利要求1所述的神经网络参数量化的方法，其特征在于，所述方法还包括：

选取所述卷积神经网络中第一预设比例的所述权重参数作为目标权重参数进行量化；

判断对所述目标权重参数的量化结果是否达到预设目标，若否，调整所述预设整数次方并对已经量化的所述第一预设比例的所述目标权重参数重新进行量化。

4.根据权利要求3所述的神经网络参数量化的方法，其特征在于，所述方法还包括：

按照递减规范依次在所述卷积神经网络中剩余的权重参数中选择不同比例的权重参数作为所述目标参数进行量化，直至所述卷积神经网络中的全部权重参数均被量化。

5.根据权利要求4所述的神经网络参数量化的方法，其特征在于，若所述卷积神经网络中的权重参数无法被全部被量化，所述方法还包括：

调整所述第一预设比例并重新对所述权重参数进行量化。

6.一种神经网络参数量化的系统，其特征在于，所述系统包括：第一获取单元、第二获取单元和量化单元；

所述第一获取单元，用于获取目标权重参数的下限阈值和上限阈值；所述上限阈值大于所述下限阈值；

所述第二获取单元，用于使所述下限阈值减去所述下限阈值以获取相对下限阈值并使所述上限阈值减去所述下限阈值以获取所述相对上限阈值，根据所述相对下限阈值和所述相对上限阈值确定相对权重参数；

所述量化单元，用于用2的预设整数次方对所述相对权重参数进行量化。

7.根据权利要求6所述的神经网络参数量化的系统，其特征在于，量化单元具体用于量化时用0表征所述相对下限阈值，用2的所述预设整数次方与1的差值表征所述相对上限阈值。

8.根据权利要求6所述的神经网络参数量化的系统，其特征在于，所述装置还包括：选取单元和判断单元；

所述选择单元，用于选择所述卷积神经网络中第一预设比例的所述权重参数作为目标权重参数进行量化；

所述判断单元，用于判断对所述目标权重参数的量化结果是否达到预设目标，若否，调整所述预设整数次方并对已经量化的所述第一预设比例的所述目标权重参数重新进行量化。

9.根据权利要求8所述的神经网络参数量化的系统，其特征在于，所述选择单元还用于：

按照递减规范依次在所述卷积神经网络中剩余的权重参数中选择不同比例的权重参数作为所述目标参数进行量化，直至所述卷积神经网络中的全部权重参数均被量化。

10.根据权利要求9所述的神经网络参数量化的方系统，其特征在于，所述系统还包括：调整单元；

所述调整单元，用于若所述卷积神经网络中的权重参数无法被全部被量化时调整所述第一预设比例并重新对所述权重参数进行量化。